Xüsusilə daha böyük şirkətlərdə, COVID-19 pandemiyasından sonra işçilərin ofisdən işləməsini tələb etməkdə nəzərəçarpacaq bir dönüş oldu. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), Pittsburq Universitetinin Cozef M. Katz Ali Biznes Məktəbində biznesin idarə edilməsi üzrə dosenti və Yuye Ding, PhD tələbəsi,[bu nümunəni araşdırdınız](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Uzaqdan işləməyin sosioloji və iqtisadi təsirlərinə, habelə müəssisələrin işçiləri tez-tez qıcıqlandıran işçiləri ofise geri qaytarmaq təşəbbüsünə baxdılar.

Ma [Heise ilə müsahibədə](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) iddia edir ki, Getdikcə rəqəmsal iş mühiti, işçilərin ofisə qayıtmalarını təmin etmək sadəcə onları qıcıqlandırır və məhsuldarlığı artırmaq üçün çox az şey edir. Bununla belə, o etiraf edir ki, könüllü olaraq və komanda dəstəyi ilə həyata keçirildikdə, şəxsi iş faydalı ola bilər və təkmilləşdirilmiş koordinasiya və komanda işini təşviq edə bilər.

Ma təklif edir ki, evdən işləyərkən effektivliyini sübut etmiş yüksək performanslı şəxslərə hər kəsin ofisdə olmasındansa, bunu davam etdirməyə icazə verilməlidir. O, başqa yerdə iş axtara biləcək parlaq şəxsləri saxlamaqla bu strategiyanın son nəticədə həm işəgötürənlərə, həm də işçilərə fayda verəcəyini düşünür. Ma həmçinin şirkətin mədəniyyətini möhkəm saxlamaq üçün mütəmadi olaraq şəxsən komanda qurmaq məşqlərini təklif edir ki, bu da səmərəli ideyaların yaradılması və problemlərin həlli üçün vacibdir.

Bir neçə müəssisə pandemiyadan sonra işçilərin ofisə qayıtmasını tələb etsə də, bu tendensiyanın zirvəsi keçib. 2024-cü ildə aparılan sorğulara görə, CEO-ların əksəriyyəti artıq ofisdə olmağa yüksək dəyər vermir. Müəssisələr, pandemiya zamanı uzaqdan işləyərkən işçilərin kifayət qədər məhsuldar ola biləcəyini öyrəndilər. Ancaq digər menecerlərin hələ də uzaqdan işləmək barədə şübhələri var, buna görə də ofisə qayıtmağı müdafiə edirlər. Bu etibarsızlıq nəticəsində işçilərin əxlaqı əziyyət çəkə bilər, çünki bu, heyət üzvlərinə rəhbərlərinin onlara inanmadığını bildirir.

Uzaqdan işləmənin yerüstü və yer tələblərini azalda bilməsinə baxmayaraq, böyük müəssisələr işçilərini geri qaytarmağa can atırlar ki, bu da burada qiymətdən daha çox nəzarət və gücün olması ehtimalını artırır. Ma qeyd edir ki, bir çox müəssisələr səhm qiymətlərinin aşağı düşməsinə cavab olaraq ofise qayıtma siyasəti həyata keçirib, uzaqdan işdən zəif performans üçün əlverişli bir günah keçisi kimi rahat şəkildə istifadə ediblər.

Uzaqdan işləməyə hələ də yüksək tələbat olmasına baxmayaraq - Nyu York, San Fransisko və Almaniya kimi böyük şəhərlərdə bir çox ofis yerləri boşdur - menecerlər işçilərin şəxsən olmasının əməkdaşlığı və biznes mədəniyyətini artıracağına inanmaqda davam edirlər. Ancaq ofisə qayıdan bir çox işçi həmkarları ilə birlikdə işləmək əvəzinə, vaxtlarının çoxunu kompüterlərində tək işlədiklərini söyləyirlər. Bu cür mandatların səmərəsizliyi ofis və uzaq iş arasında nəzərəçarpacaq fərqin olmaması, habelə işçilərin geri qayıtmaq məcburiyyətində qaldıqları zaman məyus olması ilə şübhə doğurur.

İşçilər iş və ailə həyatını daha yaxşı inteqrasiya etmək və uzun yollardan qaçmaq imkanı kimi uzaqdan işləmək ilə gələn iş-həyat balansının artan məhsuldarlığına və faydalarına öyrəşiblər. Narazılıq bu razılaşmaların ofisə məcburi qaytarılması ilə pozulması nəticəsində yaranır. Bundan əlavə, çatışmayan işin peşəkar inkişafa mane ola biləcəyinə dair bir fikir var.

Nəhayət, Ma düşünür ki, əgər işçilər daimi olaraq iş yerinə qayıtmağa məcbur olsalar, onların bir çoxu başqa peşələr axtarmağa başlayacaq və qalanların həvəsi azala bilər. Ev ofisləri hələ də yaygındır, çünki çatışmazlıqlarına baxmayaraq, daha yaxşı iş-həyat balansı və daha aşağı tükənmə nisbətləri təmin edir. Uzaqdan və ofisdə işləmək arasında heç bir məhsuldarlıq fərqi yoxdur və evdən işləmək, işçilərin diqqətini cəmləmək üçün tez-tez qulaqlıq taxdıqları açıq planlı ofislərin diqqətini yayındıran şeylər qədər özgələşdirə bilər. Ma tövsiyə edir ki, komandalar ofisdə neçə gün işləmək istədiklərini seçsinlər və qalan vaxtları çevik buraxsınlar ki, insan təmasları şirkətlər üçün faydalı ola bilsə də, işçilər öz üstünlük verdiyi iş mühitini seçə bilsinlər.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Pandemiyadan sonra ofisə niyə qayıtmaq məhsuldarlığa zərər verə bilər: Biznes ekspertinin fikirləri

[Google AI](https://ai.google/) bu yaxınlarda məşhur mobil klaviatura proqramı olan Gboard-a "Proofread" adlı yeni funksiya təqdim etdi. Bir toxunuşla bu xüsusiyyət cümlə və paraqraf səviyyələrində qüsursuz dəyişikliklər və düzəlişlər etməyə imkan verir, ümumi yazma təcrübəsini yaxşılaşdırır.

## 'Yağlı Barmaq' Probleminin həlli

[Gboard](https://support.google.com/gboard/?hl=en) kiçik ekranlarda toxunma daxiletməsinin təbii qeyri-dəqiqliyi olan "yağlı barmaq" problemini həll etmək üçün statistik dekodlaşdırmadan istifadə edir. Tədqiqatlar göstərir ki, hər hərf üçün səhv nisbəti şifrəni açmadan 8-9 faizə çata bilər. Gboard yazmağı asanlaşdırmaq və daha hamar etmək üçün bir sıra səhvləri düzəltmə funksiyaları ilə gəlir. Bu xüsusiyyətlər insan daxiletməsini əhatə edən əl işlərini proaktiv, avtomatlaşdırılmış düzəlişlərlə birləşdirir.

## Kompleks Səhv Düzəliş Alətləri

Söz tamamlama, növbəti söz proqnozları, aktiv avtomatik korreksiya (AC) və aktiv açar korreksiyası (KC) daxil olmaqla Gboard funksiyaları ilə yazmaq kollektiv şəkildə asanlaşdırılır. Bu alətlərə ağıllı kompozisiya, səhvlərin düzəldilməsi və təkliflər panelində və ya sətirdə çox sözdən ibarət namizədlər daxildir. Post-korreksiya (PC) həm də artıq edilmiş sözlərdəki səhvlərin düzəldilməsini asanlaşdırır. Bu xüsusiyyətlərə baxmayaraq, iki əsas məhdudiyyət istifadəçi təcrübəsini pisləşdirir.

1. KC, AC və PC kimi cihazda düzəliş modelləri sürətli və yığcam olsa da, daha uzun kontekstlərə ehtiyacı olan mürəkkəb və mürəkkəb səhvləri idarə etməkdə çətinlik çəkirlər. Bu modellərin aktivləşdirilməsinin qarşısını almaq üçün istifadəçilər yavaş və dəqiq yazmalıdırlar.

2. Yazma sürəti istifadəçilərin qrammatika və orfoqrafiya yoxlayıcılarından istifadə edərək yerinə yetirilən sözləri əl ilə düzəltməli olması nəticəsində azalır ki, bu da zehni və vizual olaraq yorucu ola bilər.

## Yüksək Səviyyəli Xətaların Korreksiyasına Ehtiyac

Sürətli yazanlar çox vaxt artıq yazdıqları sözlərə məhəl qoymur və diqqətlərini yalnız klaviaturada cəmləşdirirlər. Bundan daha yüksək səhv nisbətləri yarana bilər ki, bu da cümlə və ya daha yüksək səviyyəli düzəliş mexanizmlərinin istifadəsini tələb edir.

## Düzəlişin Təqdimatı

Proofread, məhsuldarlığı nəzərəçarpacaq dərəcədə artırmaqla bu tez-tez şikayətləri həll edir. Bu, bir toxunuşla cümlə və paraqraf səviyyəsində düzəlişlər etməklə səhvlərin düzəldilməsini asanlaşdırır.

## Düzəlişin arxasındakı texnologiya

Proofread xüsusiyyəti dörd əsas komponentdən ibarətdir: məlumat istehsalı, ölçülərin dizaynı, modelin dəyişdirilməsi və modelə xidmət. Bütün bu komponentlər birlikdə effektivliyə zəmanət verir. Məlumat paylanmasının Gboard domeninə uyğun olmasını təmin etmək üçün sistem dəqiq və metodik şəkildə qurulmuş səhv sintetik arxitekturasından istifadə edərək tez-tez klaviatura xətalarını təqlid edir.

## Qabaqcıl Metriklər və Model Optimizasiyası

Modeli qiymətləndirmək üçün tədqiqatçılar qrammatik səhvlərin olub-olmaması yoxlamalarına və böyük dil modellərindən (LLM) əldə edilən oxşar məna yoxlamalarına xüsusi diqqət yetirməklə bir sıra ölçüləri birləşdirdilər. Modeli təkmilləşdirmək üçün InstructGPT texnikasında nəzarət edilən incə sazlama və Gücləndirici Öyrənmə (RL) tənzimləməsindən istifadə olunur. Modelin düzəliş performansı bu prosedurla xeyli yaxşılaşdırılır.

## Yerləşdirmə və Performans

8 bitlik kvantlaşdırmadan istifadə edərək, orta ölçülü LLM PaLM2-XS tək TPU v5-in içərisinə uyğunlaşdırılıb və Proofread funksiyası üçün əsas kimi xidmət edir. Optimallaşdırma xidmətin dəyərini azaldır. Əvvəlki araşdırmalar göstərdi ki, seqmentləşdirmə, spekulyativ dekodlaşdırma və vedrə açarları gecikməni azalda bilər.

## Real Dünya Təsiri

On minlərlə Pixel 8 istifadəçisi indi mövcud olan Proofread funksiyasının təqdim etdiyi yüksək keyfiyyətli redaktələrdən faydalanacaq. Sintetik məlumatların hərtərəfli generasiyası və incə tənzimləmənin bir neçə təkrarlanması PaLM2-XS modelinin Pis nisbətində 5,74 faiz nisbi azalma ilə göründüyü kimi qrammatik səhvləri əhəmiyyətli dərəcədə azaldan bir model yaratdı. Bundan əlavə, optimallaşdırmalar median gecikmə müddətinin 39,4% azalması ilə nəticələnib.

## Gələcək Perspektivlər

[Bu tədqiqat](https://arxiv.org/abs/2406.04523) LLM-lərin istifadəçi təcrübəsini necə təkmilləşdirə biləcəyini və əlavə araşdırma üçün maraqlı imkanlar yarada biləcəyini nümayiş etdirir. Real istifadəçi məlumatlarının istifadəsi, çoxdilli dəstək, uyğunlaşdırılmış yazı yardımı və cihaz məxfiliyi həlləri sektorda gələcək irəliləyişlərə səbəb ola biləcək sahələrə bir neçə nümunədir.

Google AI bütün dünyada insanlar üçün yazmağı təkmilləşdirərək Proofread funksiyasının tətbiqi ilə mobil klaviatura texnologiyasının imkanlarını genişləndirir.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google süni intellekt “Proofread”ı təqdim edir: Cümlə və Paraqraf Düzəltmələri üçün Gboard Xüsusiyyəti

Müasir Dərin Neyron Şəbəkələri (DNN) mahiyyət etibarı ilə qeyri-şəffafdır, bu da onların qərar qəbul etmə proseslərini başa düşməyi çətinləşdirir. Bu şəffaflığın olmaması Maşın Öyrənmə texnikalarının müxtəlif sahələrdə geniş tətbiqinə mane olur. Cavab olaraq, izah edilə bilən AI (XAI) insanın DNN mühakimələrini başa düşməsini yaxşılaşdırmaq niyyətindədir. Hər bir komponentin funksional məqsədinə baxaraq, XAI indi fərdi proqnozları izah etmək üçün diqqəti cəlb edən xəritələrdən istifadə edən yerli izahat metodlarından fərqli olaraq, DNN-lərin qlobal davranışını anlamağa da diqqət yetirir.

Mexanik şərh edilə bilənlik neyron şəbəkəsinin əsas hesablama vahidləri olan neyronların başa düşmək qabiliyyətinə malik olduğu xüsusi fikirlərin dəqiqləşdirilməsinə yönəlmiş qlobal izahlılıq texnikasıdır. Neyronları insanlar üçün başa düşülən təsvirlərlə etiketləməklə şəbəkənin gizli təsvirlərinin işini izah edə bilərik. Bu təsvirlər sadə etiketlərdən mürəkkəb, kompozisiya və açıq lüğət izahlarına qədər irəliləmişdir. Buna baxmayaraq, bu açıq lüğət təsvirlərini qiymətləndirmək üçün standartlaşdırılmış kəmiyyət göstəricilərinin olmaması müxtəlif yanaşmalar üzrə hərtərəfli müqayisələrə mane olmuşdur.

Bu boşluğu aradan qaldırmaq üçün ATB Potsdam, Potsdam Universiteti, TU Berlin, Fraunhofer Heinrich-Hertz-Institute və BIFOLD-dan olan tədqiqatçılar [CoSy](https://arxiv.org/abs/2405.20331) üçün qabaqcıl kəmiyyət qiymətləndirmə çərçivəsini təqdim edirlər. kompüter görmə (CV) modellərində açıq lüğət izahlarından istifadənin qiymətləndirilməsi. Bu innovativ üsul konseptə əsaslanan mətn təsvirləri ilə əlaqəli süni təsvirlər yaratmaq üçün Generativ AI-dəki inkişaflardan istifadə edir. cozy, konkret hədəf izahatları üçün ümumi məlumat nöqtələrini sintez etməklə, müxtəlif konsepsiyaya əsaslanan mətn izahı yanaşmalarının kəmiyyət müqayisəsini asanlaşdırmaqla insanların qarşılıqlı əlaqəsinə ehtiyacı aradan qaldırır.

Tədqiqat qrupu geniş meta-analiz vasitəsilə nümayiş etdirdi ki, rahat izahatların etibarlı qiymətləndirmələrini təklif edir. Tədqiqat aşkar etdi ki, konsepsiyaya əsaslanan mətn izahı metodları ən yaxşı neyron şəbəkələrin yüksək səviyyəli anlayışların öyrənildiyi yuxarı təbəqələrində işləyir. Yüksək keyfiyyətli neyron izahatları neyron şəbəkəsi təsvirlərindən vizuallar yaradan INVERT və daxili şəbəkə təmsillərini araşdıran CLIP-Dissect kimi üsullarla hazırlanır. Əksinə, MILAN və FALCON kimi texnikalar aşağı keyfiyyətli izahatlar verir, bəzən demək olar ki, təsadüfi anlayışlar verir və bu da qeyri-dəqiq şəbəkə nəticələri ilə nəticələnə bilər.

Tədqiqatçıların etiraf etdiyi kimi CoSy-nin əsas çatışmazlığı ondan ibarətdir ki, təlim məlumatlarından xüsusi kateqoriyalar generativ modelə daxil edilməmiş ola bilər ki, bu da “ağ obyektlər” kimi çox ümumi və ya qeyri-müəyyən izahlara gətirib çıxarır. Təlimdən əvvəl verilənlər toplusunu və model performansını tədqiq etməklə bu problemi həll etməklə generativ dəqiqliyi artırmaq olar. Hətta hələ də rahat, yerli olmayan izahat üsullarının qiymətləndirilməsinin hələ də inkişaf etməkdə olan sahəsində böyük potensial nümayiş etdirir.

İrəliyə baxaraq, komanda CoSy-nin bir çox sahələrdə potensial tətbiqləri ilə bağlı ümidlidir. Aşağı axın tapşırığının nəticəsi ilə bağlı izahatın inandırıcılığını və ya keyfiyyətini qiymətləndirmək üçün insan mülahizələri izahat keyfiyyətinin tərifinə daxil edilməlidir ki, onlar gələcək işlərində bu məsələyə toxunmaq istəyirlər. Bundan əlavə, onlar təbii dil emalı və səhiyyə kimi əlavə sahələri öz qiymətləndirmə sistemlərinə daxil etmək istəyirlər. Böyük, qeyri-şəffaf, avtomatik şərh edilə bilən dil modellərini (LLM) qiymətləndirmək üçün rahatlığın potensial istifadəsi xüsusilə maraqlıdır. Tədqiqatçıların fikrincə, izahat keyfiyyətinin vacib olduğu səhiyyə məlumat dəstlərinə rahat tətbiq etmək irəliyə doğru böyük bir addım ola bilər. Rahatlığın bu potensial gələcək tətbiqləri AI tədqiqatlarını inkişaf etdirmək üçün böyük potensiala malikdir.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Neyron Şəbəkələri Anlamaq: Mətn İzahatının Qiymətləndirilməsi üçün CoSy-nin Kəmiyyət Çərçivəsi

[Transformator əsaslı modellər](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) mürəkkəb mətni təhlil etmək və şərh etmək bacarığı ilə məşhurdur. Onlar sözlərin sırasını və kontekstini başa düşməyə etibar edirlər - ənənəvi mövqe kodlaşdırma üsullarının öz sərhədlərini göstərdiyi vəzifələr. Bu boşluğu aradan qaldıraraq, **Rotary Position Embedding (RoPE)** ilə təchiz edilmiş ROFORMER modeli mövqe kodlaşdırmasına yanaşmamızı yenidən müəyyənləşdirir.

## Ənənəvi Mövqe Kodlaşdırma

Transformatorlar mətnə ​​bir sıra əlamətlər kimi yanaşır və daha yüksək effektivlik üçün **ardıcıllıqların paralel işlənməsinə** imkan verir. Bununla belə, bu güc öz çətinliyini gətirdi: **modelin əlamət nizamına xas olan aqnostisizmi**. **Mövqe kodlaşdırması** cavab idi, **hər bir nişanə onun ardıcıl mövqeyini bildirən unikal imza təqdim edir**.

### Mütləq Mövqe Yerləşdirmələri

Əvvəlcə, BERT kimi modellər ardıcıl olaraq hər mövqeyə sabit vektor təyin edərək **mütləq mövqe yerləşdirmələrindən istifadə edirdilər**. Bu üsul sadə olsa da, mahiyyət etibarilə **ardıcıllıq uzunluğu dəyişikliyinə uyğunlaşmaq və ya işarələr arasında nisbi məsafələri vurğulamaq qabiliyyətinə malik deyil**, bir çox dil konstruksiyalarını başa düşmək üçün vacibdir.

### Nisbi Mövqe Yerləşdirmələri

Dilin dinamik təbiətini ələ keçirmək üçün nisbi mövqe yerləşdirmələri təqdim edildi, onların mütləq mövqelərindən çox, işarələr arasındakı məsafəyə diqqət yetirildi. Konseptual üstünlüyünə baxmayaraq, bu daxiletmələr **hesablama mürəkkəbliyi təqdim etdi və Transformatorların** özünə diqqət mexanizminə problemsiz inteqrasiya edə bilmədi və onların effektivliyini məhdudlaşdırdı.

## ROFORMER və Rotary Position Yerləşdirmə

Mövcud mövqe kodlaşdırma strategiyalarının məhdudiyyətlərini dərk edərək, ROFORMER, müvafiq çatışmazlıqlar olmadan mütləq və nisbi mövqe məlumatının faydalarını birləşdirən Rotary Position Embedding (İp) yanaşmasını təqdim edir.

### Rotary Mövqe Yerləşdirmə

RoPE **fırlanma matrislərindən** istifadə edərək mövqe məlumatını kodlayır, bu, modelə təkcə tokenin harada olduğunu deyil, həm də ardıcıllıqla hər bir digər nişanə ilə necə əlaqəli olduğunu başa düşməyə imkan verir.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

O, həndəsi obyektiv vasitəsilə fəaliyyət göstərir, işarə mövqelərini çoxölçülü məkanda onların ardıcıl əlaqələrini qeyd etmək üçün fırlanan nöqtələr kimi qəbul edir. Bu fırlanma modelə özünə diqqət mexanizmi daxilində həm mütləq, həm də nisbi mövqe işarələrini qoruyub saxlamağa və istifadə etməyə imkan verir.

### İpin həyata keçirilməsi

RoPE-nin tətbiqi hər bir işarənin mövqeyinin fırlanma matrisinə kodlanmasını və bu matrisin Transformatorun özünə diqqət mexanizmi daxilində tətbiqini nəzərdə tutur. Bu proses müxtəlif ardıcıllıq uzunluqlarına uyğunlaşaraq və əhəmiyyətli hesablama xərcləri olmadan mö'cüzə qarşılıqlı əlaqələrin mahiyyətini ələ keçirərək mövqe məlumatının çevik, dinamik şərhinə imkan verir.

Əvvəlcə fırlanan yerləşdirmələri yaratmaq üçün bir funksiyaya ehtiyacınız olacaq və sonra bu daxiletmələri modelinizə birləşdirəcəksiniz. Aşağıdakı nümunə Keras-da fərdi təbəqələrin yaradılması ilə tanış olduğunuzu güman edir.

#### Addım 1: Fırlanan Yerləşdirmə funksiyasını təyin edin

Bu funksiya maksimum ardıcıllıq uzunluğu və daxiletmələrin ölçüləri nəzərə alınmaqla fırlanan yerləşdirmələri yaradır.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Bu xətt mövqe indeksləri əsasında eksponensial miqyaslı tezliklərin tərsini hesablayır. Bu tezliklər fırlanan yerləşdirmələr üçün sinusoidal nümunələrin yaradılmasında istifadə olunur ki, bu da nisbi mövqe məlumatının ardıcıllıqla kodlaşdırılmasına kömək edir. Bu mexanizm elementlərin nizamının və nisbi yerləşdirilməsinin başa düşülməsinin vacib olduğu tapşırıqlarda, məsələn, təbii dildə emal və ya zaman sıralarının təhlili zamanı xüsusilə faydalıdır.

Təfərrüatlarda:

- `tf.range(0, dim, 2, dtype=tf.float32)` 0-dan başlayaraq `dim` (eksklüziv) 2-ə qədər olan dəyərlər diapazonu yaradır. `dtype=tf.float32` arqumenti müəyyən edir bu tensorun elementləri 32 bitlik üzən nöqtəli ədədlərdir. Əgər `dim` 8-dirsə, məsələn, bu, `[0, 2, 4, 6]` çıxaracaq.

- `tf.range` tərəfindən yaradılan tensor sonra yerləşdirmələrin ölçüsünə (`dim`) bölünür. Bu əməliyyat bu indeksləri 0 və 1 arasında diapazona qədər azaldır ("tut" cütdürsə, eksklüziv, "tutqun" təkdirsə, bir qədər əhatəlidir, çünki diapazon addımı bütün digər dəyəri atlayır). Məsələni `dim` = 8 ilə davam etdirərək, 8-ə bölmək `[0,0, 0,25, 0,5, 0,75]` əldə edir.

- `10000 ** (...)` əməliyyatı əvvəllər miqyaslı tenzorda hər bir elementin gücünə 10,000-i artırır. 10,000 bazası bir qədər ixtiyaridir, lakin tezliklərin geniş diapazonda dəyişməsini təmin etmək üçün seçilir ki, bu da modelə müxtəlif mövqeləri daha effektiv şəkildə ayırmağa kömək edir. `[0,0, 0,25, 0,5, 0,75]` üçün o, güc əməliyyatını hər birinə tətbiq edəcək, nəticədə daha yüksək elementlər üçün daha böyük dəyərlər olacaq.

- Nəhayət, əvvəlki addımdan qiymətlərin qarşılıqlı (1/x) alınması ilə tərs tezlik əldə edilir. Daha yüksək indekslər üçün tərs tezliklər daha kiçikdir, yəni ardıcıllığın sonrakı elementləri daha kiçik tezliklərə malik olacaq və onların mövqelərinin modelə kodlaşdırılmasına təsir edəcək. Bu, modelin diqqət mexanizmləri vasitəsilə nisbi mövqelərin əldə oluna bildiyi tərzdə yerləşdirmələrə miqyas verməyə imkan verir.

Xətt:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

TensorFlow-un `tf.einsum` funksiyasından, Eynşteynin cəmləmə notasiyasından istifadə edərək tenzor əməliyyatlarının qısa və səmərəli ifadəsinə imkan verən alətdən istifadə edir.

Bu əməliyyat effektiv şəkildə `t` və `inv_freq` vektorlarının xarici hasilini hesablayır, nəticədə hər bir `(i, j)` elementinin `t` və ` `i`-ci elementinin məhsulu olduğu matris əldə edilir. `inv_freq` j`-ci elementi. Bu matris (“tezliklər”) fırlanan yerləşdirmələr üçün sinusoidal nümunələri yaratmaq üçün istifadə olunan tezlikləri təmsil edir.

#### Addım 2: Fırlanan Yerləşdirmələr üçün Xüsusi Keras Layer

İndi, giriş tensoruna fırlanan yerləşdirmələri tətbiq edən fərdi Keras qatını yaradaq. Bu qat giriş tensorunun `(toplama_ölçüsü, ardıcıllıq_uzunluğu, yerləşdirmə_dimi)' formasında olduğunu qəbul edir.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

`embeddings = self.rotary_embeddings[:seq_len]` xətti cari daxiletmə ardıcıllığının uzunluğuna əsasən əvvəlcədən hesablanmış fırlanan yerləşdirmələrin müvafiq alt çoxluğunu seçir. Ardıcıllıqların uzunluğu bir partiyadan digərinə dəyişə bildiyindən, bu dilimləmə əməliyyatı yalnız ardıcıllığın həqiqi uzunluğuna uyğun olan əlavələrin istifadə edilməsini təmin edir.

`yerləşdirilmələr` dəyişəni indi `(seq_len, embedding_dim)` forma tenzoruna malikdir, burada `seq_len` cari topludakı ardıcıllıqların uzunluğu, `embedding_dim` isə daxiletmələrin ölçüləridir. Bu tensor `seq_len`-ə qədər ardıcıllıqla hər mövqe üçün fırlanan mövqe yerləşdirmələrini ehtiva edir.

`emb = tf.concat((tf.cos(tezliklər), tf.sin(tezliklər)), axis=-1)` mövqe tezliklərinin sinus və kosinus çevrilmələrini tək tenzorda birləşdirir:

-`tf.cos(freqs)` və `tf.sin(freqs)` müvafiq olaraq `freqs` tensoruna kosinus və sinus çevrilmələrini tətbiq edir. `freqs` tensoru ardıcıllıq mövqeləri və yerləşdirmə ölçülərinin tərs tezlikləri əsasında hesablanmış daxiletmə ardıcıllığında hər mövqe və yerləşdirmə məkanının hər ölçüsü üçün tezlik qiymətlərini ehtiva edir. Sinus və kosinus funksiyaları element baxımından tətbiq edilir, nəticədə "tezliklər" ilə eyni formalı iki tensor yaranır. Bu çevrilmələr modelin nisbi mövqeləri anlamaq qabiliyyətini asanlaşdıraraq, mövqe münasibətlərinin dövri xarakterini ələ keçirən şəkildə mövqeyi kodlamağa kömək edir.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` sonuncu ox boyunca kosinus və sinus çevrilmiş tensorları birləşdirir (`axis=-1` ilə işarələnir). Bu tensorların yan-yana birləşdirilməsi "tezliklər" tensorunun ölçülərini effektiv şəkildə ikiqat artırır, birinci yarısı kosinusla çevrilmiş dəyərləri, ikinci yarısı isə hər mövqe üçün sinusla çevrilmiş dəyərləri təmsil edir. Konkatenasiya hər bir mövqe kodlaşdırmasının həm sinus, həm də kosinus məlumatlarını ehtiva etməsini təmin edir ki, bu da mövqe siqnallarının həm amplitudası, həm də fazası haqqında məlumatın saxlanmasına imkan verir.

- Birləşdirilmiş tensor `emb` indi giriş mövqeləri üçün tam fırlanan yerləşdirmələri saxlayır. "Emb" forması ilk iki ölçüsündə "tezliklər" ilə eyni olacaq (ardıcıllıq mövqelərinə və yerləşdirmə ölçülərinə uyğundur), lakin onun son ölçüsü həm sinus, həm də kosinus qiymətlərini nəzərə alaraq iki dəfə böyük olacaq. Bu daxiletmələr fırlanma ekvivariant şəkildə mövqe məlumatı əlavə etməklə daxiletmə daxiletmələrini modulyasiya etmək üçün istifadə olunur.

-`cos_emb = daxiletmələr[:, Yoxdur, :self.dim // 2]`:

1. Birinci iki nöqtə `:` "bu ölçüdə bütün elementləri seçin" deməkdir, bu halda ardıcıllıqdakı bütün mövqelərə istinad edir.

2. Tensoru 3 ölçülü etmək üçün əlavə ölçü əlavə etmək üçün `Yox` istifadə olunur. Bu, tez-tez müəyyən sayda ölçülərin daxil edilməsini gözləyən müəyyən əməliyyatlarla uyğunluğu təmin etmək üçün edilir. Məsələn, 3-ölçülü başqa bir tensorla elementlər üzrə vurma həyata keçirərkən, formalar yayım qaydalarına uyğun düzülməlidir.

3. `:self.dim // 2`, sonuncu oxda ölçülərin birinci yarısını seçir. Həm sinus, həm də kosinus dəyərlərini daxil etmək üçün "yerləşdirilmə_ölçüsü" ikiqat artırıldığından, 2-yə bölmək, yalnız daxiletmələrin kosinus komponentlərini effektiv şəkildə seçir.

#### Addım 3: Keras Modeli ilə İnteqrasiya

`RotaryEmbeddingLayer`-ı təyin etdikdən sonra onu Keras modelinizə inteqrasiya edə bilərsiniz. Diqqət qatlarına və ya hər hansı sonrakı model qatlarına daxil edilməzdən əvvəl bu təbəqə daxiletmələrinizə tətbiq edilməlidir.

Budur, fırlanan yerləşdirmələri modelə necə inteqrasiya etməyin sadələşdirilmiş nümunəsi:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Fırlanan Mövqe Yerləşdirmə ilə Təkmilləşdirilmiş Transformator

[Arxiv Linki](https://arxiv.org/abs/2403.13799)

20 mart 2024-cü il

## Ters lənət

[GPT-4](https://arxiv.org/abs/2303.08774) və [Llama-2](https://arxiv.org/abs/2307.09288) kimi Böyük Dil Modelləri (LLM) anlamada təsirli qabiliyyətlər nümayiş etdirib. və geniş bilik spektrini əhatə edən insana bənzər mətn yaratmaq. Bununla belə, onlar sadə görünən bir işdə uğursuzluğa düçar olurlar: öyrənilən faktları geri qaytarmaq. “Tərsinə lənət” adlanan bu məhdudiyyət o deməkdir ki, LLM-lər hətta uşaqların da malik olduğu əsas düşünmə bacarığı olan “A-nın B xüsusiyyətinə malikdir” öyrənməkdən “B-nin A-nın xüsusiyyətidir” nəticəsinə gələ bilməzlər. Bu məqalə həm irəli, həm də tərs formatlarda modelin faktları qavramasını artırmaq üçün iki istiqamətli təlim yanaşmasından istifadə etməklə bu problemi həll etmək üçün yeni üsul olan "Əks təlim" təqdim edir.

## Əks Lənətin Mənşəyi

Problem adətən **avtoreqressiv, soldan sağa öyrənmə** daxil olan LLM-lərin fundamental təlim yanaşmasından irəli gəlir. Bu üsul mahiyyət etibarilə modellərə məlumatı tərs qaydada başa düşməyi və ya yaratmağı öyrətmir. Zipf qanununa uyğun olaraq məlumatların paylanmasının xarakterini nəzərə alaraq, bir çox faktlar yalnız bir istiqamətdə qeyd olunur və bu məsələni daha da gücləndirir. "Tərsinə lənət" LLM-lərin ifadələrdəki qarşılıqlı əlaqələr və ekvivalentlik anlayışını məhdudlaşdırır və onların əsaslandırma imkanlarında əhəmiyyətli çatışmazlıq göstərir.

## Əks Təlimlə Tərs Lənətə qalib gəlmək

Təklif olunan həll, Tərs Təlim, təlim sətirlərinin həm orijinal, həm də tərs versiyalarını daxil etməklə mövcud təlim məlumatlarını ikiqat artırır. Geri çevirmə prosesi konteksti qorumaq üçün onların orijinal ardıcıllığını qoruyaraq, müəssisə adları kimi müəyyən alt sətirləri dəyişdirməməyə diqqət yetirir. LLM-nin öyrənməsi üçün ikinci dilin tətbiqinə bənzəyən bu üsul modelin hər iki istiqamətdə məlumatı emal etmək və yaratmaq qabiliyyətini əhəmiyyətli dərəcədə yaxşılaşdırır.

## Əks Təlim Metodunun Test Edilməsi

Müəlliflər təklif etdikləri metodu sınaqdan keçirmək üçün aşağıdakı təcrübələri həyata keçirdilər:

**1- Simvolik Əks Tapşırıq:** Metodun əks əlaqələri çıxarmaq və tətbiq etmək qabiliyyətini nümayiş etdirən idarə olunan mühit testi.

**2- Tərcümeyi-halın dəyişdirilməsi tapşırığı:** Tərcümeyi-hal məlumat dəstindən istifadə edərək, verilmiş təfərrüatlardan tərsinə şəxs adlarının yaradılması performansını qiymətləndirmək.

**3- Real-dünya Biliyinin dəyişdirilməsi:** Məşhurlar və onların münasibətləri haqqında faktların dəyişdirilməsi də daxil olmaqla, real dünya ssenarilərində metodun effektivliyinin qiymətləndirilməsi.

**4- Uydurma Faktların İncə Tənzimlənməsi:** Modelin yeni təqdim edilmiş, dəyişdirilmiş uydurma faktlar üzərində öyrənmə qabiliyyətinin sınaqdan keçirilməsi.

Bu təcrübələr arasında Tərs Təlim nəinki Reversal Curse-ni azaltdı, həm də bəzi hallarda onu tamamilə aradan qaldırdı. Metod, müəyyən kontekstual lövbərlərin saxlanmasının vacibliyini vurğulayaraq, geri çevrilmə prosesi zamanı müəssisə adları orijinal qaydada saxlandıqda xüsusilə effektiv oldu.

## Nəticələr və Gələcək İstiqamətlər

Reversal lənətə müraciət etməkdə Tərs Təlimin uğuru LLM təlim metodologiyaları üçün yeni imkanlar açır. Modellərin ifadələrdəki qarşılıqlı əlaqələr və ekvivalentlik anlayışını gücləndirməklə, bu yanaşma daha mürəkkəb düşünmə imkanlarına qapı açır. Gələcək tədqiqatlar geri çevrilmə prosesinin daha da optimallaşdırılmasını, digər dil model arxitekturalarında əks təlimin inteqrasiyası potensialını və bu metodun təbii dilin anlaşılması və nəsil tapşırıqlarında daha geniş tətbiqlərini araşdıra bilər.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Reversal lənətə tibb bacısı üçün tərs təlim

[Arxiv Linki](https://arxiv.org/abs/2403.12015)

18 mart 2024-cü il

"Gizli Rəqib Diffuziya Distilləsi ilə Sürətli Yüksək Rezolyusiyalı Şəkil Sintezi" Gizli Rəqib Diffuziya Distilləsi (LADD) kimi tanınan yeni distillə yanaşmasını təqdim edir. Bu yanaşma mövcud [diffuziya modellərinin](https://en.wikipedia.org/wiki/Diffusion_model) məhdudiyyətlərini, xüsusən də real vaxt tətbiqlərinə mane olan yavaş nəticə çıxarma sürəti problemini həll etmək üçün nəzərdə tutulmuşdur. LADD böyük [gizli diffuziya modellərini](https://arxiv.org/abs/2112.10752) (LDM-lər) səmərəli şəkildə distillə edərək, təlim prosesini əhəmiyyətli dərəcədə sadələşdirərək və əvvəlki metodlarla müqayisədə performansı artıraraq yüksək ayırdetməli, çox aspekt nisbətli təsvir sintezinə imkan verir. .

Bu yazıdan əsas götürmələri ümumiləşdirəcəyik.

## Giriş

Diffuziya modelləri yüksək keyfiyyətli nəticələr təqdim edərək, şəkil və video sintezi və redaktəsi üçün güclü bir vasitə kimi ortaya çıxdı. Bununla belə, səs-küyü ardıcıl şəkillərə çevirmək üçün çoxsaylı şəbəkə qiymətləndirmələrini tələb edən onların iterativ təbiəti real vaxt tətbiqləri üçün praktikliyini məhdudlaşdırmışdır. Diffuziya modellərini sürətləndirmək üçün müxtəlif strategiyalar təklif edilmişdir. LADD, ənənəvi metodların tələb etdiyi addımların bir hissəsində effektiv yüksək ayırdetmə təsviri sintezinə imkan verən, əvvəlcədən hazırlanmış LDM-lərin generativ xüsusiyyətlərindən istifadə edərək yeni strategiya təqdim edir.

## Fon

Məqalə diffuziya modelləri və onların [distillasiyası](https://en.wikipedia.org/wiki/Knowledge_distillation) haqqında ümumi məlumat verməklə başlayır. Ənənəvi diffuziya modelləri, bir çox iterativ addımlar vasitəsilə təsviri tədricən denoizə etməklə, prosesi yavaş və hesablama baxımından bahalı etməklə işləyir. Distillə üsulları, o cümlədən [Düşmənli Diffuziya Distilləsi](https://arxiv.org/abs/2311.17042) (ADD) tələb olunan addımların sayını azaltmaqla bu prosesi sadələşdirməyə çalışmışdır. Bununla belə, ADD sabit məşq qətnaməsi və gizli diffuziya modellərini distillə etmək üçün RGB məkanının dekodlanması zərurəti kimi məhdudiyyətlərlə üzləşir ki, bu da yüksək ayırdetmə təlimini məhdudlaşdıra bilər.

## Metodologiya

LADD **birbaşa gizli məkanda distillə etməklə** bu problemləri həll edir, bununla da **piksel məkanına deşifrə ehtiyacından qaçır** və daha yüksək qətnamələrdə məşq etməyə imkan verir. Piksel məkanında işləyən əvvəlcədən hazırlanmış diskriminatora əsaslanan ADD-dən fərqli olaraq, LADD ayrı-seçkilikçi və müəllim modelinin birləşdirildiyi, bilavasitə latentlər üzərində işləyən yeni yanaşmadan istifadə edir. Bu üsul təkcə təlim prosesini asanlaşdırmır, həm də bir sıra üstünlükləri, o cümlədən səmərəlilik, səs-küy səviyyəsində xüsusi rəy təmin etmək imkanı və Çox Aspekt Nisbəti (MAR) təlimi üçün imkanlar təmin edir.

## Təcrübələr və Nəticələr

Məqalə LADD-ni müxtəlif eksperimentlər vasitəsilə geniş şəkildə qiymətləndirir, onun yüksək rezolyusiyaya malik şəkilləri bir neçə addımla sintez etməkdə üstün performansını nümayiş etdirir. Qeyd edək ki, [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) tətbiq edildikdə, LADD vəziyyətlə müqayisə oluna bilən görüntü keyfiyyətinə nail olan SD3-Turbo adlı modellə nəticələnir. yalnız dörd addımda ən müasir mətndən şəkilə generatorlar. Təcrübələr həmçinin müxtəlif müəllim səs-küyü paylamalarının təsirini, sintetik məlumatların istifadəsini, gizli distillə yanaşmalarını və LADD-nin miqyaslı davranışını araşdırır.

## Ən son texnologiya ilə müqayisə

LADD-nin effektivliyi mətndən-şəklə və təsvirdən-şəklə sintezində mövcud aparıcı metodlarla müqayisə ilə daha da vurğulanır. SD3-Turbo yalnız təsvir keyfiyyətində müəllim modelinin (SD3) performansına uyğun gəlmir, həm də nəticə çıxarma sürəti və təsvirin mətnin uyğunlaşdırılması baxımından digər əsas göstəricilərə nisbətən əhəmiyyətli təkmilləşdirmələr nümayiş etdirir.

## Məhdudiyyətlər və Gələcək İstiqamətlər

Tərəqqilərinə baxmayaraq, LADD məhdudiyyətsiz deyil. Müəlliflər modelin tutumu, operativ uyğunlaşdırılması və nəticə çıxarma sürəti arasında uyğunluğu qeyd edirlər ki, bu da modelin mətndən-şəklə sintezi ilə bağlı müəyyən problemləri həll etmək qabiliyyətinə təsir göstərə bilər. Gələcək tədqiqat istiqamətlərinə bu mübadiləni daha dərindən araşdırmaq və təsvir və mətn rəhbərliyinin güclü tərəflərinə nəzarəti gücləndirmək üçün strategiyaların hazırlanması daxildir.

## Nəticə

“Gizli rəqib diffuziya distilləsi ilə sürətli yüksək rezolyusiyada təsvir sintezi” mətn göstərişlərindən yüksək keyfiyyətli şəkillərin yaradılmasını əhəmiyyətli dərəcədə sürətləndirən şəkil/video sintezinə yeni yanaşma təqdim edir. Gizli məkanda böyük diffuziya modellərini distillə etməklə, LADD real vaxt tətbiqləri üçün yol açır və təsvirin sintezində səmərəlilik və performans üçün yeni standart təyin edir.

Sənədlər izah edildi

Pandemiyadan sonra ofisə niyə qayıtmaq məhsuldarlığa zərər verə bilər: Biznes ekspertinin fikirləri