În special în companiile mai mari, a existat o revenire vizibilă la solicitarea lucrătorilor să lucreze de la birou în urma pandemiei de COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), profesor asociat de administrare a afacerilor la Joseph M. Katz Graduate School of Business de la Universitatea din Pittsburgh, și Yuye Ding, un Doctorand, au[investigat acest model](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Ei au analizat efectele sociologice și economice ale lucrului de la distanță, precum și inițiativa recentă a întreprinderilor de a aduce lucrătorii înapoi la birou, ceea ce îi irită frecvent pe lucrători.

Ma susține într-un [interviu cu Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) că, într-un Mediul de lucru din ce în ce mai digital, determinând angajații să se întoarcă la birou, nu face decât să-i enerveze și nu face nimic pentru a crește productivitatea. El admite, totuși, că, atunci când este făcută voluntar și cu sprijinul echipei, munca în persoană poate fi avantajoasă și poate promova o coordonare îmbunătățită și munca în echipă.

Ma sugerează că persoanele cu performanțe înalte care și-au dovedit eficacitatea atunci când lucrează de acasă ar trebui să li se permită să continue să facă acest lucru, mai degrabă decât să aibă pe toți la birou. El crede că prin păstrarea unor persoane strălucitoare care altfel ar putea căuta de lucru în altă parte, această strategie va beneficia în cele din urmă atât de angajatori, cât și de angajați. Ma sugerează, de asemenea, exerciții regulate de teambuilding în persoană pentru a menține cultura companiei solidă, ceea ce este esențial pentru generarea eficientă de idei și rezolvarea problemelor.

Apogeul acestei tendințe pare să fi depășit, chiar dacă mai multe afaceri au cerut angajaților să se întoarcă la birou în urma pandemiei. Potrivit sondajelor realizate în 2024, majoritatea directorilor executivi nu mai acordă o mare valoare a fi la birou. Întreprinderile au aflat că lucrătorii ar putea fi destul de productivi atunci când lucrează de la distanță în timpul pandemiei. Însă alți manageri au încă nemulțumiri cu privire la lucrul de la distanță, motiv pentru care pledează pentru întoarcerea la birou. Moralul angajaților poate avea de suferit din cauza acestei lipse de încredere, deoarece transmite membrilor personalului că managerii lor nu cred în ei.

În ciuda faptului că telecommutingul poate reduce costurile și cerințele de spațiu, marile companii sunt dornice să își revină lucrătorii, ceea ce crește posibilitatea ca controlul și puterea să fie mai mult în joc aici decât prețul. Ma subliniază că multe companii au implementat politici de revenire la birou ca răspuns la scăderea prețului acțiunilor, utilizând în mod convenabil munca de la distanță ca țap ispășitor la îndemână pentru performanțe slabe.

În ciuda faptului că există încă o cerere mare pentru munca de la distanță – multe spații de birouri din marile orașe precum New York, San Francisco și Germania sunt vacante – managerii continuă să susțină opinia că a avea lucrători în persoană va îmbunătăți cooperarea și cultura de afaceri. Dar, în loc să lucreze împreună cu colegii de muncă, mulți lucrători care s-au întors la birou spun că își petrec cea mai mare parte a timpului lucrând singuri la computerele lor. Ineficacitatea unor astfel de mandate este pusă la îndoială de lipsa unei distincții vizibile între munca de birou și munca la distanță, precum și de frustrarea pe care o experimentează angajații atunci când sunt obligați să se întoarcă.

Lucrătorii sunt obișnuiți cu productivitatea crescută și beneficiile unui echilibru dintre viața profesională și cea privată care vin odată cu munca de la distanță, cum ar fi capacitatea de a integra mai bine viața profesională și de familie și de a evita naveta lungi. Nemulțumirea rezultă din perturbarea acestor acorduri de o întoarcere forțată la birou. În plus, există percepția că lipsa muncii ar putea împiedica creșterea profesională.

În cele din urmă, Ma crede că dacă muncitorii sunt forțați să se întoarcă la locul de muncă în mod permanent, mulți dintre ei ar începe să caute alte profesii, iar cei care rămân ar putea deveni mai puțin motivați. Birourile de acasă sunt încă comune, deoarece oferă un echilibru mai bun între viața profesională și viața privată și rate mai scăzute de epuizare, în ciuda dezavantajelor lor. Nu există nicio diferență de productivitate vizibilă între lucrul de la distanță și într-un birou, iar lucrul de acasă poate fi la fel de alienant ca și distracția birourilor în plan deschis, unde angajații poartă frecvent căști pentru a se concentra. Ma sfătuiește ca echipele să aleagă câte zile doresc să lucreze la birou și să lase restul timpului flexibil, astfel încât angajații să își poată alege mediul de lucru preferat, chiar dacă contactele umane pot fi benefice companiilor.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

De ce revenirea la birou după pandemie poate afecta productivitatea: informații de la un expert în afaceri

[Google AI](https://ai.google/) a introdus recent o nouă funcție numită „Corectare” în Gboard, populara aplicație de tastatură mobilă. Cu o singură atingere, această caracteristică permite modificări și corecții fără întreruperi la nivel de propoziție și paragraf, îmbunătățind experiența generală de tastare.

## Abordarea problemei „degetului gras”.

[Gboard](https://support.google.com/gboard/?hl=en) folosește decodificarea statistică ca mijloc de a rezolva problema „degetului gras”, care este inexactitatea naturală a introducerii tactile pe ecranele mici. Cercetările arată că rata de eroare pe literă poate ajunge la 8 până la 9 procente fără decodare. Gboard vine cu mai multe funcții de corectare a erorilor pentru a face tastarea mai ușoară și mai fluidă. Aceste caracteristici combină sarcini manuale care implică aport uman cu corecții proactive și automate.

## Instrumente cuprinzătoare de corectare a erorilor

Tastarea este simplificată în mod colectiv de funcțiile Gboard, care includ completarea cuvintelor, predicțiile pentru cuvântul următor, corecția automată activă (AC) și corecția cu tastele active (KC). Aceste instrumente includ compoziția inteligentă, corectarea erorilor și candidați cu mai multe cuvinte în bara de sugestii sau în linie. Post-corecția (PC) facilitează, de asemenea, rectificarea erorilor în cuvintele care au fost deja comise. În ciuda acestor caracteristici, două restricții cheie afectează experiența utilizatorului.

1. În timp ce modelele de corecție pe dispozitiv, cum ar fi KC, AC și PC sunt rapide și compacte, întâmpină dificultăți în gestionarea erorilor sofisticate și complexe care necesită contexte mai lungi. Pentru a preveni activarea acestor modele, utilizatorii trebuie să tasteze încet și precis.

2. Viteza de tastare scade ca urmare a faptului că utilizatorii trebuie să corecteze manual cuvintele comise folosind verificatoare de gramatică și ortografie, care pot fi dificile din punct de vedere mental și vizual.

## Nevoia de corectare a erorilor la nivel înalt

Cei care dactilografiază rapid ignoră frecvent cuvintele pe care le-au tastat deja și se concentrează doar pe tastatură. Din aceasta pot apărea rate de eroare mai mari, necesitând folosirea unor mecanisme de corecție de nivel superior.

## Vă prezentăm Corectarea

Verificarea corectă rezolvă aceste reclamații frecvente, oferind creșteri notabile de productivitate. Face corectarea erorilor mai simplă, oferind corecții la nivel de propoziție și paragraf cu o singură atingere.

## Tehnologia din spatele corecturii

Funcția de corectare este alcătuită din patru componente principale: producția de date, proiectarea valorilor, modificarea modelului și difuzarea modelelor. Împreună, toate aceste componente garantează eficacitatea. Pentru a se asigura că distribuția datelor este în conformitate cu domeniul Gboard, sistemul imită erorile frecvente de la tastatură folosind o arhitectură sintetică a erorilor construită cu precizie și metodic.

## Valori avansate și optimizare a modelelor

Pentru a evalua modelul, cercetătorii au încorporat o serie de metrici, cu un accent deosebit pe verificările prezenței erorilor gramaticale și verificările de semnificație similară derivate din modelele de limbaj mari (LLM). Reglajul fin supravegheat și reglarea învățării prin întărire (RL) sunt utilizate în tehnica InstructGPT pentru a îmbunătăți modelul. Performanța de corectare a modelului este mult îmbunătățită prin această procedură.

## Implementare și performanță

Folosind cuantizarea pe 8 biți, LLM PaLM2-XS de dimensiuni medii este adaptat pentru a se potrivi într-un singur TPU v5 și servește drept bază pentru funcția de corectare. Optimizarea reduce costul de servire. Cercetările anterioare au demonstrat că segmentarea, decodificarea speculativă și cheile bucket pot reduce latența.

## Impact în lumea reală

Zeci de mii de utilizatori Pixel 8 vor beneficia de editările de înaltă calitate oferite de funcția de corectare, care este acum disponibilă. O generare amănunțită de date sintetice și mai multe iterații de reglare fină au produs un model care reduce substanțial erorile gramaticale, așa cum se vede printr-o scădere relativă de 5,74% a raportului Bad al modelului PaLM2-XS. În plus, optimizările au dus la o scădere cu 39,4% a latenței medii.

## Perspective de viitor

[Acest studiu](https://arxiv.org/abs/2406.04523) demonstrează modul în care LLM-urile pot îmbunătăți experiența utilizatorului și pot crea posibilități interesante pentru investigații suplimentare. Utilizarea datelor utilizatorilor reali, asistența multilingvă, asistența personalizată pentru scriere și soluțiile de confidențialitate ale dispozitivelor sunt câteva exemple de domenii care ar putea duce la progrese suplimentare în sector.

Google AI extinde posibilitățile tehnologiei tastaturii mobile prin introducerea funcției de corectare, îmbunătățind tastarea pentru oameni din întreaga lume.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI dezvăluie „Corectare”: funcția Gboard pentru corectarea fără efort a propozițiilor și a paragrafelor

Rețelele neuronale profunde moderne (DNN) sunt intrinsec opace, ceea ce face dificilă înțelegerea proceselor lor de luare a deciziilor. Această lipsă de transparență interferează cu implementarea extinsă a tehnicilor de învățare automată într-o varietate de domenii. Ca răspuns, Explainable AI (XAI) a apărut cu intenția de a îmbunătăți înțelegerea umană a judecăților DNN. Privind scopul funcțional al fiecărei componente, XAI se concentrează acum și pe înțelegerea comportamentului global al DNN-urilor, spre deosebire de metodele locale de explicație care folosesc hărți de proeminență pentru a explica predicțiile individuale.

Interpretabilitatea mecanicistă este o tehnică globală de explicabilitate care se concentrează pe identificarea ideilor particulare pe care neuronii, unitățile de calcul fundamentale ale unei rețele neuronale, au dobândit capacitatea de a le înțelege. Putem explica funcționarea reprezentărilor latente ale unei rețele etichetând neuronii cu descrieri care sunt ușor de înțeles pentru oameni. Aceste descrieri au progresat de la etichete simple la explicații elaborate, compoziționale și cu vocabular deschis. Cu toate acestea, lipsa unor metrici cantitative standardizate pentru evaluarea acestor descrieri de vocabular deschis a împiedicat comparațiile amănunțite între diferite abordări.

Pentru a aborda acest decalaj, cercetătorii de la ATB Potsdam, Universitatea din Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute și BIFOLD introduc [CoSy](https://arxiv.org/abs/2405.20331), un cadru de evaluare cantitativă de pionierat pentru evaluarea utilizării explicațiilor cu vocabular deschis în modelele de viziune computerizată (CV). Această metodă inovatoare folosește evoluțiile din IA generativă pentru a produce imagini artificiale care se corelează cu descrierile textuale bazate pe concepte. Cozy elimină necesitatea interacțiunii umane prin facilitarea comparațiilor cantitative ale diferitelor abordări de explicații textuale bazate pe concepte prin sintetizarea punctelor de date comune pentru anumite explicații țintă.

Echipa de cercetare a demonstrat printr-o meta-analiză extinsă că Cozy oferă evaluări fiabile ale explicațiilor. Studiul a descoperit că metodele de explicație textuală bazate pe concepte funcționează cel mai bine în straturile superioare ale rețelelor neuronale, unde sunt învățate concepte de nivel înalt. Explicațiile neuronilor de înaltă calitate sunt produse prin metode precum INVERT, care creează imagini vizuale din reprezentările rețelelor neuronale și CLIP-Dissect, care examinează reprezentările rețelelor interne. În schimb, tehnici precum MILAN și FALCON produc explicații de calitate inferioară, oferind ocazional concepte aproape aleatorii, ceea ce poate duce la concluzii inexacte ale rețelei.

Un dezavantaj major al CoSy, după cum recunosc cercetătorii, este că categoriile specifice din datele de antrenament ar putea să nu fi fost incluse în modelul generativ, ceea ce duce la explicații care sunt prea generale sau ambigue, cum ar fi „obiecte albe”. Precizia generativă ar putea fi crescută prin abordarea acestei probleme prin examinarea seturilor de date pre-antrenare și a performanței modelului. Chiar și totuși, Cozy prezintă mult potențial în domeniul în curs de dezvoltare al evaluării tehnicilor de explicație non-locale.

Privind în viitor, echipa are speranță în potențialele aplicații ale CoSy în mai multe domenii. Pentru a evalua plauzibilitatea sau calitatea unei explicații cu privire la rezultatul unei sarcini din aval, judecata umană trebuie inclusă în definiția calității explicației, pe care doresc să o abordeze în lucrările viitoare. În plus, doresc să includă domenii suplimentare precum procesarea limbajului natural și asistența medicală în sistemul lor de evaluare. Utilizarea potențială a Cozy pentru evaluarea modelelor de limbaj (LLM) mari, opace și autointerpretabile este deosebit de interesantă. Potrivit cercetătorilor, aplicarea Cozy la seturile de date de asistență medicală, unde calitatea explicației este importantă, ar putea fi un mare pas înainte. Aceste potențiale viitoare aplicații ale Cozy au un potențial enorm de a avansa cercetarea AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Înțelegerea rețelelor neuronale: Cadrul cantitativ CoSy pentru evaluarea explicațiilor textuale

[Modelele bazate pe transformatoare](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) sunt renumite pentru capacitatea lor de a analiza și interpreta text complex. Ei se bazează pe înțelegerea ordinii și contextului cuvintelor - sarcini la care metodele tradiționale de codificare pozițională și-au arătat limitele. Remediind acest decalaj, modelul ROFORMER, alimentat de **Rotary Position Embedding (RoPE)**, redefinește abordarea noastră cu privire la codificarea pozițională.

## Codificare pozițională tradițională

Transformers tratează textul ca pe o serie de jetoane și permit **procesarea paralelă a secvențelor** pentru o eficiență mai mare. Cu toate acestea, această forță și-a adus provocarea: **agnosticismul inerent al modelului la ordinea simbolului**. **Codificarea pozițională** a fost răspunsul, **furnând fiecărui jeton o semnătură unică care denotă poziția sa secvență**.

### Înglobări de poziție absolută

Inițial, modele precum BERT au folosit **înglobare de poziție absolută, atribuind un vector fix fiecărei poziții dintr-o secvență**. Această metodă, deși simplă, în mod inerent **nu are capacitatea de a se adapta la variațiile de lungime a secvenței sau de a sublinia distanțele relative dintre jetoane**, critice pentru înțelegerea multor constructe lingvistice.

### Înglobări de poziție relativă

Pentru a surprinde natura dinamică a limbajului, au fost introduse înglobări de poziție relativă, concentrându-se mai degrabă pe distanța dintre jetoane decât pe pozițiile lor absolute. În ciuda avantajului lor conceptual, aceste înglobări au introdus **complexitate computațională și nu au reușit să se integreze perfect în mecanismul de auto-atenție al Transformers**, limitându-le eficacitatea.

## ROFORMER și încorporarea poziției rotative

Recunoscând limitările strategiilor de codificare pozițională existente, ROFORMER introduce Rotary Position Embedding (RoPE), o abordare care combină beneficiile informațiilor despre poziție absolută și relativă, fără dezavantajele acestora.

### Încorporarea poziţiei rotative

RoPE codifică informațiile de poziție folosind **matrice de rotație**, permițând modelului să înțeleagă nu doar unde se află un jeton, ci și cum se leagă cu fiecare alt jeton dintr-o secvență.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Funcționează printr-o lentilă geometrică, tratând pozițiile jetonelor ca puncte într-un spațiu multidimensional care sunt rotite pentru a marca relațiile lor secvențiale. Această rotație permite modelului să păstreze și să exploateze indicii poziționali absoluti și relativi în cadrul mecanismului său de autoatenție.

### Implementarea RoPE

Implementarea RoPE implică codificarea poziției fiecărui jeton într-o matrice de rotație și aplicarea acestei matrice în cadrul mecanismului de auto-atenție al transformatorului. Acest proces permite o interpretare flexibilă și dinamică a informațiilor poziționale, găzduind lungimi variabile ale secvenței și captând esența interrelațiilor de simboluri fără suprasarcină de calcul semnificativă.

Mai întâi, veți avea nevoie de o funcție pentru a genera înglobările rotative, apoi veți integra aceste înglobări în modelul dvs. Exemplul de mai jos presupune că sunteți familiarizat cu crearea de straturi personalizate în Keras.

#### Pasul 1: Definiți funcția de încorporare rotativă

Această funcție generează înglobările rotative având în vedere lungimea maximă a secvenței și dimensionalitatea înglobărilor.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Această linie calculează inversul frecvențelor scalate exponențial pe baza indicilor de poziție. Aceste frecvențe sunt utilizate în generarea de modele sinusoidale pentru înglobări rotative, ceea ce ajută la codificarea informațiilor de poziție relativă în secvențe. Acest mecanism este deosebit de util în sarcinile în care înțelegerea ordinii și a poziționării relative a elementelor este crucială, cum ar fi procesarea limbajului natural sau analiza seriilor de timp.

In detalii:

- `tf.range(0, dim, 2, dtype=tf.float32)` creează un interval de valori începând de la 0 până la `dim` (exclusiv), trecând cu 2. Argumentul `dtype=tf.float32` specifică că elementele acestui tensor sunt numere în virgulă mobilă de 32 de biți. Dacă „dim” este 8, de exemplu, aceasta ar produce „[0, 2, 4, 6]”.

- Tensorul produs de `tf.range` este apoi împărțit la dimensionalitatea (`dim`) înglobărilor. Această operație micșorează acești indici la un interval între 0 și 1 (exclusiv dacă `dim` este par, ușor inclusiv dacă `dim` este impar, deoarece treapta de interval omite orice altă valoare). Continuând exemplul cu `dim` = 8, împărțind la 8 rezultă `[0,0, 0,25, 0,5, 0,75]`.

- Operația `10000 ** (...)` ridică 10.000 la puterea fiecărui element din tensorul scalat anterior. Baza de 10.000 este oarecum arbitrară, dar este aleasă pentru a se asigura că frecvențele variază pe o gamă largă, ceea ce ajută modelul să diferențieze mai eficient diferitele poziții. Pentru `[0.0, 0.25, 0.5, 0.75]`, ar aplica operația de putere fiecăruia, rezultând valori mult mai mari pentru elementele superioare.

- In final, frecventa inversa se obtine prin luarea reciproca (1/x) a valorilor din pasul anterior. Frecvențele inverse sunt mai mici pentru indici mai mari, ceea ce înseamnă că elementele mai departe din secvență vor avea frecvențe mai mici, afectând modul în care pozițiile lor sunt codificate în model. Acest lucru permite înglobărilor să se scaleze într-un mod în care pozițiile relative pot fi deduse prin mecanismele de atenție ale modelului.

Linia:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

folosește funcția `tf.einsum` a lui TensorFlow, un instrument care permite exprimarea concisă și eficientă a operațiilor tensorilor folosind notația de însumare Einstein.

Această operație calculează efectiv produsul exterior al vectorilor `t` și `inv_freq`, rezultând o matrice în care fiecare element `(i, j)` este produsul dintre `i`-lea element al lui `t` și ` j`-al-lea element al `inv_freq`. Această matrice (`frecvențe`) reprezintă frecvențele care sunt utilizate pentru a genera modelele sinusoidale pentru înglobările rotative.

#### Pasul 2: Strat Keras personalizat pentru înglobări rotative

Acum, să creăm un strat Keras personalizat care aplică înglobări rotative tensorului de intrare. Acest strat presupune că tensorul de intrare are forma `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Linia `embeddings = self.rotary_embeddings[:seq_len]` selectează subsetul adecvat de înglobări rotative precalculate pe baza lungimii secvenței de intrare curente. Deoarece lungimea secvențelor poate varia de la un lot la altul, această operație de tăiere asigură că sunt utilizate numai înglobările corespunzătoare lungimii reale a secvenței.

Variabila `embeddings` deține acum un tensor de formă `(seq_len, embedding_dim)`, unde `seq_len` este lungimea secvențelor din lotul curent, iar `embedding_dim` este dimensionalitatea înglobărilor. Acest tensor conține înglobările poziționale rotative pentru fiecare poziție din secvența până la `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combină transformările sinus și cosinus ale frecvențelor poziționale într-un singur tensor:

-`tf.cos(freqs)` și `tf.sin(freqs)` aplică transformările cosinus și, respectiv, sinus la tensorul `freqs`. Tensorul „frecvențe” conține valori de frecvență pentru fiecare poziție din secvența de intrare și fiecare dimensiune a spațiului de încorporare, calculate pe baza pozițiilor secvenței și a frecvențelor inverse ale dimensiunilor de încorporare. Funcțiile sinus și cosinus sunt aplicate în funcție de element, rezultând doi tensori de aceeași formă ca „frecvențe”. Aceste transformări ajută la codificarea poziției într-un mod care surprinde natura ciclică a relațiilor poziționale, facilitând capacitatea modelului de a înțelege pozițiile relative.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` concatenează tensorii transformați cosinus și sinus de-a lungul ultimei axe (notat cu `axis=-1`). Concatenarea acestor tensori unul lângă altul dublează efectiv dimensionalitatea tensorului „frecvențe”, prima jumătate reprezentând valori transformate în cosinus, iar a doua jumătate reprezentând valori transformate în sinus pentru fiecare poziție. Concatenarea asigură că fiecare codificare pozițională conține atât informații sinus, cât și cosinus, ceea ce permite păstrarea informațiilor atât despre amplitudinea, cât și despre faza semnalelor poziționale.

- Tensorul concatenat `emb` deține acum înglobările rotative complete pentru pozițiile de intrare. Forma lui `emb` va fi aceeași cu `freqs` în primele două dimensiuni (corespunzând pozițiilor secvenței și dimensiunilor de încorporare), dar ultima sa dimensiune va fi de două ori mai mare, luând în considerare atât valorile sinusului, cât și ale cosinusului. Aceste înglobări sunt utilizate pentru a modula înglobarile de intrare prin adăugarea de informații de poziție într-o manieră echivalentă rotațional.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Primele două puncte `:` înseamnă „selectați toate elementele din această dimensiune”, care, în acest caz, se referă la toate pozițiile din secvență.

2. „Niciunul” este folosit pentru a adăuga o dimensiune suplimentară, făcând tensorul tridimensional. Acest lucru se face adesea pentru a asigura compatibilitatea cu anumite operațiuni care așteaptă intrări de un anumit număr de dimensiuni. De exemplu, atunci când se efectuează înmulțirea în funcție de elemente cu un alt tensor care este tridimensional, formele trebuie să se alinieze conform regulilor de difuzare.

3. `:self.dim // 2`, selectează prima jumătate a cotelor din ultima axă. Deoarece „embedding_dimension” este dublată pentru a include atât valorile sinus, cât și valorile cosinus, împărțirea la 2 selectează efectiv doar componentele cosinus ale înglobărilor.

#### Pasul 3: Integrarea cu un model Keras

După definirea „RotaryEmbeddingLayer”, îl puteți integra în modelul Keras. Acest strat ar trebui aplicat pe înglobările dvs. înainte de a le introduce în straturi de atenție sau în orice straturi de model ulterioare.

Iată un exemplu simplificat de integrare a înglobărilor rotative într-un model:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Transformator îmbunătățit cu încorporare în poziție rotativă

[Link Arxiv](https://arxiv.org/abs/2403.13799)

20 martie 2024

## Blestemul inversării

Modelele de limbaj mari (LLM) precum [GPT-4](https://arxiv.org/abs/2303.08774) și [Llama-2](https://arxiv.org/abs/2307.09288) au demonstrat abilități impresionante de înțelegere și generarea de text asemănător omului, cuprinzând o gamă vastă de cunoștințe. Cu toate acestea, ei eșuează la o sarcină aparent simplă: inversarea faptelor învățate. Această limitare, numită „Blestemul de inversare”, implică faptul că LLM nu poate deduce că „B este o caracteristică a lui A” din învățarea „A are o caracteristică B”, o abilitate de raționament de bază pe care chiar și copiii o posedă. Această lucrare prezintă „Reverse Training”, o metodă nouă pentru a aborda această provocare prin folosirea unei abordări de antrenament în dublă direcție pentru a îmbunătăți înțelegerea faptelor de către model, atât în ​​format direct, cât și invers.

## Originile blestemului inversării

Problema apare din abordarea de formare fundamentală a LLM, care implică de obicei **învățare autoregresivă, de la stânga la dreapta**. Această metodă nu învață în mod inerent modelele să înțeleagă sau să genereze informații în ordine inversă. Având în vedere natura distribuției datelor conform legii lui Zipf, multe fapte sunt menționate doar într-o singură direcție, exacerbând această problemă. „Blestemul de inversare” limitează înțelegerea de către LLM a relațiilor reciproce și a echivalenței în declarații, marcând o deficiență semnificativă în capacitățile lor de raționament.

## Depășirea blestemului inversării cu antrenament invers

Soluția propusă, Reverse Training, dublează datele de antrenament disponibile, incluzând atât versiunile originale, cât și cele inversate ale șirurilor de antrenament. Procesul de inversare are grijă să nu modifice anumite subșiruri, cum ar fi numele de entități, menținându-și secvența originală pentru a păstra contextul. Această metodă, asemănătoare cu introducerea unei a doua limbi pe care să o învețe LLM, îmbunătățește semnificativ capacitatea modelului de a procesa și genera informații în ambele direcții.

## Testarea metodei de antrenament invers

Autorii au efectuat următoarele experimente pentru a testa metoda propusă:

**1- Sarcină inversă simbolică:** Un test de mediu controlat care demonstrează capacitatea metodei de a deduce și de a aplica relații inverse.

**2- Sarcina de inversare a biografiei:** Utilizarea unui set de date biografice pentru a evalua performanța în generarea numelor de persoane din detalii date, invers.

**3- Inversarea cunoștințelor din lumea reală:** Evaluarea eficacității metodei în scenarii din lumea reală, inclusiv inversarea faptelor despre celebrități și relațiile lor.

**4- Ajustare fină a faptelor fictive:** testarea capacității de învățare a modelului pe fapte fictive inversate recent introduse.

Pe parcursul acestor experimente, Antrenamentul invers nu numai că a atenuat Blestemul invers, dar, în unele cazuri, l-a eliminat complet. Metoda sa dovedit deosebit de eficientă atunci când numele entităților au fost păstrate în ordinea inițială în timpul procesului de inversare, subliniind importanța menținerii anumitor ancore contextuale.

## Implicații și direcții viitoare

Succesul antrenamentului invers în abordarea blestemului invers deschide noi căi pentru metodologiile de formare LLM. Prin îmbunătățirea înțelegerii de către modele a relațiilor reciproce și a echivalenței în declarații, această abordare deschide ușa către capacități de raționament mai sofisticate. Cercetările viitoare pot explora o optimizare suplimentară a procesului de inversare, potențialul de integrare a antrenamentului invers în alte arhitecturi de model de limbaj și aplicații mai largi ale acestei metode în înțelegerea limbajului natural și sarcinile de generare.

---

*Deveniți un profesionist în codificare în propriul ritm! Alăturați-vă Code Labs Academy a Code Labs Academy [Online Part-Time Bootcamp](/) și îmbunătățiți abilitățile în codificare. Adaptați-vă programul de învățare și începeți azi călătoria către tehnologie!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Antrenament invers pentru a îngriji blestemul invers

[Link Arxiv](https://arxiv.org/abs/2403.12015)

18 martie 2024

„Sinteza rapidă a imaginii de înaltă rezoluție cu distilare cu difuzie adversă latentă” prezintă o abordare nouă de distilare cunoscută sub numele de distilare cu difuzie adversară latentă (LADD). Această abordare este concepută pentru a aborda limitările [modelelor de difuzie] existente(https://en.wikipedia.org/wiki/Diffusion_model), în special provocarea vitezei lente de inferență, care împiedică aplicațiile în timp real. LADD permite sinteza imaginilor de înaltă rezoluție, cu raporturi multiple prin distilarea eficientă a [modelelor de difuzie latentă](https://arxiv.org/abs/2112.10752) (LDM), simplificând semnificativ procesul de antrenament și îmbunătățind performanța în comparație cu metodele anterioare .

Vom rezuma principalele concluzii din această lucrare.

## Introducere

Modelele de difuzie au apărut ca un instrument puternic pentru sinteza și editarea imaginilor și videoclipurilor, oferind rezultate de înaltă calitate. Cu toate acestea, natura lor iterativă, care necesită numeroase evaluări de rețea pentru a transforma zgomotul în imagini coerente, a limitat caracterul lor practic pentru aplicații în timp real. Au fost propuse diverse strategii pentru accelerarea modelelor de difuzie. LADD introduce o nouă strategie, valorificând caracteristicile generative de la LDM-uri preantrenate, permițând sinteza eficientă a imaginilor de înaltă rezoluție într-o fracțiune din pașii necesari de metodele tradiționale.

## Fundal

Lucrarea începe prin a oferi o prezentare generală a modelelor de difuzie și a [distilării] acestora (https://en.wikipedia.org/wiki/Knowledge_distillation). Modelele tradiționale de difuzie funcționează prin eliminarea treptată a zgomotului unei imagini prin mulți pași iterativi, făcând procesul lent și costisitor din punct de vedere computațional. Metodele de distilare, inclusiv [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), au căutat să simplifice acest proces prin reducerea numărului de pași necesari. Cu toate acestea, ADD se confruntă cu limitări, cum ar fi o rezoluție fixă ​​de antrenament și necesitatea decodării în spațiul RGB pentru distilarea modelelor de difuzie latentă, ceea ce poate limita antrenamentul de înaltă rezoluție.

## Metodologie

LADD abordează aceste probleme **distilând direct în spațiul latent**, **evitând astfel necesitatea decodării în spațiu de pixeli** și permițând antrenamentul la rezoluții mai mari. Spre deosebire de ADD, care se bazează pe un discriminator pre-antrenat care funcționează în spațiul pixelilor, LADD utilizează o abordare nouă în care modelul discriminator și profesorul sunt unificate, operând direct pe latente. Această metodă nu numai că simplifică procesul de antrenament, dar oferă și mai multe avantaje, inclusiv eficiență, capacitatea de a oferi feedback specific la nivel de zgomot și capacitatea de antrenament cu raporturi multiple (MAR).

## Experimente și rezultate

Lucrarea evaluează pe larg LADD prin diverse experimente, demonstrând performanța sa superioară în sintetizarea imaginilor de înaltă rezoluție cu doar câțiva pași. În special, atunci când este aplicat la [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD are ca rezultat un model numit SD3-Turbo, care realizează o calitate a imaginii comparabilă cu cea de stat- generatoare de ultimă generație text-to-image în doar patru pași. Experimentele explorează, de asemenea, impactul diferitelor distribuții ale zgomotului profesorilor, utilizarea datelor sintetice, abordările de distilare latentă și comportamentul de scalare al LADD.

## Comparație cu stadiul tehnicii

Eficacitatea LADD este subliniată în continuare printr-o comparație cu metodele actuale de vârf în sinteza text-to-image și imagine-to-image. SD3-Turbo nu numai că se potrivește cu performanța modelului său de profesor (SD3) în ceea ce privește calitatea imaginii, dar demonstrează și îmbunătățiri semnificative față de alte linii de bază în ceea ce privește viteza de inferență și alinierea imagine-text.

## Limitări și direcții viitoare

În ciuda progreselor sale, LADD nu este lipsită de limitări. Autorii notează un compromis între capacitatea modelului, alinierea promptă și viteza de inferență, care ar putea afecta capacitatea modelului de a face față anumitor provocări de sinteză text-imagine. Direcțiile viitoare de cercetare includ explorarea mai profundă a acestui compromis și dezvoltarea de strategii pentru a îmbunătăți controlul asupra punctelor forte de ghidare a imaginii și a textului.

## Concluzie

„Sinteza rapidă a imaginii de înaltă rezoluție cu distilare latentă de difuzie adversară” introduce o nouă abordare a sintezei imagini/video care accelerează semnificativ generarea de imagini de înaltă calitate din mesajele text. Prin distilarea modelelor mari de difuzie în spațiul latent, LADD deschide calea pentru aplicații în timp real și stabilește un nou standard pentru eficiență și performanță în sinteza imaginilor.

---

*Code Labs Academy: [Coding online Bootcamp](/) cu planuri de plată flexibile*

Lucrări explicate

De ce revenirea la birou după pandemie poate afecta productivitatea: informații de la un expert în afaceri