Īpaši lielākos uzņēmumos pēc Covid-19 pandēmijas ir bijusi manāma atgriešanās pie pieprasīšanas darbiniekiem strādāt birojā. [Marks Ma](https://business.pitt.edu/professors/mark-ma/), biznesa administrācijas asociētais profesors Džozefa M. Katza Biznesa augstskolā Pitsburgas Universitātē, un Juje Dinga, Doktorants, ir[izpētījis šo modeli](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Viņi ir aplūkojuši attālinātā darba socioloģisko un ekonomisko ietekmi, kā arī neseno uzņēmumu iniciatīvu atgriezt darbiniekus birojā, kas bieži vien kaitina darbiniekus.

Ma [intervijā ar Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) apgalvo, ka arvien digitālāka darba vide, liekot darbiniekiem atgriezties birojā, viņus tikai aizkaitina un nepalielina produktivitāti. Tomēr viņš atzīst, ka, ja to veic brīvprātīgi un ar komandas atbalstu, darbs klātienē var būt izdevīgs un veicināt labāku koordināciju un komandas darbu.

Ma ierosina, ka cilvēkiem ar augstu veiktspēju, kas ir pierādījuši savu efektivitāti, strādājot no mājām, būtu jāļauj turpināt to darīt, nevis jāļauj visiem strādāt birojā. Viņš domā, ka, saglabājot izcilus cilvēkus, kuri citādi varētu meklēt darbu citur, šī stratēģija galu galā dos labumu gan darba devējiem, gan darbiniekiem. Ma arī iesaka regulārus komandas veidošanas vingrinājumus personīgi, lai uzņēmuma kultūra būtu stabila, kas ir būtiska efektīvai ideju ģenerēšanai un problēmu risināšanai.

Šķiet, ka šīs tendences virsotne ir pārgājusi, lai gan vairāki uzņēmumi pieprasīja darbiniekiem atgriezties birojā pēc pandēmijas. Saskaņā ar 2024. gadā veiktajām aptaujām lielākā daļa vadītāju vairs nepievērš augstu nozīmi atrašanās birojā. Uzņēmumi uzzināja, ka pandēmijas laikā darbinieki var būt diezgan produktīvi, strādājot attālināti. Taču citiem vadītājiem joprojām ir bažas par attālinātu darbu, tāpēc viņi iestājas par atgriešanos birojā. Uzticības trūkuma dēļ var ciest darbinieku morāle, jo tā darbiniekiem norāda, ka viņu vadītāji viņiem netic.

Neskatoties uz to, ka tāldarbs var samazināt pieskaitāmās izmaksas un telpas prasības, lielie uzņēmumi vēlas, lai viņu darbinieki atgrieztos, kas palielina iespēju, ka kontrole un jauda šeit ir svarīgāka nekā cena. Ma norāda, ka daudzi uzņēmumi ieviesa atgriešanās politiku, reaģējot uz akciju cenu kritumu, ērti izmantojot attālo darbu kā parocīgu grēkāzi sliktas darbības nodrošināšanai.

Neskatoties uz to, ka joprojām ir liels pieprasījums pēc attālināta darba — daudzas biroja telpas lielākajās pilsētās, piemēram, Ņujorkā, Sanfrancisko un Vācijā, ir brīvas, vadītāji joprojām uzskata, ka darbinieku pieņemšana klātienē uzlabos sadarbību un uzņēmējdarbības kultūru. Taču tā vietā, lai strādātu kopā ar kolēģiem, daudzi darbinieki, kuri ir atgriezušies birojā, saka, ka lielāko daļu sava laika pavada, strādājot vieni pie sava datora. Šādu mandātu neefektivitāti apšauba tas, ka nav saskatāmas atšķirības starp biroja un attālo darbu, kā arī neapmierinātība, ko darbinieki izjūt, kad viņi ir spiesti atgriezties.

Darba ņēmēji ir pieraduši pie paaugstinātas produktivitātes un darba un privātās dzīves līdzsvara priekšrocībām, kas rodas, strādājot attālināti, piemēram, iespējas labāk integrēt darbu un ģimenes dzīvi un izvairīties no ilgstošām braukšanām. Neapmierinātība rodas tāpēc, ka šīs vienošanās tiek izjauktas, piespiedu kārtā atgriežoties birojā. Turklāt pastāv uzskats, ka darba trūkums var kavēt profesionālo izaugsmi.

Galu galā Ma domā, ka gadījumā, ja strādnieki ir spiesti atgriezties darba vietā uz pastāvīgu laiku, daudzi no viņiem sāktu meklēt citas profesijas, un tās, kuras paliek, varētu kļūt mazāk motivētas. Mājas biroji joprojām ir izplatīti, jo tie nodrošina labāku darba un privātās dzīves līdzsvaru un zemāku izdegšanas līmeni, neskatoties uz to trūkumiem. Nav saskatāmas atšķirības starp darbu attālināti un birojā, un darbs no mājām var būt tikpat atsvešināts kā atvērtā plānojuma biroji, kuros darbinieki bieži lieto austiņas, lai koncentrētos. Ma iesaka komandām izvēlēties, cik dienas viņi vēlas strādāt birojā, un atlikušo laiku atstāt elastīgu, lai darbinieki varētu izvēlēties sev vēlamo darba vidi, lai gan cilvēciskie kontakti var būt izdevīgi uzņēmumiem.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Kāpēc atgriešanās birojā pēc pandēmijas var negatīvi ietekmēt produktivitāti: biznesa eksperta ieskati

[Google AI](https://ai.google/) nesen populārajā mobilās tastatūras lietojumprogrammā Gboard ieviesa jaunu funkciju, ko sauc par Korektūru. Ar vienu pieskārienu šī funkcija ļauj veikt nemanāmas izmaiņas un labojumus teikuma un rindkopas līmenī, uzlabojot vispārējo rakstīšanas pieredzi.

## “Resnā pirksta” problēmas risināšana

[Gboard](https://support.google.com/gboard/?hl=lv) izmanto statistisko dekodēšanu, lai risinātu “resnā pirksta” problēmu, kas ir dabiska neprecizitāte skāriena ievadei mazos ekrānos. Pētījumi liecina, ka kļūdu īpatsvars uz burtu var sasniegt 8 līdz 9 procentus bez dekodēšanas. Gboard ir aprīkots ar vairākām kļūdu labošanas funkcijām, lai rakstītu vieglāk un vienmērīgāk. Šīs funkcijas apvieno manuālus uzdevumus, kas saistīti ar cilvēka ieguldījumu, ar proaktīvām, automatizētām korekcijām.

## Visaptveroši kļūdu labošanas rīki

Rakstīšanu kopumā atvieglo Gboard funkcijas, tostarp vārdu pabeigšana, nākamā vārda prognozes, aktīva automātiskā korekcija (AC) un aktīvā taustiņu labošana (KC). Šie rīki ietver viedo kompozīciju, kļūdu labošanu un vairāku vārdu kandidātus ieteikumu joslā vai iekļautajā rindā. Pēclabošana (PC) arī atvieglo jau pieļauto vārdu kļūdu labošanu. Neskatoties uz šīm funkcijām, divi galvenie ierobežojumi pasliktina lietotāja pieredzi.

1. Lai gan ierīcē iebūvētie korekcijas modeļi, piemēram, KC, AC un PC, ir ātri un kompakti, tiem ir grūti rīkoties ar sarežģītām un sarežģītām kļūdām, kurām nepieciešams ilgāks konteksts. Lai novērstu šo modeļu aktivizēšanu, lietotājiem ir jāraksta lēni un precīzi.

2. Rakstīšanas ātrums samazinās, jo lietotājiem ir manuāli jālabo ievadītie vārdi, izmantojot gramatikas un pareizrakstības pārbaudītājus, kas var būt garīgi un vizuāli apgrūtinoši.

## Nepieciešamība pēc augsta līmeņa kļūdu labošanas

Ātri rakstītāji bieži neņem vērā vārdus, kurus viņi jau ir uzrakstījuši, un koncentrējas tikai uz tastatūru. Tā rezultātā var rasties augstāks kļūdu līmenis, tādēļ ir jāizmanto teikuma vai augstāka līmeņa korekcijas mehānismi.

## Iepazīstinām ar Korektūru

Korektūra atrisina šīs biežās sūdzības, piedāvājot ievērojamu produktivitātes pieaugumu. Tas padara kļūdu labošanu vienkāršāku, nodrošinot teikuma un rindkopas līmeņa labojumus ar vienu pieskārienu.

## Korektūras tehnoloģija

Korektūras funkciju veido četri galvenie komponenti: datu veidošana, metrikas dizains, modeļu pielāgošana un modeļa apkalpošana. Visi šie komponenti kopā garantē efektivitāti. Lai nodrošinātu datu izplatīšanas atbilstību Gboard domēnam, sistēma atdarina biežas tastatūras kļūdas, izmantojot precīzi un metodiski izveidotu kļūdu sintētisko arhitektūru.

## Papildu metrika un modeļu optimizācija

Lai novērtētu modeli, pētnieki ir iekļāvuši vairākus rādītājus, īpašu uzmanību pievēršot gramatisko kļūdu klātbūtnes pārbaudēm un līdzīgām nozīmes pārbaudēm, kas iegūtas no lielajiem valodu modeļiem (LLM). Lai uzlabotu modeli, InstructGPT tehnikā tiek izmantota uzraudzīta precizēšana un pastiprināšanas mācīšanās (RL) regulēšana. Šī procedūra ievērojami uzlabo modeļa korektūru.

## Izvietošana un veiktspēja

Izmantojot 8 bitu kvantēšanu, vidēja izmēra LLM PaLM2-XS ir pielāgots tā, lai tas ietilptu vienā TPU v5 un kalpo par pamatu Korektūras funkcijai. Optimizācija samazina apkalpošanas izmaksas. Iepriekšējie pētījumi ir parādījuši, ka segmentācija, spekulatīva dekodēšana un segmenta atslēgas var samazināt latentumu.

## Ietekme uz reālo pasauli

Desmitiem tūkstošu Pixel 8 lietotāju gūs labumu no augstas kvalitātes labojumiem, ko nodrošina tagad pieejamā funkcija Korektūra. Rūpīga sintētisko datu ģenerēšana un vairākas precizēšanas iterācijas ir radījušas modeli, kas ievērojami samazina gramatisko kļūdu skaitu, par ko liecina PaLM2-XS modeļa Bad koeficienta relatīvais samazinājums par 5,74%. Turklāt optimizācijas rezultātā vidējais latentums ir samazinājies par 39,4%.

## Nākotnes izredzes

[Šis pētījums](https://arxiv.org/abs/2406.04523) parāda, kā LLM var uzlabot lietotāju pieredzi un radīt intriģējošas iespējas turpmākai izpētei. Reālu lietotāju datu izmantošana, daudzvalodu atbalsts, pielāgota rakstīšanas palīdzība un ierīces privātuma risinājumi ir daži piemēri jomām, kas varētu veicināt turpmākus sasniegumus šajā nozarē.

Google AI paplašina mobilās tastatūras tehnoloģijas iespējas, ieviešot Korektūras funkciju, uzlabojot rakstīšanu cilvēkiem visā pasaulē.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google mākslīgais intelekts iepazīstina ar "korektūru": Gboard funkcija bez piepūles teikumu un rindkopu labošanai

Mūsdienu dziļie neironu tīkli (DNN) pēc būtības ir necaurredzami, tāpēc ir grūti izprast to lēmumu pieņemšanas procesus. Šis pārredzamības trūkums traucē plaši ieviest mašīnmācības metodes dažādās jomās. Atbildot uz to, ir parādījies izskaidrojams AI (XAI), kura mērķis ir uzlabot cilvēku izpratni par DNN spriedumiem. Aplūkojot katra komponenta funkcionālo mērķi, XAI tagad koncentrējas arī uz DNN globālās uzvedības izpratni, atšķirībā no vietējām skaidrošanas metodēm, kurās tiek izmantotas pamanāmības kartes, lai izskaidrotu individuālās prognozes.

Mehāniskā interpretācija ir globāla izskaidrojamības paņēmiens, kas koncentrējas uz konkrētu ideju noteikšanu, kuras neironi, neironu tīkla pamata skaitļošanas vienības, ir ieguvuši spēju saprast. Mēs varam izskaidrot tīkla latento attēlojumu darbību, marķējot neironus ar cilvēkiem saprotamiem aprakstiem. Šie apraksti ir virzījušies no vienkāršām etiķetēm līdz detalizētiem, kompozīcijas un atklāta vārdu krājuma skaidrojumiem. Tomēr standartizētas kvantitatīvās metrikas trūkums šo atklātā vārdnīcas aprakstu novērtēšanai ir kavējis rūpīgus salīdzinājumus dažādās pieejās.

Lai novērstu šo plaisu, pētnieki no ATB Potsdamas, Potsdamas Universitātes, TU Berlīnes, Fraunhofer Heinrich-Hertz-Institute un BIFOLD ievieš [CoSy](https://arxiv.org/abs/2405.20331), novatorisku kvantitatīvās novērtēšanas sistēmu atklātā vārdnīcas skaidrojumu izmantošanas novērtējums datorredzes (CV) modeļos. Šī novatoriskā metode izmanto ģeneratīvā AI attīstību, lai radītu mākslīgus attēlus, kas korelē ar konceptuāliem teksta aprakstiem. omulīgs novērš nepieciešamību pēc cilvēka mijiedarbības, atvieglojot dažādu uz jēdzieniem balstītu tekstuālu skaidrojumu pieeju kvantitatīvu salīdzināšanu, sintezējot datu punktus, kas ir kopīgi konkrētiem mērķa skaidrojumiem.

Pētnieku grupa, izmantojot plašu metaanalīzi, pierādīja, ka Cozy piedāvā ticamus skaidrojumu novērtējumus. Pētījumā atklājās, ka uz jēdzieniem balstītas teksta skaidrošanas metodes vislabāk darbojas neironu tīklu augšējos slāņos, kur tiek apgūti augsta līmeņa jēdzieni. Augstas kvalitātes neironu skaidrojumi tiek iegūti ar tādām metodēm kā INVERT, kas veido vizuālos attēlus no neironu tīkla attēlojumiem, un CLIP-Dissect, kas pārbauda iekšējo tīklu attēlojumus. Un otrādi, tādas metodes kā MILAN un FALCON rada zemākas kvalitātes skaidrojumus, dažkārt sniedzot gandrīz nejaušus jēdzienus, kas var izraisīt neprecīzus tīkla secinājumus.

Galvenais CoSy trūkums, kā atzīst pētnieki, ir tas, ka konkrētas kategorijas no apmācības datiem, iespējams, nav iekļautas ģeneratīvajā modelī, kā rezultātā rodas pārāk vispārīgi vai neskaidri skaidrojumi, piemēram, "balti objekti". Ģeneratīvo precizitāti var palielināt, risinot šo problēmu, pārbaudot pirmsapmācības datu kopas un modeļa veiktspēju. Tomēr mājīgajam ir liels potenciāls joprojām attīstās nelokālo skaidrošanas metožu novērtēšanas jomā.

Raugoties nākotnē, komanda cer uz CoSy potenciālajiem lietojumiem vairākās jomās. Lai novērtētu paskaidrojuma ticamību vai kvalitāti attiecībā uz pakārtota uzdevuma rezultātu, skaidrojuma kvalitātes definīcijā ir jāiekļauj cilvēka spriedums, uz kuru viņi vēlas pievērsties turpmākajā darbā. Turklāt viņi vēlas savā vērtēšanas sistēmā iekļaut papildu jomas, piemēram, dabiskās valodas apstrādi un veselības aprūpi. Īpaši aizraujoša ir iespēja izmantot mājīgumu lielu, necaurspīdīgu, automātiski interpretējamu valodu modeļu (LLM) novērtēšanai. Pēc pētnieku domām, mājīga izmantošana veselības aprūpes datu kopām, kur svarīga ir skaidrojuma kvalitāte, varētu būt liels solis uz priekšu. Šiem potenciālajiem mājīguma nākotnes pielietojumiem ir milzīgs potenciāls veicināt AI izpēti.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Neironu tīklu izpratne: CoSy kvantitatīvais ietvars tekstuālo skaidrojumu novērtēšanai

[Uz transformatoriem balstīti modeļi](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) ir slaveni ar savu spēju parsēt un interpretēt sarežģītu tekstu. Viņi paļaujas uz vārdu secības un konteksta izpratni - uzdevumiem, kuros tradicionālās pozicionālās kodēšanas metodes ir parādījušas savas robežas. Lai novērstu šo plaisu, ROFORMER modelis, ko darbina **Rotary Position Embedding (RoPE)**, no jauna definē mūsu pieeju pozicionālajai kodēšanai.

## Tradicionālais pozīcijas kodējums

Transformatori uztver tekstu kā marķieru sēriju un ļauj **paralēli apstrādāt secības**, lai nodrošinātu lielāku efektivitāti. Tomēr šis spēks radīja savu izaicinājumu: **modelim raksturīgais agnosticisms simboliskā secībā**. **Pozicionālais kodējums** bija atbilde, **nodrošinot katram marķierim unikālu parakstu, kas apzīmē tā secības pozīciju**.

### Absolūtās pozīcijas iegulšana

Sākotnēji tādi modeļi kā BERT izmantoja **absolūtās pozīcijas iegulšanu, katrai secības pozīcijai piešķirot fiksētu vektoru**. Lai gan šī metode ir vienkārša, tai pēc būtības **pietrūkst spējas pielāgoties secības garuma variācijām vai uzsvērt relatīvos attālumus starp marķieriem**, kas ir būtiski daudzu lingvistisko konstrukciju izpratnei.

### Relatīvās pozīcijas iegulšana

Lai uztvertu valodas dinamisko raksturu, tika ieviesti relatīvās pozīcijas ieguljumi, koncentrējoties uz attālumu starp marķieriem, nevis uz to absolūtajām pozīcijām. Neskatoties uz to konceptuālajām priekšrocībām, šie ieguljumi radīja **skaitļošanas sarežģītību un nespēja nemanāmi integrēties Transformeru uzmanības pievēršanas mehānismā**, ierobežojot to efektivitāti.

## ROFORMER un Rotary Position iegulšana

Atzīstot esošo pozicionālās kodēšanas stratēģiju ierobežojumus, ROFORMER ievieš Rotary Position Embedding (RoPE) – pieeju, kas apvieno absolūtās un relatīvās pozīcijas informācijas priekšrocības bez to attiecīgiem trūkumiem.

### Rotācijas pozīcijas iegulšana

RoPE kodē pozīcijas informāciju, izmantojot **rotācijas matricas**, ļaujot modelim saprast ne tikai to, kur atrodas marķieris, bet arī to, kā tas ir saistīts ar katru citu marķieri pēc kārtas.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Tas darbojas caur ģeometrisku lēcu, apstrādājot marķiera pozīcijas kā punktus daudzdimensiju telpā, kas tiek pagriezti, lai atzīmētu to secīgās attiecības. Šī rotācija ļauj modelim saglabāt un izmantot gan absolūtās, gan relatīvās pozicionālās norādes tā pašapziņas mehānismā.

### Troses ieviešana

RoPE ieviešana ietver katra marķiera pozīcijas kodēšanu rotācijas matricā un šīs matricas pielietošanu transformatora pašapziņas mehānismā. Šis process ļauj elastīgi, dinamiski interpretēt pozicionālo informāciju, pielāgojot dažādus secību garumus un tverot marķieru savstarpējo attiecību būtību bez ievērojamām skaitļošanas izmaksām.

Pirmkārt, jums būs nepieciešama funkcija, lai ģenerētu rotējošo iegulšanu, un pēc tam šīs iegulšanas integrēsiet savā modelī. Tālāk sniegtajā piemērā tiek pieņemts, ka esat iepazinies ar pielāgotu slāņu izveidi programmā Keras.

#### 1. solis: definējiet rotācijas iegulšanas funkciju

Šī funkcija ģenerē rotējošās iegulšanas, ņemot vērā maksimālo secības garumu un iegulšanas izmēru.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Šī līnija aprēķina eksponenciāli mērogotu frekvenču apgriezto vērtību, pamatojoties uz pozīcijas indeksiem. Šīs frekvences tiek izmantotas, lai ģenerētu sinusoidālus modeļus rotācijas iegulšanai, kas palīdz secībās kodēt relatīvo pozīcijas informāciju. Šis mehānisms ir īpaši noderīgs uzdevumos, kuros elementu secības un relatīvā novietojuma izpratne ir ļoti svarīga, piemēram, dabiskās valodas apstrādē vai laikrindu analīzē.

Sīkāk:

- "tf.range(0, dim, 2, dtype=tf.float32)" izveido vērtību diapazonu, sākot no 0 līdz "dim" (izņemot), soli pa 2. Arguments "dtype=tf.float32" norāda ka šī tenzora elementi ir 32 bitu peldošā komata skaitļi. Piemēram, ja “dim” ir 8, tiek iegūts “[0, 2, 4, 6]”.

- Tf.range radītais tenzors tiek dalīts ar iegulto dimensiju (“dim”). Šī darbība samazina šos indeksus līdz diapazonam no 0 līdz 1 (izņemot, ja "dim" ir pāra, nedaudz iekļaujot, ja "dim" ir nepāra, jo diapazona solis izlaiž katru otro vērtību). Turpinot piemēru ar "dim" = 8, dalot ar 8, iegūst "[0,0, 0,25, 0,5, 0,75]".

- Darbība `10000** (...) paaugstina 10 000 līdz katra elementa jaudai iepriekš mērogotajā tensorā. Bāze 10 000 ir zināmā mērā patvaļīga, taču tā ir izvēlēta, lai nodrošinātu, ka frekvences mainās plašā diapazonā, kas palīdz modelim efektīvāk atšķirt dažādas pozīcijas. Ja parametrs ir “[0,0, 0,25, 0,5, 0,75]”, katram no tiem tiktu piemērota jaudas darbība, kā rezultātā vērtības būtu daudz lielākas augstākiem elementiem.

- Visbeidzot, apgrieztā frekvence tiek iegūta, ņemot apgriezto vērtību (1/x) no iepriekšējās darbības vērtībām. Apgrieztās frekvences ir mazākas augstākiem indeksiem, kas nozīmē, ka elementiem, kas atrodas tālāk secībā, būs mazākas frekvences, kas ietekmē to, kā to pozīcijas tiek kodētas modelī. Tas ļauj iegulšanu mērogot tādā veidā, ka relatīvās pozīcijas var secināt, izmantojot modeļa uzmanības mehānismus.

Līnija:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

izmanto TensorFlow funkciju `tf.einsum' — rīku, kas ļauj kodolīgi un efektīvi izteikt tenzora darbības, izmantojot Einšteina summēšanas apzīmējumu.

Šī darbība efektīvi aprēķina vektoru "t" un "inv_freq" ārējo reizinājumu, kā rezultātā tiek iegūta matrica, kurā katrs elements "(i, j)" ir "t" un "i" elementa reizinājums. j`-tais “inv_freq” elements. Šī matrica (frekvences) attēlo frekvences, kas tiek izmantotas, lai ģenerētu sinusoidālos modeļus rotācijas iegulšanai.

#### 2. darbība: pielāgots Keras slānis rotācijas iegulšanai

Tagad izveidosim pielāgotu Keras slāni, kas ievades tensoram izmanto rotācijas iegulšanu. Šajā slānī tiek pieņemts, ka ievades tensoram ir forma “(partijas_lielums, secības_garums, iegulšanas_dim)”.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Rindā “embeddings = self.rotary_embeddings[:seq_len]” tiek atlasīta atbilstošā iepriekš aprēķināto rotācijas iegulto apakškopa, pamatojoties uz pašreizējo ievades secības garumu. Tā kā secību garums dažādās partijās var atšķirties, šī sadalīšanas darbība nodrošina, ka tiek izmantoti tikai tie ieguljumi, kas atbilst faktiskajam secības garumam.

Mainīgajam “embeddings” tagad ir formas tenzors “(seq_len, embedding_dim)”, kur “seq_len” ir pašreizējās partijas secību garums, bet “embedding_dim” ir iegulto elementu izmēri. Šis tensors satur rotācijas pozicionālo iegulšanu katrai pozīcijai secībā līdz "seq_len".

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' apvieno pozicionālo frekvenču sinusa un kosinusa transformācijas vienā tensorā:

- "tf.cos(freqs)" un "tf.sin(freqs)" piemēro kosinusa un sinusa transformācijas attiecīgi "freqs" tensoram. Tensors Freqs satur frekvenču vērtības katrai pozīcijai ievades secībā un katrai iegulšanas telpas dimensijai, kas aprēķinātas, pamatojoties uz secības pozīcijām un iegulšanas dimensiju apgrieztajām frekvencēm. Sinusa un kosinusa funkcijas tiek pielietotas elementāri, kā rezultātā tiek iegūti divi tenzori ar tādu pašu formu kā `frekvence`. Šīs transformācijas palīdz kodēt pozīciju tādā veidā, kas atspoguļo pozicionālo attiecību ciklisko raksturu, atvieglojot modeļa spēju izprast relatīvās pozīcijas.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' savieno kosinusa un sinusa pārveidotos tenzorus pa pēdējo asi (apzīmēta ar `axis=-1`). Šo tensoru savienošana blakus efektīvi dubulto 'frekvenču' tensora dimensiju, un pirmā puse attēlo kosinusa pārveidotās vērtības, bet otrā puse - sinusotransformētas vērtības katrai pozīcijai. Savienošana nodrošina, ka katrs pozicionālais kodējums satur gan sinusa, gan kosinusa informāciju, kas ļauj saglabāt informāciju gan par pozicionālo signālu amplitūdu, gan fāzi.

- Savienotajā tensorā “emb” tagad ir visi ievades pozīciju rotējošie ieguljumi. “emb” forma būs tāda pati kā “freqs” pirmajās divās dimensijās (atbilst secības pozīcijām un iegulšanas izmēriem), taču tā pēdējā dimensija būs divreiz lielāka, ņemot vērā gan sinusa, gan kosinusa vērtības. Šīs iegulšanas tiek izmantotas, lai modulētu ievades iegulšanu, pievienojot pozīcijas informāciju rotācijas līdzvērtīgā veidā.

-`cos_emb = iegulšanas[:, Nav, :self.dim // 2]`:

1. Pirmais kols `:` nozīmē "atlasīt visus elementus šajā dimensijā", kas šajā gadījumā attiecas uz visām pozīcijām secībā.

2. Neviens tiek izmantots, lai pievienotu papildu dimensiju, padarot tensoru trīsdimensiju. Tas bieži tiek darīts, lai nodrošinātu savietojamību ar noteiktām operācijām, kas sagaida ievadi ar noteiktu izmēru skaitu. Piemēram, veicot elementu reizināšanu ar citu tensoru, kas ir trīsdimensiju, formām ir jāsaskaņo saskaņā ar apraides noteikumiem.

3. `:self.dim // 2`, atlasa dimensiju pirmo pusi pēdējā asī. Tā kā parametrs “embedding_dimension” ir dubultots, lai iekļautu gan sinusa, gan kosinusa vērtības, dalot ar 2, tiek atlasīti tikai iegulšanas kosinusa komponenti.

#### 3. darbība. Integrācija ar Keras modeli

Pēc `RotaryEmbeddingLayer` definēšanas varat to integrēt savā Keras modelī. Šis slānis ir jāuzklāj jūsu iegulumiem, pirms tos ievadāt uzmanības slāņos vai jebkuros turpmākajos modeļa slāņos.

Tālāk ir sniegts vienkāršots piemērs, kā modelī integrēt rotējošo iegulšanu.

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: uzlabots transformators ar rotācijas pozīcijas iegulšanu

[Arxiv Link](https://arxiv.org/abs/2403.13799)

2024. gada 20. marts

## Apvērsuma lāsts

Lielie valodu modeļi (LLM), piemēram, [GPT-4](https://arxiv.org/abs/2303.08774) un [Llama-2](https://arxiv.org/abs/2307.09288), ir pierādījuši iespaidīgas izpratnes spējas. un ģenerēt cilvēkiem līdzīgu tekstu, kas ietver plašu zināšanu klāstu. Tomēr viņiem neizdodas veikt šķietami vienkāršu uzdevumu: mainīt apgūtos faktus. Šis ierobežojums, ko sauc par "apgriezto lāstu", nozīmē, ka LLM nevar secināt, ka "B ir A iezīme", mācoties "A ir iezīme B", kas ir pamata spriešanas prasme, kas piemīt pat bērniem. Šis raksts iepazīstina ar "Reverse Training", jaunu metodi, lai risinātu šo izaicinājumu, izmantojot divvirzienu apmācības pieeju, lai uzlabotu modeļa izpratni par faktiem gan uz priekšu, gan apgrieztā formātā.

## Apgrieztā lāsta izcelsme

Problēma rodas no LLM fundamentālās apmācības pieejas, kas parasti ietver **autoregresīvu mācīšanos no kreisās uz labo pusi**. Šī metode pēc būtības nemāca modeļiem saprast vai ģenerēt informāciju apgrieztā secībā. Ņemot vērā datu izplatīšanas raksturu saskaņā ar Zipf likumu, daudzi fakti ir minēti tikai vienā virzienā, saasinot šo problēmu. "Apgrieztais lāsts" ierobežo LLM izpratni par savstarpējām attiecībām un apgalvojumu līdzvērtību, iezīmējot būtisku trūkumu viņu argumentācijas spējās.

## Apgrieztā lāsta pārvarēšana ar apgrieztu apmācību

Piedāvātais risinājums Reverse Training divkāršo pieejamos treniņu datus, iekļaujot gan oriģinālās, gan apgrieztās apmācības virkņu versijas. Apvērsuma process ir uzmanīgs, lai netiktu mainītas noteiktas apakšvirknes, piemēram, entītiju nosaukumus, saglabājot to sākotnējo secību, lai saglabātu kontekstu. Šī metode, kas līdzinās otras valodas ieviešanai LLM apguvei, ievērojami uzlabo modeļa spēju apstrādāt un ģenerēt informāciju abos virzienos.

## Apgrieztās apmācības metodes pārbaude

Autori veica šādus eksperimentus, lai pārbaudītu piedāvāto metodi:

**1. Simbolisks apgrieztais uzdevums:** kontrolētas vides tests, kas parāda metodes spēju secināt un lietot apgrieztas attiecības.

**2. Biogrāfijas uzdevums apgrieztā secībā:** Biogrāfijas datu kopas izmantošana, lai novērtētu veiktspēju, ģenerējot personu vārdus no norādītās informācijas, otrādi.

**3. Reālās pasaules zināšanu maiņa:** metodes efektivitātes novērtēšana reālos scenārijos, tostarp faktu apvēršana par slavenībām un viņu attiecībām.

**4. Fiktīvu faktu precizēšana:** modeļa mācīšanās spēju pārbaude, izmantojot tikko ieviestus, apgrieztus fiktīvus faktus.

Šajos eksperimentos Reverse Training ne tikai mazināja apvērsuma lāstu, bet dažos gadījumos to pilnībā likvidēja. Metode izrādījās īpaši efektīva, kad entītiju nosaukumi tika saglabāti to sākotnējā secībā apvērsuma procesa laikā, uzsverot noteiktu kontekstuālo enkuru saglabāšanas nozīmi.

## Ietekme un turpmākie virzieni

Reverse Training panākumi, risinot apvērsuma lāstu, paver jaunas iespējas LLM apmācības metodoloģijām. Uzlabojot modeļu izpratni par savstarpējām attiecībām un apgalvojumu līdzvērtību, šī pieeja paver durvis uz sarežģītākām spriešanas spējām. Turpmākie pētījumi var izpētīt turpmāku apvērsuma procesa optimizāciju, potenciālu integrēt reverso apmācību citās valodu modeļu arhitektūrās un plašākus šīs metodes pielietojumus dabiskās valodas izpratnes un ģenerēšanas uzdevumos.

---

*Kļūstiet par kodēšanas profesionāli sev piemērotā tempā! Pievienojieties Code Labs Academy [tiešsaistes nepilna laika sāknēšanas nometnei](/) un uzlabojiet kodēšanas prasmes. Iestatiet mācīšanos atbilstoši savam grafikam un sāciet ceļu uz tehnoloģiju jau šodien!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Apgrieztā lāsta apmācība

[Arxiv Link](https://arxiv.org/abs/2403.12015)

2024. gada 18. marts

"Ātra augstas izšķirtspējas attēla sintēze ar latentu pretrunīgu difūzijas destilāciju" piedāvā jaunu destilācijas pieeju, kas pazīstama kā latentā pretrunīgā difūzijas destilācija (LADD). Šī pieeja ir izstrādāta, lai novērstu esošo [difūzijas modeļu](https://en.wikipedia.org/wiki/Diffusion_model) ierobežojumus, jo īpaši problēmas saistībā ar lēnu secinājumu ātrumu, kas apgrūtina reāllaika lietojumprogrammas. LADD nodrošina augstas izšķirtspējas, vairāku malu attiecību attēla sintēzi, efektīvi destilējot lielus [latentās difūzijas modeļus](https://arxiv.org/abs/2112.10752) (LDM), ievērojami vienkāršojot apmācības procesu un uzlabojot veiktspēju salīdzinājumā ar iepriekšējām metodēm. .

Mēs apkoposim šī raksta galvenos ieteikumus.

## Ievads

Difūzijas modeļi ir kļuvuši par spēcīgu attēlu un video sintēzes un rediģēšanas rīku, kas piedāvā augstas kvalitātes rezultātus. Tomēr to iteratīvais raksturs, kas prasa daudzus tīkla novērtējumus, lai pārveidotu troksni saskaņotos attēlos, ir ierobežojis to praktiskumu reāllaika lietojumprogrammām. Ir ierosinātas dažādas stratēģijas, lai paātrinātu difūzijas modeļus. LADD ievieš jaunu stratēģiju, izmantojot ģeneratīvās funkcijas no iepriekš apmācītiem LDM, ļaujot veikt efektīvu augstas izšķirtspējas attēlu sintēzi, veicot tikai daļu no darbībām, kas nepieciešamas tradicionālajām metodēm.

## Fons

Raksta sākumā ir sniegts pārskats par difūzijas modeļiem un to [destilāciju](https://en.wikipedia.org/wiki/Knowledge_destillation). Tradicionālie difūzijas modeļi darbojas, pakāpeniski samazinot attēla troksni, veicot daudzas iteratīvas darbības, padarot procesu lēnu un skaitļošanas ziņā dārgu. Destilācijas metodes, tostarp [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), ir mēģinājušas racionalizēt šo procesu, samazinot nepieciešamo darbību skaitu. Tomēr ADD saskaras ar ierobežojumiem, piemēram, fiksētu apmācības izšķirtspēju un nepieciešamību dekodēt RGB telpā latentās difūzijas modeļu destilēšanai, kas var ierobežot augstas izšķirtspējas apmācību.

## Metodoloģija

LADD risina šīs problēmas, **destilējot tieši latentā telpā**, tādējādi **izvairoties no nepieciešamības dekodēt pikseļu telpā** un ļaujot trenēties ar augstāku izšķirtspēju. Atšķirībā no ADD, kas balstās uz iepriekš apmācītu diskriminatoru, kas darbojas pikseļu telpā, LADD izmanto jaunu pieeju, kurā diskriminatora un skolotāja modelis ir vienoti, darbojoties tieši uz latentiem. Šī metode ne tikai vienkāršo apmācības procesu, bet arī sniedz vairākas priekšrocības, tostarp efektivitāti, spēju nodrošināt trokšņa līmenim specifisku atgriezenisko saiti un spēju apmācīt vairāku aspektu attiecību (MAR).

## Eksperimenti un rezultāti

Rakstā tiek plaši novērtēts LADD, izmantojot dažādus eksperimentus, demonstrējot tā izcilo veiktspēju augstas izšķirtspējas attēlu sintezēšanā tikai ar dažiem soļiem. Jo īpaši, kad LADD tiek lietots [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), tiek iegūts modelis ar nosaukumu SD3-Turbo, kas nodrošina salīdzināmu attēla kvalitāti ar stāvokli modernākie teksta-attēlu ģeneratori tikai četrās darbībās. Eksperimentos tiek pētīta arī dažādu skolotāju trokšņu sadalījumu ietekme, sintētisko datu izmantošana, latentās destilācijas pieejas un LADD mērogošanas uzvedība.

## Salīdzinājums ar jaunākajām tehnoloģijām

LADD efektivitāti vēl vairāk uzsver salīdzinājums ar pašreizējām vadošajām teksta-attēla un attēla-attēla sintēzes metodēm. SD3-Turbo ne tikai atbilst sava skolotāja modeļa (SD3) veiktspējai attēla kvalitātē, bet arī demonstrē ievērojamus uzlabojumus salīdzinājumā ar citām bāzes līnijām attiecībā uz secinājumu ātrumu un attēla un teksta izlīdzināšanu.

## Ierobežojumi un nākotnes virzieni

Neskatoties uz progresu, LADD nav bez ierobežojumiem. Autori atzīmē kompromisu starp modeļa ietilpību, ātru izlīdzināšanu un secinājumu izdarīšanas ātrumu, kas varētu ietekmēt modeļa spēju risināt noteiktas teksta-attēla sintēzes problēmas. Nākotnes pētniecības virzieni ietver šī kompromisa padziļinātu izpēti un stratēģiju izstrādi, lai uzlabotu attēla un teksta norādījumu priekšrocību kontroli.

## Secinājums

"Ātra augstas izšķirtspējas attēlu sintēze ar latentu pretrunīgu difūzijas destilāciju" ievieš jaunu pieeju attēlu/video sintēzei, kas ievērojami paātrina augstas kvalitātes attēlu ģenerēšanu no teksta uzvednēm. Destilējot lielus difūzijas modeļus latentā telpā, LADD paver ceļu reāllaika lietojumiem un nosaka jaunu standartu attēla sintēzes efektivitātei un veiktspējai.

Papīri paskaidroti

Kāpēc atgriešanās birojā pēc pandēmijas var negatīvi ietekmēt produktivitāti: biznesa eksperta ieskati