Po COVID-19 pandemijos ypač didesnėse įmonėse pastebimai sugrįžta prie reikalavimo, kad darbuotojai dirbtų biure. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), Pitsburgo universiteto Josepho M. Katzo verslo mokyklos verslo administravimo docentas ir Yuye Ding, Doktorantė,[ištyrė šį modelį](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Jie nagrinėjo sociologinį ir ekonominį nuotolinio darbo poveikį, taip pat neseniai įvykusią įmonių iniciatyvą sugrąžinti darbuotojus į biurą, o tai dažnai erzina darbuotojus.

Ma [interviu su Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) tvirtina, kad Vis labiau skaitmeninama darbo aplinka, verčianti darbuotojus sugrįžti į biurą, jie tik erzina ir mažai padidina produktyvumą. Tačiau jis pripažįsta, kad dirbant savanoriškai ir su komandos pagalba, darbas asmeniškai gali būti naudingas ir skatina geresnį koordinavimą bei komandinį darbą.

Ma siūlo, kad gerai dirbantiems asmenims, kurie įrodė savo veiksmingumą dirbdami namuose, turėtų būti leista ir toliau tai daryti, o ne visiems dirbti biure. Jis mano, kad išlaikant puikius asmenis, kurie kitu atveju galėtų ieškoti darbo kitur, ši strategija galiausiai bus naudinga ir darbdaviams, ir darbuotojams. Ma taip pat siūlo reguliarius asmeninius komandos formavimo pratimus, kad įmonės kultūra būtų tvirta, o tai būtina norint efektyviai generuoti idėjas ir spręsti problemas.

Atrodo, kad šios tendencijos viršūnė praėjo, nors kai kurios įmonės reikalavo, kad darbuotojai po pandemijos sugrįžtų į biurą. Remiantis 2024 m. atliktais tyrimais, dauguma generalinių direktorių nebevertina buvimo biure. Įmonės sužinojo, kad pandemijos metu darbuotojai gali būti gana produktyvūs dirbdami nuotoliniu būdu. Tačiau kiti vadovai vis dar nerimauja dėl darbo nuotoliniu būdu, todėl jie pasisako už grįžimą į biurą. Darbuotojų moralė gali nukentėti dėl šio nepasitikėjimo, nes tai rodo darbuotojams, kad jų vadovai jais netiki.

Nepaisant to, kad nuotolinis darbas gali sumažinti pridėtinių išlaidų ir vietos poreikį, didelės įmonės nori, kad jų darbuotojai sugrįžtų, o tai padidina galimybę, kad kontrolė ir galia čia yra labiau svarbūs nei kaina. Ma pabrėžia, kad daugelis įmonių įgyvendino grįžimo į biurą politiką, reaguodamos į akcijų kainų kritimą, patogiai naudodamos nuotolinį darbą kaip patogų atpirkimo ožį už prastus rezultatus.

Nepaisant to, kad nuotolinio darbo paklausa vis dar yra didelė – didžiuosiuose miestuose, tokiuose kaip Niujorkas, San Franciskas ir Vokietija, yra laisvų biurų patalpų, vadovai ir toliau laikosi požiūrio, kad dirbantys darbuotojai sustiprins bendradarbiavimą ir verslo kultūrą. Tačiau užuot dirbę kartu su bendradarbiais, daugelis į biurą sugrįžusių darbuotojų teigia, kad didžiąją laiko dalį praleidžia dirbdami vieni prie kompiuterių. Tokių įgaliojimų neveiksmingumą kelia abejonių tai, kad nėra pastebimo skirtumo tarp biuro ir nuotolinio darbo, taip pat darbuotojų nusivylimas, kai jie yra priversti grįžti.

Darbuotojai yra pripratę prie didesnio produktyvumo ir darbo ir asmeninio gyvenimo pusiausvyros teikiamos naudos dirbant nuotoliniu būdu, pavyzdžiui, galimybės geriau integruoti darbą ir šeimos gyvenimą ir išvengti ilgų važinėjimų į darbą ir atgal. Nepasitenkinimas kyla dėl to, kad šie susitarimai suardomi priverstinai grįžus į biurą. Be to, manoma, kad darbo trūkumas gali trukdyti profesiniam augimui.

Galų gale, Mama mano, kad jei darbuotojai būtų priversti visam laikui grįžti į darbo vietą, daugelis jų pradėtų ieškoti kitų profesijų, o likusieji gali tapti mažiau motyvuoti. Namų biurai vis dar yra įprasti, nes jie užtikrina geresnę darbo ir asmeninio gyvenimo pusiausvyrą ir mažesnį perdegimo lygį, nepaisant jų trūkumų. Darbo nuotoliniu būdu ir biure nėra pastebimo produktyvumo skirtumo, o darbas namuose gali būti toks pat atstumtas, kaip ir atviro plano biurai, kuriuose darbuotojai dažnai nešioja ausines, kad susikauptų. Ma pataria komandoms pasirinkti, kiek dienų nori dirbti biure, o likusį laiką palikti lankstų, kad darbuotojai galėtų pasirinkti pageidaujamą darbo aplinką, nors žmogiškieji kontaktai įmonėms gali būti naudingi.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Kodėl grįžimas į biurą po pandemijos gali pakenkti produktyvumui: verslo eksperto įžvalgos

[Google AI](https://ai.google/) neseniai pristatė naują „Gboard“ – populiarios mobiliosios klaviatūros programos – funkciją. Vienu bakstelėjimu ši funkcija leidžia sklandžiai modifikuoti ir taisyti sakinio ir pastraipos lygiu, o tai pagerina bendrą spausdinimo patirtį.

## „riebaus piršto“ problemos sprendimas

[Gboard](https://support.google.com/gboard/?hl=lt) naudoja statistinį dekodavimą kaip priemonę „riebaus piršto“ problemai spręsti, kuri yra natūralus jutiklinio įvesties netikslumas mažuose ekranuose. Tyrimai rodo, kad klaidų dažnis vienoje raidėje gali siekti 8–9 procentus be dekodavimo. „Gboard“ turi keletą klaidų taisymo funkcijų, kad būtų lengviau ir sklandžiau vesti tekstą. Šios funkcijos sujungia rankines užduotis, susijusias su žmogaus indėliu, su aktyviomis automatizuotomis pataisomis.

## Išsamūs klaidų taisymo įrankiai

Bendrai įvesti tekstą palengvina „Gboard“ funkcijos, įskaitant žodžių užbaigimą, kito žodžio numatymą, aktyvų automatinį taisymą (AC) ir aktyvųjį klavišo taisymą (KC). Šie įrankiai apima protingą kompoziciją, klaidų taisymą ir kelių žodžių kandidatus pasiūlymų juostoje arba eilutėje. Postkorekcija (PC) taip pat palengvina jau padarytų žodžių klaidų ištaisymą. Nepaisant šių funkcijų, du pagrindiniai apribojimai pablogina vartotojo patirtį.

1. Nors įrenginyje esantys taisymo modeliai, tokie kaip KC, AC ir PC, yra greiti ir kompaktiški, jiems sunku tvarkyti sudėtingas ir sudėtingas klaidas, kurioms reikia ilgesnių kontekstų. Kad šie modeliai nebūtų suaktyvinti, vartotojai turi rašyti lėtai ir tiksliai.

2. Rašymo greitis sumažėja, nes naudotojai turi rankiniu būdu taisyti įsipareigotus žodžius naudodami gramatiką ir rašybos tikrinimo priemones, o tai gali būti psichiškai ir vizualiai sudėtinga.

## Aukšto lygio klaidų taisymo poreikis

Greitai spausdinantieji dažnai nepaiso jau įvestų žodžių ir koncentruojasi tik į klaviatūrą. Dėl to gali atsirasti didesnis klaidų lygis, todėl reikia naudoti sakinius arba aukštesnio lygio taisymo mechanizmus.

## Pristatome Proofread

Korektūra išsprendžia šiuos dažnus skundus, pasiūlydama pastebimą produktyvumo padidėjimą. Tai palengvina klaidų taisymą, nes vienu spustelėjimu galima taisyti sakinio ir pastraipos lygiu.

## Korektūros technologija

Korektūros funkciją sudaro keturi pagrindiniai komponentai: duomenų kūrimas, metrikos projektavimas, modelio koregavimas ir modelio aptarnavimas. Visi šie komponentai kartu garantuoja efektyvumą. Siekdama užtikrinti, kad duomenų paskirstymas atitiktų Gboard domeną, sistema imituoja dažnas klaviatūros klaidas, naudodama tiksliai ir metodiškai sukurtą klaidų sintetinę architektūrą.

## Išplėstinė metrika ir modelio optimizavimas

Norėdami įvertinti modelį, mokslininkai įtraukė daugybę metrikų, ypatingą dėmesį skirdami gramatinių klaidų buvimo patikrinimams ir panašiems reikšmių patikrinimams, gautiems iš didelių kalbos modelių (LLM). Modeliui tobulinti InstructGPT technikoje naudojamas prižiūrimas koregavimas ir mokymosi sustiprinimo (RL) derinimas. Ši procedūra labai pagerina modelio korektūros našumą.

## Diegimas ir našumas

Naudojant 8 bitų kvantavimą, vidutinio dydžio LLM PaLM2-XS yra pritaikytas taip, kad tilptų į vieną TPU v5 ir yra korektūros funkcijos pagrindas. Optimizavimas sumažina aptarnavimo išlaidas. Ankstesni tyrimai parodė, kad segmentavimas, spekuliacinis dekodavimas ir segmento klavišai gali sumažinti delsą.

## Realaus pasaulio poveikis

Dešimtys tūkstančių „Pixel 8“ vartotojų gaus naudos iš aukštos kokybės redagavimo, kurį teikia korektūros funkcija, kuri dabar pasiekiama. Kruopštus sintetinių duomenų generavimas ir kelios tikslaus derinimo iteracijos sukūrė modelį, kuris žymiai sumažina gramatines klaidas, kaip matyti iš 5,74 procento santykinio PaLM2-XS modelio blogo koeficiento sumažėjimo. Be to, dėl optimizavimo vidutinis delsos laikas sumažėjo 39,4 %.

## Ateities perspektyvos

[Šis tyrimas](https://arxiv.org/abs/2406.04523) parodo, kaip LLM gali pagerinti naudotojų patirtį ir sukurti intriguojančių tolesnio tyrimo galimybių. Tikrųjų naudotojų duomenų naudojimas, daugiakalbis palaikymas, pritaikyta rašymo pagalba ir įrenginio privatumo sprendimai yra keletas sričių, kurios gali paskatinti tolesnę pažangą šiame sektoriuje, pavyzdžiai.

„Google AI“ plečia mobiliosios klaviatūros technologijos galimybes įdiegdama korektūros funkciją, gerindama spausdinimą žmonėms visame pasaulyje.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

„Google AI“ pristato „korektūros skaitymą“: „Gboard“ funkciją, leidžiančią lengvai taisyti sakinius ir pastraipas

Šiuolaikiniai giluminiai neuroniniai tinklai (DNN) iš esmės yra neskaidrūs, todėl sunku suprasti jų sprendimų priėmimo procesus. Šis skaidrumo trūkumas trukdo plačiai diegti mašininio mokymosi metodus įvairiose srityse. Reaguodama į tai, pasirodė paaiškinamas AI (XAI), siekiantis pagerinti žmonių supratimą apie DNN sprendimus. Žvelgdamas į kiekvieno komponento funkcinę paskirtį, XAI dabar taip pat sutelkia dėmesį į pasaulinio DNN elgesio supratimą, priešingai nei vietiniai paaiškinimo metodai, kuriuose naudojami reikšmingumo žemėlapiai, paaiškinantys individualias prognozes.

Mechanistinis aiškinamumas yra visuotinė paaiškinamumo technika, kuria siekiama tiksliai nustatyti konkrečias idėjas, kurias neuronai, pagrindiniai neuroninio tinklo skaičiavimo vienetai, įgijo gebėjimą suprasti. Tinklo latentinių atvaizdų veikimą galime paaiškinti ženklindami neuronus žmonėms suprantamais aprašymais. Šie aprašymai pažengė nuo paprastų etikečių iki sudėtingų, kompozicinių ir atviro žodyno paaiškinimų. Nepaisant to, standartizuotų kiekybinių metrikų, skirtų šiems atvirojo žodyno aprašymams įvertinti, trūkumas trukdė atlikti išsamų įvairių metodų palyginimą.

Norėdami pašalinti šią spragą, mokslininkai iš ATB Potsdamo, Potsdamo universiteto, Berlyno TU, Fraunhofer Heinrich-Hertz-Institute ir BIFOLD pristato [CoSy](https://arxiv.org/abs/2405.20331), novatorišką kiekybinio vertinimo sistemą vertinant atvirojo žodyno paaiškinimų naudojimą kompiuterinio matymo (CV) modeliuose. Šis novatoriškas metodas naudoja generatyvaus AI patobulinimus, kad būtų sukurti dirbtiniai vaizdai, koreliuojantys su koncepcija pagrįstais tekstiniais aprašymais. Cozy pašalina žmonių sąveikos poreikį, nes palengvina skirtingų sąvokomis pagrįstų tekstinių paaiškinimų metodų kiekybinį palyginimą, sintezuojant duomenų taškus, bendrus tam tikriems tikslams paaiškinti.

Atlikdama išsamią metaanalizę tyrimo grupė parodė, kad „cozy“ siūlo patikimus paaiškinimų įvertinimus. Tyrimas atskleidė, kad sąvokomis pagrįsti teksto paaiškinimo metodai geriausiai veikia viršutiniuose neuroninių tinklų sluoksniuose, kur mokomasi aukšto lygio sąvokų. Aukštos kokybės neuronų paaiškinimai gaunami naudojant tokius metodus kaip INVERT, kuris sukuria vaizdus iš neuroninio tinklo vaizdų, ir CLIP-Dissect, kuris tiria vidinio tinklo reprezentacijas. Ir atvirkščiai, tokie metodai kaip MILAN ir FALCON pateikia prastesnės kokybės paaiškinimus, kartais pateikiant beveik atsitiktines sąvokas, dėl kurių tinklo išvados gali būti netikslios.

Pagrindinis CoSy trūkumas, kaip pripažįsta tyrėjai, yra tas, kad konkrečios mokymo duomenų kategorijos galėjo būti neįtrauktos į generatyvųjį modelį, todėl paaiškinimai yra pernelyg bendri arba dviprasmiški, pavyzdžiui, „balti objektai“. Generacinis tikslumas gali būti padidintas sprendžiant šią problemą, išnagrinėjus duomenų rinkinius ir modelio našumą. Vis dėlto „cozy“ turi daug potencialo vis dar besivystančioje nevietinių paaiškinimo metodų vertinimo srityje.

Žvelgdama į ateitį, komanda tikisi potencialių CoSy pritaikymų keliose srityse. Norint įvertinti paaiškinimo, susijusio su tolesnės užduoties rezultatu, patikimumą arba kokybę, žmogaus sprendimas turi būti įtrauktas į paaiškinimo kokybės apibrėžimą, kurį jie nori aptarti būsimame darbe. Be to, jie nori į savo vertinimo sistemą įtraukti papildomų sričių, pvz., natūralios kalbos apdorojimą ir sveikatos priežiūrą. Galimas jaukus naudojimas vertinant didelius, nepermatomus, automatiškai interpretuojamus kalbos modelius (LLM) yra ypač įdomus. Pasak mokslininkų, jauku pritaikymas sveikatos priežiūros duomenų rinkiniams, kur svarbi paaiškinimo kokybė, galėtų būti didelis žingsnis į priekį. Šios galimos būsimos jaukumo programos turi didžiulį potencialą tobulinti AI tyrimus.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Neuroninių tinklų supratimas: „CoSy“ kiekybinė tekstinio paaiškinimo vertinimo sistema

[Transformatoriumi pagrįsti modeliai](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) garsėja gebėjimu analizuoti ir interpretuoti sudėtingą tekstą. Jie remiasi žodžių tvarkos ir konteksto supratimu – užduotimis, kurių metu tradiciniai pozicinio kodavimo metodai parodė savo ribas. Išspręsdamas šią spragą, ROFORMER modelis, varomas **Rotary Position Embedding (RoPE)**, iš naujo apibrėžia mūsų požiūrį į padėties kodavimą.

## Tradicinis pozicijos kodavimas

Transformatoriai traktuoja tekstą kaip žetonų seriją ir leidžia **lygiagrečiai apdoroti sekas**, kad būtų didesnis efektyvumas. Tačiau ši jėga atnešė savo iššūkį: **modeliui būdingą agnosticizmą pagal simbolinę tvarką**. **Pozicijos kodavimas** buvo atsakymas, **kiekvienam prieigos raktui suteikiant unikalų parašą, nurodantį jo sekos vietą**.

### Absoliučios pozicijos įterpimai

Iš pradžių tokie modeliai kaip BERT naudojo **absoliučiosios padėties įterpimą, priskirdami fiksuotą vektorių kiekvienai sekos vietai**. Šis metodas, nors ir paprastas, iš prigimties **neturi galimybės prisitaikyti prie sekos ilgio svyravimų arba pabrėžti santykinius atstumus tarp žetonų**, o tai labai svarbu norint suprasti daugelį kalbinių konstrukcijų.

### Santykinės padėties įterpimai

Siekiant užfiksuoti dinamišką kalbos pobūdį, buvo įvestas santykinės padėties įterpimas, sutelkiant dėmesį į atstumą tarp žetonų, o ne į absoliučią jų padėtį. Nepaisant konceptualaus pranašumo, šie įterpimai įvedė **skaičiavimo sudėtingumą ir nesugebėjo sklandžiai integruoti į Transformatorių dėmesio į save mechanizmą**, todėl buvo apribotas jų efektyvumas.

## ROFORMER ir rotacinės padėties įterpimas

Pripažindamas esamų padėties kodavimo strategijų apribojimus, ROFORMER pristato Rotary Position Embedding (RoPE) – metodą, kuris sujungia absoliučios ir santykinės padėties informacijos pranašumus be atitinkamų trūkumų.

### Sukamosios padėties įterpimas

RoPE koduoja padėties informaciją naudodama **sukimosi matricas**, leidžiančią modeliui suprasti ne tik to, kur yra ženklas, bet ir kaip jis susijęs su kiekvienu kitu žetonu sekoje.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Jis veikia per geometrinį objektyvą, žetonų pozicijas traktuodamas kaip taškus daugiamatėje erdvėje, kurie pasukami, kad būtų pažymėti jų nuoseklūs santykiai. Šis sukimas leidžia modeliui išsaugoti ir panaudoti tiek absoliučius, tiek santykinius padėties ženklus savo dėmesio mechanizme.

### Virvės įgyvendinimas

RoPE įgyvendinimas apima kiekvieno žetono padėties kodavimą į sukimosi matricą ir šios matricos taikymą transformatoriaus dėmesio mechanizme. Šis procesas leidžia lanksčiai, dinamiškai interpretuoti padėties informaciją, prisitaikant prie skirtingų sekos ilgių ir fiksuojant žetonų tarpusavio ryšių esmę be didelių skaičiavimo išlaidų.

Pirma, jums reikės funkcijos, skirtos sukamiesiems įterpimams generuoti, o tada integruosite šiuos įterpimus į savo modelį. Toliau pateiktame pavyzdyje daroma prielaida, kad esate susipažinę su tinkintų sluoksnių kūrimu „Keras“.

#### 1 veiksmas: apibrėžkite sukamąją įterpimo funkciją

Ši funkcija generuoja sukamuosius įterpimus, atsižvelgiant į maksimalų sekos ilgį ir įterpimų matmenis.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Ši eilutė apskaičiuoja atvirkštinę eksponentinio mastelio dažnių vertę pagal padėties indeksus. Šie dažniai naudojami generuojant sinusoidinius modelius rotaciniams įterpimams, kurie padeda užkoduoti santykinę padėties informaciją sekomis. Šis mechanizmas ypač naudingas atliekant užduotis, kai labai svarbu suprasti elementų tvarką ir santykinę padėtį, pavyzdžiui, apdorojant natūralią kalbą arba analizuojant laiko eilutes.

Išsamiau:

- „tf.range(0, dim, 2, dtype=tf.float32)“ sukuria reikšmių diapazoną nuo 0 iki „dim“ (išskirtinis), žingsniuojant po 2. Argumentas „dtype=tf.float32“ nurodo kad šio tenzoriaus elementai yra 32 bitų slankiojo kablelio skaičiai. Pavyzdžiui, jei „dim“ yra 8, būtų gauta „[0, 2, 4, 6]“.

– Tada „tf.range“ sukurtas tenzorius padalinamas iš įterpimų matmenų („dim“). Ši operacija sumažina šių indeksų skalę iki diapazono nuo 0 iki 1 (išskyrus, jei „dim“ yra lyginis, šiek tiek įtraukiant, jei „dim“ yra nelyginis, nes diapazono veiksmas praleidžia kiekvieną kitą reikšmę). Tęsiant pavyzdį su „dim“ = 8, padalijus iš 8, gaunama „[0,0, 0,25, 0,5, 0,75]“.

- Operacija „10 000 ** (...)“ padidina 10 000 iki kiekvieno elemento laipsnio anksčiau pakeistame tenzoryje. 10 000 bazė yra šiek tiek savavališka, bet pasirinkta siekiant užtikrinti, kad dažniai svyruotų plačiame diapazone, o tai padeda modeliui efektyviau atskirti skirtingas pozicijas. Naudojant „[0,0, 0,25, 0,5, 0,75]“, kiekvienam iš jų būtų taikoma galios operacija, todėl aukštesnių elementų vertės būtų daug didesnės.

- Galiausiai atvirkštinis dažnis gaunamas imant grįžtamąją vertę (1/x) iš ankstesnio žingsnio verčių. Atvirkštiniai dažniai yra mažesni aukštesniems indeksams, o tai reiškia, kad toliau esantys elementai turės mažesnius dažnius, o tai turės įtakos jų pozicijų kodavimui modelyje. Tai leidžia įterpti mastelį taip, kad santykinės padėties būtų galima numanyti naudojant modelio dėmesio mechanizmus.

Linija:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

naudoja TensorFlow funkciją „tf.einsum“ – įrankį, leidžiantį glaustai ir efektyviai išreikšti tenzoriaus operacijas naudojant Einšteino sumavimo žymėjimą.

Ši operacija efektyviai apskaičiuoja išorinę vektorių „t“ ir „inv_freq“ sandaugą, todėl gaunama matrica, kurioje kiekvienas elementas „(i, j)“ yra „t“ ir „i“ elemento sandauga. j-asis „inv_freq“ elementas. Ši matrica („dažniai“) nurodo dažnius, kurie naudojami sukamųjų įterpimų sinusoidiniams modeliams generuoti.

#### 2 veiksmas: pritaikytas Keras sluoksnis rotaciniams įterpimams

Dabar sukurkime tinkintą „Keras“ sluoksnį, kuris įvesties tensoriui pritaikys rotacinius įterpimus. Šiame sluoksnyje daroma prielaida, kad įvesties tenzoriaus forma yra „(partijos_dydis, sekos_ilgis, įterpimo_dim)“.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Eilutėje „embeddings = self.rotary_embeddings[:seq_len]“ parenkamas atitinkamas iš anksto apskaičiuotų rotacinių įterpimų poaibis pagal dabartinį įvesties sekos ilgį. Kadangi sekų ilgis įvairiose partijose gali skirtis, ši pjaustymo operacija užtikrina, kad būtų naudojami tik faktinį sekos ilgį atitinkantys įterpimai.

Kintamasis „embeddings“ dabar turi formos „(seq_len, embedding_dim)“ įtempiklį, kur „seq_len“ yra dabartinės partijos sekų ilgis, o „embedding_dim“ yra įterpimų matmenys. Šiame tenzoryje yra sukamieji padėties įterpimai kiekvienai sekos pozicijai iki „seq_len“.

„emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)“ sujungia pozicinių dažnių sinusus ir kosinusus į vieną tenzorių:

-„tf.cos(freqs)“ ir „tf.sin(freqs)“ atitinkamai taiko kosinuso ir sinuso transformacijas „freqs“ tenzoriui. „Freqs“ tensoryje yra kiekvienos įvesties sekos padėties ir kiekvieno įterpimo erdvės dimensijos dažnio reikšmės, apskaičiuotos pagal sekos pozicijas ir įterpimo matmenų atvirkštinius dažnius. Sinuso ir kosinuso funkcijos taikomos pagal elementus, todėl gaunami du tenzoriai, kurių forma yra tokia pati kaip ir „freqs“. Šios transformacijos padeda užkoduoti padėtį taip, kad užfiksuotų pozicinių santykių cikliškumą, palengvinant modelio gebėjimą suprasti santykines pozicijas.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' sujungia kosinuso ir sinuso transformuotus tenzorius išilgai paskutinės ašies (žymima 'axis=-1'). Šių tenzorių sujungimas vienas šalia kito veiksmingai padvigubina „dažnių“ tenzoriaus matmenis, o pirmoji pusė reiškia kosinusu transformuotas reikšmes, o antroji – sinusu transformuotas kiekvienos padėties vertes. Sujungimas užtikrina, kad kiekvienoje padėties koduotėje būtų ir sinusinė, ir kosinusinė informacija, o tai leidžia išsaugoti informaciją apie padėties signalų amplitudę ir fazę.

- Sujungtas tensorinis „emb“ dabar turi visas sukamąsias įvesties pozicijas. „emb“ forma bus tokia pati kaip „freqs“ pirmuosiuose dviejuose matmenyse (atitinka sekos pozicijas ir įterpimo matmenis), tačiau paskutinis jo matmuo bus dvigubai didesnis, atsižvelgiant į sinuso ir kosinuso reikšmes. Šie įterpimai naudojami įvesties įterpimams moduliuoti, pridedant padėties informaciją sukimosi lygiaverčiu būdu.

-`cos_emb = įterpimai[:, Nėra, :self.dim // 2]`:

1. Pirmasis dvitaškis „:“ reiškia „pasirinkti visus šio aspekto elementus“, o tai šiuo atveju nurodo visas sekos vietas.

2. „Nėra“ naudojamas papildomam matmeniui pridėti, todėl tenzorius tampa trimatis. Tai dažnai daroma siekiant užtikrinti suderinamumą su tam tikromis operacijomis, kurios tikimasi tam tikro matmenų skaičiaus įvesties. Pavyzdžiui, atliekant elementų dauginimą su kitu trimačiu tenoriumi, figūros turi būti suderintos pagal transliavimo taisykles.

3. `:self.dim // 2`, pasirenka pirmąją paskutinės ašies matmenų pusę. Kadangi „įterpimo_dimensija“ padvigubinamas, kad būtų įtrauktos ir sinuso, ir kosinuso reikšmės, padalijus iš 2 efektyviai pasirenkami tik įterpimo kosinuso komponentai.

#### 3 veiksmas: integravimas su Keras modeliu

Apibrėžę „RotaryEmbeddingLayer“, galite integruoti jį į savo Keras modelį. Šį sluoksnį reikia užtepti ant įterptų elementų prieš įterpiant juos į dėmesio sluoksnius arba kitus modelio sluoksnius.

Štai supaprastintas pavyzdys, kaip integruoti sukamuosius įterpimus į modelį:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: patobulintas transformatorius su rotacinės padėties įterpimu

[Arxiv nuoroda](https://arxiv.org/abs/2403.13799)

2024 m. kovo 20 d

## Atvirkštinis prakeiksmas

Dideli kalbų modeliai (LLM), tokie kaip [GPT-4](https://arxiv.org/abs/2303.08774) ir [Llama-2](https://arxiv.org/abs/2307.09288), pademonstravo įspūdingus supratimo gebėjimus ir sukurti į žmogų panašų tekstą, apimantį daugybę žinių. Tačiau jiems nepavyksta atlikti iš pažiūros nesudėtingos užduoties: pakeisti išmoktus faktus. Šis apribojimas, vadinamas „atvirkštiniu prakeiksmu“, reiškia, kad LLM negali daryti išvados, kad „B yra A bruožas“, sužinoję, kad „A turi B savybę“ – pagrindinį samprotavimo įgūdį, kurį turi net vaikai. Šiame dokumente pristatomas „Reverse Training“ – naujas metodas, skirtas šiam iššūkiui spręsti, panaudojant dviejų krypčių mokymo metodą, siekiant pagerinti modelio faktų supratimą tiek į priekį, tiek atgal.

## Atvirkštinio prakeikimo ištakos

Problema kyla dėl esminio LLM mokymo metodo, kuris paprastai apima **autoregresyvų mokymąsi iš kairės į dešinę**. Šis metodas iš esmės nemoko modelių suprasti arba generuoti informaciją atvirkštine tvarka. Atsižvelgiant į duomenų platinimo pobūdį pagal Zipf įstatymą, daugelis faktų minimi tik viena kryptimi, o tai dar labiau apsunkina šią problemą. „Atvirkštinis prakeiksmas“ riboja LLM supratimą apie abipusius ryšius ir teiginių lygiavertiškumą, o tai pažymi reikšmingą jų samprotavimo gebėjimų trūkumą.

## Atvirkštinio prakeiksmo įveikimas atvirkštine treniruote

Siūlomas sprendimas „Reverse Training“ padvigubina turimus treniruočių duomenis, įtraukdamas tiek originalias, tiek atvirkštines treniruočių eilučių versijas. Apsukimo procesas yra atsargus, kad nebūtų pakeistos tam tikros poeilutės, pvz., objektų pavadinimai, išlaikant pradinę seką, kad būtų išsaugotas kontekstas. Šis metodas, panašus į antrosios kalbos įvedimą LLM mokytis, žymiai pagerina modelio gebėjimą apdoroti ir generuoti informaciją abiem kryptimis.

## Atvirkštinio mokymo metodo išbandymas

Siekdami išbandyti siūlomą metodą, autoriai atliko šiuos eksperimentus:

**1 – Simbolinė atvirkštinė užduotis:** kontroliuojamos aplinkos testas, parodantis metodo gebėjimą daryti išvadą ir taikyti atvirkštinius ryšius.

**2 – Biografijos keitimo užduotis:** Biografijos duomenų rinkinio naudojimas siekiant įvertinti našumą generuojant asmenų vardus iš pateiktos informacijos, atvirkščiai.

**3 – Realaus pasaulio žinių apvertimas:** metodo veiksmingumo įvertinimas realaus pasaulio scenarijuose, įskaitant faktų apie įžymybes ir jų santykius apvertimą.

**4. Išgalvotų faktų patikslinimas:** modelio mokymosi galimybių tikrinimas naudojant naujai įvestus, apverstus fiktyvius faktus.

Atliekant šiuos eksperimentus, „Reverse Training“ ne tik sušvelnino „Reversal Curse“, bet kai kuriais atvejais ir visiškai jį pašalino. Metodas pasirodė ypač veiksmingas, kai objektų pavadinimai buvo išsaugoti pradine tvarka per apvertimo procesą, pabrėžiant tam tikrų kontekstinių inkarų išlaikymo svarbą.

## Pasekmės ir ateities kryptys

„Reverse Training“ sėkmė sprendžiant „Reversal Curse“ atveria naujus kelius LLM mokymo metodikoms. Pagerindamas modelių supratimą apie abipusius ryšius ir teiginių lygiavertiškumą, šis metodas atveria duris į sudėtingesnius samprotavimo gebėjimus. Būsimi tyrimai gali ištirti tolesnį apvertimo proceso optimizavimą, galimybę integruoti atvirkštinį mokymą į kitas kalbos modelių architektūras ir platesnį šio metodo taikymą natūralios kalbos supratimo ir generavimo užduotims.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Atvirkštinis mokymas, skirtas slaugyti atvirkštinį prakeikimą

[Arxiv Link](https://arxiv.org/abs/2403.12015)

2024 m. kovo 18 d

"Greita didelės skiriamosios gebos vaizdo sintezė su latentiniu priešingos difuzijos distiliavimu" pristato naują distiliavimo metodą, žinomą kaip latentinė priešinga difuzinė distiliacija (LADD). Šis metodas sukurtas siekiant pašalinti esamų [difuzijos modelių](https://en.wikipedia.org/wiki/Diffusion_model) apribojimus, ypač lėto išvadų greičio, kuris trukdo realaus laiko taikymui, problemą. LADD įgalina didelės raiškos kelių formatų vaizdo sintezę efektyviai distiliuojant didelius [latentinės difuzijos modelius](https://arxiv.org/abs/2112.10752) (LDM), žymiai supaprastinant mokymo procesą ir pagerinant našumą, palyginti su ankstesniais metodais. .

Apibendrinsime pagrindinius šio dokumento dalykus.

## Įvadas

Difuziniai modeliai tapo galingu vaizdų ir vaizdo įrašų sintezės ir redagavimo įrankiu, siūlančiu aukštos kokybės rezultatus. Tačiau jų pasikartojantis pobūdis, reikalaujantis daugybės tinklo vertinimų, kad triukšmas būtų paverstas nuosekliais vaizdais, apribojo jų praktiškumą realiuoju laiku. Difuzijos modeliams paspartinti buvo pasiūlytos įvairios strategijos. LADD pristato naują strategiją, panaudojančią generatyviąsias ypatybes iš iš anksto paruoštų LDM, leidžiančią efektyviai sintezuoti didelės raiškos vaizdą atliekant tik dalį žingsnių, kurių reikalauja tradiciniai metodai.

## Fonas

Straipsnio pradžioje pateikiama difuzijos modelių ir jų [distiliavimo] apžvalga (https://en.wikipedia.org/wiki/Knowledge_distillation). Tradiciniai difuzijos modeliai veikia laipsniškai slopindami vaizdą, atlikdami daugybę pasikartojančių veiksmų, todėl procesas yra lėtas ir skaičiavimo požiūriu brangus. Distiliavimo metodai, įskaitant [priešingą difuzinį distiliavimą](https://arxiv.org/abs/2311.17042) (ADD), siekė supaprastinti šį procesą sumažinant reikalingų žingsnių skaičių. Tačiau ADD susiduria su apribojimais, tokiais kaip fiksuota mokymo skyra ir būtinybė dekoduoti į RGB erdvę, kad būtų galima distiliuoti latentinės difuzijos modelius, o tai gali apriboti didelės raiškos mokymą.

## Metodika

LADD sprendžia šias problemas **distiliuodamas tiesiogiai latentinėje erdvėje**, taip **išvengdamas poreikio dekoduoti į pikselių erdvę** ir leidžia treniruotis naudojant didesnę skiriamąją gebą. Skirtingai nuo ADD, kuris remiasi iš anksto apmokytu diskriminatoriumi, veikiančiu pikselių erdvėje, LADD naudoja naują metodą, kai diskriminatoriaus ir mokytojo modelis yra suvienodinti, veikiant tiesiogiai latentiškai. Šis metodas ne tik supaprastina mokymo procesą, bet ir suteikia keletą privalumų, įskaitant efektyvumą, galimybę teikti specifinį triukšmo lygio grįžtamąjį ryšį ir daugialypio vaizdo santykio (MAR) mokymo galimybes.

## Eksperimentai ir rezultatai

Straipsnyje plačiai vertinamas LADD atliekant įvairius eksperimentus, parodydamas jo puikų našumą sintezuojant didelės raiškos vaizdus tik keliais žingsniais. Pažymėtina, kad taikant [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD sukuria modelį, pavadintą SD3-Turbo, kurio vaizdo kokybė yra panaši į būseną. pažangiausius teksto į vaizdą generatorius atlieka tik keturi veiksmai. Eksperimentuose taip pat tiriamas skirtingų mokytojų triukšmo pasiskirstymo poveikis, sintetinių duomenų naudojimas, latentinės distiliacijos metodai ir LADD mastelio keitimo elgsena.

## Palyginimas su naujausiais

LADD efektyvumą dar labiau pabrėžia palyginimas su dabartiniais pagrindiniais teksto į vaizdą ir vaizdo į vaizdą sintezės metodais. SD3-Turbo ne tik atitinka savo mokytojo modelio (SD3) našumą vaizdo kokybe, bet ir rodo reikšmingus patobulinimus, palyginti su kitomis bazinėmis linijomis, atsižvelgiant į išvadų greitį ir vaizdo ir teksto derinimą.

## Apribojimai ir ateities kryptys

Nepaisant pažangos, LADD nėra be apribojimų. Autoriai pastebi kompromisą tarp modelio talpos, greito derinimo ir išvadų greičio, o tai gali turėti įtakos modelio gebėjimui susidoroti su tam tikrais teksto į vaizdą sintezės iššūkiais. Ateities tyrimų kryptys apima išsamesnį šio kompromiso tyrimą ir strategijų kūrimą, kaip pagerinti vaizdo ir teksto nurodymų kontrolę.

## Išvada

„Greita didelės raiškos vaizdo sintezė su latentiniu priešingos difuzijos distiliavimu“ pristato naują požiūrį į vaizdo / vaizdo įrašų sintezę, kuris žymiai pagreitina aukštos kokybės vaizdų generavimą iš tekstinių raginimų. Distiliuojant didelius difuzijos modelius latentinėje erdvėje, LADD atveria kelią realaus laiko programoms ir nustato naują vaizdo sintezės efektyvumo ir našumo standartą.

Dokumentai paaiškinti

Kodėl grįžimas į biurą po pandemijos gali pakenkti produktyvumui: verslo eksperto įžvalgos