Batez ere, enpresa handietan, COVID-19 pandemiaren ondoren langileak bulegotik lan egin behar izatearen itzulera nabaria izan da. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), Pittsburgheko Unibertsitateko Joseph M. Katz Graduate School of Business-eko enpresen administrazioko irakasle elkartua eta Yuye Ding, Doktoregaiak, eredu hau ikertu du (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Urruneko lanaren ondorio soziologiko eta ekonomikoak aztertu dituzte, baita enpresek langileak bulegora itzultzeko azken ekimena ere, maiz langileak haserretzen dituena.

Mak dio [Heiseri egindako elkarrizketa](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) batean gero eta digitalagoa den laneko ingurunea, langileak bulegora itzultzeak haserretzeko besterik ez du balio eta produktibitatea handitzeko ezer gutxi egiten du. Hala ere, onartzen du borondatez eta talde-laguntzarekin egiten denean, pertsonalki lana onuragarria izan daitekeela eta koordinazio eta talde-lana hobetzea sustatzeko.

Ma-k iradokitzen du etxetik lan egiten dutenean eraginkortasuna frogatu duten errendimendu handiko pertsonei horrela jarraitu behar zaiela, denak bulegoan eduki beharrean. Bere ustez, bestela lana bilatuko luketen pertsona bikainak mantenduz, estrategia honek, azken finean, enpresaburuei zein langileei mesede egingo diela uste du. Era berean, Mak pertsonalki talde-eraikuntza ariketak iradokitzen ditu konpainiaren kultura sendoa mantentzeko, eta hori ezinbestekoa da ideiak eraginkortasunez sortzeko eta arazoak konpontzeko.

Badirudi joera honen gailurra gainditu dela, nahiz eta hainbat negoziok langileak pandemiaren ondoren bulegora itzultzea eskatu. 2024an egindako inkesten arabera, zuzendari nagusi gehienek ez diote balio handirik ematen bulegoan egoteari. Enpresek ikasi zuten langileak nahiko produktiboak izan daitezkeela pandemia garaian urrunetik lan egiten dutenean. Baina beste zuzendari batzuek urrutitik lan egiteari buruzko zalantzak dituzte oraindik, horregatik bulegora itzultzearen alde ari dira. Langileen moralak jasan dezake konfiantza falta horren ondorioz, langileei helarazten dielako arduradunek ez dutela haietan sinesten.

Telelanak gastuak eta espazio-eskakizunak murriztu ditzakeen arren, enpresa handiak beren langileak itzultzeko irrikaz daude, eta horrek aukera ematen du hemen kontrola eta boterea gehiago jokoan egotea prezioa baino. Ma-k adierazi du negozio askok bulegora itzultzeko politikak ezarri zituztela akzioen prezioen jaitsierari erantzuteko, urrutiko lana errendimendu eskaserako ahuntz erabilgarri gisa erabilita.

Oraindik urrutiko lanaren eskaera handia dagoen arren —New York, San Frantzisko eta Alemania bezalako hiri handietako bulego-espazio asko hutsik daude—, kudeatzaileek langileak pertsonalki izateak lankidetza eta enpresa-kultura hobetuko dituela uste dute. Baina lankideekin batera lan egin beharrean, bulegora itzuli diren langile askok esaten dute denbora gehiena ordenagailuetan bakarrik lan egiten dutela. Agindu horien eraginkortasunik eza zalantzan jartzen du bulegoaren eta urrutiko lanaren arteko bereizketa nabarmenik ezaren ondorioz, baita langileek itzultzera behartuta daudenean bizi duten frustrazioagatik ere.

Langileak ohituta daude urrunetik lan egiteak dakartzan lan-bizitza uztartzearen produktibitatea eta onurak areagotzera, hala nola, lana eta familia-bizitza hobeto integratzeko eta joan-etorri luzeak saihesteko gaitasuna. Akordio hauek bulegora behartutako itzultze batek eten izanaren ondorioz sortzen da atsekabea. Gainera, lan faltak hazkuntza profesionala oztopatu dezakeen ustea dago.

Azkenean, Mak uste du langileak behin betiko lanera itzultzera behartuta egongo balira, asko beste lanbide batzuen bila hasiko liratekeela, eta gelditzen direnak motibazio gutxiago izango liratekeela. Etxeko bulegoak ohikoak dira oraindik, lan-bizitza oreka hobea eta erretze-tasa txikiagoak eskaintzen dituztelako, eragozpenak izan arren. Ez dago produktibitate-desberdintasunik urrunetik eta bulegoan lan egitearen artean, eta etxetik lan egitea plan irekiko bulegoetako distrakzioa bezain arrotza izan daiteke, non langileek entzungailuak erabiltzen dituzten maiz arreta jartzeko. Mak gomendatzen du taldeek aukeratzen dutela bulegoan zenbat egun lan egin nahi duten eta gainerako denbora malgu uztea, langileek nahiago duten lan-ingurunea hauta dezaten, nahiz eta giza kontaktuak enpresentzat onuragarriak izan.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Zergatik Bulegora itzultzeak pandemiaren osteko produktibitatea kaltetu dezake: negozio-aditu baten ikuspegiak

[Google AI](https://ai.google/) duela gutxi "Proofread" izeneko eginbide berri bat sartu du Gboard-en, teklatu mugikorreko aplikazio ezagunean. Sakatu bakar batekin, eginbide honek esaldi eta paragrafoen mailan aldaketak eta zuzenketak egiteko aukera ematen du, idazketa-esperientzia orokorra hobetuz.

## 'Hatz gizena' arazoari aurre egitea

[Gboard](https://support.google.com/gboard/?hl=en) deskodeketa estatistikoa erabiltzen du "hatz lodiaren" arazoari aurre egiteko, hau da, pantaila txikietan ukipen-sarreraren zehaztasun eza naturala. Ikerketek erakusten dute letra bakoitzeko errore-tasa ehuneko 8 eta 9ra irits daitekeela deskodetu gabe. Gboard-ek erroreak zuzentzeko hainbat funtzio ditu idazketa errazagoa eta leunagoa izan dadin. Ezaugarri hauek giza ekarpenak dituzten eskuzko lanak konbinatzen dituzte zuzenketa proaktibo eta automatizatuekin.

## Erroreak zuzentzeko tresna integralak

Gboard-en eginbideek modu kolektiboan idaztea errazten dute, besteak beste, hitzak osatzea, hurrengo hitzen iragarpenak, zuzenketa automatiko aktiboa (AC) eta teklaren zuzenketa aktiboa (KC). Tresna horien artean, konposizio adimenduna, akatsen zuzenketa eta hitz anitzeko hautagaiak iradokizun-barran edo lerroan daude. Post-zuzenketak (PC) lehendik egindako hitzetan akatsak zuzentzea ere errazten du. Ezaugarri hauek izan arren, funtsezko bi murrizketek erabiltzailearen esperientzia kaltetzen dute.

1. KC, AC eta PC bezalako gailuko zuzenketa-ereduak azkarrak eta trinkoak badira ere, zailtasunak dituzte testuinguru luzeagoak behar dituzten errore sofistikatu eta konplexuak kudeatzeko. Eredu hauek aktibatu ez daitezen, erabiltzaileek poliki eta zehatz idatzi behar dute.

2. Idazketa-abiadura gutxitzen da erabiltzaileek eskuz zuzendutako hitzak gramatika eta zuzentzaile ortografikoak erabiliz eskuz zuzendu behar dituztelako, eta horrek mentalki eta bisualki nekagarriak izan daitezke.

## Goi-mailako erroreen zuzenketaren beharra

Idazkailu azkarrek maiz alde batera uzten dituzte jada idatzitako hitzak eta teklatuan bakarrik kontzentratzen dira. Hortik akats tasa handiagoak sor daitezke, esaldia edo goi-mailako zuzenketa mekanismoak erabiltzea beharrezkoa dela.

## Zuzenketa aurkezten

Proofread-ek maiz kexa hauek konpontzen ditu produktibitatearen sustapen nabarmenak eskainiz. Erroreen zuzenketa errazten du sakatu bakarreko esaldi- eta paragrafo-mailako zuzenketak emanez.

## Zuzenketaren atzean dagoen teknologia

Proofread funtzioa lau osagai nagusik osatzen dute: datuen ekoizpena, metrikaren diseinua, ereduen doikuntza eta ereduen hornikuntza. Osagai horiek guztiek eraginkortasuna bermatzen dute. Datuen banaketa Gboard domeinuarekin bat datorrela ziurtatzeko, sistemak teklatuko akatsak errepikatzen ditu, zehatz eta metodikoki eraikitako errore-arkitektura sintetikoa erabiliz.

## Neurri aurreratuak eta ereduen optimizazioa

Eredua ebaluatzeko, ikertzaileek zenbait metrika sartu dituzte, bereziki enfasia emanez gramatika-erroreen presentzia egiaztatzen eta hizkuntza-eredu handietatik (LLM) eratorritako antzeko esanahien egiaztapenetan. Gainbegiratua eta InstructGPT teknikan indartzeko ikaskuntza (RL) doikuntza erabiltzen dira eredua hobetzeko. Prozedura honen bidez ereduaren zuzenketa-errendimendua asko hobetzen da.

## Hedapena eta Errendimendua

8 biteko kuantizazioa erabiliz, tamaina ertaineko LLM PaLM2-XS TPU v5 bakar batean sartzeko egokituta dago eta Proofread funtzioaren oinarri gisa balio du. Optimizazioak zerbitzariaren kostua murrizten du. Aurretik egindako ikerketek frogatu dute segmentazioak, deskodetze espekulatiboak eta kubo-giltzak latentzia murriztu dezaketela.

## Mundu errealeko eragina

Pixel 8-ren hamarnaka erabiltzailek Proofread funtzioak eskaintzen dituen kalitate handiko aldaketetatik etekina aterako dute, orain eskuragarri dagoena. Datu sintetikoen sorkuntza sakonak eta doikuntzaren hainbat errepikapenek akats gramatikalak nabarmen murrizten dituen eredu bat sortu dute, PaLM2-XS ereduaren ratio txarraren ehuneko 5,74ko jaitsiera erlatiboaren arabera. Gainera, optimizazioek latentzia mediana % 39,4 gutxitu dute.

## Etorkizuneko Aurreikuspenak

[Ikerketa honek](https://arxiv.org/abs/2406.04523) LLM-ek erabiltzailearen esperientzia nola hobetu dezaketen eta ikerketa gehiagorako aukera interesgarriak sor ditzakeen erakusten du. Erabiltzaile errealeko datuen erabilera, eleaniztun laguntza, neurrira idatzitako laguntza eta gailuen pribatutasun-soluzioak sektorean aurrerapen gehiago ekar ditzaketen arloen adibide batzuk dira.

Google AI teklatu mugikorren teknologiaren aukerak zabaltzen ari da Proofread eginbidearen aurkezpenarekin, mundu osoko jendearentzat idazketa hobetuz.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI-k "Proofread" aurkeztu du: Gboard funtzioa esaldi eta paragrafoak zuzentzeko ahaleginik gabe

Sare Neuronal Sakon Modernoak (DNN) berez opakuak dira, eta zaila da haien erabakiak hartzeko prozesuak ulertzea. Gardentasun falta honek hainbat domeinutan Machine Learning tekniken ezarpen zabala oztopatzen du. Horren harira, Explainable AI (XAI) agertu da DNN epaien giza ulermena hobetzeko asmoz. Osagai bakoitzaren helburu funtzionalari erreparatuta, XAIk DNNen portaera globala ulertzera ere bideratzen da, iragarpen indibidualak azaltzeko nabarmentasun-mapak erabiltzen dituzten tokiko azalpen-metodoen aldean.

Interpretagarritasun mekanikoa azaltzeko teknika global bat da, neuronek, sare neuronaleko oinarrizko konputazio-unitateek, ulertzeko gaitasuna lortu duten ideia zehatzak zehazten dituena. Sare baten ezkutuko irudikapenen funtzionamendua azal dezakegu neuronak gizakientzat ulergarriak diren deskribapenekin etiketatuz. Deskribapen hauek etiketa soiletatik azalpen landu, konposizio eta hiztegi irekietara igaro dira. Hala ere, hiztegi irekiko deskribapen hauek ebaluatzeko metrika kuantitatibo estandarizaturik ezak hainbat ikuspegitan konparaketa sakonak oztopatu ditu.

Hutsune horri aurre egiteko, ATB Potsdam-eko, Potsdameko Unibertsitateko, TU Berlineko, Fraunhofer Heinrich-Hertz-Institute-ko eta BIFOLD-eko ikertzaileek [CoSy](https://arxiv.org/abs/2405.20331) aurkezten dute, ebaluazio kuantitatiboen esparru aitzindaria. Ordenagailu bidezko ikusmenaren (CV) ereduetan hiztegi irekiko azalpenen erabilera ebaluatzea. Metodo berritzaile honek AI sortzailearen garapenak erabiltzen ditu kontzeptuetan oinarritutako testu-deskribapenekin erlazionatzen diren irudi artifizialak sortzeko. cozy-k gizakiaren elkarrekintzaren beharra ezabatzen du, kontzeptuetan oinarritutako testu-azalpen-ikuspegi ezberdinen konparaketa kuantitatiboak erraztuz xede-azalpen jakinetarako ohikoak diren datu-puntuak sintetizatuz.

Ikerketa taldeak metaanalisi zabal baten bidez frogatu zuen erosoak azalpenen ebaluazio fidagarriak eskaintzen dituela. Azterketak aurkitu du kontzeptuetan oinarritutako testu-azalpen metodoek ondoen funtzionatzen dutela sare neuronalen goiko geruzetan, non goi-mailako kontzeptuak ikasten diren. Kalitate handiko neuronen azalpenak INVERT, sare neuronalaren irudikapenetatik ikusizkoak sortzen dituena eta CLIP-Dissect, barne sarearen irudikapenak aztertzen dituen metodoen bidez sortzen dira. Aitzitik, MILAN eta FALCON bezalako teknikek kalitate eskaseko azalpenak sortzen dituzte, noizean behin ia ausazko kontzeptuak emanez, sareko ondorio okerrak sor ditzakete.

CoSy-ren eragozpen nagusi bat da, ikertzaileek aitortzen dutenez, prestakuntza-datuen kategoria espezifikoak baliteke eredu sortzailean sartu ez izatea, eta ondorioz orokorregiak edo anbiguoak diren azalpenak, adibidez, "objektu zuriak". Sorkuntza-zehaztasuna areagotu liteke arazo honi aurre eginez prestakuntza aurreko datu-multzoak eta ereduaren errendimendua aztertuz. Hala ere, erosoak potentzial handia erakusten du oraindik garatzen ari den eremuan tokikoak ez diren azalpen teknikak ebaluatzeko.

Aurrera begira, taldea itxaropentsu dago CoSy-ren aplikazio potentzialen inguruan hainbat esparrutan. Beheko zeregin baten emaitzari buruzko azalpen baten sinesgarritasuna edo kalitatea ebaluatzeko, giza epaia sartu behar da azalpenaren kalitatearen definizioan, etorkizuneko lanetan jorratu nahi dutena. Gainera, hizkuntza naturalaren prozesamendua eta osasuna bezalako eremu osagarriak sartu nahi dituzte beren ebaluazio sisteman. Bereziki zirraragarria da cozy-ren erabilera potentziala hizkuntza-eredu handiak, opakoak eta autointerpretagarriak (LLM) ebaluatzeko. Ikertzaileen arabera, osasun-datu multzoetan erosoa aplikatzea, non azalpenen kalitatea garrantzitsua den, aurrerapauso handia izan liteke. Cozy-ren etorkizuneko aplikazio potentzial hauek ahalmen izugarria dute AIaren ikerketan aurrera egiteko.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Sare neuronalak ulertzea: testu-azalpenen ebaluaziorako CoSy-ren marko kuantitatiboa

[Transformer oinarritutako ereduak](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) ezagunak dira testu konplexuak analizatzeko eta interpretatzeko duten gaitasunagatik. Hitzen ordena eta testuingurua ulertzean oinarritzen dira, posizio-kodetze metodo tradizionalek beren mugak erakutsi dituzten zereginetan. Hutsune horri aurre eginez, ROFORMER ereduak, **Rotary Position Embedding (RoPE)** (Rotary Position Embedding (RoPE))**, posizio-kodeketari buruzko gure ikuspegia birdefinitzen du.

## Posizio-kodeketa tradizionala

Transformers-ek testua token sorta gisa tratatzen dute, eta **sekuentzien prozesamendu paraleloa** ahalbidetzen dute eraginkortasun handiagoa lortzeko. Hala ere, indar horrek bere erronka ekarri zuen: **ereduaren berezko agnostizismoa token ordenaren arabera**. **Kodeketa posizioa** izan zen erantzuna, **token bakoitzari bere sekuentzia-posizioa adierazten duen sinadura bakarra emanez**.

### Erabateko posizioa txertatzeak

Hasieran, BERT bezalako ereduek **posizio absolutuaren txertaketak erabiltzen zituzten, sekuentzia bateko posizio bakoitzari bektore finko bat esleituz**. Metodo honek, zuzena izan arren, berez **ez du gaitasunik sekuentziaren luzera aldaketetara egokitzeko edo tokenen arteko distantzia erlatiboak azpimarratzeko**, funtsezkoa hizkuntza-eraikuntza asko ulertzeko.

### Posizio erlatiboa txertatzeak

Hizkuntzaren izaera dinamikoa harrapatzeko, posizio erlatiboen txertaketak sartu ziren, tokenen arteko distantzian arreta jarriz haien posizio absolutuetan baino. Abantaila kontzeptualak izan arren, txertaketa hauek **konplexutasun konputazionala sartu zuten, eta ezin izan zuten Transformers-en auto-arreta mekanismoan integratzea**, haien eraginkortasuna mugatuz.

## ROFORMER eta posizio birakaria txertatzea

Dauden kodetze kodetze estrategien mugak aintzat hartuta, ROFORMER-ek Rotary Position Embedding (RoPE) aurkezten du, posizio absolutu eta erlatiboaren informazioaren onurak batzen dituen ikuspegia, dagozkien eragozpenik gabe.

### Posizio birakaria txertatzea

RoPEk posizio-informazioa kodetzen du **errotazio-matrizeak** erabiliz, eta ereduari token bat non dagoen ez ezik, sekuentzia bateko beste token guztiekin nola erlazionatzen den uler dezake.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Lente geometriko baten bidez funtzionatzen du, token-posizioak beren erlazio sekuentzialak markatzeko biratzen diren dimentsio anitzeko espazioko puntu gisa tratatuz. Errotazio horri esker, ereduak bere auto-arreta mekanismoaren barruan posizio-seinale absolutuak zein erlatiboak gorde eta ustiatu ditzake.

### Soka ezartzea

RoPE ezartzeak token bakoitzaren posizioa biraketa-matrize batean kodetzea dakar, eta matrize hori Transformadorearen auto-arreta mekanismoaren barruan aplikatzea. Prozesu honek posizio-informazioaren interpretazio malgu eta dinamikoa ahalbidetzen du, sekuentzia luzera ezberdinei egokituz eta token arteko erlazioen funtsa harrapatzen du konputazio-gastu handirik gabe.

Lehenik eta behin, txertaketa birakariak sortzeko funtzio bat beharko duzu, eta gero txertaketa horiek zure ereduan integratuko dituzu. Beheko adibideak Keras-en geruza pertsonalizatuak sortzen ezagutzen dituzula suposatzen du.

#### 1. urratsa: Definitu birakaria txertatzeko funtzioa

Funtzio honek txertaketa birakariak sortzen ditu sekuentziaren gehienezko luzera eta txertaketen dimentsioa kontuan hartuta.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Lerro honek esponentzialki eskalatutako maiztasunen alderantzizkoa kalkulatzen du posizio-indizeetan oinarrituta. Frekuentzia hauek txertaketa birakarietarako patroi sinusoidalak sortzeko erabiltzen dira, eta horrek sekuentziatan posizio-informazio erlatiboa kodetzen laguntzen du. Mekanismo hau bereziki erabilgarria da elementuen ordena eta kokapen erlatiboa ulertzea funtsezkoa den atazetan, esate baterako, hizkuntza naturalaren prozesamenduan edo denbora serieen analisian.

Xehetasunetan:

- `tf.range(0, dim, 2, dtype=tf.float32)` balio sorta bat sortzen du 0tik `dim` arte (esklusiboa), 2z urrats. `dtype=tf.float32` argumentuak zehazten du tentsore honen elementuak 32 biteko koma mugikorreko zenbakiak direla. `dim` 8 bada, adibidez, honek `[0, 2, 4, 6]` sortuko luke.

- `tf.range`-k sortutako tentsorea gero zatitzen da txertaketen dimentsioarekin (`dim`). Eragiketa honek indize hauek 0 eta 1 arteko tartera murrizten ditu (esklusiboa `dim` bikoitia bada, apur bat barne `dim` bakoitia bada, barruti-urratsak beste balio guztiak saltatzen dituelako). Adibidearekin jarraituz `dim` = 8, 8rekin zatituz gero, `[0.0, 0.25, 0.5, 0.75]` lortzen da.

- `10000 ** (...)` eragiketak 10.000 igotzen du aldez aurretik eskalatutako tentsoreko elementu bakoitzaren potentziara. 10.000 oinarria arbitrario samarra da, baina maiztasunak tarte zabalean aldatzen direla ziurtatzeko aukeratzen da, eta horrek ereduari posizio desberdinak modu eraginkorragoan bereizten laguntzen du. `[0.0, 0.25, 0.5, 0.75]`-rako, potentzia-eragiketa aplikatuko lioke bakoitzari, eta, ondorioz, balioak askoz handiagoak izango dira goi-elementuentzat.

- Azkenik, alderantzizko maiztasuna aurreko urratseko balioen elkarrekikoa (1/x) hartuz lortzen da. Alderantzizko maiztasunak txikiagoak dira indize altuagoetarako, hau da, sekuentzian aurrerago dauden elementuek maiztasun txikiagoak izango dituzte, eta haien posizioak ereduan kodetzen diren eragingo dute. Horri esker, txertaketak eskala daitezke ereduaren arreta-mekanismoen bidez posizio erlatiboak ondoriozta daitezkeen moduan.

Lerroa:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

TensorFlow-en `tf.einsum` funtzioa erabiltzen du, Einsteinen batuketa-notazioa erabiliz tentsore-eragiketen adierazpen zehatz eta eraginkorra ahalbidetzen duen tresna.

Eragiketa honek `t` eta `inv_freq` bektoreen kanpoko produktua modu eraginkorrean kalkulatzen du, matrize baten ondorioz, non `(i, j)` elementu bakoitza `t`-ren `i`-garren elementuaren eta ` j`-garren elementua `inv_freq`. Matrize honek (`freqs`) txertaketa birakarietarako patroi sinusoidalak sortzeko erabiltzen diren maiztasunak adierazten ditu.

#### 2. urratsa: Keras geruza pertsonalizatua txertatze birakarietarako

Orain, sor dezagun Keras geruza pertsonalizatu bat, sarrerako tentsorea birakari txertaketak aplikatzen dituena. Geruza honek sarrerako tentsorea `(batch_size, sequence_length, embedding_dim)` forma duela suposatzen du.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

`Embeddings = self.rotary_embeddings[:seq_len]` lerroak aurrez kalkulatutako txertatze birakarien azpimultzo egokia hautatzen du uneko sarrera-sekuentziaren luzeraren arabera. Sekuentzien luzera sorta batetik bestera alda daitekeenez, zatiketa-eragiketa honek benetako sekuentziaren luzerari dagozkion txertaketak soilik erabiltzen direla ziurtatzen du.

`Embeddings` aldagaiak orain `(seq_len, embedding_dim)` forma tentsorea dauka, non `seq_len` uneko lotearen sekuentzien luzera den, eta `embedding_dim` txertatzeen dimentsioa den. Tentsore honek `seq_len` arte sekuentziako posizio bakoitzeko txertaketa birakariak ditu.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` posizio-maiztasunen sinu eta kosinu-eraldaketak tentsore bakar batean konbinatzen ditu:

-`tf.cos(freqs)` eta `tf.sin(freqs)` kosinu eta sinu transformazioak aplikatzen dituzte, hurrenez hurren, `freqs` tentsoreari. `Maiztasunak' tentsorea sarrera-sekuentziako posizio bakoitzaren maiztasun-balioak eta txertatze-espazioaren dimentsio bakoitzeko maiztasun-balioak ditu, sekuentzia-posizioetan eta txertatze-dimentsioen alderantzizko maiztasunetan oinarrituta kalkulatuta. Sinua eta kosinu funtzioak elementuen arabera aplikatzen dira, eta ondorioz `freqs`-en forma bereko bi tentsoreak sortzen dira. Eraldaketa hauek posizioa kodetzen laguntzen dute posizio-erlazioen izaera ziklikoa jasotzen duen moduan, ereduak posizio erlatiboak ulertzeko duen gaitasuna erraztuz.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kosinu eta sinu eraldatutako tentsoreak kateatzen ditu azken ardatzean (`axis=-1` adierazten duena). Tentsore hauek elkarren ondoan kateatzeak `freqs` tentsorearen dimentsioa bikoiztu egiten du, lehen erdiak kosinu-eraldatutako balioak ordezkatzen ditu eta bigarren erdiak sinu-eraldatutako balioak ordezkatzen ditu posizio bakoitzeko. Kateazioak ziurtatzen du posizio-kodetze bakoitzak sinua eta kosinuaren informazioa edukitzea, eta horrek posizio-seinaleen anplitudeari eta faseari buruzko informazioa gordetzea ahalbidetzen du.

- `emb` tentsore kateatuek sarrerako posizioetarako txertaketa birakari osoak ditu orain. `Emb`-ren forma `freqs`-en berdina izango da bere lehen bi dimentsioetan (sekuentzia-posizioei eta txertatze-dimentsioei dagokiena), baina bere azken dimentsioa bi aldiz handiagoa izango da, sinua eta kosinuaren balioak kontuan hartuta. Inkorporazio hauek sarrerako txertaketak modulatzeko erabiltzen dira, posizio-informazioa errotazio modu baliokidean gehituz.

-`cos_emb = txertaketak[:, None, :self.dim // 2]`:

1. `:` lehenengo bi puntuak "hautatu dimentsio honetako elementu guztiak" esan nahi du, eta horrek, kasu honetan, sekuentziako posizio guztiei egiten die erreferentzia.

2. `None` dimentsio gehigarri bat gehitzeko erabiltzen da, tentsorea 3 dimentsiokoa eginez. Hau askotan dimentsio kopuru zehatz bateko sarrerak espero dituzten eragiketa batzuekin bateragarritasuna ziurtatzeko egiten da. Adibidez, 3 dimentsioko beste tentsore batekin elementuen bidezko biderketa egitean, formek difusio-arauen arabera lerrokatu behar dira.

3. `:self.dim // 2`, dimentsioen lehen erdia hautatzen du azken ardatzean. `Embedding_dimension` bikoiztu egiten denez sinua eta kosinua balioak barne hartzeko, 2z zatitzeak txertatzeen kosinu-osagaiak soilik hautatzen ditu eraginkortasunez.

#### 3. urratsa: Keras eredu batekin integratzea

`RotaryEmbeddingLayer` definitu ondoren, zure Keras ereduan integra dezakezu. Geruza hau zure txertaketari aplikatu behar zaio arreta-geruzetan edo ondorengo eredu-geruzetan sartu aurretik.

Hona hemen txertaketa birakariak eredu batean integratzeko adibide sinplifikatu bat:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Transformadore hobetua posizio birakaria barneratzearekin

[Arxiv esteka](https://arxiv.org/abs/2403.13799)

2024ko martxoaren 20a

## Alderantzizko madarikazioa

Hizkuntza-eredu handiek (LLM) bezalako [GPT-4](https://arxiv.org/abs/2303.08774) eta [Llama-2](https://arxiv.org/abs/2307.09288) ulermenerako gaitasun ikusgarriak erakutsi dituzte. eta giza itxurako testua sortzea, ezagutza sorta zabala barne hartuta. Hala ere, huts egiten dute itxuraz erraza den zeregin batean: ikasitako gertaerak alderantzikatzea. Muga honek, "Alderazko madarikazioa" deritzona, LLM-ek ezin duela ondorioztatu "B A-ren ezaugarri bat" dela ikastetik "A-k B ezaugarria du" ikastetik, haurrek ere duten oinarrizko arrazonamendu-trebetasuna. Artikulu honek "Alderantzizko Prestakuntza" aurkezten du, erronka honi aurre egiteko metodo berri bat, norabide bikoitzeko prestakuntza-ikuspegia baliatuz, ereduaren gertakarien ulermena hobetzeko, aurrera zein alderantzizko formatuetan.

## Alderantzizko madarikazioen jatorria

Arazoa LLMen oinarrizko prestakuntza-ikuspegitik sortzen da, normalean **autoerregresiboa, ezkerretik eskuinera** ikaskuntza dakartza. Metodo honek ez die berez irakasten ereduei informazioa alderantzizko ordenan ulertzen edo sortzen. Datuen banaketaren izaera kontuan hartuta Zipfen legearen arabera, gertaera asko norabide bakarrean aipatzen dira, arazo hau areagotuz. "Aldarazte madarikazioa" LLM-ek adierazpenetan elkarrekiko harremanak eta baliokidetasuna ulertzea mugatzen du, arrazoibide-gaitasunetan gabezia nabarmena markatuz.

## Alderantzizko madarikazioa gainditzea Alderantzizko prestakuntzarekin

Proposatutako irtenbideak, Reverse Training, eskuragarri dauden entrenamendu-datuak bikoizten ditu entrenamendu-kateen jatorrizko bertsioak eta alderantzizkoak barne hartuta. Alderantzikatzeko prozesua kontuz ibiliko da zenbait azpikate ez aldatzeko, hala nola entitateen izenak, jatorrizko sekuentzia mantenduz testuingurua gordetzeko. Metodo honek, LLM ikas dezan bigarren hizkuntza bat sartzearen antzera, ereduak bi norabideetan informazioa prozesatzeko eta sortzeko duen gaitasuna nabarmen hobetzen du.

## Alderantzizko prestakuntza-metodoa probatzen

Egileek esperimentu hauek egin zituzten proposatutako metodoa probatzeko:

**1- Alderantzizko zeregin sinbolikoa:** Inguru kontrolatutako proba bat, metodoak alderantzizko erlazioak ondorioztatzeko eta aplikatzeko duen gaitasuna erakusten duena.

**2- Biografiaren ataza alderantzikatzea:** Biografiako datu-multzo bat erabiltzea, emandako xehetasunetatik pertsona-izenak sortzeko errendimendua ebaluatzeko, alderantziz.

**3- Mundu errealeko ezagutzaren iraultzea:** metodoaren eraginkortasuna ebaluatzea mundu errealeko agertokietan, ospetsuei eta haien harremanei buruzko gertaerak alderantzikatuz barne.

**4- Fikziozko gertaerak doitzea:** Ereduaren ikasteko gaitasuna probatzea, sartu berri diren, alderantzikatu diren fikziozko gertakarietan.

Esperimentu hauetan zehar, Alderantzizko Entrenamenduak Alderantzizko Madarikazioa arintzeaz gain, kasu batzuetan, erabat ezabatu zuen. Metodoa bereziki eraginkorra izan zen alderantzizko prozesuan entitate-izenak jatorrizko ordenan gorde zirenean, zenbait testuinguruko aingura mantentzearen garrantzia nabarmenduz.

## Inplikazioak eta etorkizuneko norabideak

Alderantzizko prestakuntzaren arrakastak Reversal Curseari aurre egiteko bide berriak irekitzen ditu LLM prestakuntza-metodologietarako. Ereduek enuntziatuen elkarrekiko erlazioen eta baliokidetasunaren ulermena hobetuz, ikuspegi honek arrazoibide gaitasun sofistikatuagoei ateak irekitzen dizkie. Etorkizuneko ikerketek alderantzizko prozesuaren optimizazio gehiago aztertu dezakete, alderantzizko prestakuntza beste hizkuntza-ereduen arkitektura batzuetan integratzeko ahalmena eta metodo honen aplikazio zabalagoak hizkuntza naturalaren ulermen eta sorkuntza-zereginetan.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Alderantzizko trebakuntza, alderantzizko madarikazioa zaintzeko

[Arxiv esteka](https://arxiv.org/abs/2403.12015)

2024ko martxoaren 18a

"Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation"-ek Latent Adversarial Diffusion Distillation (LADD) izenez ezagutzen den destilazio ikuspegi berri bat aurkezten du. Ikuspegi hau lehendik dauden [difusio-ereduen](https://en.wikipedia.org/wiki/Diffusion_model) mugei aurre egiteko diseinatuta dago, batez ere inferentzia abiadura motelaren erronkari, denbora errealeko aplikazioak oztopatzen dituena. LADD-k bereizmen handiko eta aspektu-erlazio anitzeko irudien sintesia ahalbidetzen du [latente difusio-eredu] handiak (https://arxiv.org/abs/2112.10752) (LDM) modu eraginkorrean destilatuz, prestakuntza-prozesua nabarmen erraztuz eta errendimendua hobetuz aurreko metodoekin alderatuta. .

Paper honetatik ateratako gakoak laburbilduko ditugu.

## Sarrera

Difusio-ereduak irudiak eta bideoak sintesi eta editatzeko tresna indartsu gisa sortu dira, kalitate handiko emaitzak eskainiz. Dena den, haien izaera iteratiboak, sare-ebaluazio ugari eskatzen ditu zarata irudi koherenteetan eraldatzeko, denbora errealeko aplikazioetarako praktikotasuna mugatu du. Difusio-ereduak bizkortzeko hainbat estrategia proposatu dira. LADD-k estrategia berri bat aurkezten du, aurrez prestatutako LDMen sorkuntza-ezaugarriak aprobetxatuz, bereizmen handiko irudien sintesia eraginkorra ahalbidetuz metodo tradizionalek eskatzen dituzten urratsen zati batean.

## Atzeko planoa

Artikulua difusio-ereduen eta haien [distilazioa] ikuspegi orokorra eskaintzen hasten da (https://en.wikipedia.org/wiki/Knowledge_distillation). Difusio-eredu tradizionalak irudi bat pixkanaka-pixkanaka kentzen du urrats iteratibo askoren bidez, prozesua moteldu eta konputazionalki garestia eginez. Destilazio-metodoek, [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD) barne, prozesu hau arintzen saiatu dira beharrezkoak diren urrats kopurua murriztuz. Hala ere, ADD-k mugak ditu, esate baterako, prestakuntza-bereizmen finkoa eta RGB espaziora deskodetzearen beharra difusio-eredu latenteak destilatzeko, eta horrek bereizmen handiko prestakuntza muga dezake.

## Metodologia

LADD-k arazo horiei aurre egiten die **zuzenean ezkutuko espazioan** destilatuz, horrela **pixel-espaziora deskodetu beharra saihestuz**, eta bereizmen handiagoetan entrenatzeko aukera emanez. ADD ez bezala, zeinak pixel espazioan funtzionatzen duen aurrez prestatutako diskriminatzaile batean oinarritzen dena, LADD-k ikuspegi berri bat erabiltzen du, non diskriminatzailea eta irakaslearen eredua bateratzen diren, zuzenean ezkutuan funtzionatzen duena. Metodo honek prestakuntza-prozesua sinplifikatzeaz gain, hainbat abantaila ere eskaintzen ditu, besteak beste, eraginkortasuna, zarata-mailako feedback espezifikoa emateko gaitasuna eta Aspektu Anitzeko Ratio (MAR) prestakuntzarako gaitasuna.

## Esperimentuak eta emaitzak

Artikuluak LADD asko ebaluatzen du hainbat esperimenturen bidez, eta bereizmen handiko irudiak sintetizatzeko duen errendimendu handiagoa erakusten du urrats gutxi batzuekin. Nabarmentzekoa, [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) aplikazioan aplikatzen denean, LADD-k SD3-Turbo izeneko eredua lortzen du, zeinak estatuaren irudi-kalitate parekoa lortzen du. puntako testu-irudi-sorgailuak lau urrats besterik ez ditu. Esperimentuek irakasleen zarata-banaketa ezberdinen eragina, datu sintetikoen erabilera, destilazio ezkutuko ikuspegiak eta LADDren eskalatze-portaera ere aztertzen dituzte.

## Artearen egoerarekin alderatzea

LADD-ren eraginkortasuna are gehiago azpimarratzen da testu-irudi eta irudi-irudi sintesian egungo metodo nagusiekin alderatuz. SD3-Turbok bere irakasle-ereduaren (SD3) errendimenduarekin bat datorrela irudiaren kalitatean, baizik eta hobekuntza nabarmenak erakusten ditu beste oinarri-lerroen aldean inferentzia-abiadurari eta irudi-testuaren lerrokatzeari dagokionez.

## Mugak eta etorkizuneko norabideak

Aurrerapenak izan arren, LADD ez dago mugarik. Egileek ereduaren gaitasunaren, lerrokatzearen eta inferentzia-abiaduraren arteko truke-off bat nabaritu dute, eta horrek eragina izan dezake ereduak testu-irudiaren sintesi-erronka jakin batzuk kudeatzeko duen gaitasunan. Etorkizuneko ikerketen norabideen artean, merkataritza-konpromiso hori sakonago aztertzea eta irudiaren eta testu-gidarien indarguneen kontrola hobetzeko estrategiak garatzea daude.

## Ondorioa

"Erresoluzio handiko irudien sintesia bizkorra kontrako difusio ezkutuko destilazioarekin" irudi/bideoen sintesiaren ikuspegi berri bat aurkezten du, eta kalitate handiko irudiak sortzea nabarmen bizkortzen du testu-aginduetatik. Espazio ezkutuan difusio-eredu handiak destilatuz, LADDek denbora errealeko aplikazioetarako bidea irekitzen du eta irudien sintesian eraginkortasun eta errendimendu estandar berri bat ezartzen du.

Paperak azalduta

Zergatik Bulegora itzultzeak pandemiaren osteko produktibitatea kaltetu dezake: negozio-aditu baten ikuspegiak