Veral in groter ondernemings was daar 'n merkbare terugkeer na die vereiste dat werkers van die kantoor af werk ná die COVID-19-pandemie. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), 'n medeprofessor in besigheidsadministrasie aan die Joseph M. Katz Graduate School of Business aan die Universiteit van Pittsburgh, en Yuye Ding, 'n PhD-student, [het hierdie patroon ondersoek](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Hulle het gekyk na die sosiologiese en ekonomiese gevolge van afstandwerk sowel as die onlangse inisiatief deur besighede om werkers terug te kry in die kantoor, wat werkers gereeld irriteer.

Ma voer in 'n [onderhoud met Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) aan dat, in 'n toenemend digitale werksomgewing, om werkers terug te keer kantoor toe, dien bloot om hulle te irriteer en doen min om produktiwiteit te verhoog. Hy gee wel toe dat wanneer dit vrywillig en met spanondersteuning gedoen word, persoonlike werk voordelig kan wees en verbeterde koördinasie en spanwerk kan bevorder.

Ma stel voor dat hoogpresterende individue wat hul doeltreffendheid bewys het wanneer hulle van die huis af werk, toegelaat moet word om dit aan te hou, eerder as om almal in die kantoor te hê. Hy meen dat hierdie strategie uiteindelik beide werkgewers en werknemers sal bevoordeel deur briljante individue te hou wat andersins werk elders kan soek. Ma stel ook gereelde persoonlike spanbou-oefeninge voor om die maatskappy se kultuur robuust te hou, wat noodsaaklik is vir doeltreffende ideegenerering en probleemoplossing.

Dit lyk asof die hoogtepunt van hierdie neiging verby is, al het verskeie ondernemings vereis dat werknemers na die pandemie moet terugkeer kantoor toe. Volgens opnames wat in 2024 gedoen is, heg die meerderheid uitvoerende hoofde nie meer hoë waarde daaraan om by die kantoor te wees nie. Besighede het geleer dat werkers redelik produktief kan wees wanneer hulle op afstand werk tydens die pandemie. Maar ander bestuurders het steeds twyfel oor afstandwerk, en daarom pleit hulle vir teruggaan kantoor toe. Werknemersmoraal kan ly as gevolg van hierdie gebrek aan vertroue aangesien dit aan personeellede oordra dat hul bestuurders nie in hulle glo nie.

Ten spyte van die feit dat telependel oorhoofse en spasievereistes kan verlaag, is groot besighede gretig om hul werkers terug te kry, wat die moontlikheid laat ontstaan ​​dat beheer en mag meer hier speel as prys. Ma wys daarop dat baie besighede terugkeer-na-kantoor-beleide geïmplementeer het in reaksie op aandeelprysdalings, wat gerieflike afstandwerk gebruik het as 'n handige sondebok vir swak prestasie.

Ten spyte van die feit dat daar steeds 'n groot aanvraag na afgeleë werk is - baie kantoorruimtes in groot stede soos New York, San Francisco en Duitsland is vakant - bly bestuurders die mening huldig dat om werkers persoonlik te hê samewerking en sakekultuur sal verbeter. Maar in plaas daarvan om saam met kollegas te werk, sê baie werkers wat na die kantoor teruggekeer het dat hulle die meeste van hul tyd deurbring om alleen op hul rekenaars te werk. Die ondoeltreffendheid van sulke mandate word in twyfel getrek deur die gebrek aan 'n waarneembare onderskeid tussen kantoor- en afgeleë werk, sowel as die frustrasie wat werknemers ervaar wanneer hulle verplig word om terug te keer.

Werkers is gewoond aan die verhoogde produktiwiteit en voordele van 'n werk-lewe-balans wat gepaard gaan met afstandwerk, soos die vermoë om werk en gesinslewe beter te integreer en lang pendelpaaie te vermy. Ontevredenheid spruit uit hierdie ooreenkomste wat ontwrig word deur 'n gedwonge terugkeer na die kantoor. Daarbenewens is daar 'n persepsie dat ontbrekende werk professionele groei kan belemmer.

Op die ou end dink Ma dat as werkers gedwing word om permanent na die werkplek terug te keer, baie van hulle na ander beroepe sal begin soek, en diegene wat bly, sal dalk minder gemotiveerd raak. Tuiskantore is steeds algemeen omdat hulle 'n beter balans tussen werk en lewe bied en laer uitbrandingskoerse, ten spyte van hul nadele. Daar is geen waarneembare produktiwiteitsverskil tussen werk op afstand en in 'n kantoor nie, en werk van die huis af kan net so vervreemdend wees soos die afleidings van oopplan-kantore waar werknemers gereeld oorfone dra om te fokus. Ma beveel aan dat spanne kies hoeveel dae hulle in die kantoor wil werk en die res van die tyd buigsaam laat sodat werknemers hul voorkeurwerkomgewing kan kies, al kan menslike kontakte voordelig wees vir maatskappye.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Waarom terugkeer na die kantoor na pandemie produktiwiteit kan benadeel: insigte van 'n sakekenner

[Google KI](https://ai.google/) het onlangs 'n nuwe kenmerk genaamd 'Proeflees' aan Gboard, die gewilde mobiele sleutelbordtoepassing, bekendgestel. Met 'n enkele tik laat hierdie kenmerk naatlose wysigings en regstellings op die sin- en paragraafvlakke toe, wat die algehele tikervaring verbeter.

## Die 'Vetvinger'-probleem aanpak

[Gboard](https://support.google.com/gboard/?hl=af) gebruik statistiese dekodering as 'n manier om die "vetvinger"-kwessie aan te spreek, wat die natuurlike onakkuraatheid van aanraakinvoer op klein skerms is. Navorsing toon dat die foutkoers per letter 8 tot 9 persent kan bereik sonder dekodering. Gboard kom met verskeie foutregstellende kenmerke om tik makliker en gladder te maak. Hierdie kenmerke kombineer handtake wat menslike insette behels met proaktiewe, outomatiese regstellings.

## Omvattende gereedskap vir foutregstelling

Tik word gesamentlik makliker gemaak deur Gboard se kenmerke, wat woordvoltooiing, volgende-woord-voorspellings, aktiewe outo-korreksie (AC) en aktiewe sleutelkorreksie (KC) insluit. Hierdie instrumente sluit slim samestelling, foutkorreksie en meervoudige woordkandidate in die voorstelbalk of inlyn in. Na-korreksie (PC) vergemaklik ook die regstelling van foute in woorde wat reeds begaan is. Ten spyte van hierdie kenmerke, benadeel twee sleutelbeperkings die gebruikerservaring.

1. Terwyl op-toestel-korreksiemodelle soos KC, AC en PC vinnig en kompak is, sukkel hulle om gesofistikeerde en komplekse foute te hanteer wat langer kontekste benodig. Om te verhoed dat hierdie modelle geaktiveer word, moet gebruikers stadig en presies tik.

2. Tikspoed neem af as gevolg van gebruikers wat toegewyde woorde met die hand moet regstel deur grammatika en speltoetsers te gebruik, wat geestelik en visueel belastend kan wees.

## Die behoefte aan hoëvlakfoutregstelling

Vinnige tipes ignoreer gereeld woorde wat hulle reeds getik het en konsentreer net op die sleutelbord. Hoër foutkoerse kan hieruit ontstaan, wat die gebruik van sin- of hoërvlak-korreksiemeganismes noodsaak.

## Stel Proeflees bekend

Proeflees los hierdie gereelde klagtes op deur noemenswaardige produktiwiteitsverhogings te bied. Dit maak foutkorreksie makliker deur sin- en paragraafvlak-korreksies met een tik te verskaf.

## Die Tegnologie Agter Proeflees

Die Proeflees-kenmerk bestaan ​​uit vier primêre komponente: dataproduksie, metrieke ontwerp, modelaanpassing en modelbediening. Saam waarborg al hierdie komponente doeltreffendheid. Om te verseker dat dataverspreiding in lyn is met die Gboard-domein, boots die stelsel gereelde sleutelbordfoute na deur 'n presies en metodies geboude sintetiese foutargitektuur te gebruik.

## Gevorderde statistieke en modeloptimalisering

Ten einde die model te assesseer, het navorsers 'n aantal maatstawwe ingesluit, met 'n besondere klem op grammatikale foutaanwesigheidkontroles en soortgelyke betekeniskontroles wat van groottaalmodelle (LLM's) afgelei is. Onder toesig fyninstelling en Reinforcement Learning (RL) tuning word in die InstructGPT-tegniek gebruik om die model te verbeter. Die model se proefleesprestasie word deur hierdie prosedure aansienlik verbeter.

## Ontplooiing en prestasie

Deur 8-bis kwantisering te gebruik, is die mediumgrootte LLM PaLM2-XS aangepas om binne 'n enkele TPU v5 te pas en dien as die grondslag vir die Proeflees-funksie. Die optimalisering verlaag die koste van bediening. Vorige navorsing het getoon dat segmentering, spekulatiewe dekodering en emmersleutels latensie kan verminder.

## Werklike Wêreld-impak

Tienduisende Pixel 8-gebruikers sal baat by die hoëgehalte-wysigings wat deur die Proeflees-funksie verskaf word, wat nou beskikbaar is. 'n Deeglike generering van sintetiese data en verskeie herhalings van fynverstelling het 'n model opgelewer wat grammatikale foute aansienlik verlaag, soos gesien deur 'n 5.74 persent relatiewe afname in die PaLM2-XS-model se Slegte verhouding. Boonop het optimalisering 'n 39.4% afname in mediaan latency tot gevolg gehad.

## Toekomsvooruitsigte

[Hierdie studie](https://arxiv.org/abs/2406.04523) demonstreer hoe LLM's gebruikerservaring kan verbeter en interessante moontlikhede vir verdere ondersoek kan skep. Die gebruik van werklike gebruikerdata, veeltalige ondersteuning, pasgemaakte skryfhulp en oplossings vir toestelprivaatheid is 'n paar voorbeelde van gebiede wat tot verdere vooruitgang in die sektor kan lei.

Google KI brei die moontlikhede van mobiele sleutelbordtegnologie uit met die bekendstelling van die Proeflees-funksie, wat tik vir mense regoor die wêreld verbeter.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI onthul 'Proeflees': Gboard-funksie vir moeitelose sin- en paragraafkorreksies

Moderne diep neurale netwerke (DNN's) is intrinsiek ondeursigtig, wat dit uitdagend maak om hul besluitnemingsprosesse te begryp. Hierdie gebrek aan deursigtigheid meng in met die uitgebreide implementering van Masjienleer-tegnieke in 'n verskeidenheid domeine. In reaksie hierop het Verduidelikbare KI (XAI) na vore gekom met die bedoeling om menslike begrip van DNN-oordele te verbeter. Deur na die funksionele doel van elke komponent te kyk, fokus XAI nou ook op die begrip van die globale gedrag van DNN'e, in teenstelling met plaaslike verduidelikingsmetodes wat opvallende kaarte gebruik om individuele voorspellings te verduidelik.

Meganistiese interpreteerbaarheid is 'n globale verduidelikbaarheidstegniek wat daarop fokus om die spesifieke idees vas te stel wat neurone, die fundamentele rekenaareenhede van 'n neurale netwerk, die vermoë verkry het om te verstaan. Ons kan die werking van 'n netwerk se latente voorstellings verduidelik deur neurone te etiketteer met beskrywings wat vir mense verstaanbaar is. Hierdie beskrywings het gevorder van eenvoudige byskrifte tot uitgebreide, komposisionele en oop woordeskat verduidelikings. Nietemin het die gebrek aan gestandaardiseerde kwantitatiewe maatstawwe vir die assessering van hierdie oop-woordeskatbeskrywings deeglike vergelykings oor verskeie benaderings heen belemmer.

Om hierdie gaping aan te spreek, stel navorsers van ATB Potsdam, Universiteit van Potsdam, TU Berlyn, Fraunhofer Heinrich-Hertz-Institute en BIFOLD [CoSy](https://arxiv.org/abs/2405.20331), 'n baanbreker kwantitatiewe evalueringsraamwerk vir assessering van die gebruik van oop woordeskat verduidelikings in rekenaarvisie (CV) modelle. Hierdie innoverende metode maak gebruik van ontwikkelings in Generatiewe KI om kunsmatige beelde te produseer wat met konsepgebaseerde tekstuele beskrywings korreleer. cosy skakel die behoefte aan menslike interaksie uit deur kwantitatiewe vergelykings van verskillende konsepgebaseerde teksverduidelikingsbenaderings te fasiliteer deur datapunte te sintetiseer wat algemeen is vir spesifieke teikenverduidelikings.

Die navorsingspan het deur 'n uitgebreide meta-analise getoon dat knus betroubare evaluasies van verduidelikings bied. Die studie het ontdek dat konsepgebaseerde tekstuele verduidelikingsmetodes die beste funksioneer in die boonste lae van neurale netwerke, waar hoëvlakkonsepte aangeleer word. Hoë kwaliteit neuron verduidelikings word geproduseer deur metodes soos INVERT, wat beeldmateriaal uit neurale netwerk voorstellings skep, en CLIP-Dissect, wat interne netwerk voorstellings ondersoek. Omgekeerd lewer tegnieke soos MILAN en FALCON verduidelikings van minderwaardige kwaliteit, wat soms byna willekeurige konsepte verskaf, wat tot onakkurate netwerkgevolgtrekkings kan lei.

'n Groot nadeel van CoSy, soos die navorsers erken, is dat spesifieke kategorieë uit die opleidingsdata dalk nie in die generatiewe model ingesluit is nie, wat lei tot verduidelikings wat te algemeen of dubbelsinnig is, soos "wit voorwerpe." Generatiewe akkuraatheid kan verhoog word deur hierdie probleem aan te spreek deur vooropleidingdatastelle en modelwerkverrigting te ondersoek. Selfs nog, knus vertoon baie potensiaal in die steeds ontwikkelende veld van assessering van nie-plaaslike verduidelikingstegnieke.

As ons vorentoe kyk, is die span hoopvol oor CoSy se potensiële toepassings oor verskeie velde. Om die aanneemlikheid of kwaliteit van 'n verduideliking oor die resultaat van 'n stroomaftaak te evalueer, moet menslike oordeel ingesluit word in die definisie van verduidelikingskwaliteit, wat hulle in toekomstige werk wil aanspreek. Daarbenewens wil hulle addisionele velde soos natuurlike taalverwerking en gesondheidsorg by hul evalueringstelsel insluit. Die potensiële gebruik van knus vir die beoordeling van groot, ondeursigtige, outo-interpreteerbare taalmodelle (LLM's) is veral opwindend. Volgens die navorsers kan die toepassing van knus op gesondheidsorgdatastelle, waar verduidelikingskwaliteit belangrik is, 'n groot stap vorentoe wees. Hierdie potensiële toekomstige toepassings van knus het enorme potensiaal om KI-navorsing te bevorder.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Verstaan ​​neurale netwerke: CoSy se kwantitatiewe raamwerk vir teksverduidelikingsevaluering

[Transformator-gebaseerde modelle](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) is bekend vir hul vermoë om komplekse teks te ontleed en te interpreteer. Hulle maak staat op die begrip van die volgorde en konteks van woorde - take waarby tradisionele posisionele enkoderingsmetodes hul grense getoon het. Deur hierdie gaping aan te spreek, herdefinieer die ROFORMER-model, aangedryf deur die **Rotary Position Embedding (RoPE)**, ons benadering tot posisionele enkodering.

## Tradisionele Posisionele Enkodering

Transformators behandel teks as 'n reeks tekens, en laat **parallelle verwerking van rye** toe vir groter doeltreffendheid. Hierdie krag het egter sy uitdaging gebring: die **model se inherente agnostisisme tot tekenorde**. **Posisionele enkodering** was die antwoord, **wat elke teken 'n unieke handtekening verskaf wat sy volgordeposisie aandui**.

### Absolute Posisie-inbeddings

Aanvanklik het modelle soos BERT **absolute posisie-inbeddings gebruik, wat 'n vaste vektor aan elke posisie in 'n volgorde toegewys het**. Hierdie metode, alhoewel eenvoudig, het inherent nie die vermoë om aan te pas by variasies in volgordelengte nie, of om die relatiewe afstande tussen tekens ** te beklemtoon, van kritieke belang vir die verstaan ​​van baie linguistiese konstrukte.

### Relatiewe posisie-inbeddings

Om die dinamiese aard van taal vas te vang, is relatiewe posisie-inbeddings ingestel, met die fokus op die afstand tussen tekens eerder as hul absolute posisies. Ten spyte van hul konseptuele voordeel, het hierdie inbeddings **rekenkundige kompleksiteit ingebring, en het nie daarin geslaag om naatloos in die self-aandagmeganisme van Transformers** te integreer nie, wat hul doeltreffendheid beperk het.

## ROFORMER en Rotary Position Inbedding

Met erkenning van die beperkings van bestaande posisionele enkoderingstrategieë, stel ROFORMER Rotary Position Embedding (RoPE), 'n benadering wat die voordele van absolute en relatiewe posisie-inligting kombineer sonder hul onderskeie nadele.

### Roterende posisie-inbedding

RoPE kodeer posisionele inligting deur **rotasiematrikse** te gebruik, wat die model in staat stel om nie net te verstaan ​​waar 'n teken is nie, maar hoe dit met elke ander teken in 'n volgorde verband hou.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Dit werk deur 'n geometriese lens, en behandel tekenposisies as punte in 'n multi-dimensionele ruimte wat geroteer word om hul opeenvolgende verwantskappe te merk. Hierdie rotasie laat die model toe om beide absolute en relatiewe posisionele leidrade binne sy self-aandagmeganisme te bewaar en te ontgin.

### Implementering van RoPE

Implementering van RoPE behels die enkodering van elke teken se posisie in 'n rotasiematriks, en die toepassing van hierdie matriks binne die self-aandagmeganisme van die Transformator. Hierdie proses maak voorsiening vir 'n buigsame, dinamiese interpretasie van posisionele inligting, wat wisselende volgordelengtes akkommodeer en die essensie van token-interverwantskappe vaslê sonder noemenswaardige berekeningsbokoste.

Eerstens het jy 'n funksie nodig om die roterende inbeddings te genereer, en dan sal jy hierdie inbeddings in jou model integreer. Die voorbeeld hieronder neem aan dat jy vertroud is met die skep van pasgemaakte lae in Keras.

#### Stap 1: Definieer die Rotary Embedding-funksie

Hierdie funksie genereer die roterende inbeddings gegewe die maksimum volgorde lengte, en die dimensionaliteit van die inbeddings.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Hierdie lyn bereken die inverse van eksponensieel geskaalde frekwensies gebaseer op die posisie-indekse. Hierdie frekwensies word gebruik om sinusvormige patrone vir roterende inbeddings te genereer, wat help om die relatiewe posisionele inligting in rye te enkodeer. Hierdie meganisme is veral nuttig in take waar begrip van die volgorde en relatiewe posisionering van elemente van kardinale belang is, soos in natuurlike taalverwerking of tydreeksanalise.

In besonderhede:

- `tf.range(0, dim, 2, dtype=tf.float32)` skep 'n reeks waardes vanaf 0 tot en met `dim` (eksklusief), met 2 stapsgewys. Die `dtype=tf.float32`-argument spesifiseer dat die elemente van hierdie tensor 32-bis swaaipuntgetalle is. As `dim` byvoorbeeld 8 is, sal dit `[0, 2, 4, 6]` produseer.

- Die tensor wat deur `tf.range` geproduseer word, word dan gedeel deur die dimensionaliteit (`dim`) van die inbeddings. Hierdie bewerking skaal hierdie indekse af na 'n reeks tussen 0 en 1 (eksklusief as `dim` ewe is, effens inklusief as `dim` vreemd is, want die reeksstap slaan elke ander waarde oor). Deur die voorbeeld voort te sit met `dim` = 8, deling deur 8 lewer `[0.0, 0.25, 0.5, 0.75]`.

- Die `10000 ** (...)` bewerking verhoog 10 000 tot die krag van elke element in die voorheen geskaalde tensor. Die basis van 10 000 is ietwat arbitrêr, maar word gekies om te verseker dat die frekwensies oor 'n wye reeks verskil, wat die model help om meer effektief tussen verskillende posisies te onderskei. Vir `[0.0, 0.25, 0.5, 0.75]` sal dit die kragbewerking op elkeen toepas, wat lei tot waardes wat baie groter is vir hoër elemente.

- Laastens word die omgekeerde frekwensie verkry deur die resiproke (1/x) van die waardes van die vorige stap te neem. Die inverse frekwensies is kleiner vir hoër indekse, wat beteken dat elemente verder in die volgorde kleiner frekwensies sal hê, wat beïnvloed hoe hul posisies in die model geënkodeer word. Dit laat die inbeddings toe om te skaal op 'n wyse waar relatiewe posisies deur die model se aandagmeganismes afgelei kan word.

Die lyn:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

gebruik TensorFlow se `tf.einsum`-funksie, 'n instrument wat dit moontlik maak vir bondige en doeltreffende uitdrukking van tensor-bewerkings deur die Einstein-opsommingsnotasie te gebruik.

Hierdie bewerking bereken effektief die buitenste produk van die `t` en `inv_freq` vektore, wat lei tot 'n matriks waar elke element `(i, j)` die produk is van die `i`-de element van `t` en die ` j`-de element van `inv_freq`. Hierdie matriks (`freqs`) verteenwoordig die frekwensies wat gebruik word om die sinusvormige patrone vir die roterende inbeddings te genereer.

#### Stap 2: Pasgemaakte Keras-laag vir roterende inbeddings

Kom ons skep nou 'n pasgemaakte Keras-laag wat roterende inbeddings op die invoertensor toepas. Hierdie laag neem aan dat die invoertensor van vorm `(batch_size, sequence_length, embedding_dim)` is.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Die reël `inbeddings = self.rotary_embeddings[:seq_len]` kies die toepaslike subset van voorafberekende roterende inbeddings gebaseer op die huidige invoervolgordelengte. Aangesien die lengte van reekse van een bondel na 'n ander kan wissel, verseker hierdie snybewerking dat slegs die inbeddings wat met die werklike reekslengte ooreenstem, gebruik word.

Die veranderlike "inbeddings" het nou 'n tensor van vorm '(seq_len, embedding_dim)', waar 'seq_len' die lengte van die rye in die huidige bondel is, en 'embedding_dim' is die dimensionaliteit van die inbeddings. Hierdie tensor bevat die roterende posisionele inbeddings vir elke posisie in die volgorde tot en met `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), as=-1)` kombineer sinus- en cosinustransformasies van posisionele frekwensies in 'n enkele tensor:

-`tf.cos(freqs)` en `tf.sin(freqs)` pas die cosinus- en sinustransformasies onderskeidelik toe op die `freqs`-tensor. Die `freqs` tensor bevat frekwensiewaardes vir elke posisie in die invoervolgorde en elke dimensie van die inbeddingspasie, bereken op grond van die volgordeposisies en die omgekeerde frekwensies van die inbeddingdimensies. Die sinus- en cosinusfunksies word elementgewys toegepas, wat lei tot twee tensors van dieselfde vorm as `freqs`. Hierdie transformasies help om die posisie te enkodeer op 'n manier wat die sikliese aard van posisionele verhoudings vasvang, wat die model se vermoë om relatiewe posisies te verstaan, vergemaklik.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), as=-1)` verbind die cosinus- en sinus-getransformeerde tensors langs die laaste as (aangedui deur `as=-1`). Die samevoeging van hierdie tensors langs mekaar verdubbel effektief die dimensionaliteit van die `freqs` tensor, met die eerste helfte wat cosinus-getransformeerde waardes verteenwoordig en die tweede helfte wat sinus-getransformeerde waardes vir elke posisie verteenwoordig. Die aaneenskakeling verseker dat elke posisionele enkodering beide sinus- en cosinus-inligting bevat, wat die behoud van inligting oor beide die amplitude en fase van die posisionele seine moontlik maak.

- Die aaneengeskakelde tensor `emb` hou nou die volledige roterende inbeddings vir die invoerposisies. Die vorm van `emb` sal dieselfde wees as `freqs` in sy eerste twee dimensies (wat ooreenstem met ryposisies en inbeddingsdimensies), maar sy laaste dimensie sal twee keer so groot wees, wat beide sinus- en cosinuswaardes in ag neem. Hierdie inbeddings word gebruik om die insetinbeddings te moduleer deur posisionele inligting op 'n rotasie-ekwivariante wyse by te voeg.

-`cos_emb = inbeddings[:, Geen, :self.dim // 2]`:

1. Die eerste dubbelpunt `:` beteken "kies alle elemente in hierdie dimensie," wat, in hierdie geval, verwys na alle posisies in die ry.

2. `Geen` word gebruik om 'n bykomende dimensie by te voeg, wat die tensor 3-dimensioneel maak. Dit word dikwels gedoen om versoenbaarheid te verseker met sekere bewerkings wat insette van 'n spesifieke aantal dimensies verwag. Byvoorbeeld, wanneer elementsgewyse vermenigvuldiging uitgevoer word met 'n ander tensor wat 3-dimensioneel is, moet die vorms in lyn wees volgens uitsaaireëls.

3. `:self.dim // 2`, kies die eerste helfte van die afmetings in die laaste as. Aangesien die 'inbedding_dimensie' verdubbel word om beide sinus- en cosinuswaardes in te sluit, kies deling deur 2 effektief net die cosinuskomponente van die inbeddings.

#### Stap 3: Integrasie met 'n Keras-model

Nadat jy die `RotaryEmbeddingLayer` gedefinieer het, kan jy dit in jou Keras-model integreer. Hierdie laag moet op jou inbeddings aangebring word voordat dit in aandaglae of enige daaropvolgende modellae ingevoer word.

Hier is 'n vereenvoudigde voorbeeld van hoe om die roterende inbeddings in 'n model te integreer:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Verbeterde transformator met roterende posisie-inbedding

[Arxiv-skakel](https://arxiv.org/abs/2403.13799)

20 Maart 2024

## Die Omkeervloek

Groot taalmodelle (LLM's) soos [GPT-4](https://arxiv.org/abs/2303.08774) en [Llama-2](https://arxiv.org/abs/2307.09288) het indrukwekkende vermoëns in begrip getoon en die generering van mensagtige teks, wat 'n groot verskeidenheid kennis insluit. Hulle misluk egter in 'n oënskynlik eenvoudige taak: om geleerde feite om te keer. Hierdie beperking, wat die "Omkeervloek" genoem word, impliseer dat LLM's nie kan aflei dat "B 'n kenmerk van A is" uit die aanleer van "A het 'n kenmerk B," 'n basiese redenasievaardigheid wat selfs kinders besit. Hierdie artikel stel "Reverse Training" bekend, 'n nuwe metode om hierdie uitdaging aan te spreek deur 'n tweerigting-opleidingsbenadering te gebruik om die model se begrip van feite in beide vorentoe- en terug-formate te verbeter.

## Die oorsprong van die ommekeervloek

Die probleem spruit voort uit die fundamentele opleidingsbenadering van LLM's, wat tipies **outoregressiewe, links-na-regs-leer** behels. Hierdie metode leer nie inherent die modelle om inligting in die omgekeerde volgorde te verstaan ​​of te genereer nie. Gegewe die aard van dataverspreiding volgens Zipf se wet, word baie feite net in een rigting genoem, wat hierdie kwessie vererger. Die "Omkeervloek" beperk die LLM's se begrip van wederkerige verhoudings en ekwivalensie in stellings, wat 'n beduidende tekortkoming in hul redenasievermoëns aandui.

## Om die omkeervloek te oorkom met omgekeerde opleiding

Die voorgestelde oplossing, Reverse Training, verdubbel die beskikbare opleidingsdata deur beide oorspronklike en omgekeerde weergawes van oefenstringe in te sluit. Die omkeerproses is versigtig om nie sekere substringe, soos entiteitsname, te verander nie en hul oorspronklike volgorde te behou om konteks te bewaar. Hierdie metode, soortgelyk aan die bekendstelling van 'n tweede taal vir die LLM om te leer, verbeter aansienlik die model se vermoë om inligting in beide rigtings te verwerk en te genereer.

## Toets die omgekeerde opleidingsmetode

Die skrywers het die volgende eksperimente uitgevoer om hul voorgestelde metode te toets:

**1- Simboliese omgekeerde taak:** 'n Gekontroleerde omgewingstoets wat die metode se vermoë demonstreer om omgekeerde verwantskappe af te lei en toe te pas.

**2- Omkeer van biografietaak:** Gebruik 'n biografiedatastel om prestasie te assesseer in die generering van persoonsname uit gegewe besonderhede, omgekeerd.

**3- Werklike kennis-omkering:** Evalueer die metode se doeltreffendheid in werklike scenario's, insluitend omkeer van feite oor bekendes en hul verhoudings.

**4- Fynafstelling van fiktiewe feite:** Toets die model se leervermoë op nuut-ingevoerde, omgekeerde fiktiewe feite.

Oor hierdie eksperimente het Reverse Training nie net die Omkeervloek versag nie, maar dit in sommige gevalle heeltemal uitgeskakel. Die metode het besonder effektief geblyk toe entiteitsname in hul oorspronklike volgorde behoue ​​gebly het tydens die omkeerproses, wat die belangrikheid van die handhawing van sekere kontekstuele ankers beklemtoon het.

## Implikasies en toekomstige rigtings

Die sukses van Reverse Training in die aanspreek van die Reversal Curse open nuwe weë vir LLM-opleidingsmetodologieë. Deur modelle se begrip van wederkerige verhoudings en ekwivalensie in stellings te verbeter, maak hierdie benadering die deur oop vir meer gesofistikeerde redenasievermoëns. Toekomstige navorsing kan verdere optimalisering van die omkeerproses, die potensiaal vir die integrasie van omgekeerde opleiding in ander taalmodel-argitekture en breër toepassings van hierdie metode in natuurlike taalbegrip en genereringstake ondersoek.

---

* Word 'n Coding Pro teen jou eie tempo! Sluit aan by Code Labs Academy se [Aanlyn deeltydse selflaaikamp](/) en verbeter vaardigheid in kodering. Pas leer rondom jou skedule en begin vandag jou reis na tegnologie!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Omgekeerde opleiding om die omkeervloek te verpleeg

[Arxiv-skakel](https://arxiv.org/abs/2403.12015)

18 Maart 2024

"Vinnige hoë-resolusie-beeldsintese met latente teenstandersdiffusiedistillasie" bied 'n nuwe distillasiebenadering bekend as latente teenstrydige diffusiedistillasie (LADD). Hierdie benadering is ontwerp om die beperkings van bestaande [diffusiemodelle](https://en.wikipedia.org/wiki/Diffusion_model) aan te spreek, veral die uitdaging van stadige inferensiespoed, wat intydse toepassings belemmer. LADD maak 'n hoë-resolusie, multi-aspekverhouding beeldsintese moontlik deur doeltreffend groot [latente diffusiemodelle](https://arxiv.org/abs/2112.10752) (LDM's) te distilleer, wat die opleidingsproses aansienlik vereenvoudig en prestasie verbeter in vergelyking met vorige metodes .

Ons sal die belangrikste wegneemetes uit hierdie vraestel opsom.

## Inleiding

Diffusiemodelle het na vore gekom as 'n kragtige hulpmiddel vir beeld- en videosintese en redigering, wat hoë kwaliteit resultate bied. Hul iteratiewe aard, wat talle netwerkevaluasies vereis om geraas in samehangende beelde te omskep, het egter hul praktiese werking vir intydse toepassings beperk. Verskeie strategieë is voorgestel om diffusiemodelle te versnel. LADD stel 'n nuwe strategie bekend, wat generatiewe kenmerke van voorafopgeleide LDM's gebruik, wat doeltreffende hoë-resolusie beeldsintese moontlik maak in 'n fraksie van die stappe wat deur tradisionele metodes vereis word.

## Agtergrond

Die vraestel begin deur 'n oorsig van diffusiemodelle en hul [distillasie] te verskaf (https://en.wikipedia.org/wiki/Knowledge_distillation). Tradisionele diffusiemodelle funksioneer deur 'n beeld geleidelik deur baie iteratiewe stappe te ontleed, wat die proses stadig en rekenaarmatig duur maak. Distillasiemetodes, insluitend [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), het gepoog om hierdie proses te stroomlyn deur die aantal stappe wat nodig is te verminder. ADD staar egter beperkings in die gesig, soos 'n vaste opleidingsresolusie, en die noodsaaklikheid van dekodering na RGB-spasie vir distillering van latente diffusiemodelle, wat hoë-resolusie opleiding kan beperk.

## Metodologie

LADD spreek hierdie kwessies aan deur **distilleer direk in latente ruimte**, en sodoende **vermy die behoefte om na pixelspasie te dekodeer**, en laat opleiding by hoër resolusies toe. Anders as ADD, wat staatmaak op 'n voorafopgeleide diskrimineerder wat in pixelruimte werk, gebruik LADD 'n nuwe benadering waar die diskrimineerder en onderwysermodel verenig is, wat direk op latente werk. Hierdie metode vereenvoudig nie net die opleidingsproses nie, maar bied ook verskeie voordele, insluitend doeltreffendheid, die vermoë om geraasvlak-spesifieke terugvoer te verskaf, en die kapasiteit vir Multi-Aspect Ratio (MAR) opleiding.

## Eksperimente en resultate

Die referaat evalueer LADD omvattend deur middel van verskeie eksperimente, wat sy voortreflike prestasie in die sintetisering van hoë-resolusie beelde met slegs 'n paar stappe demonstreer. Veral, wanneer dit toegepas word op [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), lei LADD tot 'n model genaamd SD3-Turbo, wat vergelykbare beeldkwaliteit bereik met die staat- van die nuutste teks-na-beeld-opwekkers in slegs vier stappe. Die eksperimente ondersoek ook die impak van verskillende onderwysergeraasverspreidings, die gebruik van sintetiese data, latente distillasiebenaderings en die skaalgedrag van LADD.

## Vergelyking met state-of-the-Art

LADD se doeltreffendheid word verder onderstreep deur 'n vergelyking met huidige toonaangewende metodes in teks-tot-beeld en beeld-tot-beeld sintese. SD3-Turbo pas nie net by die werkverrigting van sy onderwysermodel (SD3) in beeldkwaliteit nie, maar toon ook beduidende verbeterings bo ander basislyne in terme van afleidingspoed en beeld-teks-belyning.

## Beperkings en toekomstige rigtings

Ten spyte van sy vooruitgang, is LADD nie sonder beperkings nie. Die skrywers let op 'n afweging tussen modelkapasiteit, vinnige belyning en afleidingsspoed, wat die model se vermoë kan beïnvloed om sekere teks-na-beeld sintese-uitdagings te hanteer. Toekomstige navorsingsrigtings sluit in om hierdie kompromis dieper te ondersoek en strategieë te ontwikkel om beheer oor die sterkpunte van beeld- en teksleiding te verbeter.

## Gevolgtrekking

"Vinnige hoë-resolusie-beeldsintese met latente teenstrydige diffusiedistillasie" stel 'n nuwe benadering tot beeld-/video-sintese bekend wat die generering van hoë kwaliteit beelde vanaf teksaanwysings aansienlik versnel. Deur groot diffusiemodelle in latente ruimte te distilleer, baan LADD die weg vir intydse toepassings en stel 'n nuwe standaard vir doeltreffendheid en werkverrigting in beeldsintese.

---

*Code Labs Academy: [Online Coding Bootcamp](/) met buigsame betalingsplanne*

Vraestelle verduidelik

Waarom terugkeer na die kantoor na pandemie produktiwiteit kan benadeel: insigte van 'n sakekenner