Spesielt i større selskaper har det vært en merkbar tilbakevending til å kreve at arbeidere jobber fra kontoret etter COVID-19-pandemien. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), en førsteamanuensis i bedriftsadministrasjon ved Joseph M. Katz Graduate School of Business ved University of Pittsburgh, og Yuye Ding, en PhD-student, har[undersøkt dette mønsteret](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). De har sett på de sosiologiske og økonomiske effektene av å jobbe eksternt, samt det nylige initiativet fra bedrifter for å få arbeidere tilbake til kontoret, noe som ofte irriterer arbeidere.

Ma hevder i et [intervju med Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) at i en stadig mer digitalt arbeidsmiljø, å få arbeidere til å komme tilbake til kontoret tjener bare til å irritere dem og øker lite produktiviteten. Han innrømmer imidlertid at når det gjøres frivillig og med teamstøtte, kan personlig arbeid være fordelaktig og fremme forbedret koordinering og teamarbeid.

Ma foreslår at personer med høy ytelse som har bevist sin effektivitet når de jobber hjemmefra, bør få fortsette å gjøre det, i stedet for å ha alle på kontoret. Han tror at ved å beholde strålende individer som ellers kan se etter arbeid andre steder, vil denne strategien til syvende og sist komme både arbeidsgivere og arbeidstakere til gode. Ma foreslår også regelmessige teambuildingsøvelser for å holde bedriftens kultur robust, noe som er avgjørende for effektiv idégenerering og problemløsning.

Toppen av denne tendensen ser ut til å ha passert, selv om flere virksomheter krevde at ansatte skulle returnere til kontoret etter pandemien. I følge undersøkelser gjort i 2024, setter flertallet av administrerende direktører ikke lenger en høy verdi på å være på kontoret. Bedrifter lærte at arbeidere kan være ganske produktive når de jobber eksternt under pandemien. Men andre ledere har fortsatt bekymringer om å jobbe eksternt, og det er derfor de tar til orde for å gå tilbake til kontoret. Ansattes moral kan lide som følge av denne mangelen på tillit, siden den formidler til ansatte at lederne deres ikke tror på dem.

Til tross for at telependling kan redusere overhead og plassbehov, er store bedrifter ivrige etter å få arbeidstakerne tilbake, noe som øker muligheten for at kontroll og makt er mer på spill her enn pris. Ma påpeker at mange virksomheter implementerte retningslinjer for retur til kontoret som svar på aksjekursfall, og brukte praktisk fjernarbeid som en praktisk syndebukk for dårlig ytelse.

Til tross for det faktum at det fortsatt er stor etterspørsel etter fjernarbeid – mange kontorlokaler i større byer som New York, San Francisco og Tyskland er ledige – fortsetter ledere å ha den oppfatningen at det å ha arbeidere personlig vil styrke samarbeidet og forretningskulturen. Men i stedet for å jobbe sammen med kolleger, sier mange arbeidere som har returnert til kontoret at de bruker mesteparten av tiden sin på å jobbe alene på datamaskinene sine. Ineffektiviteten til slike mandater blir satt i tvil av mangelen på et merkbart skille mellom kontor og fjernarbeid, samt frustrasjonen ansatte opplever når de blir tvunget til å returnere.

Arbeidstakere er vant til den økte produktiviteten og fordelene ved en balanse mellom arbeid og privatliv som følger med å jobbe eksternt, for eksempel muligheten til bedre å integrere arbeid og familieliv og unngå lange pendler. Misnøye er resultatet av at disse avtalene blir forstyrret av en tvungen retur til kontoret. I tillegg er det en oppfatning om at manglende arbeid kan hindre faglig vekst.

Til slutt tror Ma at hvis arbeidere blir tvunget til å returnere til arbeidsplassen på permanent basis, vil mange av dem begynne å søke etter andre yrker, og de som blir værende kan bli mindre motiverte. Hjemmekontorer er fortsatt vanlige fordi de gir en bedre balanse mellom arbeid og privatliv og lavere utbrenthet, til tross for ulempene. Det er ingen merkbar produktivitetsforskjell mellom å jobbe eksternt og på et kontor, og å jobbe hjemmefra kan være like fremmedgjørende som distraksjonene til åpne kontorlandskap der ansatte ofte bruker hodetelefoner for å fokusere. Ma råder teamene til å velge hvor mange dager de vil jobbe på kontoret og la resten av tiden være fleksibel slik at ansatte kan velge sitt foretrukne arbeidsmiljø, selv om menneskelige kontakter kan være fordelaktige for bedrifter.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Hvorfor kan det skade produktiviteten å returnere til kontoret etter pandemien: Innsikt fra en forretningsekspert

[Google AI](https://ai.google/) introduserte nylig en ny funksjon kalt «korrekturlesing» til Gboard, den populære applikasjonen for mobiltastatur. Med ett enkelt trykk tillater denne funksjonen sømløse modifikasjoner og korrigeringer på setnings- og avsnittsnivå, og forbedrer den generelle skriveopplevelsen.

## Løsning av "Fat Finger"-problemet

[Gboard](https://support.google.com/gboard/?hl=no) bruker statistisk dekoding som et middel til å løse problemet med «feit finger», som er den naturlige unøyaktigheten av berøringsinndata på små skjermer. Forskning viser at feilraten per bokstav kan nå 8 til 9 prosent uten dekoding. Gboard kommer med flere feilrettingsfunksjoner for å gjøre skrivingen enklere og smidigere. Disse funksjonene kombinerer manuelle oppgaver som involverer menneskelig input med proaktive, automatiserte korrigeringer.

## Omfattende feilrettingsverktøy

Skriving gjøres kollektivt enklere av Gboards funksjoner, som inkluderer fullføring av ord, prediksjoner for neste ord, aktiv automatisk korrigering (AC) og aktiv nøkkelkorrigering (KC). Disse verktøyene inkluderer smart komposisjon, feilretting og kandidater med flere ord i forslagslinjen eller inline. Etterretting (PC) letter også retting av feil i ord som allerede er begått. Til tross for disse funksjonene, svekker to viktige begrensninger brukeropplevelsen.

1. Mens korrigeringsmodeller på enheten som KC, AC og PC er raske og kompakte, har de problemer med å håndtere sofistikerte og komplekse feil som trenger lengre sammenhenger. For å forhindre at disse modellene aktiveres, må brukerne skrive sakte og presist.

2. Skrivehastigheten reduseres som følge av at brukere må manuelt korrigere forpliktede ord ved hjelp av grammatikk og stavekontroll, noe som kan være mentalt og visuelt belastende.

## Behovet for feilretting på høyt nivå

Raske typer ser ofte bort fra ord de allerede har skrevet og konsentrerer seg bare om tastaturet. Høyere feilrater kan oppstå som følge av dette, noe som nødvendiggjør bruk av setninger eller korrigeringsmekanismer på høyere nivå.

## Vi introduserer Korrekturlesing

Korrekturlesing løser disse hyppige klagene ved å tilby bemerkelsesverdige produktivitetsøkninger. Det gjør feilretting enklere ved å gi rettelser på setnings- og avsnittsnivå med ett trykk.

## Teknologien bak korrekturlesing

Korrekturlesingsfunksjonen består av fire hovedkomponenter: dataproduksjon, metrikkdesign, modelljustering og modellvisning. Sammen garanterer alle disse komponentene effektivitet. For å sikre at datadistribusjonen er i tråd med Gboard-domenet, etterligner systemet hyppige tastaturfeil ved å bruke en nøyaktig og metodisk bygget feilsyntetisk arkitektur.

## Avanserte beregninger og modelloptimalisering

For å vurdere modellen har forskerne inkorporert en rekke beregninger, med særlig vekt på tilstedeværelseskontroller av grammatiske feil og lignende meningssjekker avledet fra store språkmodeller (LLM). Overvåket finjustering og Reinforcement Learning (RL) tuning brukes i InstructGPT-teknikken for å forbedre modellen. Modellens korrekturlesing er betraktelig forbedret med denne prosedyren.

## Implementering og ytelse

Ved å bruke 8-bits kvantisering er den mellomstore LLM PaLM2-XS skreddersydd for å passe inn i en enkelt TPU v5 og fungerer som grunnlaget for korrekturlesingsfunksjonen. Optimaliseringen reduserer kostnadene ved servering. Tidligere forskning har vist at segmentering, spekulativ dekoding og bøttenøkler kan redusere ventetiden.

## Virkelighet i verden

Titusenvis av Pixel 8-brukere vil dra nytte av høykvalitetsredigeringene fra korrekturlesingsfunksjonen, som nå er tilgjengelig. En grundig generering av syntetiske data og flere gjentakelser av finjustering har produsert en modell som reduserer grammatiske feil betydelig, sett av en 5,74 prosent relativ reduksjon i PaLM2-XS-modellens dårlige forhold. I tillegg har optimaliseringer resultert i en reduksjon på 39,4 % i median latenstid.

## Framtidige mål

[Denne studien](https://arxiv.org/abs/2406.04523) viser hvordan LLM-er kan forbedre brukeropplevelsen og skape spennende muligheter for videre undersøkelser. Bruken av reelle brukerdata, flerspråklig støtte, skreddersydd skrivehjelp og personvernløsninger for enheter er noen eksempler på områder som kan føre til ytterligere fremskritt i sektoren.

Google AI utvider mulighetene for mobiltastaturteknologi med introduksjonen av Korrekturlesing-funksjonen, og forbedrer skrivingen for folk over hele verden.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI avduker 'korrekturlesing': Gboard-funksjon for uanstrengt rettelser av setninger og avsnitt

Moderne dype nevrale nettverk (DNN) er i seg selv ugjennomsiktige, noe som gjør det utfordrende å forstå deres beslutningsprosesser. Denne mangelen på åpenhet forstyrrer den omfattende implementeringen av maskinlæringsteknikker i en rekke domener. Som svar har Explainable AI (XAI) dukket opp med hensikt å forbedre menneskelig forståelse av DNN-dommer. Ved å se på den funksjonelle hensikten til hver komponent, fokuserer XAI nå også på å forstå den globale oppførselen til DNN-er, i motsetning til lokale forklaringsmetoder som bruker fremtredende kart for å forklare individuelle spådommer.

Mekanistisk tolkning er en global forklaringsteknikk som fokuserer på å finne de spesielle ideene som nevroner, de grunnleggende dataenhetene i et nevralt nettverk, har tilegnet seg evnen til å forstå. Vi kan forklare virkemåten til et nettverks latente representasjoner ved å merke nevroner med beskrivelser som er forståelige for mennesker. Disse beskrivelsene har gått fra enkle etiketter til forseggjorte, komposisjonelle og åpne ordforrådsforklaringer. Likevel har mangelen på standardiserte kvantitative beregninger for å vurdere disse åpne vokabularbeskrivelsene hindret grundige sammenligninger på tvers av ulike tilnærminger.

For å løse dette gapet introduserer forskere fra ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute og BIFOLD [CoSy](https://arxiv.org/abs/2405.20331), et banebrytende kvantitativt evalueringsrammeverk for vurdere bruken av åpne ordforrådsforklaringer i datasynsmodeller (CV). Denne innovative metoden bruker utviklingen innen Generativ AI for å produsere kunstige bilder som korrelerer med konseptbaserte tekstbeskrivelser. cozy eliminerer behovet for menneskelig interaksjon ved å legge til rette for kvantitative sammenligninger av ulike konseptbaserte tekstforklaringstilnærminger ved å syntetisere datapunkter som er felles for bestemte målforklaringer.

Forskerteamet demonstrerte gjennom en omfattende metaanalyse at koselige tilbyr pålitelige evalueringer av forklaringer. Studien oppdaget at konseptbaserte tekstforklaringsmetoder fungerer best i de øvre lagene av nevrale nettverk, hvor begreper på høyt nivå læres. Nevronforklaringer av høy kvalitet produseres ved metoder som INVERT, som lager visuelle bilder fra nevrale nettverksrepresentasjoner, og CLIP-Dissect, som undersøker interne nettverksrepresentasjoner. Omvendt produserer teknikker som MILAN og FALCON forklaringer av dårlig kvalitet, og gir av og til nesten tilfeldige konsepter, noe som kan resultere i unøyaktige nettverkskonklusjoner.

En stor ulempe med CoSy, som forskerne erkjenner, er at spesifikke kategorier fra treningsdataene kanskje ikke har blitt inkludert i den generative modellen, noe som fører til forklaringer som er for generelle eller tvetydige, for eksempel «hvite objekter». Generativ nøyaktighet kan økes ved å løse dette problemet ved å undersøke datasett før trening og modellytelse. Likevel har koselig mye potensial i det stadig utviklende feltet for vurdering av ikke-lokale forklaringsteknikker.

Når vi ser fremover, er teamet håpefullt om CoSys potensielle applikasjoner på tvers av flere felt. For å vurdere plausibiliteten eller kvaliteten på en forklaring som gjelder resultatet av en nedstrømsoppgave, må menneskelig dømmekraft inkluderes i definisjonen av forklaringskvalitet, som de ønsker å ta opp i fremtidig arbeid. I tillegg ønsker de å inkludere flere felt som naturlig språkbehandling og helsetjenester i evalueringssystemet. Den potensielle bruken av cozy for å vurdere store, ugjennomsiktige, autotolkbare språkmodeller (LLM) er spesielt spennende. Ifølge forskerne kan det være et stort skritt fremover å bruke koselig til helsedatasett, der forklaringskvalitet er viktig. Disse potensielle fremtidige bruksområdene for koselig har et enormt potensial for å fremme AI-forskning.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Forstå nevrale nettverk: CoSys kvantitative rammeverk for evaluering av tekstforklaringer

[Transformatorbaserte modeller](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) er kjent for sin evne til å analysere og tolke kompleks tekst. De er avhengige av å forstå ordens rekkefølge og kontekst – oppgaver der tradisjonelle posisjonskodingsmetoder har vist sine begrensninger. For å løse dette gapet, redefinerer ROFORMER-modellen, drevet av **Rotary Position Embedding (RoPE)**, vår tilnærming til posisjonell koding.

## Tradisjonell posisjonskoding

Transformatorer behandler tekst som en serie tokens, og tillater **parallell behandling av sekvenser** for større effektivitet. Denne styrken ga imidlertid sin utfordring: **modellens iboende agnostisisme til symbolsk orden**. **Posisjonell koding** var svaret, **ga hvert token en unik signatur som angir sekvensposisjonen**.

### Absolute Position Embeddings

Opprinnelig brukte modeller som BERT **absolutt posisjonsinnbygging, og tilordnet en fast vektor til hver posisjon i en sekvens**. Selv om denne metoden er enkel, mangler den iboende evnen til å tilpasse seg sekvenslengdevariasjoner, eller å understreke de relative avstandene mellom tokens**, noe som er avgjørende for å forstå mange språklige konstruksjoner.

### Relative Position Embeddings

For å fange språkets dynamiske natur, ble relative posisjonsinnbygginger introdusert, med fokus på avstanden mellom tokens i stedet for deres absolutte posisjoner. Til tross for deres konseptuelle fordel, introduserte disse innbyggingene **beregningskompleksitet, og klarte ikke å integreres sømløst i selvoppmerksomhetsmekanismen til Transformers**, noe som begrenset deres effektivitet.

## ROFORMER og Rotary Position Embedding

Ved å erkjenne begrensningene til eksisterende posisjonskodingsstrategier, introduserer ROFORMER Rotary Position Embedding (RoPE), en tilnærming som kombinerer fordelene med absolutt og relativ posisjonsinformasjon uten deres respektive ulemper.

### Innebygging av roterende posisjon

RoPE koder posisjonsinformasjon ved hjelp av **rotasjonsmatriser**, noe som gjør at modellen ikke bare forstår hvor et token er, men hvordan det forholder seg til alle andre token i en sekvens.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Den opererer gjennom en geometrisk linse, og behandler tokenposisjoner som punkter i et flerdimensjonalt rom som roteres for å markere deres sekvensielle forhold. Denne rotasjonen lar modellen bevare og utnytte både absolutte og relative posisjonelle signaler innenfor sin selvoppmerksomhetsmekanisme.

### Implementering av RoPE

Implementering av RoPE innebærer å kode hver tokens posisjon til en rotasjonsmatrise, og bruke denne matrisen innenfor selvoppmerksomhetsmekanismen til transformatoren. Denne prosessen gir mulighet for en fleksibel, dynamisk tolkning av posisjonsinformasjon, tilpasser seg varierende sekvenslengder og fanger opp essensen av token-relasjoner uten betydelige beregningsmessige overhead.

Først trenger du en funksjon for å generere roterende embeddings, og deretter vil du integrere disse embeddings i modellen din. Eksemplet nedenfor forutsetter at du er kjent med å lage egendefinerte lag i Keras.

#### Trinn 1: Definer Rotary Embedding-funksjonen

Denne funksjonen genererer roterende embeddings gitt maksimal sekvenslengde, og dimensjonaliteten til embeddingene.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Denne linjen beregner inversen av eksponentielt skalerte frekvenser basert på posisjonsindeksene. Disse frekvensene brukes til å generere sinusformede mønstre for roterende innebygginger, noe som hjelper til med å kode den relative posisjonsinformasjonen i sekvenser. Denne mekanismen er spesielt nyttig i oppgaver der det er avgjørende å forstå rekkefølgen og den relative plasseringen av elementer, for eksempel i naturlig språkbehandling eller tidsserieanalyse.

I detaljer:

- `tf.range(0, dim, 2, dtype=tf.float32)` oppretter et verdiområde som starter fra 0 opp til `dim` (eksklusiv), og går med 2. Argumentet `dtype=tf.float32` spesifiserer at elementene i denne tensoren er 32-bits flytende tall. Hvis «dim» er 8, for eksempel, vil dette produsere «[0, 2, 4, 6]».

- Tensoren som produseres av `tf.range` blir deretter delt med dimensjonaliteten (`dim`) til innebyggingene. Denne operasjonen skalerer disse indeksene ned til et område mellom 0 og 1 (eksklusivt hvis 'dim' er partall, litt inkluderende hvis 'dim' er oddetall, fordi områdetrinnet hopper over annenhver verdi). Hvis du fortsetter eksemplet med «dim» = 8, dividerer med 8, får du «[0,0, 0,25, 0,5, 0,75]».

- Operasjonen `10000 ** (...)` øker 10 000 til styrken til hvert element i den tidligere skalerte tensoren. Grunnlaget på 10.000 er noe vilkårlig, men er valgt for å sikre at frekvensene varierer over et bredt område, noe som hjelper modellen til å skille mellom ulike posisjoner mer effektivt. For `[0.0, 0.25, 0.5, 0.75]` vil den bruke kraftoperasjonen på hver, noe som resulterer i mye større verdier for høyere elementer.

- Til slutt oppnås den inverse frekvensen ved å ta den resiproke (1/x) av verdiene fra forrige trinn. De inverse frekvensene er mindre for høyere indekser, noe som betyr at elementer lenger i sekvensen vil ha mindre frekvenser, noe som påvirker hvordan posisjonene deres er kodet inn i modellen. Dette gjør at innbyggingene kan skaleres på en måte der relative posisjoner kan utledes gjennom modellens oppmerksomhetsmekanismer.

Køen:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

bruker TensorFlows `tf.einsum`-funksjon, et verktøy som muliggjør kortfattet og effektivt uttrykk for tensoroperasjoner ved å bruke Einstein-summeringsnotasjonen.

Denne operasjonen beregner effektivt det ytre produktet av vektorene "t" og "inv_freq", noe som resulterer i en matrise der hvert element "(i, j)" er produktet av det "i"-te elementet til "t" og "t" j`-te element av `inv_freq`. Denne matrisen ("freqs") representerer frekvensene som brukes til å generere de sinusformede mønstrene for de roterende innstøpningene.

#### Trinn 2: Egendefinert Keras-lag for roterende innstøpninger

La oss nå lage et egendefinert Keras-lag som bruker roterende embeddings på inngangstensoren. Dette laget antar at inngangstensoren har formen "(batch_size, sequence_length, embedding_dim)".

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Linjen `embeddings = self.rotary_embeddings[:seq_len]` velger riktig delsett av forhåndsberegnet roterende embeddings basert på gjeldende inngangssekvenslengde. Siden lengden på sekvenser kan variere fra en batch til en annen, sikrer denne skjæringsoperasjonen at bare innbyggingene som tilsvarer den faktiske sekvenslengden brukes.

Variabelen `embeddings` har nå en tensor av form `(seq_len, embedding_dim)`, der `seq_len` er lengden på sekvensene i gjeldende batch, og `embedding_dim` er dimensjonaliteten til innebyggingene. Denne tensoren inneholder de roterende posisjonelle innebyggingene for hver posisjon i sekvensen opp til `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kombinerer sinus- og cosinustransformasjoner av posisjonsfrekvenser til en enkelt tensor:

-`tf.cos(freqs)` og `tf.sin(freqs)` bruker henholdsvis cosinus- og sinustransformasjonene på `freqs`-tensoren. `Freqs`-tensoren inneholder frekvensverdier for hver posisjon i inngangssekvensen og hver dimensjon av innebyggingsrommet, beregnet basert på sekvensposisjonene og de inverse frekvensene til innebyggingsdimensjonene. Sinus- og cosinusfunksjonene brukes elementvis, noe som resulterer i to tensorer med samme form som "freqs". Disse transformasjonene hjelper til med å kode posisjonen på en måte som fanger den sykliske naturen til posisjonelle relasjoner, og letter modellens evne til å forstå relative posisjoner.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kobler de cosinus- og sinustransformerte tensorene sammen langs den siste aksen (angitt med `axis=-1`). Sammenknytting av disse tensorene side om side dobler effektivt dimensjonaliteten til "freqs"-tensoren, med den første halvdelen som representerer cosinus-transformerte verdier og den andre halvdelen representerer sinus-transformerte verdier for hver posisjon. Sammenkoblingen sikrer at hver posisjonskoding inneholder både sinus- og cosinusinformasjon, noe som muliggjør bevaring av informasjon om både amplituden og fasen til posisjonssignalene.

- Den sammenkoblede tensor-'emb'en holder nå de komplette roterende embeddings for inngangsposisjonene. Formen til "emb" vil være den samme som "freqs" i de to første dimensjonene (tilsvarer sekvensposisjoner og innebyggingsdimensjoner), men den siste dimensjonen vil være dobbelt så stor, og tar hensyn til både sinus- og cosinusverdier. Disse innebyggingene brukes til å modulere inngangs-innbyggingene ved å legge til posisjonsinformasjon på en rotasjonsmessig ekvivariant måte.

-`cos_emb = embeddings[:, Ingen, :self.dim // 2]`:

1. Det første kolon `:` betyr "velg alle elementer i denne dimensjonen," som i dette tilfellet refererer til alle posisjoner i sekvensen.

2. `Ingen` brukes for å legge til en ekstra dimensjon, noe som gjør tensoren 3-dimensjonal. Dette gjøres ofte for å sikre kompatibilitet med visse operasjoner som forventer innganger av et spesifikt antall dimensjoner. For eksempel, når du utfører elementvis multiplikasjon med en annen tensor som er 3-dimensjonal, må formene justeres i henhold til kringkastingsregler.

3. `:self.dim // 2`, velger den første halvdelen av dimensjonene i den siste aksen. Siden "embedding_dimension" er doblet for å inkludere både sinus- og cosinusverdier, vil divisjon med 2 effektivt bare velge cosinuskomponentene til innebyggingene.

#### Trinn 3: Integrasjon med en Keras-modell

Etter å ha definert `RotaryEmbeddingLayer`, kan du integrere det i din Keras-modell. Dette laget bør påføres innstøpingene dine før de mates inn i oppmerksomhetslag eller påfølgende modelllag.

Her er et forenklet eksempel på hvordan du integrerer de roterende embeddings i en modell:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: FORBEDRET TRANSFORMER MED INNBYGGING AV ROTERENDE POSISJON

[Arxiv Link](https://arxiv.org/abs/2403.13799)

20. mars 2024

## Reverseringsforbannelsen

Store språkmodeller (LLMs) som [GPT-4](https://arxiv.org/abs/2303.08774) og [Llama-2](https://arxiv.org/abs/2307.09288) har vist imponerende evner til å forstå og generere menneskelignende tekst, som omfatter et stort spekter av kunnskap. Imidlertid mislykkes de i en tilsynelatende enkel oppgave: å reversere lærte fakta. Denne begrensningen, kalt "Reversal Curse", innebærer at LLM-er ikke kan utlede at "B er en egenskap ved A" fra å lære "A har en egenskap B," en grunnleggende resonnementferdighet som selv barn besitter. Denne artikkelen introduserer "Reverse Training", en ny metode for å møte denne utfordringen ved å utnytte en toveis treningstilnærming for å forbedre modellens forståelse av fakta i både forover- og bakoverformater.

## Opprinnelsen til reverseringsforbannelsen

Problemet oppstår fra den grunnleggende opplæringstilnærmingen til LLM-er, som vanligvis involverer **autoregressiv, venstre-til-høyre-læring**. Denne metoden lærer ikke i seg selv modellene å forstå eller generere informasjon i omvendt rekkefølge. Gitt arten av datadistribusjon etter Zipfs lov, er mange fakta bare nevnt i én retning, noe som forverrer dette problemet. "Reversal Curse" begrenser LLM-enes forståelse av gjensidige relasjoner og ekvivalens i uttalelser, og markerer en betydelig mangel i deres resonnementevner.

## Overvinne reverseringsforbannelsen med omvendt trening

Den foreslåtte løsningen, Reverse Training, dobler de tilgjengelige treningsdataene ved å inkludere både originale og reverserte versjoner av treningsstrenger. Reverseringsprosessen er forsiktig så du ikke endrer visse delstrenger, for eksempel enhetsnavn, og opprettholder sin opprinnelige sekvens for å bevare konteksten. Denne metoden, i likhet med å introdusere et andrespråk for LLM å lære, forbedrer modellens evne til å behandle og generere informasjon i begge retninger betydelig.

## Testing av omvendt treningsmetode

Forfatterne utførte følgende eksperimenter for å teste deres foreslåtte metode:

**1- Symbolisk omvendt oppgave:** En kontrollert miljøtest som viser metodens evne til å utlede og bruke omvendte forhold.

**2- Reverserende biografioppgave:** Bruke et biografidatasett for å vurdere ytelsen til å generere personnavn fra gitte detaljer, omvendt.

**3- Reversering av kunnskap i den virkelige verden:** Evaluering av metodens effektivitet i scenarier i den virkelige verden, inkludert reversering av fakta om kjendiser og deres forhold.

**4- Finjustering av fiktive fakta:** Tester modellens læringsevne på nylig introduserte, omvendte fiktive fakta.

På tvers av disse eksperimentene har omvendt trening ikke bare dempet reverseringsforbannelsen, men i noen tilfeller eliminert den fullstendig. Metoden viste seg spesielt effektiv når enhetsnavn ble bevart i sin opprinnelige rekkefølge under reverseringsprosessen, og fremhevet viktigheten av å opprettholde visse kontekstuelle ankre.

## Implikasjoner og fremtidige retninger

Suksessen til omvendt trening med å adressere reverseringsforbannelsen åpner nye veier for LLM-treningsmetoder. Ved å forbedre modellenes forståelse av gjensidige relasjoner og ekvivalens i utsagn, åpner denne tilnærmingen døren til mer sofistikerte resonneringsevner. Fremtidig forskning kan utforske ytterligere optimalisering av reverseringsprosessen, potensialet for å integrere omvendt opplæring i andre språkmodellarkitekturer, og bredere anvendelser av denne metoden i naturlig språkforståelse og generasjonsoppgaver.

---

*Bli en Coding Pro i ditt eget tempo! Bli med på Code Labs Academys [Online Part-Time Bootcamp](/) og oppgradere ferdighetene i koding. Pass på å lære rundt timeplanen din og start reisen til teknologien i dag!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Omvendt trening for å pleie reverseringsforbannelsen

[Arxiv Link](https://arxiv.org/abs/2403.12015)

18. mars 2024

"Rask høyoppløselig bildesyntese med latent adversariell diffusjonsdestillasjon" presenterer en ny destillasjonsmetode kjent som latent adversariell diffusjonsdestillasjon (LADD). Denne tilnærmingen er designet for å møte begrensningene til eksisterende [diffusjonsmodeller](https://en.wikipedia.org/wiki/Diffusion_model), spesielt utfordringen med langsom inferenshastighet, som hindrer sanntidsapplikasjoner. LADD muliggjør bildesyntese med høy oppløsning, multi-aspektforhold ved å effektivt destillere store [latente diffusjonsmodeller](https://arxiv.org/abs/2112.10752) (LDMs), noe som forenkler treningsprosessen betydelig og forbedrer ytelsen sammenlignet med tidligere metoder. .

Vi vil oppsummere de viktigste punktene fra denne artikkelen.

## Introduksjon

Diffusjonsmodeller har dukket opp som et kraftig verktøy for bilde- og videosyntese og redigering, og gir resultater av høy kvalitet. Imidlertid har deres iterative natur, som krever en rekke nettverksevalueringer for å transformere støy til sammenhengende bilder, begrenset deres praktiske for sanntidsapplikasjoner. Ulike strategier har blitt foreslått for å akselerere diffusjonsmodeller. LADD introduserer en ny strategi, som utnytter generative funksjoner fra forhåndstrente LDM-er, og muliggjør effektiv høyoppløselig bildesyntese i en brøkdel av trinnene som kreves av tradisjonelle metoder.

## Bakgrunn

Oppgaven starter med å gi en oversikt over diffusjonsmodeller og deres [destillasjon](https://en.wikipedia.org/wiki/Knowledge_destillation). Tradisjonelle diffusjonsmodeller fungerer ved gradvis å forringe et bilde gjennom mange iterative trinn, noe som gjør prosessen treg og beregningsmessig dyr. Destillasjonsmetoder, inkludert [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD), har forsøkt å strømlinjeforme denne prosessen ved å redusere antall nødvendige trinn. ADD står imidlertid overfor begrensninger som en fast treningsoppløsning og nødvendigheten av å dekode til RGB-plass for å destillere latente diffusjonsmodeller, noe som kan begrense høyoppløselig trening.

## Metodikk

LADD løser disse problemene ved å **destillere direkte i latent rom**, og dermed **unngå behovet for å dekode til pikselplass**, og tillate trening med høyere oppløsninger. I motsetning til ADD, som er avhengig av en forhåndstrent diskriminator som opererer i pikselrom, bruker LADD en ny tilnærming der diskriminator- og lærermodellen er forent, og opererer direkte på latente. Denne metoden forenkler ikke bare treningsprosessen, men gir også flere fordeler, inkludert effektivitet, muligheten til å gi spesifikk tilbakemelding på støynivå, og kapasiteten for Multi-Aspect Ratio (MAR) trening.

## Eksperimenter og resultater

Artikkelen evaluerer LADD omfattende gjennom forskjellige eksperimenter, og demonstrerer dens overlegne ytelse ved å syntetisere høyoppløselige bilder med bare noen få trinn. Spesielt når den brukes på [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), resulterer LADD i en modell kalt SD3-Turbo, som oppnår sammenlignbar bildekvalitet med tilstanden- moderne tekst-til-bilde-generatorer i bare fire trinn. Eksperimentene utforsker også virkningen av forskjellige lærerstøyfordelinger, bruken av syntetiske data, latente destillasjonstilnærminger og skaleringsatferden til LADD.

## Sammenligning med state-of-the-art

LADDs effektivitet blir ytterligere understreket av en sammenligning med gjeldende ledende metoder innen tekst-til-bilde og bilde-til-bilde syntese. SD3-Turbo matcher ikke bare ytelsen til lærermodellen (SD3) i bildekvalitet, men viser også betydelige forbedringer i forhold til andre grunnlinjer når det gjelder slutningshastighet og bilde-tekstjustering.

## Begrensninger og fremtidige retninger

Til tross for fremskritt, er LADD ikke uten begrensninger. Forfatterne bemerker en avveining mellom modellkapasitet, umiddelbar justering og slutningshastighet, noe som kan påvirke modellens evne til å håndtere visse tekst-til-bilde-synteseutfordringer. Fremtidige forskningsretninger inkluderer å utforske denne avveiningen dypere og utvikle strategier for å forbedre kontrollen over bilde- og tekstveiledningens styrker.

## Konklusjon

"Rask høyoppløselig bildesyntese med latent adversariell diffusjonsdestillasjon" introduserer en ny tilnærming til bilde-/videosyntese som betydelig akselererer genereringen av bilder av høy kvalitet fra tekstmeldinger. Ved å destillere store diffusjonsmodeller i latent rom, baner LADD vei for sanntidsapplikasjoner og setter en ny standard for effektivitet og ytelse i bildesyntese.

---

*Code Labs Academy: [Online Coding Bootcamp](/) med fleksible betalingsplaner*

Papirer forklart

Hvorfor kan det skade produktiviteten å returnere til kontoret etter pandemien: Innsikt fra en forretningsekspert