Särskilt i större företag har det skett en märkbar återgång till att kräva att anställda arbetar från kontoret efter covid-19-pandemin. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), en docent i företagsekonomi vid Joseph M. Katz Graduate School of Business vid University of Pittsburgh, och Yuye Ding, en Doktorand, har[undersökt detta mönster](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). De har tittat på de sociologiska och ekonomiska effekterna av att arbeta på distans samt det nyligen genomförda initiativet från företag för att få tillbaka arbetare till kontoret, vilket ofta irriterar arbetare.

Ma hävdar i en [intervju med Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) att i en allt mer digital arbetsmiljö, att få arbetare att komma tillbaka till kontoret tjänar bara till att irritera dem och gör lite för att öka produktiviteten. Han medger dock att när det görs frivilligt och med teamstöd kan personligt arbete vara fördelaktigt och främja förbättrad koordination och lagarbete.

Ma föreslår att högpresterande individer som har bevisat sin effektivitet när de arbetar hemifrån bör få fortsätta göra det, snarare än att ha alla på kontoret. Han tror att genom att behålla briljanta individer som annars skulle kunna söka arbete någon annanstans, kommer denna strategi i slutändan att gynna både arbetsgivare och anställda. Ma föreslår också regelbundna teambuildingövningar för att hålla företagets kultur robust, vilket är avgörande för effektiv idégenerering och problemlösning.

Toppen av denna tendens verkar ha passerat, även om flera företag krävde att anställda skulle återvända till kontoret efter pandemin. Enligt undersökningar gjorda 2024 sätter majoriteten av vd:arna inte längre ett högt värde på att vara på kontoret. Företag lärde sig att arbetare kan vara ganska produktiva när de arbetar på distans under pandemin. Men andra chefer har fortfarande betänkligheter om att arbeta på distans, vilket är anledningen till att de förespråkar att gå tillbaka till kontoret. Medarbetarnas moral kan lida som ett resultat av denna brist på förtroende eftersom det förmedlar till personalen att deras chefer inte tror på dem.

Trots att distansarbete kan sänka omkostnader och utrymmesbehov, är storföretagen angelägna om att få sina anställda tillbaka, vilket ökar möjligheten att kontroll och makt spelar mer här än pris. Ma påpekar att många företag implementerade policyer för återvändande till kontoret som svar på aktiekursfall, och använde bekvämt distansarbete som en praktisk syndabock för dåliga resultat.

Trots det faktum att det fortfarande finns en stor efterfrågan på distansarbete – många kontorslokaler i större städer som New York, San Francisco och Tyskland är lediga – fortsätter cheferna att ha uppfattningen att att ha anställda personligen kommer att förbättra samarbetet och affärskulturen. Men istället för att arbeta tillsammans med kollegor, säger många arbetare som har återvänt till kontoret att de tillbringar större delen av sin tid med att arbeta ensamma på sina datorer. Ineffektiviteten av sådana uppdrag tvivlar på avsaknaden av en urskiljbar skillnad mellan kontor och distansarbete, liksom den frustration som anställda upplever när de tvingas återvända.

Arbetarna är vana vid den ökade produktiviteten och fördelarna med en balans mellan arbete och privatliv som kommer med att arbeta på distans, såsom förmågan att bättre integrera arbete och familjeliv och undvika långa pendlingar. Missnöje är resultatet av att dessa avtal störs av en påtvingad återgång till kontoret. Dessutom finns det en uppfattning om att uteblivet arbete kan hindra professionell tillväxt.

Till slut tror Ma att om arbetare tvingas återvända till arbetsplatsen på permanent basis, skulle många av dem börja söka sig till andra yrken, och de som stannar kan bli mindre motiverade. Hemmakontor är fortfarande vanliga eftersom de ger en bättre balans mellan arbete och privatliv och lägre utbrändhet, trots sina nackdelar. Det finns ingen märkbar produktivitetsskillnad mellan att arbeta på distans och på ett kontor, och att arbeta hemifrån kan vara lika främmande som distraktionerna på kontor med öppen planlösning där anställda ofta bär hörlurar för att fokusera. Ma rekommenderar att team väljer hur många dagar de vill arbeta på kontoret och lämnar resten av tiden flexibel så att anställda kan välja sin föredragna arbetsmiljö, även om mänskliga kontakter kan vara fördelaktiga för företag.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Varför kan det skada produktiviteten att återvända till kontoret efter pandemin: Insikter från en affärsexpert

[Google AI](https://ai.google/) introducerade nyligen en ny funktion som heter "korrekturläsa" till Gboard, den populära mobiltangentbordsapplikationen. Med ett enda tryck möjliggör den här funktionen sömlösa ändringar och korrigeringar på menings- och styckenivå, vilket förbättrar den övergripande skrivupplevelsen.

## Ta itu med problemet med "Fet Finger".

[Gboard](https://support.google.com/gboard/?hl=sv) använder statistisk avkodning som ett sätt att lösa problemet med "fettfinger", som är den naturliga felaktigheten i pekinmatning på små skärmar. Forskning visar att felfrekvensen per bokstav kan nå 8 till 9 procent utan avkodning. Gboard kommer med flera felkorrigerande funktioner för att göra det enklare och smidigare att skriva. Dessa funktioner kombinerar manuella uppgifter som involverar mänsklig input med proaktiva, automatiserade korrigeringar.

## Omfattande felkorrigeringsverktyg

Att skriva blir enklare kollektivt av Gboards funktioner, som inkluderar ordkomplettering, nästa ords prediktion, aktiv automatisk korrigering (AC) och aktiv tangentkorrigering (KC). Dessa verktyg inkluderar smart sammansättning, felkorrigering och kandidater med flera ord i förslagsfältet eller inline. Efterkorrigering (PC) underlättar också rättelse av fel i ord som redan har begåtts. Trots dessa funktioner försämrar två viktiga begränsningar användarupplevelsen.

1. Även om korrigeringsmodeller på enheten som KC, AC och PC är snabba och kompakta, har de svårt att hantera sofistikerade och komplexa fel som behöver längre sammanhang. För att förhindra att dessa modeller aktiveras måste användarna skriva långsamt och exakt.

2. Skrivhastigheten minskar som ett resultat av att användarna måste manuellt korrigera beskrivna ord med hjälp av grammatik och stavningskontroll, vilket kan vara mentalt och visuellt påfrestande.

## Behovet av felkorrigering på hög nivå

Snabbtyper ignorerar ofta ord de redan har skrivit och koncentrerar sig bara på tangentbordet. Högre felfrekvens kan uppstå av detta, vilket gör det nödvändigt att använda meningar eller korrigeringsmekanismer på högre nivå.

## Vi introducerar korrekturläsning

Korrekturläsning löser dessa frekventa klagomål genom att erbjuda anmärkningsvärda produktivitetshöjningar. Det gör felkorrigering enklare genom att tillhandahålla korrigeringar på menings- och styckenivå med en knapptryckning.

## Tekniken bakom korrekturläsning

Korrekturläsningsfunktionen består av fyra primära komponenter: dataproduktion, måttdesign, modelljustering och modellvisning. Tillsammans garanterar alla dessa komponenter effektivitet. För att säkerställa att datadistributionen är i linje med Gboard-domänen, härmar systemet frekventa tangentbordsfel med hjälp av en exakt och metodiskt byggd felsyntetisk arkitektur.

## Avancerad statistik och modelloptimering

För att bedöma modellen har forskare införlivat ett antal mätetal, med särskild tonvikt på närvarokontroller av grammatiska fel och liknande betydelsekontroller härledda från stora språkmodeller (LLM). Övervakad finjustering och Reinforcement Learning (RL) tuning används i InstructGPT-tekniken för att förbättra modellen. Modellens korrekturläsningsprestanda förbättras avsevärt genom denna procedur.

## Implementering och prestanda

Med hjälp av 8-bitars kvantisering är den medelstora LLM PaLM2-XS skräddarsydd för att passa in i en enda TPU v5 och fungerar som grunden för korrekturläsningsfunktionen. Optimeringen sänker kostnaden för serveringen. Tidigare forskning har visat att segmentering, spekulativ avkodning och hinknycklar kan minska latensen.

## Verkliga inverkan på världen

Tiotusentals Pixel 8-användare kommer att dra nytta av de högkvalitativa redigeringarna som tillhandahålls av korrekturläsfunktionen, som nu är tillgänglig. En grundlig generering av syntetiska data och flera upprepningar av finjustering har producerat en modell som avsevärt sänker grammatiska fel, vilket kan ses av en 5,74 procents relativ minskning av PaLM2-XS-modellens Bad ratio. Dessutom har optimeringar resulterat i en minskning med 39,4 % i median latens.

## Framtida prospekt

[Denna studie](https://arxiv.org/abs/2406.04523) visar hur LLM:er kan förbättra användarupplevelsen och skapa spännande möjligheter för ytterligare undersökningar. Användningen av verkliga användares data, flerspråkig support, skräddarsydd skrivhjälp och enhetssekretesslösningar är några exempel på områden som kan leda till ytterligare framsteg inom sektorn.

Google AI utökar möjligheterna med mobil tangentbordsteknik med introduktionen av korrekturläsfunktionen, vilket förbättrar skrivningen för människor över hela världen.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI avslöjar "korrekturläsning": Gboard-funktion för enkel korrigering av meningar och stycken

Moderna djupa neurala nätverk (DNN) är i sig ogenomskinliga, vilket gör det utmanande att förstå deras beslutsprocesser. Denna brist på transparens stör den omfattande implementeringen av maskininlärningstekniker inom en mängd olika domäner. Som svar har Explainable AI (XAI) dykt upp i syfte att förbättra mänsklig förståelse av DNN-domar. Genom att titta på det funktionella syftet med varje komponent fokuserar XAI nu också på att förstå det globala beteendet hos DNN, i motsats till lokala förklaringsmetoder som använder framträdande kartor för att förklara individuella förutsägelser.

Mekanistisk tolkningsbarhet är en global förklaringsteknik som fokuserar på att lokalisera de speciella idéer som neuroner, de grundläggande beräkningsenheterna i ett neuralt nätverk, har förvärvat förmågan att förstå. Vi kan förklara hur ett nätverks latenta representationer fungerar genom att märka neuroner med beskrivningar som är begripliga för människor. Dessa beskrivningar har utvecklats från enkla etiketter till utarbetade, sammansättningsmässiga och öppna ordförrådsförklaringar. Icke desto mindre har bristen på standardiserade kvantitativa mått för att bedöma dessa öppna ordförrådsbeskrivningar hindrat grundliga jämförelser mellan olika tillvägagångssätt.

För att komma till rätta med denna lucka introducerar forskare från ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute och BIFOLD [CoSy](https://arxiv.org/abs/2405.20331), en banbrytande kvantitativ utvärderingsram för bedöma användningen av öppna ordförrådsförklaringar i datorseende (CV) modeller. Denna innovativa metod använder sig av utvecklingen inom Generativ AI för att producera konstgjorda bilder som korrelerar med konceptbaserade textbeskrivningar. cozy eliminerar behovet av mänsklig interaktion genom att underlätta kvantitativa jämförelser av olika konceptbaserade textförklaringsmetoder genom att syntetisera datapunkter som är gemensamma för specifika målförklaringar.

Forskargruppen visade genom en omfattande metaanalys att mysiga erbjuder tillförlitliga utvärderingar av förklaringar. Studien upptäckte att begreppsbaserade textförklaringsmetoder fungerar bäst i de övre skikten av neurala nätverk, där begrepp på hög nivå lärs in. Högkvalitativa neuronförklaringar produceras med metoder som INVERT, som skapar bilder från representationer av neurala nätverk, och CLIP-Dissect, som undersöker interna nätverksrepresentationer. Omvänt ger tekniker som MILAN och FALCON förklaringar av sämre kvalitet, och ger ibland nästan slumpmässiga begrepp, vilket kan resultera i felaktiga nätverksslutsatser.

En stor nackdel med CoSy, som forskarna inser, är att specifika kategorier från träningsdata kanske inte har inkluderats i den generativa modellen, vilket leder till förklaringar som är för generella eller tvetydiga, som "vita föremål". Generativ noggrannhet kan ökas genom att ta itu med detta problem genom att undersöka förträningsdatauppsättningar och modellprestanda. Ändå uppvisar mysiga mycket potential inom det fortfarande utvecklande området för att bedöma icke-lokala förklaringstekniker.

När vi ser framåt är teamet hoppfullt om CoSys potentiella tillämpningar inom flera områden. För att utvärdera rimligheten eller kvaliteten på en förklaring som rör resultatet av en nedströmsuppgift måste mänskligt omdöme ingå i definitionen av förklaringskvalitet, som de vill ta upp i framtida arbete. Dessutom vill de inkludera ytterligare områden som bearbetning av naturligt språk och hälsovård i sina utvärderingssystem. Den potentiella användningen av cozy för att bedöma stora, ogenomskinliga, autotolkbara språkmodeller (LLM) är särskilt spännande. Enligt forskarna kan det vara ett stort steg framåt att tillämpa mysiga datauppsättningar inom sjukvården, där förklaringskvaliteten är viktig. Dessa potentiella framtida tillämpningar av mysiga har enorm potential att främja AI-forskning.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Förstå neurala nätverk: CoSys kvantitativa ram för utvärdering av textförklaringar

[Transformatorbaserade modeller](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) är kända för sin förmåga att tolka och tolka komplex text. De förlitar sig på att förstå ordens ordning och sammanhang - uppgifter där traditionella positionskodningsmetoder har visat sina gränser. ROFORMER-modellen, som drivs av **Rotary Position Embedding (RoPE)**, omdefinierar vårt tillvägagångssätt för positionell kodning för att lösa detta gap.

## Traditionell positionskodning

Transformatorer behandlar text som en serie tokens och tillåter **parallell bearbetning av sekvenser** för större effektivitet. Men denna styrka medförde sin utmaning: **modellens inneboende agnosticism till symbolisk ordning**. **Positionell kodning** var svaret, **tillhandahöll varje token en unik signatur som anger dess sekvensposition**.

### Absolute Position Inbäddningar

Till en början använde modeller som BERT **absoluta positionsinbäddningar, som tilldelade en fast vektor till varje position i en sekvens**. Även om den här metoden är enkel, saknar den i sig förmågan att anpassa sig till variationer i sekvenslängd eller att betona de relativa avstånden mellan tokens**, vilket är avgörande för att förstå många språkliga konstruktioner.

### Relativ position Inbäddningar

För att fånga språkets dynamiska natur introducerades relativa positionsinbäddningar, med fokus på avståndet mellan tokens snarare än deras absoluta positioner. Trots sina konceptuella fördelar introducerade dessa inbäddningar **beräkningskomplexitet, och misslyckades med att sömlöst integreras i Transformers**s självuppmärksamhetsmekanism, vilket begränsade deras effektivitet.

## ROFORMER och Rotary Position Inbäddning

Genom att inse begränsningarna hos befintliga positionskodningsstrategier introducerar ROFORMER Rotary Position Embedding (RoPE), ett tillvägagångssätt som kombinerar fördelarna med absolut och relativ positionsinformation utan deras respektive nackdelar.

### Rotary Position Inbäddning

RoPE kodar positionsinformation med hjälp av **rotationsmatriser**, vilket gör att modellen inte bara förstår var en token är, utan hur den relaterar till alla andra token i en sekvens.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Den fungerar genom en geometrisk lins och behandlar tokenpositioner som punkter i ett flerdimensionellt utrymme som roteras för att markera deras sekventiella relationer. Denna rotation tillåter modellen att bevara och utnyttja både absoluta och relativa positionssignaler inom sin självuppmärksamhetsmekanism.

### Implementering av RoPE

Implementering av RoPE innebär att koda varje tokens position till en rotationsmatris och applicera denna matris inom transformatorns självuppmärksamhetsmekanism. Denna process möjliggör en flexibel, dynamisk tolkning av positionsinformation, tar emot varierande sekvenslängder och fångar essensen av token-interrelationer utan betydande beräkningskostnader.

Först behöver du en funktion för att generera de roterande inbäddningarna, och sedan ska du integrera dessa inbäddningar i din modell. Exemplet nedan förutsätter att du är bekant med att skapa anpassade lager i Keras.

#### Steg 1: Definiera Rotary Embedding-funktionen

Denna funktion genererar de roterande inbäddningarna givet den maximala sekvenslängden och dimensionaliteten hos inbäddningarna.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Denna linje beräknar inversen av exponentiellt skalade frekvenser baserat på positionsindex. Dessa frekvenser används för att generera sinusformade mönster för roterande inbäddningar, vilket hjälper till att koda den relativa positionsinformationen i sekvenser. Denna mekanism är särskilt användbar i uppgifter där förståelse av ordningen och den relativa placeringen av element är avgörande, till exempel vid naturlig språkbehandling eller tidsserieanalys.

I detalj:

- `tf.range(0, dim, 2, dtype=tf.float32)` skapar ett värdeintervall från 0 upp till `dim` (exklusivt), steg med 2. Argumentet `dtype=tf.float32` anger att elementen i denna tensor är 32-bitars flyttal. Om "dim" är 8, till exempel, skulle detta producera "[0, 2, 4, 6]".

- Tensorn som produceras av `tf.range` divideras sedan med dimensionaliteten (`dim`) för inbäddningarna. Denna operation skalar ner dessa index till ett intervall mellan 0 och 1 (exklusivt om 'dim' är jämnt, något inklusive om 'dim' är udda, eftersom intervallsteget hoppar över vartannat värde). Om du fortsätter med exemplet med "dim" = 8, dividerat med 8 ger "[0,0, 0,25, 0,5, 0,75]".

- Operationen `10000 ** (...)` höjer 10 000 till styrkan för varje element i den tidigare skalade tensorn. Basen på 10 000 är något godtycklig, men är vald för att säkerställa att frekvenserna varierar över ett brett område, vilket hjälper modellen att mer effektivt skilja mellan olika positioner. För `[0.0, 0.25, 0.5, 0.75]` skulle den applicera effektdriften på var och en, vilket resulterar i värden mycket större för högre element.

- Slutligen erhålls den inversa frekvensen genom att ta den reciproka (1/x) av värdena från föregående steg. De inversa frekvenserna är mindre för högre index, vilket betyder att element längre fram i sekvensen kommer att ha mindre frekvenser, vilket påverkar hur deras positioner kodas in i modellen. Detta gör att inbäddningarna kan skalas på ett sätt där relativa positioner kan härledas genom modellens uppmärksamhetsmekanismer.

Linjen:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

använder TensorFlows `tf.einsum`-funktion, ett verktyg som möjliggör kortfattade och effektiva uttryck av tensoroperationer med Einsteins summationsnotation.

Denna operation beräknar effektivt den yttre produkten av vektorerna "t" och "inv_freq", vilket resulterar i en matris där varje element "(i, j)" är produkten av "i"-te elementet av "t" och "t" j`-te elementet i `inv_freq`. Denna matris ("freqs") representerar de frekvenser som används för att generera de sinusformade mönstren för de roterande inbäddningarna.

#### Steg 2: Anpassat Keras-lager för roterande inbäddningar

Låt oss nu skapa ett anpassat Keras-lager som applicerar roterande inbäddningar på ingångstensorn. Detta lager antar att ingångstensorn har formen "(batch_size, sequence_length, embedding_dim)".

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Raden `inbäddningar = self.rotary_embeddings[:seq_len]` väljer lämplig delmängd av förberäknade roterande inbäddningar baserat på den aktuella inmatningssekvenslängden. Eftersom längden på sekvenser kan variera från en batch till en annan säkerställer denna skivningsoperation att endast de inbäddningar som motsvarar den faktiska sekvenslängden används.

Variabeln 'inbäddningar' har nu en tensor av formen '(seq_len, embedding_dim)', där 'seq_len' är längden på sekvenserna i den aktuella batchen och 'embedding_dim' är dimensionaliteten för inbäddningarna. Denna tensor innehåller roterande positionsinbäddningar för varje position i sekvensen upp till "seq_len".

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` kombinerar sinus- och cosinustransformationer av positionsfrekvenser till en enda tensor:

-`tf.cos(freqs)` och `tf.sin(freqs)` tillämpar cosinus- respektive sinustransformationerna på `freqs`-tensorn. "freqs"-tensorn innehåller frekvensvärden för varje position i inmatningssekvensen och varje dimension av inbäddningsutrymmet, beräknat baserat på sekvenspositionerna och de omvända frekvenserna för inbäddningsdimensionerna. Sinus- och cosinusfunktionerna appliceras elementvis, vilket resulterar i två tensorer med samma form som "freqs". Dessa transformationer hjälper till att koda positionen på ett sätt som fångar den cykliska karaktären hos positionsförhållanden, vilket underlättar modellens förmåga att förstå relativa positioner.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` sammanfogar de cosinus- och sinustransformerade tensorerna längs den sista axeln (betecknad med `axis=-1`). Att sammanfoga dessa tensorer sida vid sida fördubblar effektivt dimensionaliteten för "freqs"-tensorn, där den första halvan representerar cosinustransformerade värden och den andra halvan representerar sinustransformerade värden för varje position. Sammankopplingen säkerställer att varje positionskodning innehåller både sinus- och cosinusinformation, vilket möjliggör bevarande av information om både amplituden och fasen för positionssignalerna.

- Den sammanlänkade tensor "emb" håller nu de fullständiga roterande inbäddningarna för ingångspositionerna. Formen på "emb" kommer att vara densamma som "freqs" i sina två första dimensioner (motsvarande sekvenspositioner och inbäddningsdimensioner), men dess sista dimension kommer att vara dubbelt så stor, vilket tar hänsyn till både sinus- och cosinusvärden. Dessa inbäddningar används för att modulera inbäddningsinbäddningarna genom att lägga till positionsinformation på ett rotationsmässigt ekvivariant sätt.

-`cos_emb = inbäddningar[:, Inga, :self.dim // 2]`:

1. Det första kolonet `:` betyder "välj alla element i denna dimension", vilket i det här fallet hänvisar till alla positioner i sekvensen.

2. `Ingen` används för att lägga till en extra dimension, vilket gör tensorn tredimensionell. Detta görs ofta för att säkerställa kompatibilitet med vissa operationer som förväntar sig indata av ett specifikt antal dimensioner. Till exempel, när du utför elementvis multiplikation med en annan tensor som är 3-dimensionell, måste formerna anpassas enligt sändningsregler.

3. `:self.dim // 2`, väljer den första halvan av dimensionerna i den sista axeln. Eftersom "inbäddningsdimensionen" fördubblas för att inkludera både sinus- och cosinusvärden, väljs enbart cosinuskomponenterna för inbäddningarna genom att dividera med 2.

#### Steg 3: Integration med en Keras-modell

Efter att ha definierat `RotaryEmbeddingLayer` kan du integrera det i din Keras-modell. Detta lager bör appliceras på dina inbäddningar innan du matar in dem i uppmärksamhetslager eller några efterföljande modelllager.

Här är ett förenklat exempel på hur man integrerar de roterande inbäddningarna i en modell:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: FÖRBÄTTRAD TRANSFORMATOR MED ROTERANDE POSITIONSBÄDDNING

[Arxiv-länk](https://arxiv.org/abs/2403.13799)

20 mars 2024

## Omvändningsförbannelsen

Stora språkmodeller (LLM) som [GPT-4](https://arxiv.org/abs/2303.08774) och [Llama-2](https://arxiv.org/abs/2307.09288) har visat imponerande förmåga att förstå och generera människoliknande text, som omfattar ett stort utbud av kunskap. Men de misslyckas med en till synes okomplicerad uppgift: att vända på lärda fakta. Denna begränsning, kallad "omvändningsförbannelsen", antyder att LLM inte kan härleda att "B är en egenskap hos A" från att lära sig "A har en egenskap B", en grundläggande resonemangsförmåga som även barn besitter. Detta dokument introducerar "Omvänd träning", en ny metod för att ta itu med denna utmaning genom att utnyttja en träningsmetod med två riktningar för att förbättra modellens förståelse av fakta i både framåt- och bakåtformat.

## Ursprunget till omvändningsförbannelsen

Problemet uppstår från den grundläggande utbildningsstrategin för LLM, som vanligtvis involverar **autoregressiv, vänster-till-höger-inlärning**. Denna metod lär inte i sig modellerna att förstå eller generera information i omvänd ordning. Med tanke på karaktären av datadistribution enligt Zipfs lag nämns många fakta bara i en riktning, vilket förvärrar denna fråga. "Reversal Curse" begränsar LLMs förståelse av ömsesidiga relationer och likvärdighet i uttalanden, vilket markerar en betydande brist i deras resonemangsförmåga.

## Att övervinna omvändningsförbannelsen med omvänd träning

Den föreslagna lösningen, Reverse Training, fördubblar den tillgängliga träningsdatan genom att inkludera både original- och omvända versioner av träningssträngar. Reverseringsprocessen är noga med att inte ändra vissa delsträngar, såsom entitetsnamn, och behålla sin ursprungliga sekvens för att bevara sammanhanget. Denna metod, som liknar att introducera ett andra språk för LLM att lära sig, förbättrar avsevärt modellens förmåga att bearbeta och generera information i båda riktningarna.

## Testar den omvända träningsmetoden

Författarna genomförde följande experiment för att testa deras föreslagna metod:

**1- Symbolisk omvänd uppgift:** Ett test av kontrollerad miljö som visar metodens förmåga att sluta sig till och tillämpa omvända samband.

**2- Omvänd biografiuppgift:** Använda en biografidatauppsättning för att bedöma prestanda vid generering av personnamn från givna detaljer, omvänt.

**3- Real-world Knowledge Reversal:** Utvärdera metodens effektivitet i verkliga scenarier, inklusive vända fakta om kändisar och deras relationer.

**4- Finjustering av fiktiva fakta:** Testar modellens inlärningsförmåga på nyligen introducerade, omvända fiktiva fakta.

Genom dessa experiment mildrade omvänd träning inte bara omvändningsförbannelsen utan eliminerade den i vissa fall helt. Metoden visade sig vara särskilt effektiv när entitetsnamn bevarades i sin ursprungliga ordning under reverseringsprocessen, vilket betonade vikten av att bibehålla vissa kontextuella ankare.

## Implikationer och framtida riktningar

Framgången med omvänd träning när det gäller att ta itu med omvändningsförbannelsen öppnar nya vägar för LLM-träningsmetoder. Genom att förbättra modellers förståelse för ömsesidiga relationer och likvärdighet i uttalanden, öppnar detta tillvägagångssätt dörren till mer sofistikerade resonemangsförmåga. Framtida forskning kan utforska ytterligare optimering av omvändningsprocessen, potentialen för att integrera omvänd träning i andra språkmodellarkitekturer, och bredare tillämpningar av denna metod i naturlig språkförståelse och genereringsuppgifter.

---

*Bli ett kodningsproffs i din egen takt! Gå med i Code Labs Academys [Online Part-Time Bootcamp](/) och fördjupa dig i kodning. Passa på att lära dig runt ditt schema och börja din resa till tekniken idag!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Omvänd träning för att sköta omvändningsförbannelsen

[Arxiv-länk](https://arxiv.org/abs/2403.12015)

18 mars 2024

"Snabb högupplöst bildsyntes med latent adversariell diffusionsdestillation" presenterar en ny destillationsmetod känd som latent adversariell diffusionsdestillation (LADD). Det här tillvägagångssättet är utformat för att ta itu med begränsningarna hos befintliga [diffusionsmodeller](https://en.wikipedia.org/wiki/Diffusion_model), särskilt utmaningen med långsam inferenshastighet, vilket hämmar realtidsapplikationer. LADD möjliggör högupplöst bildsyntes med flera aspekter genom att effektivt destillera stora [latenta diffusionsmodeller](https://arxiv.org/abs/2112.10752) (LDMs), vilket avsevärt förenklar träningsprocessen och förbättrar prestandan jämfört med tidigare metoder .

Vi kommer att sammanfatta de viktigaste tipsen från detta dokument.

## Introduktion

Diffusionsmodeller har dykt upp som ett kraftfullt verktyg för bild- och videosyntes och redigering, och erbjuder resultat av hög kvalitet. Deras iterativa karaktär, som kräver många nätverksutvärderingar för att omvandla brus till koherenta bilder, har dock begränsat deras praktiska tillämpningar för realtidsapplikationer. Olika strategier har föreslagits för att påskynda diffusionsmodeller. LADD introducerar en ny strategi som utnyttjar generativa funktioner från förtränade LDM:er, vilket möjliggör effektiv högupplöst bildsyntes i en bråkdel av de steg som krävs av traditionella metoder.

## Bakgrund

Uppsatsen börjar med att ge en översikt över diffusionsmodeller och deras [destillation](https://en.wikipedia.org/wiki/Knowledge_destillation). Traditionella diffusionsmodeller fungerar genom att gradvis försvaga en bild genom många iterativa steg, vilket gör processen långsam och beräkningsmässigt dyr. Destillationsmetoder, inklusive [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD), har försökt effektivisera denna process genom att minska antalet steg som behövs. ADD möter dock begränsningar som en fast träningsupplösning och nödvändigheten av avkodning till RGB-utrymme för att destillera latenta diffusionsmodeller, vilket kan begränsa högupplöst träning.

## Metodik

LADD tar itu med dessa problem genom att **destillera direkt i latent utrymme**, och därigenom **undvika behovet av att avkoda till pixelutrymme** och möjliggöra träning med högre upplösningar. Till skillnad från ADD, som förlitar sig på en förtränad diskriminator som arbetar i pixelutrymme, använder LADD ett nytt tillvägagångssätt där diskriminatorn och lärarmodellen är förenade och verkar direkt på latenta enheter. Denna metod förenklar inte bara träningsprocessen, utan ger också flera fördelar, inklusive effektivitet, förmågan att ge ljudnivåspecifik feedback och kapaciteten för Multi-Aspect Ratio (MAR) träning.

## Experiment och resultat

Uppsatsen utvärderar LADD utförligt genom olika experiment, vilket visar dess överlägsna prestanda när det gäller att syntetisera högupplösta bilder med bara några få steg. Noterbart, när den appliceras på [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), resulterar LADD i en modell kallad SD3-Turbo, som uppnår jämförbar bildkvalitet med tillstånds- toppmoderna text-till-bild-generatorer i bara fyra steg. Experimenten undersöker också effekterna av olika fördelningar av lärares brus, användningen av syntetiska data, latenta destillationsmetoder och skalningsbeteendet hos LADD.

## Jämförelse med state-of-the-art

LADD:s effektivitet understryks ytterligare av en jämförelse med nuvarande ledande metoder inom text-till-bild- och bild-till-bild-syntes. SD3-Turbo matchar inte bara prestanda för sin lärarmodell (SD3) i bildkvalitet, utan visar också betydande förbättringar jämfört med andra baslinjer när det gäller slutledningshastighet och bild-textjustering.

## Begränsningar och framtida riktningar

Trots sina framsteg är LADD inte utan begränsningar. Författarna noterar en avvägning mellan modellkapacitet, snabb anpassning och slutledningshastighet, vilket kan påverka modellens förmåga att hantera vissa utmaningar med text-till-bild-syntes. Framtida forskningsinriktningar inkluderar att utforska denna avvägning djupare och utveckla strategier för att förbättra kontrollen över bilden och textvägledningens styrkor.

## Slutsats

"Snabb högupplöst bildsyntes med latent motstridig diffusionsdestillation" introducerar ett nytt tillvägagångssätt för bild-/videosyntes som avsevärt påskyndar genereringen av högkvalitativa bilder från textuppmaningar. Genom att destillera stora diffusionsmodeller i latent utrymme banar LADD vägen för realtidsapplikationer och sätter en ny standard för effektivitet och prestanda i bildsyntes.

---

*Code Labs Academy: [Online Coding Bootcamp](/) med flexibla betalningsplaner*

Förklaringar till papper

Varför kan det skada produktiviteten att återvända till kontoret efter pandemin: Insikter från en affärsexpert