Met name in grotere bedrijven is er na de COVID-19-pandemie een merkbare terugkeer waarneembaar dat werknemers vanaf kantoor moeten werken. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), universitair hoofddocent bedrijfskunde aan de Joseph M. Katz Graduate School of Business van de Universiteit van Pittsburgh, en Yuye Ding, een PhD-student, hebben [dit patroon onderzocht](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Ze hebben gekeken naar de sociologische en economische gevolgen van het werken op afstand, maar ook naar het recente initiatief van bedrijven om werknemers weer naar kantoor te krijgen, wat werknemers vaak irriteert.

Ma beweert in een [interview met Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) dat in een De steeds digitalere werkomgeving, waardoor werknemers terug naar kantoor komen, irriteert hen alleen maar en draagt ​​weinig bij aan de verhoging van de productiviteit. Hij geeft echter wel toe dat, als het vrijwillig en met teamondersteuning wordt gedaan, persoonlijk werk voordelig kan zijn en een betere coördinatie en teamwerk kan bevorderen.

Ma suggereert dat goed presterende individuen die hun doeltreffendheid hebben bewezen bij het thuiswerken, dit moeten kunnen blijven doen, in plaats van iedereen op kantoor te hebben. Hij denkt dat deze strategie uiteindelijk ten goede zal komen aan zowel werkgevers als werknemers, door briljante individuen te behouden die anders elders werk zouden zoeken. Ma stelt ook voor om regelmatig persoonlijke teambuildingoefeningen te doen om de cultuur van het bedrijf robuust te houden, wat essentieel is voor het efficiënt genereren van ideeën en het oplossen van problemen.

Het hoogtepunt van deze tendens lijkt voorbij, ook al eisten verschillende bedrijven na de pandemie dat hun werknemers naar kantoor moesten terugkeren. Volgens onderzoeken uit 2024 hecht de meerderheid van de CEO's er niet langer veel waarde aan om op kantoor te zijn. Bedrijven kwamen erachter dat werknemers tijdens de pandemie behoorlijk productief kunnen zijn als ze op afstand werken. Maar andere managers hebben nog steeds twijfels over het werken op afstand, en daarom pleiten zij ervoor om weer naar kantoor te gaan. Het moreel van de werknemers kan lijden onder dit gebrek aan vertrouwen, omdat het aan de personeelsleden duidelijk maakt dat hun managers niet in hen geloven.

Ondanks het feit dat telewerken de overhead- en ruimtebehoefte kan verlagen, willen grote bedrijven graag dat hun werknemers terugkeren, wat de mogelijkheid vergroot dat controle en macht hier meer een rol spelen dan de prijs. Ma wijst erop dat veel bedrijven een ‘return-to-office’-beleid hebben ingevoerd als reactie op de daling van de aandelenkoersen, waarbij werken op afstand gemakshalve werd gebruikt als een handige zondebok voor slechte prestaties.

Ondanks het feit dat er nog steeds een grote vraag is naar werken op afstand – veel kantoorruimtes in grote steden als New York, San Francisco en Duitsland staan ​​leeg – blijven managers van mening dat het hebben van werknemers in persoon de samenwerking en de bedrijfscultuur zal verbeteren. Maar in plaats van samen te werken met collega's, zeggen veel werknemers die naar kantoor zijn teruggekeerd het grootste deel van hun tijd alleen op hun computers te werken. De ineffectiviteit van dergelijke mandaten wordt in twijfel getrokken door het ontbreken van een waarneembaar onderscheid tussen werken op kantoor en werken op afstand, evenals door de frustratie die werknemers ervaren wanneer ze gedwongen worden terug te keren.

Werknemers zijn gewend aan de hogere productiviteit en de voordelen van een beter evenwicht tussen werk en privéleven die gepaard gaan met werken op afstand, zoals de mogelijkheid om werk en gezinsleven beter te integreren en langdurig woon-werkverkeer te vermijden. Ontevredenheid ontstaat doordat deze afspraken worden verstoord door een gedwongen terugkeer naar kantoor. Bovendien bestaat de perceptie dat ontbrekend werk de professionele groei zou kunnen belemmeren.

Uiteindelijk denkt Ma dat als werknemers gedwongen worden om permanent naar de werkplek terug te keren, veel van hen op zoek zouden gaan naar andere beroepen, en dat degenen die blijven minder gemotiveerd zouden kunnen raken. Thuiskantoren zijn nog steeds gebruikelijk omdat ze, ondanks hun nadelen, een beter evenwicht tussen werk en privéleven bieden en minder burn-outs veroorzaken. Er is geen waarneembaar productiviteitsverschil tussen werken op afstand en op kantoor, en thuiswerken kan net zo vervreemdend zijn als de afleiding van open kantoren waar werknemers vaak een koptelefoon dragen om zich te concentreren. Ma adviseert teams zelf te kiezen hoeveel dagen ze op kantoor willen werken en de rest van de tijd flexibel te laten, zodat werknemers de werkomgeving van hun voorkeur kunnen kiezen, ook al kunnen menselijke contacten gunstig zijn voor bedrijven.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Waarom terugkeren naar kantoor na de pandemie de productiviteit kan schaden: inzichten van een bedrijfsexpert

[Google AI](https://ai.google/) heeft onlangs een nieuwe functie geïntroduceerd genaamd 'Proofread' in Gboard, de populaire mobiele toetsenbordapplicatie. Met een enkele tik maakt deze functie naadloze aanpassingen en correcties op zin- en alineaniveau mogelijk, waardoor de algehele typervaring wordt verbeterd.

## Het probleem van de 'dikke vingers' aanpakken

[Gboard](https://support.google.com/gboard/?hl=nl) gebruikt statistische decodering om het probleem van de 'dikke vinger' aan te pakken, wat de natuurlijke onnauwkeurigheid is van aanraakinvoer op kleine schermen. Uit onderzoek blijkt dat het foutenpercentage per letter zonder decodering 8 tot 9 procent kan bedragen. Gboard wordt geleverd met verschillende foutcorrectiefuncties om typen gemakkelijker en soepeler te maken. Deze functies combineren handmatige taken met menselijke input met proactieve, geautomatiseerde correcties.

## Uitgebreide foutcorrectietools

Typen wordt collectief gemakkelijker gemaakt door de functies van Gboard, waaronder woordaanvulling, voorspellingen voor het volgende woord, actieve autocorrectie (AC) en actieve sleutelcorrectie (KC). Deze tools omvatten slimme compositie, foutcorrectie en kandidaten van meerdere woorden in de suggestiebalk of inline. Postcorrectie (PC) vergemakkelijkt ook het corrigeren van fouten in reeds gemaakte woorden. Ondanks deze functies zijn er twee belangrijke beperkingen die de gebruikerservaring belemmeren.

1. Hoewel correctiemodellen op het apparaat, zoals KC, AC en PC, snel en compact zijn, hebben ze moeite met het verwerken van geavanceerde en complexe fouten die langere contexten vereisen. Om te voorkomen dat deze modellen worden geactiveerd, moeten gebruikers langzaam en nauwkeurig typen.

2. De typsnelheid neemt af doordat gebruikers handmatig vastgelegde woorden moeten corrigeren met behulp van grammatica- en spellingcontroles, wat mentaal en visueel belastend kan zijn.

## De noodzaak van foutcorrectie op hoog niveau

Snelle typers negeren vaak woorden die ze al hebben getypt en concentreren zich alleen op het toetsenbord. Hierdoor kunnen hogere foutenpercentages ontstaan, waardoor het gebruik van straffen of correctiemechanismen op een hoger niveau noodzakelijk is.

## Introductie van proeflezen

Proofread lost deze veel voorkomende klachten op door opmerkelijke productiviteitsverbeteringen te bieden. Het maakt foutcorrectie eenvoudiger door correcties op zins- en alineaniveau met één tik aan te bieden.

## De technologie achter proeflezen

De functie Proeflezen bestaat uit vier hoofdcomponenten: gegevensproductie, ontwerp van statistieken, aanpassing van modellen en weergave van modellen. Samen garanderen al deze componenten de effectiviteit. Om ervoor te zorgen dat de gegevensdistributie in lijn is met het Gboard-domein, bootst het systeem frequente toetsenbordfouten na met behulp van een nauwkeurig en methodisch opgebouwde foutsynthetische architectuur.

## Geavanceerde statistieken en modeloptimalisatie

Om het model te beoordelen, hebben onderzoekers een aantal metrieken ingebouwd, met een bijzondere nadruk op controles op de aanwezigheid van grammaticale fouten en soortgelijke betekeniscontroles afgeleid van grote taalmodellen (LLM's). Supervised fine-tuning en Reinforcement Learning (RL)-afstemming worden gebruikt in de InstructGPT-techniek om het model te verbeteren. Door deze procedure worden de proefleesprestaties van het model aanzienlijk verbeterd.

## Implementatie en prestaties

Met behulp van 8-bit kwantisering is de middelgrote LLM PaLM2-XS op maat gemaakt om in een enkele TPU v5 te passen en dient als basis voor de proefleesfunctie. De optimalisatie verlaagt de servicekosten. Eerder onderzoek heeft aangetoond dat segmentatie, speculatieve decodering en bucket-sleutels de latentie kunnen verminderen.

## Impact in de echte wereld

Tienduizenden Pixel 8-gebruikers zullen profiteren van de hoogwaardige bewerkingen die worden geboden door de functie Proeflezen, die nu beschikbaar is. Een grondige generatie van synthetische data en diverse aanpassingen hebben een model opgeleverd dat de grammaticale fouten aanzienlijk terugdringt, zoals blijkt uit een relatieve afname van 5,74 procent in de Bad ratio van het PaLM2-XS-model. Bovendien hebben optimalisaties geresulteerd in een afname van 39,4% in de gemiddelde latentie.

## Toekomstperspectieven

[Deze studie](https://arxiv.org/abs/2406.04523) laat zien hoe LLM's de gebruikerservaring kunnen verbeteren en intrigerende mogelijkheden voor verder onderzoek kunnen creëren. Het gebruik van echte gebruikersgegevens, meertalige ondersteuning, schrijfhulp op maat en oplossingen voor apparaatprivacy zijn enkele voorbeelden van gebieden die tot verdere vooruitgang in de sector zouden kunnen leiden.

Google AI breidt de mogelijkheden van mobiele toetsenbordtechnologie uit met de introductie van de Proofread-functie, waardoor typen voor mensen over de hele wereld wordt verbeterd.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI onthult 'Proofread': Gboard-functie voor moeiteloze zins- en alineacorrecties

Moderne diepe neurale netwerken (DNN’s) zijn intrinsiek ondoorzichtig, waardoor het een uitdaging is om hun besluitvormingsprocessen te begrijpen. Dit gebrek aan transparantie belemmert de uitgebreide implementatie van Machine Learning-technieken in verschillende domeinen. Als reactie daarop is Exploreable AI (XAI) opgedoken met de bedoeling het menselijk begrip van DNN-oordelen te verbeteren. Door naar het functionele doel van elke component te kijken, richt XAI zich nu ook op het begrijpen van het mondiale gedrag van DNN's, in tegenstelling tot lokale verklaringsmethoden die saliency-kaarten gebruiken om individuele voorspellingen te verklaren.

Mechanistische interpreteerbaarheid is een mondiale uitlegbaarheidstechniek die zich richt op het vaststellen van de specifieke ideeën die neuronen, de fundamentele rekeneenheden van een neuraal netwerk, hebben kunnen begrijpen. We kunnen de werking van de latente representaties van een netwerk verklaren door neuronen te labelen met beschrijvingen die voor mensen begrijpelijk zijn. Deze beschrijvingen zijn geëvolueerd van eenvoudige labels naar uitgebreide, compositorische en open woordenschatverklaringen. Niettemin heeft het gebrek aan gestandaardiseerde kwantitatieve maatstaven voor het beoordelen van deze open woordenschatbeschrijvingen grondige vergelijkingen tussen verschillende benaderingen belemmerd.

Om deze kloof te dichten introduceren onderzoekers van ATB Potsdam, Universiteit van Potsdam, TU Berlijn, Fraunhofer Heinrich-Hertz-Institute en BIFOLD [CoSy](https://arxiv.org/abs/2405.20331), een baanbrekend kwantitatief evaluatiekader voor het beoordelen van het gebruik van verklaringen in open woordenschat in computer vision (CV)-modellen. Deze innovatieve methode maakt gebruik van ontwikkelingen in Generatieve AI om kunstmatige beelden te produceren die correleren met op concepten gebaseerde tekstuele beschrijvingen. cosy elimineert de behoefte aan menselijke interactie door kwantitatieve vergelijkingen van verschillende op concepten gebaseerde benaderingen van tekstuele uitleg mogelijk te maken door datapunten te synthetiseren die gebruikelijk zijn voor bepaalde doelverklaringen.

Het onderzoeksteam heeft via een uitgebreide meta-analyse aangetoond dat dit betrouwbare evaluaties van verklaringen biedt. De studie ontdekte dat op concepten gebaseerde tekstuele uitlegmethoden het beste functioneren in de bovenste lagen van neurale netwerken, waar concepten op hoog niveau worden geleerd. Hoogwaardige neuronverklaringen worden geproduceerd door methoden zoals INVERT, die beelden creëert van neurale netwerkrepresentaties, en CLIP-Dissect, die interne netwerkrepresentaties onderzoekt. Omgekeerd produceren technieken zoals MILAN en FALCON verklaringen van inferieure kwaliteit, waarbij ze soms bijna willekeurige concepten opleveren, wat kan resulteren in onnauwkeurige netwerkconclusies.

Een groot nadeel van CoSy is, zoals de onderzoekers erkennen, dat specifieke categorieën uit de trainingsgegevens mogelijk niet zijn opgenomen in het generatieve model, wat leidt tot verklaringen die te algemeen of dubbelzinnig zijn, zoals 'witte objecten'. De generatieve nauwkeurigheid kan worden vergroot door dit probleem aan te pakken door datasets en modelprestaties vóór de training te onderzoeken. Toch vertoont Cosy veel potentieel op het zich nog steeds ontwikkelende gebied van het beoordelen van niet-lokale verklaringstechnieken.

Vooruitkijkend is het team hoopvol over de potentiële toepassingen van CoSy op meerdere terreinen. Om de plausibiliteit of kwaliteit van een verklaring met betrekking tot het resultaat van een volgende taak te evalueren, moet het menselijk oordeel worden opgenomen in de definitie van verklaringskwaliteit, die ze in toekomstig werk willen behandelen. Daarnaast willen ze extra velden zoals natuurlijke taalverwerking en gezondheidszorg in hun evaluatiesysteem opnemen. Het potentiële gebruik van cosy voor het beoordelen van grote, ondoorzichtige, auto-interpreteerbare taalmodellen (LLM's) is bijzonder opwindend. Volgens de onderzoekers zou de toepassing van Cosy op zorgdatasets, waarbij de kwaliteit van de uitleg belangrijk is, een grote stap voorwaarts kunnen zijn. Deze potentiële toekomstige toepassingen van cosy hebben een enorm potentieel om AI-onderzoek vooruit te helpen.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Neurale netwerken begrijpen: CoSy's kwantitatieve raamwerk voor de evaluatie van tekstuele uitleg

[Op Transformer gebaseerde modellen](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) staan ​​bekend om hun vermogen om complexe tekst te ontleden en te interpreteren. Ze vertrouwen op het begrijpen van de volgorde en context van woorden – taken waarbij traditionele positionele coderingsmethoden hun grenzen hebben laten zien. Door deze leemte aan te pakken, herdefinieert het ROFORMER-model, mogelijk gemaakt door de **Rotary Position Embedding (RoPE)**, onze benadering van positionele codering.

## Traditionele positionele codering

Transformers behandelen tekst als een reeks tokens en maken **parallelle verwerking van reeksen** mogelijk voor grotere efficiëntie. Deze kracht bracht echter ook een uitdaging met zich mee: het **model's inherente agnosticisme tegenover symbolische orde**. **Positionele codering** was het antwoord, **waardoor elk token een unieke handtekening kreeg die de positie van de reeks aangeeft**.

### Absolute positie-inbedding

Aanvankelijk gebruikten modellen zoals BERT **absolute positie-inbedding, waarbij aan elke positie in een reeks** een vaste vector werd toegewezen. Deze methode, hoewel eenvoudig, mist inherent het vermogen om zich aan te passen aan variaties in de lengte van de reeks, of om de relatieve afstanden tussen tokens te benadrukken**, wat van cruciaal belang is voor het begrijpen van veel taalkundige constructies.

### Relatieve positie-inbedding

Om de dynamische aard van taal vast te leggen, werden relatieve positie-inbedding geïntroduceerd, waarbij de nadruk lag op de afstand tussen tokens in plaats van op hun absolute posities. Ondanks hun conceptuele voordeel introduceerden deze inbeddingen **computationele complexiteit, en slaagden ze er niet in naadloos te integreren in het zelfaandachtsmechanisme van Transformers**, waardoor hun doeltreffendheid werd beperkt.

## ROFORMER en roterende positie-inbedding

ROFORMER erkent de beperkingen van bestaande positionele coderingsstrategieën en introduceert Rotary Position Embedding (RoPE), een benadering die de voordelen van absolute en relatieve positie-informatie combineert zonder de respectieve nadelen ervan.

### Roterende positie inbedden

RoPE codeert positionele informatie met behulp van **rotatiematrices**, waardoor het model niet alleen begrijpt waar een token zich bevindt, maar ook hoe deze zich verhoudt tot elk ander token in een reeks.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: Original Paper

Het werkt via een geometrische lens en behandelt symbolische posities als punten in een multidimensionale ruimte die worden geroteerd om hun opeenvolgende relaties te markeren. Door deze rotatie kan het model zowel absolute als relatieve positionele signalen behouden en exploiteren binnen zijn zelfaandachtsmechanisme.

### RoPE implementeren

Het implementeren van RoPE omvat het coderen van de positie van elk token in een rotatiematrix, en het toepassen van deze matrix binnen het zelfaandachtsmechanisme van de Transformer. Dit proces maakt een flexibele, dynamische interpretatie van positionele informatie mogelijk, waarbij verschillende sequentielengtes worden geaccommodeerd en de essentie van token-interrelaties wordt vastgelegd zonder noemenswaardige computeroverhead.

Eerst hebt u een functie nodig om de roterende insluitingen te genereren, en vervolgens integreert u deze insluitingen in uw model. In het onderstaande voorbeeld wordt ervan uitgegaan dat u bekend bent met het maken van aangepaste lagen in Keras.

#### Stap 1: Definieer de roterende inbeddingsfunctie

Deze functie genereert de roterende inbedding op basis van de maximale sequentielengte en de dimensionaliteit van de inbedding.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Deze lijn berekent de inverse van exponentieel geschaalde frequenties op basis van de positie-indices. Deze frequenties worden gebruikt bij het genereren van sinusoïdale patronen voor roterende inbedding, wat helpt bij het coderen van de relatieve positionele informatie in reeksen. Dit mechanisme is vooral nuttig bij taken waarbij het begrijpen van de volgorde en de relatieve positionering van elementen cruciaal is, zoals bij natuurlijke taalverwerking of tijdreeksanalyse.

In detail:

- `tf.range(0, dim, 2, dtype=tf.float32)` creëert een bereik van waarden beginnend bij 0 tot `dim` (exclusief), stapsgewijs met 2. Het argument `dtype=tf.float32` specificeert dat de elementen van deze tensor 32-bit drijvende-kommagetallen zijn. Als `dim` bijvoorbeeld 8 is, zou dit `[0, 2, 4, 6]` opleveren.

- De door `tf.range` geproduceerde tensor wordt vervolgens gedeeld door de dimensionaliteit (`dim`) van de inbedding. Deze bewerking schaalt deze indices terug naar een bereik tussen 0 en 1 (exclusief als 'dim' even is, enigszins inclusief als 'dim' oneven is, omdat de bereikstap elke andere waarde overslaat). Als we het voorbeeld voortzetten met `dim` = 8, levert delen door 8 `[0,0, 0,25, 0,5, 0,75]` op.

- De bewerking `10000 ** (...)` verhoogt 10.000 tot de macht van elk element in de eerder geschaalde tensor. De basis van 10.000 is enigszins willekeurig, maar is gekozen om ervoor te zorgen dat de frequenties over een groot bereik variëren, waardoor het model effectiever onderscheid kan maken tussen verschillende posities. Voor '[0,0, 0,25, 0,5, 0,75]' zou het de machtsbewerking op elk toepassen, wat resulteert in waarden die veel groter zijn voor hogere elementen.

- Ten slotte wordt de inverse frequentie verkregen door het omgekeerde (1/x) van de waarden uit de vorige stap te nemen. De inverse frequenties zijn kleiner voor hogere indices, wat betekent dat elementen verder in de reeks kleinere frequenties zullen hebben, wat van invloed is op de manier waarop hun posities in het model worden gecodeerd. Hierdoor kunnen de inbeddingen worden geschaald op een manier waarbij relatieve posities kunnen worden afgeleid via de aandachtsmechanismen van het model.

De lijn:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

maakt gebruik van de `tf.einsum`-functie van TensorFlow, een hulpmiddel dat een beknopte en efficiënte uitdrukking van tensorbewerkingen mogelijk maakt met behulp van de Einstein-sommatienotatie.

Deze bewerking berekent effectief het buitenste product van de vectoren `t` en `inv_freq`, resulterend in een matrix waarin elk element `(i, j)` het product is van het `i`-de element van `t` en de ` j`-de element van `inv_freq`. Deze matrix ("freqs") vertegenwoordigt de frequenties die worden gebruikt om de sinusoïdale patronen voor de roterende inbedding te genereren.

#### Stap 2: Aangepaste Keras-laag voor roterende insluitingen

Laten we nu een aangepaste Keras-laag maken die roterende inbedding toepast op de invoertensor. Deze laag gaat ervan uit dat de invoertensor de vorm '(batch_size, sequence_length, embedding_dim)' heeft.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

De regel `embeddings = self.rotary_embeddings[:seq_len]' selecteert de juiste subset van vooraf berekende roterende insluitingen op basis van de huidige lengte van de invoerreeks. Omdat de lengte van sequenties van batch tot batch kan variëren, zorgt deze snijbewerking ervoor dat alleen de inbedding die overeenkomt met de feitelijke sequentielengte worden gebruikt.

De variabele 'embeddings' bevat nu een tensor van vorm '(seq_len, embedding_dim)', waarbij 'seq_len' de lengte is van de reeksen in de huidige batch, en 'embedding_dim' de dimensionaliteit van de inbedding is. Deze tensor bevat de roterende positionele inbedding voor elke positie in de reeks tot aan `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` combineert sinus- en cosinustransformaties van positionele frequenties in een enkele tensor:

-`tf.cos(freqs)` en `tf.sin(freqs)` passen respectievelijk de cosinus- en sinustransformaties toe op de `freqs`-tensor. De 'freqs'-tensor bevat frequentiewaarden voor elke positie in de invoerreeks en elke dimensie van de inbeddingsruimte, berekend op basis van de reeksposities en de inverse frequenties van de inbeddingsdimensies. De sinus- en cosinusfuncties worden elementair toegepast, wat resulteert in twee tensoren met dezelfde vorm als `freqs`. Deze transformaties helpen bij het coderen van de positie op een manier die de cyclische aard van positionele relaties vastlegt, waardoor het vermogen van het model om relatieve posities te begrijpen wordt vergemakkelijkt.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` voegt de cosinus- en sinus-getransformeerde tensoren aan elkaar langs de laatste as (aangegeven met `axis=-1`). Het naast elkaar aaneenschakelen van deze tensoren verdubbelt effectief de dimensionaliteit van de 'freqs'-tensor, waarbij de eerste helft cosinus-getransformeerde waarden vertegenwoordigt en de tweede helft sinus-getransformeerde waarden voor elke positie vertegenwoordigt. De aaneenschakeling zorgt ervoor dat elke positionele codering zowel sinus- als cosinusinformatie bevat, waardoor informatie over zowel de amplitude als de fase van de positionele signalen behouden blijft.

- De aaneengeschakelde tensor `emb` bevat nu de volledige roterende inbedding voor de invoerposities. De vorm van 'emb' zal hetzelfde zijn als 'freqs' in de eerste twee dimensies (overeenkomend met reeksposities en inbeddingsdimensies), maar de laatste dimensie zal twee keer zo groot zijn, rekening houdend met zowel sinus- als cosinuswaarden. Deze inbedding wordt gebruikt om de invoerinbedding te moduleren door positionele informatie op een rotatie-equivariante manier toe te voegen.

-`cos_emb = embeddings[:, Geen, :self.dim // 2]`:

1. De eerste dubbele punt `:` betekent 'selecteer alle elementen in deze dimensie', wat in dit geval verwijst naar alle posities in de reeks.

2. 'Geen' wordt gebruikt om een ​​extra dimensie toe te voegen, waardoor de tensor driedimensionaal wordt. Dit wordt vaak gedaan om compatibiliteit te garanderen met bepaalde bewerkingen waarbij invoer van een specifiek aantal dimensies wordt verwacht. Wanneer u bijvoorbeeld elementgewijze vermenigvuldiging uitvoert met een andere tensor die driedimensionaal is, moeten de vormen worden uitgelijnd volgens de uitzendregels.

3. `:self.dim // 2`, selecteert de eerste helft van de afmetingen in de laatste as. Omdat de 'inbeddingsdimensie' wordt verdubbeld om zowel sinus- als cosinuswaarden op te nemen, selecteert delen door 2 effectief alleen de cosinuscomponenten van de inbedding.

#### Stap 3: Integratie met een Keras-model

Nadat u de `RotaryEmbeddingLayer` hebt gedefinieerd, kunt u deze in uw Keras-model integreren. Deze laag moet op uw inbedding worden toegepast voordat u deze in aandachtslagen of eventuele volgende modellagen invoert.

Hier is een vereenvoudigd voorbeeld van hoe u de roterende inbedding in een model kunt integreren:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

ROFORMER: VERBETERDE TRANSFORMATOR MET DRAAIPOSITIE-INBEDDING

[Arxiv-link](https://arxiv.org/abs/2403.13799)

20 maart 2024

## De omkeervloek

Grote taalmodellen (LLM's) zoals [GPT-4](https://arxiv.org/abs/2303.08774) en [Llama-2](https://arxiv.org/abs/2307.09288) hebben indrukwekkende capaciteiten getoond in het begrijpen van en het genereren van mensachtige tekst, die een breed scala aan kennis omvat. Ze falen echter in een ogenschijnlijk eenvoudige taak: het ongedaan maken van geleerde feiten. Deze beperking, de ‘Reversal Curse’ genoemd, houdt in dat LLM’s niet kunnen afleiden dat ‘B een kenmerk van A is’ uit het leren van ‘A heeft een kenmerk B’, een fundamentele redeneervaardigheid die zelfs kinderen bezitten. Dit artikel introduceert 'Reverse Training', een nieuwe methode om deze uitdaging aan te pakken door gebruik te maken van een tweerichtingstrainingsaanpak om het begrip van feiten door het model in zowel voorwaartse als achterwaartse formaten te verbeteren.

## De oorsprong van de omkeervloek

Het probleem komt voort uit de fundamentele trainingsaanpak van LLM's, die doorgaans gepaard gaat met **autoregressief, van links naar rechts leren**. Deze methode leert de modellen niet inherent om informatie in de omgekeerde volgorde te begrijpen of te genereren. Gezien de aard van de gegevensdistributie volgens de wet van Zipf worden veel feiten slechts in één richting vermeld, wat dit probleem nog verergert. De "Reversal Curse" beperkt het begrip van de LLM's van wederkerige relaties en gelijkwaardigheid in uitspraken, wat een aanzienlijke tekortkoming markeert in hun redeneervermogen.

## De omkeervloek overwinnen met omgekeerde training

De voorgestelde oplossing, Reverse Training, verdubbelt de beschikbare trainingsgegevens door zowel originele als omgekeerde versies van trainingsreeksen op te nemen. Het omkeerproces zorgt ervoor dat bepaalde subtekenreeksen, zoals entiteitsnamen, niet worden gewijzigd, waarbij hun oorspronkelijke volgorde behouden blijft om de context te behouden. Deze methode, vergelijkbaar met het introduceren van een tweede taal die de LLM kan leren, verbetert aanzienlijk het vermogen van het model om informatie in beide richtingen te verwerken en te genereren.

## De omgekeerde trainingsmethode testen

De auteurs voerden de volgende experimenten uit om hun voorgestelde methode te testen:

**1- Symbolische omgekeerde taak:** Een gecontroleerde omgevingstest die het vermogen van de methode aantoont om omgekeerde relaties af te leiden en toe te passen.

**2- Biografietaak omkeren:** Een biografiedataset gebruiken om de prestaties te beoordelen bij het genereren van persoonsnamen op basis van gegeven details, in omgekeerde richting.

**3- Real-world Knowledge Reversal:** Evalueren van de effectiviteit van de methode in real-world scenario's, inclusief het omkeren van feiten over beroemdheden en hun relaties.

**4- Verfijning van fictieve feiten:** Testen van het leervermogen van het model op nieuw geïntroduceerde, omgekeerde fictieve feiten.

Bij al deze experimenten heeft Reverse Training niet alleen de Reversal Curse verzacht, maar in sommige gevallen zelfs volledig geëlimineerd. De methode bleek bijzonder effectief wanneer entiteitsnamen tijdens het omkeringsproces in hun oorspronkelijke volgorde werden bewaard, wat het belang van het behouden van bepaalde contextuele ankers benadrukte.

## Implicaties en toekomstige richtingen

Het succes van Reverse Training bij het aanpakken van de Reversal Curse opent nieuwe wegen voor LLM-trainingsmethodologieën. Door het begrip van modellen van wederkerige relaties en gelijkwaardigheid in uitspraken te vergroten, opent deze benadering de deur naar meer geavanceerde redeneermogelijkheden. Toekomstig onderzoek kan verdere optimalisatie van het omkeerproces onderzoeken, het potentieel voor het integreren van omgekeerde training in andere taalmodelarchitecturen, en bredere toepassingen van deze methode bij het begrijpen van natuurlijke taal en bij het genereren van taken.

---

*Word een codeerprofessional in je eigen tempo! Doe mee aan de [Online Part-Time Bootcamp] van Code Labs Academy (https://codelabsacademy.com/) en verbeter je vaardigheden op het gebied van coderen. Pas het leren aan uw schema aan en begin vandaag nog aan uw reis naar technologie!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Omgekeerde training om de omkeervloek te beheersen

[Arxiv-link](https://arxiv.org/abs/2403.12015)

18 maart 2024

"Snelle beeldsynthese met hoge resolutie met latente adversarial diffusiedestillatie" presenteert een nieuwe destillatiebenadering die bekend staat als Latent Adversarial Diffusion Distillation (LADD). Deze aanpak is ontworpen om de beperkingen van bestaande [diffusiemodellen](https://en.wikipedia.org/wiki/Diffusion_model) aan te pakken, met name de uitdaging van de lage inferentiesnelheid, die real-time toepassingen belemmert. LADD maakt beeldsynthese met hoge resolutie en meerdere aspectverhoudingen mogelijk door grote [latente diffusiemodellen](https://arxiv.org/abs/2112.10752) (LDM's) efficiënt te distilleren, waardoor het trainingsproces aanzienlijk wordt vereenvoudigd en de prestaties worden verbeterd in vergelijking met eerdere methoden .

We vatten de belangrijkste conclusies uit dit artikel samen.

## Introductie

Diffusiemodellen zijn uitgegroeid tot een krachtig hulpmiddel voor de synthese en bewerking van afbeeldingen en video's, en bieden resultaten van hoge kwaliteit. Hun iteratieve aard, die talrijke netwerkevaluaties vereist om ruis om te zetten in coherente beelden, heeft echter hun bruikbaarheid voor real-time toepassingen beperkt. Er zijn verschillende strategieën voorgesteld om diffusiemodellen te versnellen. LADD introduceert een nieuwe strategie, waarbij gebruik wordt gemaakt van generatieve functies van vooraf getrainde LDM's, waardoor efficiënte beeldsynthese met hoge resolutie mogelijk is in een fractie van de stappen die bij traditionele methoden nodig zijn.

## Achtergrond

Het artikel begint met een overzicht van diffusiemodellen en hun [destillatie](https://en.wikipedia.org/wiki/Knowledge_distillation). Traditionele diffusiemodellen werken door het geleidelijk verwijderen van ruis in een beeld via vele iteratieve stappen, waardoor het proces langzaam en rekentechnisch duur wordt. Destillatiemethoden, waaronder [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), hebben geprobeerd dit proces te stroomlijnen door het aantal benodigde stappen te verminderen. ADD heeft echter te maken met beperkingen zoals een vaste trainingsresolutie en de noodzaak van het decoderen naar RGB-ruimte voor het destilleren van latente diffusiemodellen, wat training met hoge resolutie kan beperken.

## Methodologie

LADD pakt deze problemen aan door **direct in de latente ruimte te distilleren**, waardoor **de noodzaak om naar pixelruimte te decoderen wordt vermeden** en training met hogere resoluties mogelijk is. In tegenstelling tot ADD, dat afhankelijk is van een vooraf getrainde discriminator die in pixelruimte werkt, gebruikt LADD een nieuwe benadering waarbij de discriminator en het lerarenmodel verenigd zijn en rechtstreeks op latenten werken. Deze methode vereenvoudigt niet alleen het trainingsproces, maar biedt ook verschillende voordelen, waaronder efficiëntie, de mogelijkheid om specifieke feedback op geluidsniveau te geven en de capaciteit voor Multi-Aspect Ratio (MAR)-training.

## Experimenten en resultaten

Het artikel evalueert LADD uitgebreid aan de hand van verschillende experimenten, waarbij de superieure prestaties worden aangetoond bij het synthetiseren van afbeeldingen met hoge resolutie in slechts een paar stappen. Met name wanneer toegepast op [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), resulteert LADD in een model genaamd SD3-Turbo, dat een beeldkwaliteit bereikt die vergelijkbaar is met de staat- geavanceerde tekst-naar-beeldgeneratoren in slechts vier stappen. De experimenten onderzoeken ook de impact van verschillende verdelingen van lerarenruis, het gebruik van synthetische gegevens, latente destillatiebenaderingen en het schaalgedrag van LADD.

## Vergelijking met state-of-the-art

De effectiviteit van LADD wordt verder onderstreept door een vergelijking met de huidige toonaangevende methoden op het gebied van tekst-naar-beeld- en beeld-naar-beeld-synthese. SD3-Turbo komt niet alleen overeen met de prestaties van zijn lerarenmodel (SD3) wat betreft beeldkwaliteit, maar laat ook aanzienlijke verbeteringen zien ten opzichte van andere basislijnen in termen van inferentiesnelheid en uitlijning van beeld en tekst.

## Beperkingen en toekomstige richtingen

Ondanks de vooruitgang is LADD niet zonder beperkingen. De auteurs merken een wisselwerking op tussen modelcapaciteit, snelle uitlijning en gevolgtrekkingssnelheid, wat van invloed zou kunnen zijn op het vermogen van het model om bepaalde uitdagingen op het gebied van tekst-naar-beeld-synthese aan te pakken. Toekomstige onderzoeksrichtingen omvatten het dieper onderzoeken van deze afweging en het ontwikkelen van strategieën om de controle over de sterke punten van beeld- en tekstbegeleiding te vergroten.

## Conclusie

"Snelle beeldsynthese met hoge resolutie en latente adversarial diffusiedistillatie" introduceert een nieuwe benadering van beeld-/videosynthese die het genereren van hoogwaardige beelden uit tekstprompts aanzienlijk versnelt. Door grote diffusiemodellen in de latente ruimte te distilleren, maakt LADD de weg vrij voor real-time toepassingen en zet het een nieuwe standaard voor efficiëntie en prestaties bij beeldsynthese.

---

*Code Labs Academy: [Online Coding Bootcamp](/) met flexibele betalingsplannen*

Papieren uitgelegd

Waarom terugkeren naar kantoor na de pandemie de productiviteit kan schaden: inzichten van een bedrijfsexpert