Zlasti v večjih podjetjih je po pandemiji COVID-19 prišlo do opazne vrnitve k zahtevam, da delavci delajo v pisarni. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), izredni profesor poslovne administracije na Poslovni šoli Joseph M. Katz na Univerzi v Pittsburghu, in Yuye Ding, Doktorski študent je [raziskal ta vzorec](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Preučevali so sociološke in ekonomske učinke dela na daljavo ter nedavno pobudo podjetij, da delavce vrnejo v pisarne, kar delavce pogosto razjezi.

Ma trdi v [intervjuju s Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html), da je v vse bolj digitalizirano delovno okolje, zaradi česar se delavci vračajo v pisarno le razdražijo in malo prispevajo k povečanju produktivnosti. Priznava pa, da je lahko osebno delo, če se izvaja prostovoljno in s skupinsko podporo, koristno in spodbuja izboljšano koordinacijo in timsko delo.

Ma predlaga, da bi bilo treba zelo uspešnim posameznikom, ki so dokazali svojo učinkovitost pri delu od doma, omogočiti, da to počnejo še naprej, namesto da bi imeli vsi v pisarni. Meni, da bo ta strategija na koncu koristila tako delodajalcem kot delojemalcem, če zadrži briljantne posameznike, ki bi sicer lahko iskali delo drugje. Ma predlaga tudi redne osebne vaje za izgradnjo ekipe, da ohranijo trdno kulturo podjetja, kar je bistveno za učinkovito ustvarjanje idej in reševanje problemov.

Zdi se, da je vrhunec te težnje minil, čeprav je več podjetij zahtevalo, da se zaposleni po pandemiji vrnejo v pisarno. Glede na raziskave, opravljene leta 2024, večina izvršnih direktorjev ne pripisuje več velikega pomena bivanju v pisarni. Podjetja so izvedela, da so lahko delavci med pandemijo precej produktivni, če delajo na daljavo. A drugi menedžerji imajo še vedno pomisleke glede dela na daljavo, zato se zavzemajo za vrnitev v pisarno. Morala zaposlenih lahko trpi zaradi tega pomanjkanja zaupanja, saj zaposlenim sporočajo, da njihovi vodje ne verjamejo vanje.

Kljub dejstvu, da lahko delo na daljavo zmanjša režijske in prostorske potrebe, si velika podjetja nestrpno želijo, da se njihovi delavci vrnejo, kar povečuje možnost, da sta nadzor in moč tu bolj v igri kot cena. Ma poudarja, da so številna podjetja uvedla politike vračanja v pisarno kot odgovor na padce cen delnic, pri čemer so delo na daljavo priročno izkoristila kot priročen grešni kozel za slabo uspešnost.

Kljub dejstvu, da je še vedno veliko povpraševanje po delu na daljavo – veliko pisarniških prostorov v večjih mestih, kot so New York, San Francisco in Nemčija, je praznih – menedžerji še vedno menijo, da bo osebno sodelovanje delavcev izboljšalo sodelovanje in poslovno kulturo. Toda namesto da bi delali skupaj s sodelavci, veliko delavcev, ki so se vrnili v pisarno, pravi, da večino časa delajo sami za svojimi računalniki. Neučinkovitost takšnih pooblastil je vprašljiva zaradi pomanjkanja opazne razlike med delom v pisarni in delom na daljavo, pa tudi zaradi frustracije, ki jo zaposleni doživljajo, ko so prisiljeni, da se vrnejo.

Delavci so navajeni povečane produktivnosti in prednosti ravnovesja med poklicnim in zasebnim življenjem, ki jih prinaša delo na daljavo, kot je možnost boljšega povezovanja poklicnega in družinskega življenja ter izogibanje dolgim ​​vožnjam na delo. Nezadovoljstvo je posledica kršitve teh dogovorov zaradi prisilne vrnitve v pisarno. Poleg tega obstaja mnenje, da bi manjkajoče delo lahko oviralo poklicno rast.

Na koncu Ma meni, da če bi se delavci prisiljeni vrniti na delovno mesto za stalno, bi jih veliko začelo iskati druge poklice, tisti, ki ostanejo, pa bi lahko postali manj motivirani. Domače pisarne so še vedno pogoste, saj kljub svojim pomanjkljivostim zagotavljajo boljše ravnotežje med poklicnim in zasebnim življenjem ter nižjo stopnjo izgorelosti. Med delom na daljavo in v pisarni ni opazne razlike v produktivnosti, delo od doma pa je lahko prav tako odtujujoče kot motnje v pisarnah odprtega tipa, kjer zaposleni pogosto nosijo slušalke, da se osredotočijo. Ma svetuje, da ekipe izberejo, koliko dni želijo delati v pisarni, preostali čas pa pustijo prilagodljiv, tako da lahko zaposleni izberejo želeno delovno okolje, čeprav so človeški stiki lahko koristni za podjetja.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Zakaj lahko vrnitev v pisarno po pandemiji škodi produktivnosti: vpogled poslovnega strokovnjaka

[Google AI](https://ai.google/) je nedavno predstavil novo funkcijo, imenovano »Lektoriranje« za Gboard, priljubljeno aplikacijo za mobilno tipkovnico. Z enim samim dotikom ta funkcija omogoča brezhibne spremembe in popravke na ravni stavkov in odstavkov, kar izboljša splošno izkušnjo tipkanja.

## Reševanje problema 'debelega prsta'

[Gboard](https://support.google.com/gboard/?hl=en) uporablja statistično dekodiranje kot sredstvo za reševanje težave z "debelimi prsti", ki je naravna netočnost vnosa na dotik na majhnih zaslonih. Raziskave kažejo, da lahko stopnja napak na črko doseže 8 do 9 odstotkov brez dekodiranja. Gboard ima več funkcij za odpravljanje napak, ki omogočajo lažje in bolj gladko tipkanje. Te funkcije združujejo ročna opravila, ki vključujejo človeški vnos, s proaktivnimi, samodejnimi popravki.

## Obsežna orodja za popravljanje napak

Tipkanje skupaj olajšajo funkcije Gboard, ki vključujejo dokončanje besed, predvidevanje naslednje besede, aktivno samodejno popravljanje (AC) in aktivno popravljanje tipk (KC). Ta orodja vključujejo pametno sestavljanje, popravljanje napak in večbesedne kandidate v vrstici s predlogi ali v vrstici. Naknadno popravljanje (PC) prav tako olajša popravljanje napak v besedah, ki so že bile storjene. Kljub tem funkcijam uporabniško izkušnjo poslabšata dve ključni omejitvi.

1. Medtem ko so modeli popravkov v napravi, kot so KC, AC in PC, hitri in kompaktni, imajo težave pri obravnavi sofisticiranih in kompleksnih napak, ki potrebujejo daljše kontekste. Da bi preprečili aktiviranje teh modelov, morajo uporabniki tipkati počasi in natančno.

2. Hitrost tipkanja se zmanjša, ker morajo uporabniki ročno popravljati dodeljene besede s slovničnimi in črkovalniki, kar je lahko psihično in vizualno obremenjujoče.

## Potreba po popravkih napak na visoki ravni

Hitri tipkalci pogosto ne upoštevajo besed, ki so jih že vnesli, in se osredotočijo samo na tipkovnico. Zaradi tega lahko nastanejo višje stopnje napak, zaradi česar je potrebna uporaba mehanizmov popravkov kazni ali višje ravni.

## Predstavljamo lektoriranje

Lektoriranje rešuje te pogoste pritožbe tako, da ponuja opazno povečanje produktivnosti. Omogoča poenostavitev odpravljanja napak z zagotavljanjem popravkov na ravni stavkov in odstavkov z enim dotikom.

## Tehnologija za lektoriranjem

Funkcijo lektoriranja sestavljajo štiri glavne komponente: proizvodnja podatkov, načrtovanje meritev, prilagajanje modela in serviranje modela. Vse te komponente skupaj zagotavljajo učinkovitost. Za zagotovitev, da je distribucija podatkov v skladu z domeno Gboard, sistem posnema pogoste napake tipkovnice z uporabo natančno in metodično zgrajene sintetične arhitekture napak.

## Napredne meritve in optimizacija modela

Da bi ocenili model, so raziskovalci vključili številne metrike, s posebnim poudarkom na preverjanju prisotnosti slovničnih napak in podobnih preverjanjih pomena, ki izhajajo iz velikih jezikovnih modelov (LLM). Za izboljšanje modela se v tehniki InstructGPT uporabljata nadzorovano fino uravnavanje in uravnavanje s krepitvenim učenjem (RL). Učinkovitost lektoriranja modela se s tem postopkom močno izboljša.

## Uvajanje in zmogljivost

Z uporabo 8-bitne kvantizacije je srednje velik LLM PaLM2-XS prilagojen, da se prilega enemu TPU v5 in služi kot osnova za funkcijo lektoriranja. Optimizacija zniža stroške strežbe. Predhodne raziskave so pokazale, da lahko segmentacija, špekulativno dekodiranje in ključi vedra zmanjšajo zakasnitev.

## Vpliv v resničnem svetu

Na desettisoče uporabnikov Pixela 8 bo imelo koristi od visokokakovostnih urejanj, ki jih omogoča funkcija Proofread, ki je zdaj na voljo. Temeljito ustvarjanje sintetičnih podatkov in več iteracij natančnega prilagajanja je ustvarilo model, ki znatno zmanjša število slovničnih napak, kar je razvidno iz 5,74-odstotnega relativnega zmanjšanja razmerja Bad modela PaLM2-XS. Poleg tega so optimizacije povzročile 39,4-odstotno zmanjšanje mediane zakasnitve.

## Obeti za prihodnost

[Ta študija](https://arxiv.org/abs/2406.04523) prikazuje, kako lahko LLM izboljšajo uporabniško izkušnjo in ustvarijo zanimive možnosti za nadaljnje preiskave. Uporaba podatkov resničnega uporabnika, večjezična podpora, prilagojena pomoč pri pisanju in rešitve za zasebnost naprav je nekaj primerov področij, ki bi lahko vodila k nadaljnjemu napredku v sektorju.

Google AI razširja možnosti tehnologije mobilne tipkovnice z uvedbo funkcije Proofread, ki izboljšuje tipkanje za ljudi po vsem svetu.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI razkriva 'lektoriranje': funkcija Gboard za enostavno popravljanje stavkov in odstavkov

Sodobne globoke nevronske mreže (DNN) so same po sebi nepregledne, zaradi česar je težko razumeti njihove procese odločanja. To pomanjkanje preglednosti ovira obsežno implementacijo tehnik strojnega učenja na različnih področjih. Kot odgovor se je pojavil Explainable AI (XAI), ki namerava izboljšati človeško razumevanje sodb DNN. S preučevanjem funkcionalnega namena vsake komponente se XAI zdaj osredotoča tudi na razumevanje globalnega vedenja DNN-jev, v nasprotju z lokalnimi razlagalnimi metodami, ki za razlago posameznih napovedi uporabljajo zemljevide opaznosti.

Mehanska interpretabilnost je tehnika globalne razložljivosti, ki se osredotoča na natančno določanje določenih idej, ki so jih nevroni, temeljne računalniške enote nevronske mreže, pridobili sposobnost razumevanja. Delovanje latentnih predstavitev omrežja lahko razložimo tako, da nevrone označimo z opisi, ki so razumljivi ljudem. Ti opisi so napredovali od preprostih oznak do dovršenih, kompozicijskih in odprtih razlag besedišča. Kljub temu je pomanjkanje standardiziranih kvantitativnih meritev za ocenjevanje teh opisov z odprtim besediščem oviralo temeljite primerjave različnih pristopov.

Da bi odpravili to vrzel, raziskovalci iz ATB Potsdam, Univerze v Potsdamu, TU Berlin, Fraunhofer Heinrich-Hertz-Institute in BIFOLD predstavljajo [CoSy](https://arxiv.org/abs/2405.20331), pionirsko ogrodje kvantitativnega vrednotenja za ocenjevanje uporabe razlag odprtega besedišča v modelih računalniškega vida (CV). Ta inovativna metoda uporablja razvoj Generative AI za izdelavo umetnih slik, ki so v korelaciji z besedilnimi opisi, ki temeljijo na konceptu. cosy odpravlja potrebo po človeški interakciji z omogočanjem kvantitativnih primerjav različnih pristopov besedilne razlage, ki temeljijo na konceptu, s sintezo podatkovnih točk, ki so skupne določenim ciljnim razlagam.

Raziskovalna skupina je z obsežno metaanalizo pokazala, da cosy ponuja zanesljive ocene razlag. Študija je odkrila, da metode besedilne razlage, ki temeljijo na konceptu, najbolje delujejo v zgornjih plasteh nevronskih mrež, kjer se naučijo konceptov na visoki ravni. Visokokakovostne nevronske razlage so izdelane z metodami, kot sta INVERT, ki ustvari vizualne podobe iz predstavitev nevronskih mrež, in CLIP-Dissect, ki pregleduje notranje predstavitev omrežja. Nasprotno pa tehnike, kot sta MILAN in FALCON, proizvajajo razlage slabše kakovosti, občasno zagotavljajo skoraj naključne koncepte, kar lahko povzroči netočne mrežne zaključke.

Glavna pomanjkljivost CoSy, kot priznavajo raziskovalci, je, da določene kategorije iz podatkov o usposabljanju morda niso bile vključene v generativni model, kar vodi do razlag, ki so preveč splošne ali dvoumne, kot so "beli predmeti". Generativno natančnost bi lahko povečali z obravnavo te težave s preučevanjem nizov podatkov pred usposabljanjem in zmogljivosti modela. Kljub temu ima cosy velik potencial na še vedno razvijajočem se področju ocenjevanja tehnik nelokalne razlage.

Če pogledamo naprej, ekipa upa glede možnih aplikacij CoSy na več področjih. Za ovrednotenje verodostojnosti ali kakovosti razlage v zvezi z rezultatom nadaljnje naloge je treba človeško presojo vključiti v definicijo kakovosti razlage, ki jo želijo obravnavati v prihodnjem delu. Poleg tega želijo v svoj sistem ocenjevanja vključiti dodatna področja, kot sta obdelava naravnega jezika in zdravstvo. Potencialna uporaba cosyja za ocenjevanje velikih, neprozornih jezikovnih modelov, ki jih je mogoče samodejno razlagati (LLM), je še posebej vznemirljiva. Po mnenju raziskovalcev bi lahko bila uporaba cosyja za nize zdravstvenih podatkov, kjer je kakovost razlage pomembna, velik korak naprej. Te morebitne prihodnje aplikacije cosyja imajo ogromen potencial za napredek raziskav AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Razumevanje nevronskih mrež: CoSyjev kvantitativni okvir za vrednotenje besedilne razlage

[Modeli, ki temeljijo na transformatorjih](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) so znani po svoji zmožnosti razčlenjevanja in interpretacije kompleksnega besedila. Zanašajo se na razumevanje vrstnega reda in konteksta besed – naloge, pri katerih so tradicionalne metode pozicijskega kodiranja pokazale svoje meje. Model ROFORMER, ki ga poganja **Rotary Position Embedding (RoPE)**, odpravlja to vrzel, na novo opredeljuje naš pristop k pozicijskemu kodiranju.

## Tradicionalno pozicijsko kodiranje

Transformatorji obravnavajo besedilo kot vrsto žetonov in omogočajo **vzporedno obdelavo zaporedij** za večjo učinkovitost. Vendar pa je ta moč prinesla svoj izziv: **model inherentni agnosticizem do žetonskega reda**. **Pozicijsko kodiranje** je bil odgovor, **zagotavljanje vsakemu žetonu edinstven podpis, ki označuje njegovo zaporedno pozicijo**.

### Vdelave absolutnih položajev

Na začetku so modeli, kot je BERT, uporabljali **vdelave absolutnih položajev, pri čemer so vsakemu položaju v zaporedju dodelili fiksni vektor**. Ta metoda, čeprav je enostavna, sama po sebi **nima zmožnosti prilagajanja variacijam dolžine zaporedja ali poudarjanja relativnih razdalj med žetoni**, kar je ključnega pomena za razumevanje številnih jezikovnih konstruktov.

### Vdelave relativnega položaja

Da bi zajeli dinamično naravo jezika, so bile uvedene vdelave relativnega položaja, ki so se osredotočale na razdaljo med žetoni in ne na njihove absolutne položaje. Kljub svoji konceptualni prednosti so te vdelave uvedle **računalniško zapletenost in se niso uspele brezhibno integrirati v mehanizem samopozornosti Transformerjev**, kar je omejilo njihovo učinkovitost.

## ROFORMER in vgradnja rotacijskega položaja

S priznavanjem omejitev obstoječih strategij pozicijskega kodiranja ROFORMER uvaja Rotary Position Embedding (RoPE), pristop, ki združuje prednosti absolutnih in relativnih informacij o položaju brez njunih pomanjkljivosti.

### Vdelava rotacijskega položaja

RoPE kodira informacije o položaju z uporabo **matrik vrtenja**, kar omogoča modelu, da razume ne samo, kje je žeton, ampak tudi, kako je povezan z vsemi drugimi žetoni v zaporedju.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Deluje skozi geometrijsko lečo in položaje žetonov obravnava kot točke v večdimenzionalnem prostoru, ki se vrtijo, da označijo svoje zaporedne odnose. Ta rotacija omogoča modelu, da ohrani in izkoristi tako absolutne kot relativne položajne znake znotraj svojega mehanizma samopozornosti.

### Implementacija RoPE

Implementacija RoPE vključuje kodiranje položaja vsakega žetona v rotacijsko matriko in uporabo te matrike znotraj mehanizma samoosredotočanja Transformerja. Ta postopek omogoča prilagodljivo, dinamično interpretacijo informacij o položaju, prilagajanje različnim dolžinam zaporedja in zajemanje bistva medsebojnih odnosov žetonov brez znatnih računskih stroškov.

Najprej boste potrebovali funkcijo za ustvarjanje rotacijskih vdelav, nato pa boste te vdelave integrirali v svoj model. Spodnji primer predvideva, da ste seznanjeni z ustvarjanjem plasti po meri v Kerasu.

#### 1. korak: Definirajte funkcijo rotacijskega vdelave

Ta funkcija generira rotacijske vdelave glede na največjo dolžino zaporedja in dimenzionalnost vdelav.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Ta vrstica izračuna obratno vrednost eksponentno skaliranih frekvenc na podlagi indeksov položaja. Te frekvence se uporabljajo pri ustvarjanju sinusnih vzorcev za rotacijske vdelave, kar pomaga pri kodiranju relativnih položajnih informacij v zaporedjih. Ta mehanizem je še posebej uporaben pri nalogah, kjer je razumevanje vrstnega reda in relativnega položaja elementov ključnega pomena, na primer pri obdelavi naravnega jezika ali analizi časovnih vrst.

V podrobnostih:

- `tf.range(0, dim, 2, dtype=tf.float32)` ustvari obseg vrednosti, ki se začne od 0 do `dim` (izključno), v korakih po 2. Argument `dtype=tf.float32` določa da so elementi tega tenzorja 32-bitna števila s plavajočo vejico. Če je `dim` na primer 8, bi to ustvarilo `[0, 2, 4, 6]`.

- Tenzor, ki ga ustvari `tf.range`, se nato deli z dimenzionalnostjo (`dim`) vdelav. Ta operacija zmanjša te indekse na obseg med 0 in 1 (izključno, če je »dim« sodo, nekoliko vključuje, če je »dim« liho, ker korak obsega preskoči vse druge vrednosti). Če primer nadaljujemo z `dim` = 8, deljenje z 8 da `[0.0, 0.25, 0.5, 0.75]`.

- Operacija `10000 ** (...)` dvigne 10.000 na potenco vsakega elementa v predhodno skaliranem tenzorju. Osnova 10.000 je nekoliko poljubna, vendar je izbrana tako, da zagotovi, da se frekvence spreminjajo v širokem razponu, kar pomaga modelu učinkoviteje razlikovati med različnimi položaji. Za »[0,0, 0,25, 0,5, 0,75]« bi za vsakega uporabil operacijo moči, kar bi povzročilo veliko večje vrednosti za višje elemente.

- Inverzno frekvenco dobimo tako, da vzamemo recipročno (1/x) vrednosti iz prejšnjega koraka. Inverzne frekvence so manjše za višje indekse, kar pomeni, da bodo imeli elementi, ki so dlje v zaporedju, manjše frekvence, kar vpliva na to, kako so njihovi položaji kodirani v modelu. To omogoča, da se vdelave merijo na način, kjer je mogoče sklepati o relativnih položajih prek mehanizmov pozornosti modela.

Linija:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

uporablja funkcijo TensorFlow `tf.einsum`, orodje, ki omogoča jedrnato in učinkovito izražanje tenzorskih operacij z uporabo Einsteinovega zapisa seštevka.

Ta operacija učinkovito izračuna zunanji zmnožek vektorjev `t` in `inv_freq`, kar ima za posledico matriko, kjer je vsak element `(i, j)` zmnožek `i`-tega elementa `t` in ` j`-ti element `inv_freq`. Ta matrika (`freqs`) predstavlja frekvence, ki se uporabljajo za generiranje sinusnih vzorcev za rotacijske vdelave.

#### 2. korak: plast Keras po meri za rotacijske vdelave

Zdaj pa ustvarimo plast Keras po meri, ki uporablja rotacijske vdelave za vhodni tenzor. Ta plast predvideva, da je vhodni tenzor oblike `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Vrstica `embeddings = self.rotary_embeddings[:seq_len]` izbere ustrezno podmnožico vnaprej izračunanih rotacijskih vdelav na podlagi trenutne dolžine vhodnega zaporedja. Ker se lahko dolžina zaporedij razlikuje od enega paketa do drugega, ta operacija rezanja zagotavlja, da se uporabljajo samo vdelave, ki ustrezajo dejanski dolžini zaporedja.

Spremenljivka `embeddings` zdaj vsebuje tenzor oblike `(seq_len, embedding_dim)`, kjer je `seq_len` dolžina zaporedij v trenutnem paketu, `embedding_dim` pa je dimenzionalnost vdelav. Ta tenzor vsebuje rotacijske pozicijske vdelave za vsak položaj v zaporedju do `seq_len`.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` združuje sinusne in kosinusne transformacije pozicijskih frekvenc v en sam tenzor:

-`tf.cos(freqs)` in `tf.sin(freqs)` uporabita kosinusno oziroma sinusno transformacijo za tenzor `freqs`. Tenzor `freqs` vsebuje frekvenčne vrednosti za vsak položaj v vhodnem zaporedju in vsako dimenzijo prostora za vdelavo, izračunane na podlagi položajev zaporedja in inverznih frekvenc dimenzij za vdelavo. Funkciji sinus in kosinus se uporabita elementno, kar ima za posledico dva tenzorja enake oblike kot `freqs`. Te transformacije pomagajo pri kodiranju položaja na način, ki zajame ciklično naravo pozicijskih odnosov, kar olajša sposobnost modela, da razume relativne položaje.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` združuje kosinusne in sinusne transformirane tenzorje vzdolž zadnje osi (označeno z `axis=-1`). Združevanje teh tenzorjev drug ob drugem učinkovito podvoji dimenzionalnost tenzorja `freqs`, pri čemer prva polovica predstavlja kosinusno transformirane vrednosti, druga polovica pa sinusno transformirane vrednosti za vsak položaj. Združevanje zagotavlja, da vsako pozicijsko kodiranje vsebuje tako sinusne kot kosinusne informacije, kar omogoča ohranjanje informacij o amplitudi in fazi pozicijskih signalov.

- Povezani tenzor `emb` zdaj vsebuje celotne rotacijske vdelave za vhodne položaje. Oblika `emb` bo enaka kot `freqs` v svojih prvih dveh dimenzijah (ki ustrezata položajem zaporedja in dimenzijam vdelave), vendar bo njegova zadnja dimenzija dvakrat večja, kar bo upoštevalo sinusne in kosinusne vrednosti. Te vdelave se uporabljajo za modulacijo vhodnih vdelav z dodajanjem informacij o položaju na rotacijsko enakovredni način.

-`cos_emb = vdelave[:, Brez, :self.dim // 2]`:

1. Prvo dvopičje `:` pomeni "izberi vse elemente v tej dimenziji," kar se v tem primeru nanaša na vse položaje v zaporedju.

2. `Brez` se uporablja za dodajanje dodatne dimenzije, zaradi česar je tenzor tridimenzionalen. To se pogosto naredi, da se zagotovi združljivost z določenimi operacijami, ki pričakujejo vnose določenega števila dimenzij. Na primer, pri izvajanju množenja po elementih z drugim tenzorjem, ki je 3-dimenzionalen, se morajo oblike poravnati v skladu s pravili oddajanja.

3. `:self.dim // 2`, izbere prvo polovico dimenzij na zadnji osi. Ker je `vdelana_dimenzija` podvojena, da vključuje sinusne in kosinusne vrednosti, deljenje z 2 učinkovito izbere samo kosinusne komponente vdelav.

#### 3. korak: Integracija z modelom Keras

Ko definirate `RotaryEmbeddingLayer`, ga lahko integrirate v svoj model Keras. Ta sloj je treba uporabiti za vaše vdelave, preden jih vnesete v sloje pozornosti ali katere koli naslednje plasti modela.

Tukaj je poenostavljen primer, kako integrirati vrtljive vstavke v model:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: izboljšan transformator z vgradnjo rotacijskega položaja

[Povezava do Arxiv](https://arxiv.org/abs/2403.13799)

20. marec 2024

## Prekletstvo preobrata

Veliki jezikovni modeli (LLM), kot sta [GPT-4](https://arxiv.org/abs/2303.08774) in [Llama-2](https://arxiv.org/abs/2307.09288), so pokazali impresivne sposobnosti razumevanja in generiranje besedila, podobnega človeku, ki zajema široko paleto znanja. Vendar jim spodleti navidezno enostavna naloga: obrniti naučena dejstva. Ta omejitev, imenovana "prekletstvo preobrata", pomeni, da LLM-ji ne morejo sklepati, da je "B značilnost A" iz učenja "A ima lastnost B", kar je osnovna sposobnost razmišljanja, ki jo imajo celo otroci. Ta članek predstavlja "vzvratno usposabljanje", novo metodo za reševanje tega izziva z uporabo dvosmernega pristopa usposabljanja za izboljšanje modelskega razumevanja dejstev v formatu naprej in nazaj.

## Izvori povratnega prekletstva

Težava izhaja iz temeljnega pristopa usposabljanja LLM, ki običajno vključuje **avtoregresivno učenje od leve proti desni**. Ta metoda sama po sebi ne uči modelov razumevanja ali ustvarjanja informacij v obratnem vrstnem redu. Glede na naravo distribucije podatkov po Zipfovem zakonu je veliko dejstev omenjenih le v eno smer, kar to težavo še poslabša. "Prekletstvo preobrata" omejuje LLM-jevo razumevanje vzajemnih odnosov in enakovrednosti v izjavah, kar označuje pomembno pomanjkljivost v njihovih zmožnostih sklepanja.

## Premagovanje povratnega prekletstva z obratnim treningom

Predlagana rešitev, Reverse Training, podvoji razpoložljive podatke o usposabljanju, tako da vključuje izvirne in obrnjene različice nizov za usposabljanje. Postopek razveljavitve je previden, da se ne spremenijo določeni podnizi, kot so imena entitet, pri čemer se ohrani njihovo prvotno zaporedje, da se ohrani kontekst. Ta metoda, podobna uvedbi drugega jezika za LLM, ki se ga mora naučiti, bistveno izboljša sposobnost modela za obdelavo in ustvarjanje informacij v obe smeri.

## Preizkušanje metode obratnega usposabljanja

Avtorji so izvedli naslednje poskuse, da bi preizkusili predlagano metodo:

**1- Simbolična obratna naloga:** Test nadzorovanega okolja, ki prikazuje sposobnost metode za sklepanje in uporabo obrnjenih razmerij.

**2- Naloga obračanja biografije:** uporaba nabora biografskih podatkov za oceno uspešnosti pri ustvarjanju imen oseb iz danih podrobnosti v obratni smeri.

**3- Obrat znanja iz resničnega sveta:** Ocenjevanje učinkovitosti metode v scenarijih iz resničnega sveta, vključno z obračanjem dejstev o zvezdnikih in njihovih odnosih.

**4- Natančna nastavitev izmišljenih dejstev:** Preizkušanje zmožnosti učenja modela na novo uvedenih, obrnjenih izmišljenih dejstvih.

V teh poskusih Obratno usposabljanje ni le ublažilo Prekletstvo preobrata, ampak ga je v nekaterih primerih popolnoma odpravilo. Metoda se je izkazala za posebej učinkovito, ko so bila imena entitet ohranjena v prvotnem vrstnem redu med postopkom razveljavitve, kar je poudarilo pomen ohranjanja določenih kontekstualnih sider.

## Posledice in prihodnje smeri

Uspeh Reverse Training pri obravnavi Reversal Curse odpira nove poti za metodologije usposabljanja LLM. Z izboljšanjem razumevanja modelov vzajemnih odnosov in enakovrednosti v izjavah ta pristop odpira vrata do bolj sofisticiranih zmožnosti sklepanja. Prihodnje raziskave bodo morda raziskale nadaljnjo optimizacijo procesa obračanja, potencial za integracijo obratnega usposabljanja v drugih arhitekturah jezikovnih modelov in širše uporabe te metode pri razumevanju naravnega jezika in nalogah generiranja.

---

*Postanite strokovnjak za kodiranje s svojim tempom! Pridružite se Code Labs Academy [Spletnem izobraževalnem kampu za krajši delovni čas](/) in se izpopolnite pri kodiranju. Uskladite učenje s svojim urnikom in začnite svojo pot v tehnologijo še danes!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Obratno usposabljanje za negovanje povratnega prekletstva

[Povezava do Arxiv](https://arxiv.org/abs/2403.12015)

18. marec 2024

"Hitra sinteza slike visoke ločljivosti z latentno kontradiktorno difuzijsko destilacijo" predstavlja nov pristop destilacije, znan kot latentna kontradiktorna difuzijska destilacija (LADD). Ta pristop je zasnovan tako, da obravnava omejitve obstoječih [difuzijskih modelov](https://en.wikipedia.org/wiki/Diffusion_model), zlasti izziv počasne hitrosti sklepanja, ki ovira aplikacije v realnem času. LADD omogoča sintezo slike z visoko ločljivostjo in razmerjem stranic z učinkovito destilacijo velikih [modelov latentne difuzije](https://arxiv.org/abs/2112.10752) (LDM), kar znatno poenostavi proces usposabljanja in izboljša učinkovitost v primerjavi s prejšnjimi metodami .

Povzeli bomo ključne povzetke tega prispevka.

## Uvod

Difuzijski modeli so se pojavili kot zmogljivo orodje za sintezo in urejanje slik in videa ter ponujajo visokokakovostne rezultate. Vendar pa je njihova iterativna narava, ki zahteva številne omrežne ocene za pretvorbo hrupa v koherentne slike, omejila njihovo praktičnost za aplikacije v realnem času. Za pospešitev difuzijskih modelov so bile predlagane različne strategije. LADD uvaja novo strategijo, ki izkorišča generativne funkcije vnaprej usposobljenih LDM, kar omogoča učinkovito sintezo slik z visoko ločljivostjo v delčku korakov, ki jih zahtevajo tradicionalne metode.

## Ozadje

Članek se začne s pregledom difuzijskih modelov in njihove [destilacije](https://en.wikipedia.org/wiki/Knowledge_distillation). Tradicionalni difuzijski modeli delujejo tako, da postopno odpravljajo šum slike skozi številne ponavljajoče se korake, zaradi česar je postopek počasen in računsko drag. Metode destilacije, vključno z [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD), so poskušale racionalizirati ta postopek z zmanjšanjem števila potrebnih korakov. Vendar se ADD sooča z omejitvami, kot sta fiksna ločljivost usposabljanja in potreba po dekodiranju v prostor RGB za destilacijo modelov latentne difuzije, kar lahko omeji usposabljanje visoke ločljivosti.

## Metodologija

LADD obravnava ta vprašanja z **destilacijo neposredno v latentnem prostoru**, s čimer se **izogne ​​potrebi po dekodiranju v prostor slikovnih pik** in omogoča usposabljanje pri višjih ločljivostih. Za razliko od ADD, ki temelji na predhodno usposobljenem diskriminatorju, ki deluje v prostoru slikovnih pik, LADD uporablja nov pristop, kjer sta diskriminator in model učitelja poenotena in delujeta neposredno na latentih. Ta metoda ne le poenostavlja proces usposabljanja, ampak zagotavlja tudi več prednosti, vključno z učinkovitostjo, zmožnostjo zagotavljanja povratnih informacij glede na raven hrupa in zmogljivostjo za usposabljanje z več vidiki (MAR).

## Poskusi in rezultati

Prispevek obširno ocenjuje LADD z različnimi poskusi in prikazuje njegovo vrhunsko zmogljivost pri sintezi slik visoke ločljivosti v samo nekaj korakih. Ko se uporablja za [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), LADD povzroči model, imenovan SD3-Turbo, ki dosega kakovost slike, primerljivo s stanjem najsodobnejši generatorji besedila v sliko v zgolj štirih korakih. Poskusi raziskujejo tudi vpliv različnih porazdelitev hrupa učiteljev, uporabo sintetičnih podatkov, pristope latentne destilacije in obnašanje skaliranja LADD.

## Primerjava z najsodobnejšim

Učinkovitost LADD je dodatno poudarjena s primerjavo s trenutnimi vodilnimi metodami v sintezi besedila v sliko in slike v sliko. SD3-Turbo se ne ujema le z zmogljivostjo svojega učiteljskega modela (SD3) v kakovosti slike, ampak tudi dokazuje pomembne izboljšave v primerjavi z drugimi osnovnimi linijami v smislu hitrosti sklepanja in poravnave slike in besedila.

## Omejitve in prihodnje smeri

Kljub svojemu napredku LADD ni brez omejitev. Avtorji opažajo kompromis med zmogljivostjo modela, hitro poravnavo in hitrostjo sklepanja, kar bi lahko vplivalo na sposobnost modela, da obvlada določene izzive sinteze besedila v sliko. Prihodnje usmeritve raziskav vključujejo globlje raziskovanje tega kompromisa in razvoj strategij za izboljšanje nadzora nad prednostmi slikovnih in besedilnih navodil.

## Zaključek

»Hitra sinteza slike visoke ločljivosti z latentno kontradiktorno difuzijsko destilacijo« uvaja nov pristop k sintezi slike/videoposnetka, ki znatno pospeši ustvarjanje visokokakovostnih slik iz besedilnih pozivov. Z destilacijo velikih difuzijskih modelov v latentnem prostoru LADD utira pot aplikacijam v realnem času in postavlja nov standard za učinkovitost in zmogljivost pri sintezi slike.

---

*Code Labs Academy: [Spletni tečaj kodiranja](/) s prilagodljivimi plačilnimi načrti*

Papers Explained

Zakaj lahko vrnitev v pisarno po pandemiji škodi produktivnosti: vpogled poslovnega strokovnjaka