Najmä vo väčších spoločnostiach došlo po pandémii COVID-19 k výraznému návratu k požiadavke, aby pracovníci pracovali z kancelárie. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), docent obchodnej administratívy na Joseph M. Katz Graduate School of Business na University of Pittsburgh a Yuye Ding, Doktorand, [preskúmal tento vzor](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Pozreli sa na sociologické a ekonomické účinky práce na diaľku, ako aj na nedávnu iniciatívu podnikov dostať pracovníkov späť do kancelárie, čo pracovníkov často dráždi.

Ma v [rozhovore s Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) tvrdí, že čoraz digitálnejšie pracovné prostredie, vďaka ktorému sa pracovníci vracajú späť do kancelárie, ich len pobúri a nezvyšuje produktivitu. Pripúšťa však, že keď sa vykonáva dobrovoľne a s tímovou podporou, osobná práca môže byť výhodná a môže podporiť lepšiu koordináciu a tímovú prácu.

Ma navrhuje, aby ľudia s vysokým výkonom, ktorí preukázali svoju účinnosť pri práci z domu, mali možnosť v tom pokračovať, a nie mať všetkých v kancelárii. Myslí si, že udržaním si skvelých jedincov, ktorí by si inak hľadali prácu inde, bude táto stratégia v konečnom dôsledku prínosom pre zamestnávateľov aj zamestnancov. Ma tiež navrhuje pravidelné osobné cvičenia na budovanie tímu, aby bola firemná kultúra robustná, čo je nevyhnutné pre efektívne generovanie nápadov a riešenie problémov.

Zdá sa, že vrchol tejto tendencie pominul, aj keď niekoľko podnikov požadovalo, aby sa zamestnanci po pandémii vrátili do kancelárie. Podľa prieskumov uskutočnených v roku 2024 väčšina generálnych riaditeľov už neprikladá veľkú dôležitosť tomu, aby boli v kancelárii. Firmy sa dozvedeli, že pracovníci môžu byť počas pandémie dosť produktívni, keď pracujú na diaľku. Ale iní manažéri majú stále pochybnosti o práci na diaľku, a preto obhajujú návrat do kancelárie. Morálka zamestnancov môže utrpieť v dôsledku tohto nedostatku dôvery, pretože zamestnancom dáva najavo, že ich manažéri v nich neveria.

Napriek skutočnosti, že práca na diaľku môže znížiť režijné a priestorové požiadavky, veľké podniky túžia po návrate svojich zamestnancov, čo zvyšuje možnosť, že kontrola a sila sú tu viac v hre ako cena. Ma poukazuje na to, že mnohé podniky zaviedli politiku návratu do kancelárií v reakcii na pokles cien akcií, pričom pohodlne využívajú prácu na diaľku ako šikovného obetného baránka za slabý výkon.

Napriek tomu, že stále existuje vysoký dopyt po práci na diaľku – veľa kancelárskych priestorov vo veľkých mestách ako New York, San Francisco a Nemecko je voľných – manažéri naďalej zastávajú názor, že osobný kontakt s pracovníkmi zlepší spoluprácu a podnikateľskú kultúru. Mnoho pracovníkov, ktorí sa vrátili do kancelárie, však namiesto spoločnej práce so spolupracovníkmi hovorí, že väčšinu času trávia sami na svojich počítačoch. Neúčinnosť takýchto mandátov spochybňuje chýbajúci zreteľný rozdiel medzi prácou v kancelárii a prácou na diaľku, ako aj frustrácia zamestnancov, ktorí sú nútení vrátiť sa.

Pracovníci sú zvyknutí na zvýšenú produktivitu a výhody rovnováhy medzi pracovným a súkromným životom, ktoré prináša práca na diaľku, ako je napríklad schopnosť lepšie integrovať pracovný a rodinný život a vyhnúť sa zdĺhavému dochádzaniu. Nespokojnosť vyplýva z toho, že tieto dohody sú narušené núteným návratom do úradu. Okrem toho existuje názor, že chýbajúca práca by mohla brániť profesionálnemu rastu.

Nakoniec si Ma myslí, že ak budú pracovníci nútení vrátiť sa na pracovisko natrvalo, mnohí z nich by si začali hľadať iné profesie a tí, ktorí zostanú, by mohli byť menej motivovaní. Domáce kancelárie sú stále bežné, pretože napriek svojim nevýhodám poskytujú lepšiu rovnováhu medzi pracovným a súkromným životom a nižšiu mieru vyhorenia. Nie je badateľný rozdiel v produktivite medzi prácou na diaľku a prácou v kancelárii a práca z domu môže byť rovnako odcudzujúca ako rozptýlenie v otvorených kanceláriách, kde zamestnanci často nosia slúchadlá, aby sa mohli sústrediť. Ma radí, aby si tímy vybrali, koľko dní chcú pracovať v kancelárii, a zvyšok času nechali flexibilný, aby si zamestnanci mohli vybrať preferované pracovné prostredie, aj keď ľudské kontakty môžu byť pre spoločnosti prospešné.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Prečo môže návrat do kancelárie po pandémii poškodiť produktivitu: Postrehy od odborníka na podnikanie

[Google AI](https://ai.google/) nedávno predstavil novú funkciu s názvom 'Proofread' pre Gboard, populárnu aplikáciu pre mobilnú klávesnicu. Jediným klepnutím táto funkcia umožňuje bezproblémové úpravy a opravy na úrovni viet a odsekov, čím sa zlepšuje celkový zážitok z písania.

## Riešenie problému „tučného prsta“.

[Gboard](https://support.google.com/gboard/?hl=sk) používa štatistické dekódovanie ako prostriedok na riešenie problému „tučného prsta“, čo je prirodzená nepresnosť dotykového vstupu na malých obrazovkách. Výskum ukazuje, že chybovosť na písmeno môže dosiahnuť 8 až 9 percent bez dekódovania. Gboard je vybavený niekoľkými funkciami na opravu chýb, vďaka ktorým je písanie jednoduchšie a plynulejšie. Tieto funkcie kombinujú manuálne úlohy zahŕňajúce ľudský vstup s proaktívnymi, automatizovanými opravami.

## Komplexné nástroje na opravu chýb

Písanie spoločne uľahčujú funkcie Gboardu, medzi ktoré patrí dokončovanie slov, predpovede ďalšieho slova, aktívna automatická oprava (AC) a aktívna oprava klávesov (KC). Tieto nástroje zahŕňajú inteligentnú kompozíciu, opravu chýb a viacslovné návrhy na paneli návrhov alebo v riadku. Dodatočná oprava (PC) tiež uľahčuje opravu chýb v slovách, ktoré už boli spáchané. Napriek týmto vlastnostiam dve kľúčové obmedzenia zhoršujú používateľskú skúsenosť.

1. Zatiaľ čo modely korekcie na zariadení, ako sú KC, AC a PC, sú rýchle a kompaktné, majú problém zvládnuť sofistikované a zložité chyby, ktoré si vyžadujú dlhší kontext. Aby sa zabránilo aktivácii týchto modelov, používatelia musia písať pomaly a presne.

2. Rýchlosť písania sa znižuje v dôsledku toho, že používatelia musia manuálne opravovať zadané slová pomocou kontroly gramatiky a pravopisu, čo môže byť psychicky aj vizuálne náročné.

## Potreba korekcie chýb na vysokej úrovni

Osoby, ktoré rýchlo píšu, často ignorujú slová, ktoré už napísali, a sústredia sa iba na klávesnicu. Z toho môže vyplynúť vyššia chybovosť, čo si vyžaduje použitie vety alebo korekčných mechanizmov vyššej úrovne.

## Predstavujeme korektúru

Korektúra rieši tieto časté sťažnosti tým, že ponúka výrazné zvýšenie produktivity. Zjednodušuje opravu chýb poskytovaním opráv na úrovni viet a odsekov jedným klepnutím.

## Technológia za korektúrou

Funkcia Korektúry pozostáva zo štyroch základných komponentov: produkcia údajov, návrh metrík, ladenie modelu a poskytovanie modelu. Všetky tieto zložky spolu zaručujú účinnosť. Aby sa zabezpečilo, že distribúcia údajov bude v súlade s doménou Gboard, systém napodobňuje časté chyby klávesnice pomocou presne a metodicky zostavenej syntetickej architektúry chýb.

## Pokročilé metriky a optimalizácia modelov

Na posúdenie modelu výskumníci začlenili množstvo metrík s osobitným dôrazom na kontroly prítomnosti gramatických chýb a podobné kontroly významu odvodené od veľkých jazykových modelov (LLM). Na vylepšenie modelu sa v technike InstructGPT používa supervízne jemné ladenie a ladenie zosilňovacieho učenia (RL). Výkon korektúry modelu sa týmto postupom výrazne zlepší.

## Nasadenie a výkon

Pomocou 8-bitovej kvantizácie je stredne veľký LLM PaLM2-XS prispôsobený tak, aby sa zmestil do jedného TPU v5 a slúži ako základ pre funkciu Korektúry. Optimalizácia znižuje náklady na obsluhu. Predchádzajúce výskumy ukázali, že segmentácia, špekulatívne dekódovanie a bucket kľúče môžu znížiť latenciu.

## Vplyv na skutočný svet

Desaťtisíce používateľov Pixel 8 budú profitovať z vysokokvalitných úprav poskytovaných funkciou Korektúra, ktorá je teraz k dispozícii. Dôkladné generovanie syntetických údajov a niekoľko opakovaní jemného ladenia priniesli model, ktorý podstatne znižuje gramatické chyby, ako je vidieť na 5,74 percentnom relatívnom poklese zlého pomeru modelu PaLM2-XS. Okrem toho optimalizácie viedli k zníženiu strednej latencie o 39,4 %.

## Vyhliadky do budúcnosti

[Táto štúdia](https://arxiv.org/abs/2406.04523) ukazuje, ako môžu LLM zlepšiť používateľskú skúsenosť a vytvoriť zaujímavé možnosti na ďalšie skúmanie. Používanie údajov o skutočných používateľoch, viacjazyčná podpora, prispôsobená pomoc pri písaní a riešenia ochrany osobných údajov zariadení sú niekoľkými príkladmi oblastí, ktoré by mohli viesť k ďalšiemu pokroku v tomto sektore.

Umelá inteligencia Google rozširuje možnosti technológie mobilnej klávesnice zavedením funkcie Korektúry, ktorá zlepšuje písanie pre ľudí na celom svete.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Umelá inteligencia Google predstavuje „Proofread“: Funkciu Gboard pre jednoduché opravy viet a odsekov

Moderné hlboké neurónové siete (DNN) sú vo svojej podstate nepriehľadné, takže je náročné pochopiť ich rozhodovacie procesy. Tento nedostatok transparentnosti narúša rozsiahlu implementáciu techník strojového učenia v rôznych oblastiach. V reakcii na to sa objavila Explainable AI (XAI) s úmyslom zlepšiť ľudské chápanie rozsudkov DNN. Pri pohľade na funkčný účel každého komponentu sa XAI teraz zameriava aj na pochopenie globálneho správania DNN, na rozdiel od miestnych metód vysvetľovania, ktoré využívajú mapy význačnosti na vysvetlenie jednotlivých predpovedí.

Mechanistická interpretovateľnosť je globálna technika vysvetliteľnosti, ktorá sa zameriava na určenie konkrétnych myšlienok, ktorým neuróny, základné výpočtové jednotky neurónovej siete, nadobudli schopnosť porozumieť. Fungovanie latentných reprezentácií siete môžeme vysvetliť označením neurónov popismi, ktoré sú pre ľudí zrozumiteľné. Tieto opisy pokročili od jednoduchých označení k prepracovaným, kompozičným a otvoreným vysvetleniam. Napriek tomu nedostatok štandardizovaných kvantitatívnych metrík na hodnotenie týchto popisov s otvorenou slovnou zásobou bráni dôkladnému porovnávaniu rôznych prístupov.

Na odstránenie tejto medzery vedci z ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute a BIFOLD predstavili [CoSy](https://arxiv.org/abs/2405.20331), priekopnícky kvantitatívny hodnotiaci rámec pre hodnotenie používania vysvetlení s otvorenou slovnou zásobou v modeloch počítačového videnia (CV). Táto inovatívna metóda využíva vývoj v oblasti generatívnej AI na vytváranie umelých obrázkov, ktoré korelujú s koncepčnými textovými popismi. útulný eliminuje potrebu ľudskej interakcie tým, že uľahčuje kvantitatívne porovnávanie rôznych prístupov k textovému vysvetleniu založených na konceptoch syntetizovaním údajových bodov spoločných pre konkrétne cieľové vysvetlenia.

Výskumný tím preukázal prostredníctvom rozsiahlej metaanalýzy, že útulné ponúka spoľahlivé hodnotenia vysvetlení. Štúdia zistila, že metódy textového vysvetľovania založené na konceptoch fungujú najlepšie vo vyšších vrstvách neurónových sietí, kde sa učia koncepty na vysokej úrovni. Vysokokvalitné vysvetlenia neurónov sú produkované metódami ako INVERT, ktorý vytvára vizuály z reprezentácií neurónovej siete, a CLIP-Dissect, ktorý skúma reprezentácie vnútornej siete. Naopak, techniky ako MILAN a FALCON produkujú vysvetlenia nižšej kvality, príležitostne poskytujú takmer náhodné koncepty, čo môže viesť k nepresným sieťovým záverom.

Hlavnou nevýhodou CoSy, ako si vedci uvedomujú, je to, že špecifické kategórie z tréningových údajov nemuseli byť zahrnuté do generatívneho modelu, čo vedie k vysvetleniam, ktoré sú príliš všeobecné alebo nejednoznačné, ako napríklad „biele objekty“. Generatívnu presnosť možno zvýšiť vyriešením tohto problému preskúmaním súborov údajov pred tréningom a výkonnosti modelu. Napriek tomu útulný vykazuje veľký potenciál v stále sa rozvíjajúcej oblasti hodnotenia nemiestnych vysvetľovacích techník.

Pri pohľade do budúcnosti tím dúfa v potenciálne aplikácie CoSy vo viacerých oblastiach. Na vyhodnotenie vierohodnosti alebo kvality vysvetlenia týkajúceho sa výsledku následnej úlohy musí byť ľudský úsudok zahrnutý do definície kvality vysvetlenia, ktorej sa chcú venovať v budúcej práci. Okrem toho chcú do svojho hodnotiaceho systému zahrnúť ďalšie oblasti, ako je spracovanie prirodzeného jazyka a zdravotná starostlivosť. Obzvlášť vzrušujúce je potenciálne využitie útulnosti na hodnotenie veľkých, nepriehľadných, autointerpretovateľných jazykových modelov (LLM). Podľa výskumníkov by aplikácia útulnosti na súbory údajov o zdravotnej starostlivosti, kde je dôležitá kvalita vysvetlenia, mohla byť veľkým krokom vpred. Tieto potenciálne budúce aplikácie útulnosti majú obrovský potenciál na pokrok vo výskume AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Pochopenie neurónových sietí: kvantitatívny rámec CoSy pre hodnotenie textového vysvetlenia

[Modely založené na transformátoroch](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) sú známe svojou schopnosťou analyzovať a interpretovať zložitý text. Spoliehajú sa na pochopenie poradia a kontextu slov – úloh, pri ktorých tradičné metódy pozičného kódovania ukázali svoje limity. Model ROFORMER, poháňaný **Rotary Position Embedding (RoPE)**, rieši túto medzeru a nanovo definuje náš prístup k pozičnému kódovaniu.

## Tradičné pozičné kódovanie

Transformátory spracovávajú text ako sériu tokenov a umožňujú **paralelné spracovanie sekvencií** pre vyššiu efektivitu. Táto sila však priniesla svoju výzvu: **vrodený agnosticizmus modelu k symbolickému poriadku**. Odpoveďou bolo **Pozičné kódovanie**, **poskytujúce každému tokenu jedinečný podpis označujúci jeho sekvenčnú pozíciu**.

### Vloženie absolútnej pozície

Spočiatku modely ako BERT používali **vloženie absolútnej polohy, pričom každej pozícii v sekvencii priraďovali pevný vektor**. Tejto metóde, aj keď je priama, prirodzene **chýba schopnosť prispôsobiť sa variáciám dĺžky sekvencie alebo zdôrazniť relatívne vzdialenosti medzi tokenmi**, čo je kritické pre pochopenie mnohých lingvistických konštruktov.

### Relatívna pozícia vloženia

Aby sa zachytila ​​dynamická povaha jazyka, zaviedli sa vloženia relatívnych pozícií, ktoré sa zamerali skôr na vzdialenosť medzi tokenmi než na ich absolútne pozície. Napriek ich koncepčnej výhode tieto vloženia zaviedli **výpočtovú zložitosť a nedokázali sa hladko integrovať do mechanizmu sebapozorovania Transformers**, čím sa obmedzila ich účinnosť.

## ROFORMER a vloženie s rotačnou polohou

Uznávajúc obmedzenia existujúcich stratégií pozičného kódovania, ROFORMER predstavuje Rotary Position Embedding (RoPE), prístup, ktorý kombinuje výhody absolútnej a relatívnej informácie o polohe bez ich príslušných nevýhod.

### Vloženie do rotačnej polohy

RoPE kóduje informácie o polohe pomocou **rotačných matíc**, čo umožňuje modelu pochopiť nielen to, kde sa token nachádza, ale aj to, ako súvisí s každým ďalším tokenom v sekvencii.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Funguje cez geometrickú šošovku a zaobchádza s polohami tokenov ako s bodmi vo viacrozmernom priestore, ktoré sa otáčajú, aby sa označili ich sekvenčné vzťahy. Táto rotácia umožňuje modelu zachovať a využiť absolútne aj relatívne pozičné podnety v rámci mechanizmu vlastnej pozornosti.

### Implementácia RoPE

Implementácia RoPE zahŕňa zakódovanie pozície každého tokenu do rotačnej matice a aplikáciu tejto matice v rámci mechanizmu sebapozorovania Transformera. Tento proces umožňuje flexibilnú, dynamickú interpretáciu informácií o polohe, prispôsobenie sa rôznym dĺžkam sekvencií a zachytenie podstaty vzájomných vzťahov tokenov bez výraznej výpočtovej réžie.

Najprv budete potrebovať funkciu na generovanie rotačných vložení a potom tieto vloženia integrujete do svojho modelu. Príklad nižšie predpokladá, že ste oboznámení s vytváraním vlastných vrstiev v Kerase.

#### Krok 1: Definujte funkciu rotačného vkladania

Táto funkcia generuje rotačné vloženia s maximálnou dĺžkou sekvencie a rozmermi vloženia.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Táto čiara vypočítava inverznú hodnotu exponenciálne škálovaných frekvencií na základe indexov polohy. Tieto frekvencie sa používajú pri vytváraní sínusových vzorov pre rotačné vloženia, čo pomáha pri kódovaní informácií o relatívnej polohe v sekvenciách. Tento mechanizmus je užitočný najmä v úlohách, kde je kľúčové pochopiť poradie a relatívne umiestnenie prvkov, ako napríklad pri spracovaní prirodzeného jazyka alebo analýze časových radov.

Detailne:

- `tf.range(0, dim, 2, dtype=tf.float32)` vytvára rozsah hodnôt od 0 po `dim` (exkluzívne), krokuje po 2. Argument `dtype=tf.float32` určuje že prvky tohto tenzora sú 32-bitové čísla s pohyblivou rádovou čiarkou. Ak je „dim“ napríklad 8, výsledkom by bolo „[0, 2, 4, 6]“.

- Tenzor produkovaný "tf.range" sa potom vydelí rozmerom ("dim") vložených prvkov. Táto operácia zmenší tieto indexy na rozsah medzi 0 a 1 (okrem toho, ak je „dim“ párne, mierne zahŕňa, ak je „dim“ nepárne, pretože krok rozsahu preskakuje každú druhú hodnotu). Ak budeme pokračovať v príklade s „dim“ = 8, vydelením číslom 8 dostaneme „[0,0, 0,25, 0,5, 0,75]“.

- Operácia „10 000 ** (...)“ zvýši 10 000 na silu každého prvku v predtým upravenom tenzore. Základ 10 000 je do istej miery ľubovoľný, ale je zvolený tak, aby sa frekvencie menili v širokom rozsahu, čo pomáha modelu efektívnejšie rozlišovať medzi rôznymi polohami. Pre „[0,0, 0,25, 0,5, 0,75]“ by sa výkonová operácia použila na každý, čo by viedlo k oveľa väčším hodnotám pre vyššie prvky.

- Nakoniec sa získa inverzná frekvencia zobratím recipročnej (1/x) hodnôt z predchádzajúceho kroku. Inverzné frekvencie sú menšie pre vyššie indexy, čo znamená, že prvky ďalej v sekvencii budú mať menšie frekvencie, čo ovplyvní spôsob, akým sú ich pozície zakódované do modelu. To umožňuje vložkám škálovať spôsobom, kde je možné odvodiť relatívne polohy prostredníctvom mechanizmov pozornosti modelu.

Čiara:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

používa funkciu `tf.einsum` TensorFlow, nástroj, ktorý umožňuje stručné a efektívne vyjadrenie tenzorových operácií pomocou Einsteinovej sumačnej notácie.

Táto operácia efektívne vypočíta vonkajší súčin vektorov „t“ a „inv_freq“, výsledkom čoho je matica, kde každý prvok „(i, j)“ je súčinom „i“-tého prvku „t“ a „ j`-tý prvok parametra `inv_freq`. Táto matica ("frekvencie") predstavuje frekvencie, ktoré sa používajú na generovanie sínusových vzorov pre rotačné uloženia.

#### Krok 2: Vlastná vrstva Keras pre rotačné vsadenia

Teraz vytvorte vlastnú vrstvu Keras, ktorá aplikuje rotačné vloženie na vstupný tenzor. Táto vrstva predpokladá, že vstupný tenzor má tvar `(veľkosť_dávky, dĺžka_sekvencie, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Riadok `embeddings = self.rotary_embeddings[:seq_len]` vyberá vhodnú podmnožinu vopred vypočítaných rotačných vložení na základe aktuálnej dĺžky vstupnej sekvencie. Keďže dĺžka sekvencií sa môže líšiť od jednej dávky k druhej, táto operácia krájania zaisťuje, že sa použijú iba vloženia zodpovedajúce skutočnej dĺžke sekvencie.

Premenná „embeddings“ teraz obsahuje tenzor tvaru „(seq_len, embedding_dim)“, kde „seq_len“ je dĺžka sekvencií v aktuálnej dávke a „embedding_dim“ je rozmernosť vložených prvkov. Tento tenzor obsahuje rotačné polohové vloženia pre každú pozíciu v sekvencii až po „seq_len“.

`emb = tf.concat((tf.cos(frekv.), tf.sin(frekv.)), axis=-1)` kombinuje sínusové a kosínusové transformácie polohových frekvencií do jedného tenzora:

-`tf.cos(freqs)` a `tf.sin(freqs)` aplikujú kosínusovú a sínusovú transformáciu na tenzor,frekvencií`. Tenzor "frekvencií" obsahuje frekvenčné hodnoty pre každú pozíciu vo vstupnej sekvencii a každý rozmer vloženého priestoru, vypočítané na základe pozícií sekvencie a inverzných frekvencií rozmerov vkladania. Funkcie sínus a kosínus sa aplikujú po prvkoch, výsledkom čoho sú dva tenzory rovnakého tvaru ako „frekvencie“. Tieto transformácie pomáhajú pri kódovaní pozície spôsobom, ktorý zachytáva cyklickú povahu pozičných vzťahov a uľahčuje schopnosť modelu porozumieť relatívnym pozíciám.

-`tf.concat((tf.cos(frekv.), tf.sin(frekv.)), os=-1)` zreťazí kosínusové a sínusové transformované tenzory pozdĺž poslednej osi (označenej `os=-1`). Reťazenie týchto tenzorov vedľa seba efektívne zdvojnásobuje dimenzionalitu tenzora "frekvencií", pričom prvá polovica predstavuje kosínusovo transformované hodnoty a druhá polovica predstavuje sínusovo transformované hodnoty pre každú pozíciu. Reťazenie zaisťuje, že každé pozičné kódovanie obsahuje sínusové aj kosínusové informácie, čo umožňuje zachovanie informácií o amplitúde aj o fáze pozičných signálov.

- Zreťazené 'emb' tenzora teraz obsahuje kompletné rotačné vloženia pre vstupné pozície. Tvar „emb“ bude rovnaký ako „freqs“ v jeho prvých dvoch rozmeroch (zodpovedajúcich pozíciám sekvencie a rozmerom vloženia), ale jeho posledný rozmer bude dvakrát taký veľký, pričom bude zodpovedať hodnotám sínus aj kosínus. Tieto vloženia sa používajú na moduláciu vstupných vložení pridaním polohových informácií rotačným ekvivalentným spôsobom.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Prvá dvojbodka „:“ znamená „vybrať všetky prvky v tejto dimenzii“, čo v tomto prípade odkazuje na všetky pozície v sekvencii.

2. „Žiadny“ sa používa na pridanie ďalšieho rozmeru, vďaka čomu je tenzor 3-rozmerný. Často sa to robí, aby sa zabezpečila kompatibilita s určitými operáciami, ktoré očakávajú vstupy určitého počtu rozmerov. Napríklad pri vykonávaní násobenia po prvkoch s iným tenzorom, ktorý je 3-rozmerný, sa tvary musia zarovnať podľa pravidiel vysielania.

3. `:self.dim // 2`, vyberie prvú polovicu rozmerov na poslednej osi. Keďže „dimenzia_vloženia“ je zdvojnásobená, aby zahŕňala sínusové aj kosínusové hodnoty, delením 2 sa efektívne vyberú iba kosínusové zložky vloženia.

#### Krok 3: Integrácia s modelom Keras

Po definovaní `RotaryEmbeddingLayer` ju môžete integrovať do svojho modelu Keras. Táto vrstva by mala byť aplikovaná na vaše vložky pred ich vložením do vrstiev pozornosti alebo akýchkoľvek nasledujúcich vrstiev modelu.

Tu je zjednodušený príklad, ako integrovať rotačné vložky do modelu:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Vylepšený transformátor s rotačným umiestnením

[Odkaz na Arxiv](https://arxiv.org/abs/2403.13799)

20. marca 2024

## Obrátená kliatba

Veľké jazykové modely (LLM) ako [GPT-4](https://arxiv.org/abs/2303.08774) a [Llama-2](https://arxiv.org/abs/2307.09288) preukázali pôsobivé schopnosti v porozumení a generovanie ľudského textu, ktorý zahŕňa širokú škálu vedomostí. Zlyhávajú však v zdanlivo priamočiarej úlohe: zvrátiť naučené fakty. Toto obmedzenie, nazývané „zvratná kliatba“, znamená, že LLM nedokážu odvodiť, že „B je vlastnosťou A“ z učenia „A má vlastnosť B“, čo je základná zručnosť uvažovania, ktorú majú dokonca aj deti. Tento dokument predstavuje "Reverse Training", novú metódu na riešenie tejto výzvy využitím dvojsmerného tréningového prístupu na zlepšenie pochopenia faktov modelu v oboch formátoch.

## Pôvod obrátenej kliatby

Problém vyplýva zo základného tréningového prístupu LLM, ktorý zvyčajne zahŕňa **autoregresívne učenie sa zľava doprava**. Táto metóda vo svojej podstate neučí modely chápať alebo generovať informácie v opačnom poradí. Vzhľadom na povahu distribúcie údajov podľa Zipfovho zákona sa mnohé skutočnosti uvádzajú iba jedným smerom, čo tento problém zhoršuje. „Zvratná kliatba“ obmedzuje pochopenie vzájomných vzťahov a ekvivalencie vo vyhláseniach zo strany LLM, čo predstavuje významný nedostatok v ich schopnosti uvažovania.

## Prekonanie reverznej kliatby pomocou reverzného tréningu

Navrhované riešenie, Reverse Training, zdvojnásobuje dostupné tréningové dáta zahrnutím pôvodných aj reverzných verzií tréningových reťazcov. Proces obrátenia je opatrný, aby sa nezmenili niektoré podreťazce, ako sú názvy entít, pričom sa zachováva ich pôvodná sekvencia, aby sa zachoval kontext. Táto metóda, podobná zavedeniu druhého jazyka, ktorý sa LLM učí, výrazne zlepšuje schopnosť modelu spracovávať a generovať informácie v oboch smeroch.

## Testovanie reverznej tréningovej metódy

Autori vykonali nasledujúce experimenty, aby otestovali navrhovanú metódu:

**1- Symbolic Reverse Task:** Test kontrolovaného prostredia demonštrujúci schopnosť metódy odvodiť a aplikovať opačné vzťahy.

**2- Úloha obrátenia biografie:** Využitie súboru biografických údajov na posúdenie výkonu pri generovaní mien osôb z daných podrobností, naopak.

**3- Reverzácia vedomostí v reálnom svete:** Hodnotenie účinnosti metódy v scenároch reálneho sveta vrátane zvrátenia faktov o celebritách a ich vzťahoch.

**4- Finetuning fiktívnych faktov:** Testovanie schopnosti učenia sa modelu na novozavedených, obrátených fiktívnych faktoch.

V rámci týchto experimentov Reverzný tréning nielen zmiernil Reverznú kliatbu, ale v niektorých prípadoch ju úplne odstránil. Metóda sa ukázala ako obzvlášť účinná, keď boli názvy entít počas procesu obrátenia zachované v pôvodnom poradí, čím sa zdôraznila dôležitosť zachovania určitých kontextových kotiev.

## Dôsledky a budúce smery

Úspech Reverse Training pri riešení Reversal Curse otvára nové cesty pre metodiky tréningu LLM. Zlepšením chápania modelov recipročných vzťahov a ekvivalencie vo výrokoch tento prístup otvára dvere k sofistikovanejším schopnostiam uvažovania. Budúci výskum môže preskúmať ďalšiu optimalizáciu reverzného procesu, potenciál pre integráciu reverzného tréningu v iných architektúrach jazykových modelov a širšie aplikácie tejto metódy pri porozumení prirodzeného jazyka a úlohách generovania.

---

* Staňte sa profesionálom v kódovaní vlastným tempom! Pripojte sa k Code Labs Academy [Online Bootcampu na čiastočný úväzok](/) a zdokonaľte sa v kódovaní. Prispôsobte učenie svojmu rozvrhu a začnite svoju cestu do techniky ešte dnes!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Reverzný tréning na opatrovanie zvrátenej kliatby

[Odkaz na Arxiv](https://arxiv.org/abs/2403.12015)

18. marca 2024

„Rýchla syntéza obrazu vo vysokom rozlíšení s latentnou adverznou difúznou destiláciou“ predstavuje nový destilačný prístup známy ako latentná adverzná difúzna destilácia (LADD). Tento prístup je navrhnutý tak, aby riešil obmedzenia existujúcich [modelov difúzie](https://en.wikipedia.org/wiki/Diffusion_model), najmä problém nízkej rýchlosti odvodzovania, ktorý bráni aplikáciám v reálnom čase. LADD umožňuje syntézu obrazu s vysokým rozlíšením a viacerými pomermi strán efektívnou destiláciou veľkých [modelov latentnej difúzie](https://arxiv.org/abs/2112.10752) (LDM), čo výrazne zjednodušuje tréningový proces a zvyšuje výkon v porovnaní s predchádzajúcimi metódami .

Zhrnieme hlavné poznatky z tohto dokumentu.

## Úvod

Difúzne modely sa ukázali ako výkonný nástroj na syntézu a úpravu obrázkov a videa, ktoré ponúkajú vysokokvalitné výsledky. Avšak ich iteratívna povaha, ktorá si vyžaduje početné sieťové hodnotenia na transformáciu šumu na koherentné obrázky, obmedzila ich praktickosť pre aplikácie v reálnom čase. Na urýchlenie modelov difúzie boli navrhnuté rôzne stratégie. LADD predstavuje novú stratégiu využívajúcu generatívne funkcie z vopred pripravených LDM, čo umožňuje efektívnu syntézu obrazu s vysokým rozlíšením v zlomku krokov, ktoré vyžadujú tradičné metódy.

## Pozadie

Článok začína poskytnutím prehľadu modelov difúzie a ich [destilácie](https://en.wikipedia.org/wiki/Knowledge_distillation). Tradičné modely difúzie fungujú tak, že postupne odšumujú obraz prostredníctvom mnohých iteračných krokov, čím sa proces stáva pomalým a výpočtovo nákladným. Destilačné metódy vrátane [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD) sa snažili tento proces zefektívniť znížením počtu potrebných krokov. ADD však čelí obmedzeniam, ako je pevné rozlíšenie tréningu a nutnosť dekódovania do priestoru RGB na destiláciu modelov latentnej difúzie, čo môže obmedziť tréning s vysokým rozlíšením.

## Metodológia

LADD rieši tieto problémy **destiláciou priamo v latentnom priestore**, čím sa **vyhnete potrebe dekódovania na pixelový priestor** a umožníte trénovanie vo vyšších rozlíšeniach. Na rozdiel od ADD, ktorý sa spolieha na vopred pripravený diskriminátor fungujúci v pixelovom priestore, LADD využíva nový prístup, v ktorom sú diskriminátor a model učiteľa zjednotené a fungujú priamo na latentných miestach. Táto metóda nielenže zjednodušuje tréningový proces, ale poskytuje aj niekoľko výhod, vrátane efektívnosti, schopnosti poskytovať špecifickú spätnú väzbu na úrovni hluku a kapacity pre tréning Multi-Aspect Ratio (MAR).

## Experimenty a výsledky

Článok rozsiahlo hodnotí LADD prostredníctvom rôznych experimentov a demonštruje jeho vynikajúci výkon pri syntéze obrázkov s vysokým rozlíšením iba v niekoľkých krokoch. Najmä pri použití na [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) výsledkom LADD je model s názvom SD3-Turbo, ktorý dosahuje kvalitu obrazu porovnateľnú so stavom najmodernejšie generátory textu na obrázok iba v štyroch krokoch. Experimenty tiež skúmajú vplyv rôznych distribúcií hluku učiteľov, použitie syntetických údajov, prístupy latentnej destilácie a škálovacie správanie LADD.

## Porovnanie so súčasným stavom techniky

Efektívnosť LADD je ďalej zdôraznená porovnaním so súčasnými poprednými metódami v syntéze text-to-image a image-to-image. SD3-Turbo sa nielen vyrovná výkonu svojho učiteľského modelu (SD3) v kvalite obrazu, ale tiež demonštruje významné zlepšenia oproti iným základným líniám, pokiaľ ide o rýchlosť odvodzovania a zarovnanie obrazu a textu.

## Obmedzenia a budúce smerovanie

Napriek svojim pokrokom nie je LADD bez obmedzení. Autori zaznamenali kompromis medzi kapacitou modelu, rýchlym zarovnaním a rýchlosťou odvodzovania, čo by mohlo ovplyvniť schopnosť modelu zvládnuť určité výzvy syntézy textu na obrázok. Budúce smery výskumu zahŕňajú hlbšie skúmanie tohto kompromisu a vývoj stratégií na zlepšenie kontroly nad silnými stránkami navádzania obrazu a textu.

## Záver

„Rýchla syntéza obrazu vo vysokom rozlíšení s latentnou adverznou difúznou destiláciou“ predstavuje nový prístup k syntéze obrazu/videa, ktorý výrazne urýchľuje generovanie vysokokvalitných obrázkov z textových výziev. Destiláciou veľkých difúznych modelov v latentnom priestore LADD pripravuje cestu pre aplikácie v reálnom čase a nastavuje nový štandard pre efektivitu a výkon v syntéze obrazu.

---

*Code Labs Academy: [Online kódovací bootcamp](/) s flexibilnými platobnými plánmi*

Dokumenty vysvetlené

Prečo môže návrat do kancelárie po pandémii poškodiť produktivitu: Postrehy od odborníka na podnikanie