Zejména ve větších společnostech došlo po pandemii COVID-19 k znatelnému návratu k tomu, aby pracovníci museli pracovat z kanceláře. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), docent obchodní administrativy na Joseph M. Katz Graduate School of Business na University of Pittsburgh a Yuye Ding, Doktorand, [prozkoumal tento vzorec](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Zabývali se sociologickými a ekonomickými dopady práce na dálku a také nedávnou iniciativou podniků dostat pracovníky zpět do kanceláře, což pracovníky často dráždí.

Ma v [rozhovoru s Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) tvrdí, že stále digitálnější pracovní prostředí, díky němuž se pracovníci vracejí do kanceláře, je pouze dráždí a nezvyšuje produktivitu. Připouští však, že když se provádí dobrovolně a s týmovou podporou, může být osobní práce výhodná a podporuje lepší koordinaci a týmovou práci.

Ma navrhuje, že vysoce výkonným jedincům, kteří prokázali svou účinnost při práci z domova, by mělo být umožněno v tom pokračovat, spíše než mít všechny v kanceláři. Myslí si, že udržením skvělých jedinců, kteří by jinak mohli hledat práci jinde, bude tato strategie v konečném důsledku přínosem pro zaměstnavatele i zaměstnance. Ma také navrhuje pravidelná osobní cvičení na budování týmu, aby byla firemní kultura robustní, což je nezbytné pro efektivní vytváření nápadů a řešení problémů.

Zdá se, že vrchol této tendence pominul, i když několik podniků vyžadovalo, aby se zaměstnanci po pandemii vrátili do kanceláře. Podle průzkumů provedených v roce 2024 většina generálních ředitelů již nepřikládá vysokou hodnotu pobytu v kanceláři. Firmy se dozvěděly, že pracovníci mohou být během pandemie při práci na dálku docela produktivní. Jiní manažeři však mají ohledně práce na dálku stále pochybnosti, a proto se zasazují o návrat do kanceláře. Morálka zaměstnanců může v důsledku tohoto nedostatku důvěry trpět, protože zaměstnancům sděluje, že v ně jejich manažeři nevěří.

Navzdory skutečnosti, že práce na dálku může snížit nároky na režii a prostor, velké podniky touží po návratu svých zaměstnanců, což zvyšuje možnost, že kontrola a síla jsou zde ve hře více než o cenu. Ma poukazuje na to, že mnoho podniků zavedlo zásady návratu do kanceláře v reakci na pokles cen akcií a pohodlně využívaly práci na dálku jako užitečného obětního beránka za špatný výkon.

Navzdory skutečnosti, že stále existuje vysoká poptávka po práci na dálku – mnoho kancelářských prostor ve velkých městech jako New York, San Francisco a Německo je prázdných – manažeři i nadále zastávají názor, že mít pracovníky osobně zlepší spolupráci a obchodní kulturu. Ale místo toho, aby pracovali společně se spolupracovníky, mnoho pracovníků, kteří se vrátili do kanceláře, říká, že většinu času tráví prací sami na svých počítačích. Neúčinnost takových mandátů je zpochybňována nedostatečným rozeznatelným rozdílem mezi kancelářskou a vzdálenou prací a také frustrací zaměstnanců, kteří jsou nuceni se vrátit.

Pracovníci jsou zvyklí na zvýšenou produktivitu a výhody rovnováhy mezi pracovním a soukromým životem, které přináší práce na dálku, jako je schopnost lépe integrovat pracovní a rodinný život a vyhnout se zdlouhavému dojíždění. Nespokojenost vyplývá z toho, že tyto dohody jsou narušeny nuceným návratem do úřadu. Navíc existuje názor, že chybějící práce by mohla bránit profesnímu růstu.

Nakonec si Ma myslí, že pokud budou pracovníci nuceni vrátit se na pracoviště natrvalo, mnoho z nich by začalo hledat jiné profese a ty, které zůstanou, by mohly být méně motivované. Domácí kanceláře jsou stále běžné, protože navzdory svým nevýhodám poskytují lepší rovnováhu mezi pracovním a soukromým životem a nižší míru vyhoření. Není patrný rozdíl v produktivitě mezi prací na dálku a prací v kanceláři a práce z domova může být stejně odcizující jako rozptýlení v otevřených kancelářích, kde zaměstnanci často nosí sluchátka, aby se mohli soustředit. Ma radí, aby si týmy vybraly, kolik dní chtějí v kanceláři pracovat, a zbytek času nechaly flexibilní, aby si zaměstnanci mohli vybrat své preferované pracovní prostředí, i když lidské kontakty mohou být pro společnosti přínosné.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Proč může návrat do kanceláře po pandemii poškodit produktivitu: Postřehy od obchodního experta

[Umělá inteligence Google](https://ai.google/) nedávno představila novou funkci nazvanou „Proofread“ do Gboard, populární aplikace pro mobilní klávesnici. Jediným klepnutím tato funkce umožňuje bezproblémové úpravy a opravy na úrovni vět a odstavců, což zlepšuje celkový zážitek z psaní.

## Řešení problému „tlustého prstu“.

[Gboard](https://support.google.com/gboard/?hl=cs) používá statistické dekódování jako prostředek k řešení problému „tlustého prstu“, což je přirozená nepřesnost dotykového vstupu na malých obrazovkách. Výzkum ukazuje, že chybovost na písmeno může dosáhnout 8 až 9 procent bez dekódování. Gboard je vybaven několika funkcemi pro opravu chyb, které usnadňují a zrychlují psaní. Tyto funkce kombinují manuální úkoly zahrnující lidský vstup s proaktivními automatickými opravami.

## Komplexní nástroje pro opravu chyb

Psaní společně usnadňují funkce Gboardu, které zahrnují dokončování slov, předvídání dalšího slova, aktivní automatickou opravu (AC) a aktivní opravu kláves (KC). Tyto nástroje zahrnují inteligentní kompozici, opravu chyb a víceslovné kandidáty na panelu návrhů nebo v řádku. Dodatečná korekce (PC) také usnadňuje opravu chyb ve slovech, které již byly spáchány. Navzdory těmto funkcím narušují uživatelskou zkušenost dvě klíčová omezení.

1. Zatímco modely korekce na zařízení, jako jsou KC, AC a PC, jsou rychlé a kompaktní, mají potíže se zpracováním sofistikovaných a složitých chyb, které vyžadují delší kontext. Aby se zabránilo aktivaci těchto modelů, musí uživatelé psát pomalu a přesně.

2. Rychlost psaní se snižuje v důsledku toho, že uživatelé musí ručně opravovat potvrzená slova pomocí kontroly gramatiky a pravopisu, což může být psychicky i vizuálně náročné.

## Potřeba opravy chyb na vysoké úrovni

Rychlopisáři často ignorují slova, která již napsali, a soustředí se pouze na klávesnici. Z toho může vzniknout vyšší chybovost, což si vyžádá použití trestu nebo opravných mechanismů vyšší úrovně.

## Představujeme korekturu

Korektura řeší tyto časté stížnosti tím, že nabízí výrazné zvýšení produktivity. Usnadňuje opravu chyb tím, že poskytuje opravy na úrovni vět a odstavců jedním klepnutím.

## Technologie za korekturou

Funkce Proofread se skládá ze čtyř primárních komponent: produkce dat, návrh metrik, ladění modelu a poskytování modelu. Všechny tyto složky dohromady zaručují účinnost. Aby bylo zajištěno, že distribuce dat bude v souladu s doménou Gboard, systém napodobuje časté chyby klávesnice pomocí přesně a metodicky sestavené syntetické architektury chyb.

## Pokročilé metriky a optimalizace modelu

Za účelem posouzení modelu začlenili výzkumníci řadu metrik se zvláštním důrazem na kontroly přítomnosti gramatických chyb a podobné kontroly významu odvozené z velkých jazykových modelů (LLM). K vylepšení modelu se v technice InstructGPT používá supervizované jemné ladění a ladění Reinforcement Learning (RL). Výkonnost korektur modelu je tímto postupem výrazně zlepšena.

## Nasazení a výkon

Pomocí 8bitové kvantizace je středně velký LLM PaLM2-XS přizpůsoben tak, aby se vešel do jediného TPU v5 a slouží jako základ pro funkci Proofread. Optimalizace snižuje náklady na obsluhu. Dřívější výzkum ukázal, že segmentace, spekulativní dekódování a bucket klíče mohou snížit latenci.

## Dopad na skutečný svět

Desítky tisíc uživatelů Pixel 8 budou profitovat z vysoce kvalitních úprav, které poskytuje funkce Proofread, která je nyní k dispozici. Důkladné generování syntetických dat a několik iterací jemného ladění vytvořilo model, který podstatně snižuje gramatické chyby, jak je vidět na relativním snížení špatného poměru modelu PaLM2-XS o 5,74 procenta. Optimalizace navíc vedly ke snížení střední latence o 39,4 %.

## Budoucí prospekty

[Tato studie](https://arxiv.org/abs/2406.04523) ukazuje, jak mohou LLM zlepšit uživatelský dojem a vytvořit zajímavé možnosti pro další zkoumání. Použití dat skutečných uživatelů, vícejazyčná podpora, přizpůsobená pomoc při psaní a řešení ochrany osobních údajů zařízení jsou několika příklady oblastí, které by mohly vést k dalšímu pokroku v tomto odvětví.

Umělá inteligence Google rozšiřuje možnosti technologie mobilní klávesnice zavedením funkce Proofread, která zlepšuje psaní pro lidi na celém světě.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Umělá inteligence Google představuje „Proofread“: Funkce Gboard pro snadné opravy vět a odstavců

Moderní hluboké neuronové sítě (DNN) jsou ze své podstaty neprůhledné, takže je náročné pochopit jejich rozhodovací procesy. Tento nedostatek transparentnosti narušuje rozsáhlou implementaci technik strojového učení v různých oblastech. V reakci na to se objevila Explainable AI (XAI), která má v úmyslu zlepšit lidské chápání úsudků DNN. Když se podíváme na funkční účel každé komponenty, XAI se nyní zaměřuje také na pochopení globálního chování DNN, na rozdíl od místních metod vysvětlení, které využívají mapy význačnosti k vysvětlení jednotlivých předpovědí.

Mechanistická interpretovatelnost je globální technika vysvětlitelnosti, která se zaměřuje na určení konkrétních myšlenek, kterým neurony, základní výpočetní jednotky neuronové sítě, získaly schopnost porozumět. Fungování latentních reprezentací sítě můžeme vysvětlit tím, že označíme neurony popisy, které jsou pro člověka srozumitelné. Tyto popisy pokročily od jednoduchých popisků k propracovaným, kompozičním a otevřeným vysvětlením. Nicméně nedostatek standardizovaných kvantitativních metrik pro hodnocení těchto popisů s otevřenou slovní zásobou bránil důkladnému srovnání napříč různými přístupy.

K vyřešení této mezery představili vědci z ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute a BIFOLD [CoSy](https://arxiv.org/abs/2405.20331), průkopnický rámec kvantitativního hodnocení pro hodnocení použití vysvětlení otevřeného slovníku v modelech počítačového vidění (CV). Tato inovativní metoda využívá vývoj v oblasti generativní umělé inteligence k vytváření umělých obrázků, které korelují s koncepčními textovými popisy. útulný eliminuje potřebu lidské interakce tím, že usnadňuje kvantitativní srovnání různých přístupů k textovému vysvětlení založenému na konceptech syntetizací datových bodů společných pro konkrétní cílová vysvětlení.

Výzkumný tým prokázal prostřednictvím rozsáhlé metaanalýzy, že cosy nabízí spolehlivá vyhodnocení vysvětlení. Studie zjistila, že metody textového vysvětlení založené na konceptech fungují nejlépe v horních vrstvách neuronových sítí, kde se učí koncepty na vysoké úrovni. Vysoce kvalitní vysvětlení neuronů jsou vytvářena metodami, jako je INVERT, který vytváří vizuály z reprezentací neuronové sítě, a CLIP-Dissect, který zkoumá reprezentace vnitřní sítě. Naopak techniky jako MILAN a FALCON poskytují vysvětlení nižší kvality, občas poskytují téměř náhodné koncepty, což může vést k nepřesným síťovým závěrům.

Hlavní nevýhodou CoSy, jak vědci uznávají, je to, že konkrétní kategorie z trénovacích dat nemusely být zahrnuty do generativního modelu, což vedlo k vysvětlení, která jsou příliš obecná nebo nejednoznačná, jako jsou „bílé objekty“. Generativní přesnost lze zvýšit vyřešením tohoto problému prozkoumáním datových sad před trénováním a výkonu modelu. Cosy přesto vykazuje velký potenciál ve stále se rozvíjející oblasti posuzování nelokálních vysvětlovacích technik.

Při pohledu do budoucna tým doufá v potenciální aplikace CoSy v různých oblastech. Aby bylo možné vyhodnotit věrohodnost nebo kvalitu vysvětlení týkajícího se výsledku následného úkolu, musí být lidský úsudek zahrnut do definice kvality vysvětlení, kterou se chtějí v budoucí práci zabývat. Kromě toho chtějí do svého systému hodnocení zahrnout další oblasti, jako je zpracování přirozeného jazyka a zdravotnictví. Zvláště vzrušující je potenciální využití cosy pro hodnocení velkých, neprůhledných, autointerpretovatelných jazykových modelů (LLM). Podle výzkumníků by aplikace útulnosti na zdravotnické datové sady, kde je důležitá kvalita vysvětlení, mohla být velkým krokem vpřed. Tyto potenciální budoucí aplikace útulnosti mají obrovský potenciál pro pokrok ve výzkumu AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Porozumění neuronovým sítím: kvantitativní rámec CoSy pro hodnocení textového vysvětlení

[Modely založené na transformátorech](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) jsou známé svou schopností analyzovat a interpretovat složitý text. Spoléhají na pochopení pořadí a kontextu slov – úkoly, u kterých tradiční metody pozičního kódování ukázaly své limity. Model ROFORMER, poháněný **Rotary Position Embedding (RoPE)**, řeší tuto mezeru a nově definuje náš přístup k pozičnímu kódování.

## Tradiční poziční kódování

Transformátory zacházejí s textem jako s řadou tokenů a umožňují **paralelní zpracování sekvencí** pro větší efektivitu. Tato síla však přinesla svou výzvu: **vrozený agnosticismus modelu k symbolickému řádu**. **Poziční kódování** bylo odpovědí, **poskytující každému tokenu jedinečný podpis označující jeho sekvenční pozici**.

### Absolutní pozice vložení

Zpočátku modely jako BERT používaly **vložení absolutní pozice, přiřazující pevný vektor každé pozici v sekvenci**. Tato metoda, i když je přímočará, ze své podstaty **postrádá schopnost přizpůsobit se variacím délky sekvence nebo zdůraznit relativní vzdálenosti mezi tokeny**, což je kritické pro pochopení mnoha lingvistických konstruktů.

### Vložení relativní pozice

Aby byla zachycena dynamická povaha jazyka, bylo zavedeno vkládání relativních pozic, které se zaměřovalo spíše na vzdálenost mezi tokeny než na jejich absolutní pozice. Navzdory své koncepční výhodě tato vložení zavedla **výpočetní složitost a nedokázala se hladce začlenit do mechanismu sebepozorování Transformers**, což omezovalo jejich účinnost.

## ROFORMER a vložení s rotační polohou

ROFORMER si uvědomuje omezení stávajících strategií pozičního kódování a zavádí Rotary Position Embedding (RoPE), přístup, který kombinuje výhody absolutní a relativní informace o poloze bez jejich příslušných nevýhod.

### Otočné zapuštění

RoPE kóduje informace o poloze pomocí **rotačních matic**, což modelu umožňuje nejen porozumět tomu, kde se token nachází, ale také jak souvisí s každým dalším tokenem v sekvenci.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Funguje prostřednictvím geometrické čočky a zachází s pozicemi tokenů jako s body ve vícerozměrném prostoru, které se otáčejí, aby označovaly jejich sekvenční vztahy. Tato rotace umožňuje modelu zachovat a využívat jak absolutní, tak relativní polohové podněty v rámci mechanismu sebepozorování.

### Implementace RoPE

Implementace RoPE zahrnuje zakódování pozice každého tokenu do rotační matice a aplikaci této matice v rámci mechanismu sebepozorování Transformeru. Tento proces umožňuje flexibilní, dynamickou interpretaci pozičních informací, přizpůsobení se různým délkám sekvencí a zachycení podstaty vzájemných vztahů tokenů bez významné výpočetní režie.

Nejprve budete potřebovat funkci pro generování otočných vložení a poté tato vložení integrujete do svého modelu. Níže uvedený příklad předpokládá, že jste obeznámeni s vytvářením vlastních vrstev v Kerasu.

#### Krok 1: Definujte funkci Rotary Embedding

Tato funkce generuje rotační vložení při dané maximální délce sekvence a rozměrech vložení.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Tento řádek počítá inverzní hodnotu exponenciálně škálovaných frekvencí na základě pozičních indexů. Tyto frekvence se používají při generování sinusových vzorů pro rotační vkládání, což pomáhá při kódování relativních polohových informací v sekvencích. Tento mechanismus je zvláště užitečný v úlohách, kde je klíčové pochopení pořadí a relativního umístění prvků, jako je zpracování přirozeného jazyka nebo analýza časových řad.

V detailech:

- `tf.range(0, dim, 2, dtype=tf.float32)` vytváří rozsah hodnot od 0 do `dim` (exkluzivní), krokování po 2. Argument `dtype=tf.float32` určuje že prvky tohoto tenzoru jsou 32bitová čísla s plovoucí desetinnou čárkou. Pokud je `dim` například 8, výsledkem by bylo `[0, 2, 4, 6]`.

- Tenzor vytvořený `tf.range` je pak vydělen rozměrem (`dim`) vložení. Tato operace zmenší tyto indexy na rozsah mezi 0 a 1 (neplatí, pokud je „dim“ sudé, mírně zahrnuje, pokud je „dim“ liché, protože krok rozsahu přeskakuje každou další hodnotu). Pokračujeme-li v příkladu s `dim` = 8, po dělení 8 získáme `[0,0, 0,25, 0,5, 0,75]`.

- Operace `10000 ** (...)` zvýší 10 000 na sílu každého prvku v dříve upraveném tenzoru. Základ 10 000 je poněkud libovolný, ale je zvolen tak, aby se frekvence měnily v širokém rozsahu, což modelu pomáhá efektivněji rozlišovat různé polohy. Pro `[0.0, 0.25, 0.5, 0.75]` by aplikoval výkonovou operaci na každý, což vedlo k mnohem větším hodnotám pro vyšší prvky.

- Nakonec se inverzní frekvence získá převrácením (1/x) hodnot z předchozího kroku. Inverzní frekvence jsou menší pro vyšší indexy, což znamená, že prvky dále v sekvenci budou mít menší frekvence, což ovlivní, jak jsou jejich pozice zakódovány do modelu. To umožňuje vložením škálovat způsobem, kdy lze relativní polohy odvodit prostřednictvím mechanismů pozornosti modelu.

Linie:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

používá funkci `tf.einsum` TensorFlow, nástroj, který umožňuje stručné a efektivní vyjádření tenzorových operací pomocí Einsteinovy ​​sumační notace.

Tato operace efektivně vypočítá vnější součin vektorů `t` a `inv_freq`. Výsledkem je matice, kde každý prvek `(i, j)` je součinem `i`-tého prvku `t` a ` j`-tý prvek `inv_freq`. Tato matice ("freqs") představuje frekvence, které se používají ke generování sinusových vzorů pro rotační vestavby.

#### Krok 2: Vlastní vrstva Keras pro rotační vložení

Nyní vytvoříme vlastní vrstvu Keras, která aplikuje rotační vložení do vstupního tenzoru. Tato vrstva předpokládá, že vstupní tenzor má tvar `(velikost_dávky, délka_sekvence, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Řádek `embeddings = self.rotary_embeddings[:seq_len]` vybere vhodnou podmnožinu předem vypočítaných rotačních vložení na základě aktuální délky vstupní sekvence. Protože se délka sekvencí může u jednotlivých dávek lišit, tato operace dělení zajišťuje, že se použijí pouze vložení odpovídající skutečné délce sekvence.

Proměnná `embeddings` nyní obsahuje tenzor tvaru `(seq_len, embedding_dim)`, kde `seq_len` je délka sekvencí v aktuální dávce a `embedding_dim` je rozměrnost vložení. Tento tenzor obsahuje rotační polohové vložení pro každou pozici v sekvenci až po `seq_len`.

`emb = tf.concat((tf.cos(frekvence), tf.sin(frekvence)), axis=-1)` kombinuje sinusové a kosinové transformace polohových frekvencí do jediného tenzoru:

-`tf.cos(freqs)` a `tf.sin(freqs)` aplikují kosinusovou a sinusovou transformaci na tenzor,freqs`. Tenzor "freqs" obsahuje hodnoty frekvence pro každou pozici ve vstupní sekvenci a každý rozměr vkládacího prostoru, vypočítané na základě pozic sekvence a inverzních frekvencí rozměrů vkládání. Funkce sinus a kosinus jsou aplikovány po prvcích, výsledkem jsou dva tenzory stejného tvaru jako `freqs`. Tyto transformace pomáhají při kódování pozice způsobem, který zachycuje cyklickou povahu pozičních vztahů a usnadňuje schopnost modelu porozumět relativním pozicím.

-`tf.concat((tf.cos(frekv.), tf.sin(frekv.)), osa=-1)` zřetězí tenzory transformované na kosinus a sinus podél poslední osy (označené `osa=-1`). Zřetězení těchto tenzorů vedle sebe efektivně zdvojnásobuje dimenzionalitu tenzoru 'freqs', přičemž první polovina představuje kosinusově transformované hodnoty a druhá polovina představuje sinusově transformované hodnoty pro každou pozici. Zřetězení zajišťuje, že každé polohové kódování obsahuje sinusovou i kosinovou informaci, což umožňuje uchování informací o amplitudě i fázi polohových signálů.

- Zřetězené tenzorové „emb“ nyní obsahuje kompletní rotační vložení pro vstupní pozice. Tvar `emb` bude stejný jako `freqs` v jeho prvních dvou dimenzích (odpovídajících pozicím sekvence a rozměrům vkládání), ale jeho poslední rozměr bude dvakrát tak velký, což bude odpovídat hodnotám sinus i cosinus. Tato vložení se používají k modulaci vstupních vložení přidáním informací o poloze rotačně ekvivalentním způsobem.

-`cos_emb = embeddings[:, Žádné, :self.dim // 2]`:

1. První dvojtečka „:“ znamená „vyberte všechny prvky v této dimenzi“, což v tomto případě odkazuje na všechny pozice v sekvenci.

2. „Žádný“ se používá k přidání dalšího rozměru, čímž se tenzor stane 3-rozměrným. To se často provádí za účelem zajištění kompatibility s určitými operacemi, které očekávají vstupy určitého počtu dimenzí. Například při provádění násobení po prvcích s jiným tenzorem, který je 3-rozměrný, se tvary musí zarovnat podle pravidel vysílání.

3. `:self.dim // 2`, vybere první polovinu rozměrů na poslední ose. Vzhledem k tomu, že `embedding_dimension` je zdvojnásoben, aby zahrnoval hodnoty sinus i kosinus, dělení 2 efektivně vybere pouze kosinové složky vložení.

#### Krok 3: Integrace s modelem Keras

Po definování `RotaryEmbeddingLayer` ji můžete integrovat do svého modelu Keras. Tato vrstva by měla být aplikována na vaše vložení před jejich vložením do vrstev pozornosti nebo jakýchkoli následujících vrstev modelu.

Zde je zjednodušený příklad, jak integrovat otočné vložky do modelu:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Vylepšený transformátor s rotačním umístěním

[Odkaz Arxiv](https://arxiv.org/abs/2403.13799)

20. března 2024

## Zvratná kletba

Velké jazykové modely (LLM) jako [GPT-4](https://arxiv.org/abs/2303.08774) a [Llama-2](https://arxiv.org/abs/2307.09288) prokázaly působivé schopnosti v porozumění a generování lidského textu, který zahrnuje širokou škálu znalostí. Selhají však ve zdánlivě jednoduchém úkolu: zvrátit naučená fakta. Toto omezení, nazvané „Reversal Curse“, znamená, že LLM nemohou odvodit, že „B je rysem A“ z učení „A má rys B“, což je základní rozumová dovednost, kterou mají i děti. Tento dokument představuje "Reverse Training", novou metodu pro řešení tohoto problému využitím dvousměrného tréninkového přístupu, aby se zlepšilo chápání faktů v modelu jak v dopředném, tak ve zpětném formátu.

## Origins of the Reverse Curse

Problém vyplývá ze základního tréninkového přístupu LLM, který typicky zahrnuje **autoregresivní učení zleva doprava**. Tato metoda ze své podstaty neučí modely chápat nebo generovat informace v opačném pořadí. Vzhledem k povaze distribuce dat podle Zipfova zákona je mnoho skutečností zmíněno pouze jedním směrem, což tento problém ještě zhoršuje. "Reversal Curse" omezuje LLM v chápání vzájemných vztahů a ekvivalence v prohlášeních, což představuje významný nedostatek v jejich schopnostech uvažování.

## Překonání obráceného prokletí pomocí reverzního tréninku

Navrhované řešení, Reverse Training, zdvojnásobuje dostupná trénovací data tím, že zahrnuje jak původní, tak obrácené verze trénovacích řetězců. Proces obrácení je opatrný, aby nezměnil určité podřetězce, jako jsou názvy entit, a zachoval jejich původní sekvenci, aby se zachoval kontext. Tato metoda, podobná zavedení druhého jazyka, který se LLM učí, výrazně zlepšuje schopnost modelu zpracovávat a generovat informace v obou směrech.

## Testování metody reverzního tréninku

Autoři provedli následující experimenty, aby otestovali navrhovanou metodu:

**1- Symbolic Reverse Task:** Test řízeného prostředí demonstrující schopnost metody odvodit a aplikovat obrácené vztahy.

**2- Úkol obrácení biografie:** Využití biografického souboru k posouzení výkonu při generování jmen osob z daných detailů, obráceně.

**3- Reverze znalostí z reálného světa:** Vyhodnocení účinnosti metody ve scénářích reálného světa, včetně obrácení faktů o celebritách a jejich vztazích.

**4- Finetuning fiktivních faktů:** Testování schopnosti učení modelu na nově zavedených, obrácených fiktivních faktech.

V rámci těchto experimentů Reverse Training nejen zmírnil Reversal Curse, ale v některých případech ho úplně odstranil. Tato metoda se ukázala jako zvláště účinná, když byly názvy entit během procesu obrácení zachovány v původním pořadí, což zdůrazňuje důležitost zachování určitých kontextových ukotvení.

## Důsledky a budoucí směry

Úspěch Reverse Training při řešení Reversal Curse otevírá nové cesty pro metodiky školení LLM. Zlepšením porozumění modelům vzájemným vztahům a ekvivalenci ve výrokech tento přístup otevírá dveře k sofistikovanějším schopnostem uvažování. Budoucí výzkum může prozkoumat další optimalizaci procesu reverzace, potenciál pro integraci reverzního tréninku do jiných architektur jazykových modelů a širší aplikace této metody v úlohách porozumění přirozenému jazyku a generování.

---

* Staňte se profesionálem v kódování svým vlastním tempem! Připojte se Code Labs Academy na [Online Bootcamp na částečný úvazek](/) a zdokonalte se v kódování. Přizpůsobte učení svému rozvrhu a začněte svou cestu do techniky ještě dnes!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Reverzní trénink pro ošetřování obráceného prokletí

[Odkaz Arxiv](https://arxiv.org/abs/2403.12015)

18. března 2024

"Rychlá syntéza obrazu ve vysokém rozlišení s latentní adversariální difúzní destilací" představuje nový přístup k destilaci známý jako latentní adversariální difúzní destilace (LADD). Tento přístup je navržen tak, aby řešil omezení stávajících [modelů difúze](https://en.wikipedia.org/wiki/Diffusion_model), zejména problém pomalé rychlosti odvozování, která brání aplikacím v reálném čase. LADD umožňuje syntézu obrazu s vysokým rozlišením a poměrem stran díky efektivní destilaci velkých [modelů latentní difúze](https://arxiv.org/abs/2112.10752) (LDM), což výrazně zjednodušuje tréninkový proces a zvyšuje výkon ve srovnání s předchozími metodami .

Shrneme hlavní poznatky z tohoto dokumentu.

## Úvod

Difúzní modely se ukázaly jako výkonný nástroj pro syntézu a editaci obrazu a videa, které nabízejí vysoce kvalitní výsledky. Avšak jejich iterativní povaha, vyžadující četná síťová vyhodnocení k transformaci šumu na koherentní obrazy, omezuje jejich praktičnost pro aplikace v reálném čase. Pro urychlení modelů difúze byly navrženy různé strategie. LADD zavádí novou strategii využívající generativní funkce z předem vyškolených LDM, což umožňuje efektivní syntézu obrazu s vysokým rozlišením ve zlomku kroků požadovaných tradičními metodami.

## Pozadí

Článek začíná tím, že poskytuje přehled modelů difúze a jejich [destilace](https://en.wikipedia.org/wiki/Knowledge_distillation). Tradiční difúzní modely fungují tak, že postupně odšumují obraz v mnoha iteračních krocích, což činí proces pomalým a výpočetně nákladným. Metody destilace, včetně [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD), se snažily tento proces zefektivnit snížením počtu potřebných kroků. ADD však čelí omezením, jako je pevné trénovací rozlišení a nutnost dekódování do RGB prostoru pro destilaci latentních difúzních modelů, což může omezit trénování s vysokým rozlišením.

## Metodika

LADD řeší tyto problémy **destilací přímo v latentním prostoru**, čímž se **vyhnete nutnosti dekódovat do prostoru pixelů** a umožní trénink ve vyšším rozlišení. Na rozdíl od ADD, který se opírá o předem připravený diskriminátor fungující v pixelovém prostoru, LADD využívá nový přístup, kde jsou diskriminátor a model učitele sjednoceny a fungují přímo na latentech. Tato metoda nejen zjednodušuje tréninkový proces, ale poskytuje také několik výhod, včetně efektivity, schopnosti poskytovat specifickou zpětnou vazbu na úrovni hluku a kapacity pro trénink Multi-Aspect Ratio (MAR).

## Experimenty a výsledky

Článek rozsáhle hodnotí LADD prostřednictvím různých experimentů a demonstruje jeho vynikající výkon při syntéze obrázků s vysokým rozlišením pouze v několika krocích. Je pozoruhodné, že při aplikaci na [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) výsledkem LADD vznikne model nazvaný SD3-Turbo, který dosahuje srovnatelné kvality obrazu se stavem nejmodernější generátory textu na obrázek v pouhých čtyřech krocích. Experimenty také zkoumají dopad různých rozložení hluku učitelů, použití syntetických dat, přístupů latentní destilace a chování LADD při škálování.

## Srovnání s nejmodernějšími technologiemi

Účinnost LADD je dále podtržena srovnáním se současnými předními metodami v syntéze textu na obrázek a obrázku na obrázek. SD3-Turbo nejenom odpovídá výkonu svého učitelského modelu (SD3) v kvalitě obrazu, ale také demonstruje významná zlepšení oproti jiným základním liniím, pokud jde o rychlost odvození a zarovnání obrazu a textu.

## Omezení a budoucí směry

Navzdory svému pokroku není LADD bez omezení. Autoři si všímají kompromisu mezi kapacitou modelu, rychlým zarovnáním a rychlostí odvození, což by mohlo ovlivnit schopnost modelu zvládnout určité problémy syntézy textu na obrázek. Budoucí směry výzkumu zahrnují hlubší prozkoumání tohoto kompromisu a vývoj strategií pro zvýšení kontroly nad silnými stránkami navádění obrazu a textu.

## Závěr

"Rychlá syntéza obrazu ve vysokém rozlišení s latentní adversariální difúzní destilací" představuje nový přístup k syntéze obrazu/videa, který výrazně urychluje generování vysoce kvalitních obrázků z textových výzev. Destilací velkých difúzních modelů v latentním prostoru LADD připravuje cestu pro aplikace v reálném čase a nastavuje nový standard pro efektivitu a výkon v syntéze obrazu.

---

*Code Labs Academy: [Online kódovací bootcamp](/) s flexibilními platebními plány*

Papíry vysvětleny

Proč může návrat do kanceláře po pandemii poškodit produktivitu: Postřehy od obchodního experta