A COVID-19 világjárványt követően különösen a nagyobb vállalatoknál érezhetően visszatért a munkavállalók irodai munkája iránti igény. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), a Pittsburghi Egyetem Joseph M. Katz Graduate School of Business üzleti adminisztrációs docense és Yuye Ding, PhD hallgató, [megvizsgálta ezt a mintát](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Megvizsgálták a távmunka szociológiai és gazdasági hatásait, valamint a vállalkozások azon közelmúltbeli kezdeményezését, hogy a dolgozókat visszatereljék az irodába, ami gyakran irritálja a dolgozókat.

Ma egy [Heise-szel készített interjúban](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) azt állítja, hogy egy Az egyre digitálisabbá váló munkakörnyezet, a dolgozók visszatérése az irodába pusztán bosszantja őket, és nem sokat javít a termelékenységen. Azt azonban elismeri, hogy önkéntesen és csapattámogatás mellett a személyes munka előnyös lehet, és elősegíti a jobb koordinációt és csapatmunkát.

Ma azt javasolja, hogy azoknak a jól teljesítő egyéneknek, akik bizonyították hatékonyságukat az otthoni munkavégzés során, hagyni kell ezt folytatni, ahelyett, hogy mindenki az irodában legyen. Úgy gondolja, hogy a kiváló egyének megtartásával, akik egyébként máshol keresnének munkát, ez a stratégia végső soron a munkaadóknak és a munkavállalóknak egyaránt előnyös lesz. Ma rendszeres, személyes csapatépítő gyakorlatokat is javasol a vállalati kultúra szilárd megőrzése érdekében, ami elengedhetetlen a hatékony ötletgeneráláshoz és problémamegoldáshoz.

Úgy tűnik, hogy ennek a tendenciának a csúcsa elmúlt, annak ellenére, hogy a járványt követően több vállalkozás megkövetelte, hogy az alkalmazottak visszatérjenek az irodába. A 2024-ben készült felmérések szerint a vezérigazgatók többsége már nem tartja nagyra az irodában való tartózkodást. A vállalkozások megtudták, hogy a munkavállalók meglehetősen produktívak lehetnek, ha távolról dolgoznak a járvány idején. Más vezetőknek azonban továbbra is aggályai vannak a távmunkával kapcsolatban, ezért azt javasolják, hogy térjenek vissza az irodába. Az alkalmazottak morálja megsérülhet a bizalom hiánya miatt, mivel ez azt jelzi a munkatársaknak, hogy a vezetőik nem hisznek bennük.

Annak ellenére, hogy a távmunka csökkentheti a rezsi- és helyigényt, a nagyvállalatok alig várják, hogy dolgozóik visszatérjenek, ami felveti annak a lehetőségét, hogy itt az irányítás és a hatalom fontosabb, mint az ár. Ma rámutat arra, hogy sok vállalkozás a részvényárfolyamok esésére reagálva alkalmazta a hivatalba való visszatérés politikáját, kényelmesen használva a távmunkát, mint a rossz teljesítményt segítő bűnbakot.

Annak ellenére, hogy továbbra is nagy az igény a távmunkára – a nagyvárosokban, például New Yorkban, San Franciscóban és Németországban sok irodahelyiség üres – a menedzserek továbbra is azon a véleményen vannak, hogy a személyes dolgozók erősítik az együttműködést és az üzleti kultúrát. De ahelyett, hogy a munkatársakkal együtt dolgoznának, sok dolgozó, aki visszatért az irodába, azt mondja, ideje nagy részét egyedül dolgozik a számítógépén. Az ilyen megbízások eredménytelenségét megkérdőjelezi az irodai és a távmunka közötti észrevehető különbség hiánya, valamint az a frusztráció, amelyet az alkalmazottak tapasztalnak, amikor visszatérésre kényszerülnek.

A dolgozók hozzászoktak a távmunkával járó megnövekedett termelékenységhez és a munka és a magánélet egyensúlyának előnyeihez, például ahhoz, hogy jobban össze tudják kapcsolni a munkát és a családi életet, és elkerüljék a hosszadalmas ingázást. Az elégedetlenség abból adódik, hogy ezeket a megállapodásokat az irodába kényszerített visszatérés megzavarja. Ezenkívül az a felfogás, hogy a hiányzó munka akadályozhatja a szakmai fejlődést.

Végül Ma úgy gondolja, hogy ha a dolgozók tartósan vissza kell térniük a munkahelyükre, akkor sokan más szakmát kezdenének keresni, és a maradók motiváltabbá válhatnak. Az otthoni irodák továbbra is gyakoriak, mert hátrányaik ellenére jobb egyensúlyt biztosítanak a munka és a magánélet között, és alacsonyabb a kiégés aránya. Nincs észrevehető különbség a távmunka és az irodai munkavégzés között, és az otthoni munkavégzés ugyanolyan elidegenítő lehet, mint az egyterű irodák zavaró hatásai, ahol az alkalmazottak gyakran viselnek fejhallgatót, hogy összpontosítsanak. Ma azt tanácsolja, hogy a csapatok válasszák ki, hány napot szeretnének az irodában dolgozni, a fennmaradó időt pedig hagyják rugalmasan, hogy az alkalmazottak kiválaszthassák a számukra legkedvezőbb munkakörnyezetet, még akkor is, ha az emberi kapcsolatok hasznosak lehetnek a vállalatok számára.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Miért ronthatja a termelékenységet az irodába való visszatérés a világjárvány után? Egy üzleti szakértő meglátásai

A [Google AI](https://ai.google/) a közelmúltban bevezetett egy új, „Proofread” nevű funkciót a Gboardon, a népszerű mobil billentyűzet alkalmazáson. Ez a funkció egyetlen érintéssel zökkenőmentes módosításokat és javításokat tesz lehetővé mondat- és bekezdésszinten, javítva az általános gépelési élményt.

## A „kövér ujj” probléma kezelése

A [Gboard](https://support.google.com/gboard/?hl=hu) statisztikai dekódolást használ a „kövér ujjak” problémájának megoldására, amely a kis képernyőkön az érintéses bevitel természetes pontatlansága. A kutatások azt mutatják, hogy a betűnkénti hibaarány dekódolás nélkül elérheti a 8-9 százalékot. A Gboard számos hibajavító funkcióval rendelkezik, amelyek megkönnyítik és gördülékenyebbé teszik a gépelést. Ezek a funkciók kombinálják az emberi közreműködést igénylő manuális feladatokat proaktív, automatizált korrekciókkal.

## Átfogó hibajavító eszközök

A Gboard funkciói együttesen megkönnyítik a gépelést, beleértve a szókiegészítést, a következő szó előrejelzését, az aktív automatikus javítást (AC) és az aktív kulcsjavítást (KC). Ezek az eszközök közé tartozik az intelligens összeállítás, a hibajavítás és a többszavas jelöltek a javaslatsávban vagy soron belül. Az utólagos javítás (PC) a már elkövetett szavak hibáinak kijavítását is megkönnyíti. E funkciók ellenére két fő korlátozás rontja a felhasználói élményt.

1. Míg az olyan eszközön található javítási modellek, mint a KC, az AC és a PC, gyorsak és kompaktak, nehezen kezelik azokat a kifinomult és összetett hibákat, amelyek hosszabb kontextust igényelnek. A modellek aktiválásának megakadályozása érdekében a felhasználóknak lassan és pontosan kell gépelniük.

2. A gépelési sebesség csökken, mivel a felhasználóknak kézzel kell javítaniuk az elkötelezett szavakat nyelvtani és helyesírás-ellenőrző segítségével, ami mentálisan és vizuálisan megterhelő lehet.

## Magas szintű hibajavítás szükségessége

A gyors gépelők gyakran figyelmen kívül hagyják a már beírt szavakat, és csak a billentyűzetre koncentrálnak. Emiatt magasabb hibaarány adódhat, amely mondatos vagy magasabb szintű korrekciós mechanizmusok alkalmazását teszi szükségessé.

## Bemutatkozik a Proofread

A Proofread megoldja ezeket a gyakori panaszokat azáltal, hogy jelentős termelékenységnövekedést kínál. Egyszerűbbé teszi a hibajavítást azáltal, hogy egyérintéses mondat- és bekezdésszintű javításokat biztosít.

## A lektorálás mögötti technológia

A Lektorálás funkció négy elsődleges összetevőből áll: adattermelés, mérőszámok tervezése, modellbeállítás és modellszolgáltatás. Mindezek az összetevők együttesen garantálják a hatékonyságot. Annak biztosítása érdekében, hogy az adatok elosztása összhangban legyen a Gboard tartományával, a rendszer precízen és módszeresen felépített hibaszintetikus architektúrával utánozza a gyakori billentyűzethibákat.

## Speciális mutatók és modelloptimalizálás

A modell értékeléséhez a kutatók számos mérőszámot beépítettek, különös hangsúlyt fektetve a nyelvtani hibák jelenlétének ellenőrzésére és a nagy nyelvi modellekből (LLM) származó hasonló jelentésellenőrzésekre. Az InstructGPT technikában a felügyelt finomhangolást és a megerősítési tanulási (RL) hangolást használják a modell javítására. Ez az eljárás nagymértékben javítja a modell lektorálási teljesítményét.

## Üzembe helyezés és teljesítmény

A 8 bites kvantálást használó, közepes méretű LLM PaLM2-XS-t úgy alakították ki, hogy egyetlen TPU v5-be illeszkedjen, és ez szolgálja a Proofread funkció alapját. Az optimalizálás csökkenti a kiszolgálás költségeit. Korábbi kutatások kimutatták, hogy a szegmentálás, a spekulatív dekódolás és a gyűjtőkulcsok csökkenthetik a késleltetést.

## Valós hatás

A Pixel 8 felhasználók tízezrei profitálnak majd a már elérhető Lektorálás funkció által biztosított kiváló minőségű szerkesztésekből. A szintetikus adatok alapos generálása és a finomhangolás számos iterációja olyan modellt hozott létre, amely jelentősen csökkenti a nyelvtani hibákat, amint azt a PaLM2-XS modell Bad arányának 5,74 százalékos relatív csökkenése is mutatja. Ezenkívül az optimalizálás a medián késleltetés 39,4%-os csökkenését eredményezte.

## Kilátások a jövőre

[Ez a tanulmány](https://arxiv.org/abs/2406.04523) bemutatja, hogy az LLM-ek hogyan javíthatják a felhasználói élményt, és érdekes lehetőségeket teremthetnek a további vizsgálatokhoz. A valós felhasználói adatok használata, a többnyelvű támogatás, a személyre szabott írási segítségnyújtás és az eszközök adatvédelmi megoldásai néhány példa azokra a területekre, amelyek további fejlődéshez vezethetnek az ágazatban.

A Google mesterséges intelligencia a Proofread funkció bevezetésével bővíti a mobil billentyűzet technológia lehetőségeit, javítva a gépelést a világ minden táján.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

A Google mesterséges intelligencia bemutatja a „lektorálást”: a Gboard funkciót a mondat- és bekezdésjavításhoz

A modern mély neurális hálózatok (DNN-ek) alapvetően átlátszatlanok, ezért nehéz megérteni döntéshozatali folyamataikat. Ez az átláthatóság hiánya megzavarja a gépi tanulási technikák széles körű megvalósítását számos területen. Válaszul az Explainable AI (XAI) megjelent azzal a szándékkal, hogy javítsa a DNN-ítéletek emberi megértését. Az egyes komponensek funkcionális céljának vizsgálatával az XAI most a DNN-ek globális viselkedésének megértésére is összpontosít, ellentétben azokkal a helyi magyarázati módszerekkel, amelyek feltűnési térképeket alkalmaznak az egyéni előrejelzések magyarázatára.

A mechanikus értelmezhetőség egy globális magyarázhatósági technika, amely arra összpontosít, hogy pontosan meghatározza azokat a konkrét gondolatokat, amelyeket a neuronok, a neurális hálózat alapvető számítási egységei képesek megérteni. Egy hálózat látens reprezentációinak működését úgy tudjuk megmagyarázni, hogy a neuronokat az ember számára érthető leírásokkal jelöljük. Ezek a leírások az egyszerű címkéktől a kidolgozott, kompozíciós és nyílt szókészletű magyarázatokká fejlődtek. Mindazonáltal, a szabványosított kvantitatív mérőszámok hiánya e nyílt szókészlet-leírások értékeléséhez akadályozta a különböző megközelítések alapos összehasonlítását.

E hiányosság orvoslására az ATB Potsdam, a Potsdami Egyetem, a TU Berlini Egyetem, a Fraunhofer Heinrich-Hertz-Institute és a BIFOLD kutatói bemutatják a [CoSy](https://arxiv.org/abs/2405.20331) úttörő kvantitatív értékelési keretrendszert a nyílt szókincs magyarázatainak számítógépes látás (CV) modellekben való használatának felmérése. Ez az innovatív módszer a generatív mesterséges intelligencia fejlesztéseit használja fel olyan mesterséges képek előállítására, amelyek korrelálnak a koncepción alapuló szöveges leírásokkal. A cozy kiküszöböli az emberi interakció szükségességét azáltal, hogy megkönnyíti a különböző fogalomalapú szöveges magyarázati megközelítések mennyiségi összehasonlítását azáltal, hogy szintetizálja az adott célmagyarázatokhoz közös adatpontokat.

A kutatócsoport kiterjedt metaanalízissel bebizonyította, hogy a cozy megbízható értékeléseket kínál a magyarázatokról. A tanulmány felfedezte, hogy a fogalomalapú szöveges magyarázati módszerek a neurális hálózatok felső rétegeiben működnek a legjobban, ahol magas szintű fogalmakat tanulnak meg. Kiváló minőségű neuronmagyarázatokat olyan módszerekkel állítanak elő, mint az INVERT, amely neurális hálózati reprezentációkból hoz létre vizuális képeket, és a CLIP-Dissect, amely a belső hálózati reprezentációkat vizsgálja. Ezzel szemben az olyan technikák, mint a MILAN és a FALCON, gyengébb minőségű magyarázatokat adnak, esetenként szinte véletlenszerű fogalmakat adnak, ami pontatlan hálózati következtetésekhez vezethet.

A CoSy egyik fő hátránya, amint azt a kutatók felismerték, hogy a képzési adatok bizonyos kategóriái esetleg nem szerepeltek a generatív modellben, ami túl általános vagy kétértelmű magyarázatokhoz vezet, mint például a "fehér objektumok". A generatív pontosság növelhető, ha ezt a problémát a képzés előtti adatkészletek és a modell teljesítményének vizsgálatával kezeljük. Ennek ellenére a cozy sok lehetőséget rejt magában a nem lokális magyarázati technikák értékelésének még mindig fejlődő területén.

A jövőre nézve a csapat bizakodó a CoSy lehetséges alkalmazásaival kapcsolatban több területen. Egy downstream feladat eredményére vonatkozó magyarázat elfogadhatóságának vagy minőségének értékeléséhez az emberi megítélést bele kell foglalni a magyarázat minőségének definíciójába, amellyel a jövőbeni munkában foglalkozni kívánnak. Emellett további területeket is be kívánnak vonni értékelési rendszerükbe, mint például a természetes nyelvi feldolgozás és az egészségügy. A cozy potenciális használata nagy, átlátszatlan, autointerpretable language model (LLM) értékelésére különösen izgalmas. A kutatók szerint a cozy alkalmazása az egészségügyi adatkészletekben, ahol fontos a magyarázat minősége, nagy előrelépést jelenthet. A cozy ezen potenciális jövőbeni alkalmazásai óriási lehetőségeket rejtenek az AI-kutatás előmozdítására.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

A neurális hálózatok megértése: a CoSy kvantitatív keretrendszere a szöveges magyarázatok értékeléséhez

A [Transformer-alapú modellek](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) híresek összetett szövegek elemzésére és értelmezésére való képességükről. A szavak sorrendjének és kontextusának megértésére támaszkodnak – olyan feladatok, amelyeknél a hagyományos pozíciókódolási módszerek megmutatták korlátaikat. Ezt a hiányosságot orvosolva a ROFORMER modell, amelyet a **Rotary Position Embedding (RoPE)** hajt meg, újradefiniálja a helyzetkódoláshoz való hozzáállásunkat.

## Hagyományos pozíciókódolás

A transzformátorok a szöveget tokenek sorozataként kezelik, és lehetővé teszik a **sorozatok párhuzamos feldolgozását** a nagyobb hatékonyság érdekében. Ez az erő azonban meghozta a maga kihívását: a **modellben rejlő agnoszticizmust jelképes sorrendben**. A **pozíciós kódolás** volt a válasz, **minden jogkivonat egyedi aláírással látva el a szekvencia pozícióját**.

### Abszolút pozíció beágyazások

Kezdetben az olyan modellek, mint a BERT, **abszolút pozíció beágyazást használtak, és egy fix vektort rendeltek a sorozat minden pozíciójához**. Ez a módszer, bár egyszerű, **hiányzik a szekvenciahossz-változásokhoz való alkalmazkodás képessége, vagy a tokenek közötti relatív távolságok hangsúlyozása**, ami számos nyelvi konstrukció megértéséhez kritikus.

### Relatív pozíció beágyazások

A nyelv dinamikus természetének megragadására a relatív pozíció beágyazásokat vezették be, amelyek a tokenek közötti távolságra helyezték a hangsúlyt az abszolút pozíciójuk helyett. Koncepcionális előnyük ellenére ezek a beágyazások **számítási bonyolultságot vezettek be, és nem tudtak zökkenőmentesen integrálódni a Transformers önfigyelő mechanizmusába**, ami korlátozta hatékonyságukat.

## ROFORMER és Rotary Position beágyazás

Felismerve a meglévő pozíciókódolási stratégiák korlátait, a ROFORMER bevezeti a Rotary Position Embedding (RoPE) megoldást, amely egyesíti az abszolút és relatív pozícióinformációk előnyeit a megfelelő hátrányok nélkül.

### Rotary Position Beágyazás

A RoPE **forgási mátrixok** segítségével kódolja a helyzetinformációkat, lehetővé téve a modell számára, hogy ne csak azt tudja, hol van egy token, hanem azt is, hogyan viszonyul a sorozat összes többi tokenjéhez.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Geometriai lencsén keresztül működik, és a token pozíciókat pontként kezeli egy többdimenziós térben, amelyeket elforgatva jelöli egymás utáni kapcsolataikat. Ez a forgatás lehetővé teszi, hogy a modell megőrizze és kihasználja mind az abszolút, mind a relatív pozíciójeleket az önfigyelő mechanizmusán belül.

### Kötél megvalósítása

A RoPE megvalósítása magában foglalja az egyes token pozíciók forgatási mátrixba való kódolását, és ennek a mátrixnak a transzformátor önfigyelő mechanizmusán belüli alkalmazását. Ez a folyamat lehetővé teszi a pozícióinformációk rugalmas, dinamikus értelmezését, alkalmazkodva a változó sorozathosszokhoz, és jelentős számítási többletköltség nélkül megragadja a token kölcsönhatások lényegét.

Először is szüksége lesz egy függvényre a forgó beágyazások létrehozásához, majd integrálja ezeket a beágyazásokat a modelljébe. Az alábbi példa feltételezi, hogy ismeri az egyéni rétegek létrehozását a Kerasban.

#### 1. lépés: Határozza meg a Rotary beágyazási funkciót

Ez a funkció a maximális sorozathossz és a beágyazások méretei alapján állítja elő a forgó beágyazásokat.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Ez a sor az exponenciálisan skálázott frekvenciák inverzét számítja ki a pozícióindexek alapján. Ezeket a frekvenciákat a forgó beágyazások szinuszos mintázatainak generálására használják, ami segít a relatív helyzetinformáció szekvenciákba való kódolásában. Ez a mechanizmus különösen hasznos olyan feladatokban, ahol az elemek sorrendjének és egymáshoz viszonyított elhelyezkedésének megértése döntő fontosságú, mint például a természetes nyelvi feldolgozás vagy az idősorelemzés.

Részletesen:

- A `tf.range(0, dim, 2, dtype=tf.float32)` 0-tól `dim'-ig (kizárólag) értéktartományt hoz létre, 2-vel lépve. A `dtype=tf.float32` argumentum határozza meg hogy ennek a tenzornak az elemei 32 bites lebegőpontos számok. Ha például a „dim” értéke 8, akkor ez „[0, 2, 4, 6]” értéket eredményez.

- A "tf.range" által létrehozott tenzort ezután elosztják a beágyazások dimenziójával ("dim"). Ez a művelet leskálázza ezeket az indexeket egy 0 és 1 közötti tartományra (kivéve, ha a "dim" páros, kissé beleértve, ha a "dim" páratlan, mert a tartomány lépése minden más értéket kihagy). Ha a példát a „dim” = 8-cal folytatjuk, 8-cal osztva a következőt kapjuk: „[0,0, 0,25, 0,5, 0,75]”.

- Az `10000 ** (...)` művelet 10 000-et emel az előzőleg skálázott tenzor minden elemének hatványára. A 10 000-es alap némileg önkényes, de azért választották, hogy a frekvenciák széles tartományban változzanak, ami segít a modellnek a különböző pozíciók hatékonyabb megkülönböztetésében. A "[0,0, 0,25, 0,5, 0,75]" esetén mindegyikre alkalmazza a teljesítményműveletet, ami sokkal nagyobb értékeket eredményez a magasabb elemeknél.

- Végül az inverz frekvenciát úgy kapjuk meg, hogy az előző lépésből származó értékek reciprokát (1/x) vesszük. Az inverz frekvenciák kisebbek magasabb indexeknél, ami azt jelenti, hogy a szekvenciában távolabbi elemek kisebb frekvenciájúak lesznek, ami befolyásolja, hogy pozíciójuk hogyan kerül kódolásra a modellbe. Ez lehetővé teszi a beágyazások méretezését oly módon, hogy a relatív pozíciókra a modell figyelmi mechanizmusain keresztül lehet következtetni.

A vonal:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

a TensorFlow "tf.einsum" függvényét használja, amely lehetővé teszi a tenzorműveletek tömör és hatékony kifejezését az Einstein-összegzési jelölés használatával.

Ez a művelet hatékonyan kiszámítja a "t" és az "inv_freq" vektorok külső szorzatát, ami egy mátrixot eredményez, ahol minden egyes "(i, j)" elem a "t" "i"-edik elemének és a ' j`-edik eleme az `inv_freq`-nek. Ez a mátrix ("frekvenciák") azokat a frekvenciákat jelenti, amelyek a forgó beágyazások szinuszos mintáinak generálására szolgálnak.

#### 2. lépés: Egyéni Keras réteg forgó beágyazásokhoz

Most hozzunk létre egy egyéni Keras-réteget, amely forgó beágyazásokat alkalmaz a bemeneti tenzorra. Ez a réteg feltételezi, hogy a bemeneti tenzor `(batch_size, series_length, embedding_dim)` alakú.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Az `embeddings = self.rotary_embeddings[:seq_len]` sor kiválasztja az előre kiszámított forgó beágyazások megfelelő részhalmazát az aktuális bemeneti sorozathossz alapján. Mivel a sorozatok hossza kötegenként változhat, ez a szeletelési művelet biztosítja, hogy csak a tényleges sorozathossznak megfelelő beágyazások kerüljenek felhasználásra.

Az 'embeddings' változó most egy '(seq_len, embedding_dim)' alakú tenzorral rendelkezik, ahol a 'seq_len' a sorozatok hossza az aktuális kötegben, az 'embedding_dim' pedig a beágyazások dimenziója. Ez a tenzor tartalmazza a forgó pozíciós beágyazásokat a szekvencia minden pozíciójához a `seq_len`-ig.

Az `emb = tf.concat((tf.cos(frekvenciák), tf.sin(frekvenciák)), axis=-1)` egyetlen tenzorba egyesíti a helyzeti frekvenciák szinuszos és koszinuszos transzformációit:

- "tf.cos(freqs)" és "tf.sin(freqs)" a koszinusz-, illetve szinusztranszformációt alkalmazza a 'freqs' tenzorra. A "frekvenciák" tenzor frekvenciaértékeket tartalmaz a bemeneti szekvencia minden pozíciójához és a beágyazási tér minden dimenziójához, amelyeket a sorozatpozíciók és a beágyazási dimenziók inverz frekvenciái alapján számítanak ki. A szinusz- és koszinuszfüggvények elemenként kerülnek alkalmazásra, ami két, a `frekvenciával megegyező alakú tenzort eredményez. Ezek a transzformációk segítenek a pozíció kódolásában oly módon, hogy megragadja a pozícióviszonyok ciklikus jellegét, megkönnyítve a modell azon képességét, hogy megértse a relatív pozíciókat.

-`tf.concat((tf.cos(frekvenciák), tf.sin(frekvenciák)), axis=-1)` összefűzi a koszinusz- és szinusztranszformált tenzorokat az utolsó tengely mentén (az `axis=-1` jelöléssel). Ezeknek a tenzoroknak egymás mellé fűzése hatékonyan megduplázza a "frekvencia" tenzor dimenzióját, az első fele koszinusz-transzformált értékeket, a második fele pedig szinusz-transzformált értékeket jelent minden pozícióhoz. Az összefűzés biztosítja, hogy minden pozíciókódolás szinuszos és koszinuszos információt is tartalmazzon, ami lehetővé teszi a helyzetjelek amplitúdójával és fázisával kapcsolatos információk megőrzését.

- Az összefűzött tenzor `emb` most a teljes forgó beágyazást tartalmazza a bemeneti pozíciókhoz. Az 'emb' alakja megegyezik a 'freqs' alakjával az első két dimenziójában (amely a szekvencia pozícióinak és a beágyazási dimenzióknak felel meg), de az utolsó dimenzió kétszer akkora lesz, és figyelembe veszi a szinusz- és koszinuszértékeket is. Ezek a beágyazások a bemeneti beágyazások modulálására szolgálnak helyzetinformációk hozzáadásával, rotációs ekvivariáns módon.

-`cos_emb = beágyazások[:, Nincs, :self.dim // 2]`:

1. Az első kettőspont ":" azt jelenti, hogy "az összes elemet ki kell választani ebben a dimenzióban", ami ebben az esetben a sorozat összes pozíciójára vonatkozik.

2. A "Nincs" egy további dimenzió hozzáadására szolgál, így a tenzor háromdimenziós. Ezt gyakran azért teszik, hogy biztosítsák a kompatibilitást bizonyos műveletekkel, amelyek meghatározott számú dimenzió bemenetét várják. Például, amikor elemenkénti szorzást hajt végre egy másik, háromdimenziós tenzorral, az alakzatoknak a sugárzási szabályok szerint kell igazodniuk.

3. `:self.dim // 2`, az utolsó tengely méreteinek első felét választja ki. Mivel az "embedding_dimension" megduplázódik, hogy szinuszos és koszinuszos értékeket is tartalmazzon, a 2-vel való elosztás gyakorlatilag csak a beágyazások koszinuszkomponenseit választja ki.

#### 3. lépés: Integráció Keras modellel

A "RotaryEmbeddingLayer" meghatározása után integrálhatja a Keras modelljébe. Ezt a réteget fel kell vinni a beágyazásokra, mielőtt betáplálná őket a figyelemfelkeltő rétegekbe vagy bármely további modellrétegbe.

Íme egy egyszerűsített példa a forgó beágyazások modellbe való integrálására:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Továbbfejlesztett transzformátor forgópozíciós beágyazással

[Arxiv Link](https://arxiv.org/abs/2403.13799)

2024. március 20

## A visszafordító átok

Az olyan nagy nyelvi modellek (LLM-ek), mint a [GPT-4](https://arxiv.org/abs/2303.08774) és a [Llama-2](https://arxiv.org/abs/2307.09288), lenyűgöző megértési képességekről tettek tanúbizonyságot. és emberszerű szöveg létrehozása, amely a tudás széles skáláját foglalja magában. Azonban kudarcot vallanak egy látszólag egyszerű feladatban: a tanult tények visszafordításában. Ez a korlátozás, amelyet „visszafordító átoknak” neveznek, azt jelenti, hogy az LLM-ek nem tudják levezetni, hogy „B az A jellemzője” abból, hogy megtanulják, hogy „A-nak van B tulajdonsága”, ami még a gyerekeknek is megvan az alapvető érvelési készsége. Ez a cikk bemutatja a "Reverse Training"-et, egy új módszert, amellyel ezt a kihívást kezelheti a kétirányú képzési megközelítés kihasználásával, amely javítja a modell tények megértését mind előre, mind fordított formátumban.

## A visszafordító átok eredete

A probléma az LLM-ek alapvető képzési megközelítéséből adódik, amely jellemzően **autoregresszív, balról jobbra haladó tanulást** foglal magában. Ez a módszer eleve nem tanítja meg a modelleket az információk fordított sorrendben történő megértésére vagy generálására. Tekintettel a Zipf-törvényt követő adatterjesztés természetére, sok tényt csak egy irányban említenek, ami súlyosbítja ezt a kérdést. A „visszafordító átok” korlátozza az LLM-ek megértését a kijelentések kölcsönös összefüggéseiről és egyenértékűségéről, ami jelentős hiányosságot jelez érvelési képességeikben.

## A fordított átok leküzdése fordított edzéssel

A javasolt megoldás, a Reverse Training, megduplázza a rendelkezésre álló edzési adatokat azáltal, hogy tartalmazza a képzési karakterláncok eredeti és fordított változatát is. A visszafordítási folyamat során ügyelnek arra, hogy ne változtassanak meg bizonyos részkarakterláncokat, például az entitásneveket, megtartva eredeti sorrendjüket a kontextus megőrzése érdekében. Ez a módszer, amely hasonló egy második nyelv bevezetéséhez az LLM számára, jelentősen javítja a modell azon képességét, hogy mindkét irányban feldolgozza és generálja az információkat.

## A fordított képzési módszer tesztelése

A szerzők a következő kísérleteket végezték el, hogy teszteljék javasolt módszerüket:

**1- Szimbolikus fordított feladat:** Ellenőrzött környezeti teszt, amely bemutatja, hogy a módszer képes kikövetkeztetni és alkalmazni fordított kapcsolatokat.

**2- Életrajzi feladat megfordítása:** Életrajzi adatkészlet felhasználása a személynevek adott adatokból történő előállítása során elért teljesítmény értékelésére fordított sorrendben.

**3 – Valós tudás megfordítása:** A módszer hatékonyságának értékelése valós helyzetekben, beleértve a hírességekkel és kapcsolataikkal kapcsolatos tények megfordítását.

**4- Fiktív tények finomhangolása:** A modell tanulási képességének tesztelése újonnan bevezetett, fordított fiktív tényeken.

E kísérletek során a Reverse Training nemcsak enyhítette a Fordító átkot, de bizonyos esetekben teljesen meg is szüntette. A módszer különösen akkor bizonyult hatékonynak, amikor az entitásneveket eredeti sorrendjükben őrizték meg a visszafordítási folyamat során, kiemelve bizonyos kontextuális horgonyok megtartásának fontosságát.

## Következmények és jövőbeli irányok

A Reverse Training sikere a Reversal Curse kezelésében új utakat nyit meg az LLM képzési módszertanok számára. Azáltal, hogy javítja a modellek megértését a kölcsönös kapcsolatokról és az állítások egyenértékűségéről, ez a megközelítés kifinomultabb érvelési képességek előtt nyitja meg az ajtót. A jövőbeli kutatások feltárhatják a megfordítási folyamat további optimalizálását, a fordított képzés más nyelvi modellarchitektúrákba való integrálásának lehetőségét, valamint ennek a módszernek a szélesebb körű alkalmazását a természetes nyelv megértésében és létrehozásában.

---

* Legyen kódoló profi a saját tempójában! Csatlakozzon Code Labs Academy [Online Part-Time Bootcamp-hez](/), és fejlessze a kódolási készségeket. Illessze a tanulást az ütemtervéhez, és induljon el a technológia felé még ma!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Fordított képzés a fordított átok ápolására

[Arxiv Link](https://arxiv.org/abs/2403.12015)

2024. március 18

A „Gyors, nagy felbontású képszintézis látens ellenséges diffúziós desztillációval” egy új desztillációs megközelítést mutat be, amelyet látens ellentétes diffúziós desztillációként (LADD) ismernek. Ezt a megközelítést a meglévő [diffúziós modellek](https://en.wikipedia.org/wiki/Diffusion_model) korlátaira tervezték, különösen a lassú következtetési sebesség kihívására, amely akadályozza a valós idejű alkalmazásokat. A LADD lehetővé teszi a nagy felbontású, több képarányú képszintézist a nagy [látens diffúziós modellek](https://arxiv.org/abs/2112.10752) (LDM) hatékony desztillálásával, jelentősen leegyszerűsítve a betanítási folyamatot és javítva a teljesítményt a korábbi módszerekhez képest .

Összefoglaljuk ebből a cikkből a legfontosabb tudnivalókat.

## Bevezetés

A diffúziós modellek a kép- és videószintézis és -szerkesztés hatékony eszközeivé váltak, amelyek kiváló minőségű eredményeket kínálnak. Azonban iteratív jellegük, amely számos hálózati kiértékelést igényel a zaj koherens képpé alakításához, korlátozta gyakorlatiasságukat a valós idejű alkalmazásokban. Különféle stratégiákat javasoltak a diffúziós modellek felgyorsítására. A LADD új stratégiát vezet be, kihasználva az előképzett LDM-ek generatív funkcióit, lehetővé téve a hatékony, nagy felbontású képszintézist a hagyományos módszerek által megkövetelt lépések töredékében.

## Háttér

A cikk a diffúziós modellek áttekintésével és azok [desztillációjával] kezdődik (https://en.wikipedia.org/wiki/Knowledge_destillation). A hagyományos diffúziós modellek úgy működnek, hogy sok iteratív lépésen keresztül fokozatosan zajtalanítják a képet, ami a folyamatot lassúvá és számításilag költségessé teszi. A desztillációs módszerek, köztük az [Adversarial Diffusion Destillation](https://arxiv.org/abs/2311.17042) (ADD) a szükséges lépések számának csökkentésével igyekeztek egyszerűsíteni ezt a folyamatot. Az ADD azonban olyan korlátokkal néz szembe, mint például a rögzített betanítási felbontás, és az RGB térbe történő dekódolás szükségessége a látens diffúziós modellek desztillálásához, ami korlátozhatja a nagy felbontású képzést.

## Módszertan

A LADD úgy oldja meg ezeket a problémákat, hogy **közvetlenül a látens térben desztillál**, ezáltal **elkerüli a képponttérre való dekódolást**, és lehetővé teszi a nagyobb felbontású képzést. Ellentétben az ADD-vel, amely egy előre képzett, pixeltérben működő diszkriminátorra támaszkodik, a LADD egy újszerű megközelítést alkalmaz, ahol a diszkriminátor és a tanári modell egységes, közvetlenül látens módon működik. Ez a módszer nemcsak leegyszerűsíti a képzési folyamatot, hanem számos előnnyel is jár, beleértve a hatékonyságot, a zajszint-specifikus visszacsatolás lehetőségét és a Multi-Aspect Ratio (MAR) képzési kapacitást.

## Kísérletek és eredmények

A cikk széles körben értékeli a LADD-t különféle kísérleteken keresztül, bemutatva a kiváló teljesítményt a nagy felbontású képek szintetizálásában, mindössze néhány lépéssel. Nevezetesen, ha a [Stable Diffusion 3]-ra (https://stability.ai/news/stable-diffusion-3) (SD3) alkalmazzuk, a LADD egy SD3-Turbo névre keresztelt modellt eredményez, amely az állapothoz hasonló képminőséget ér el. a legmodernebb szöveg-kép generátorok mindössze négy lépésben. A kísérletek feltárják a különböző tanári zajeloszlások hatását, a szintetikus adatok használatát, a látens desztillációs megközelítéseket és a LADD skálázási viselkedését.

## Összehasonlítás a legmodernebb technikával

A LADD hatékonyságát tovább erősíti a szöveg-kép és kép-kép szintézis jelenlegi vezető módszereivel való összehasonlítás. Az SD3-Turbo nem csak a képminőség terén egyezik meg tanári modellje (SD3) teljesítményével, hanem a következtetési sebesség és a kép-szöveg igazítás terén is jelentős előrelépéseket mutat a többi alapvonalhoz képest.

## Korlátozások és jövőbeli irányok

A fejlődés ellenére a LADD nem korlátlan. A szerzők megjegyzik, hogy kompromisszum van a modell kapacitása, az azonnali igazítás és a következtetési sebesség között, ami befolyásolhatja a modell azon képességét, hogy kezelni tudjon bizonyos szöveg-kép szintézis kihívásokat. A jövőbeli kutatási irányok közé tartozik ennek a kompromisszumnak a mélyebb feltárása, és stratégiák kidolgozása a képi és szöveges iránymutatás erősségei feletti ellenőrzés javítására.

## Következtetés

A "Gyors, nagy felbontású képszintézis látens ellenséges diffúziós desztillációval" a kép/videó szintézis új megközelítését vezeti be, amely jelentősen felgyorsítja a szöveges promptokból származó kiváló minőségű képek előállítását. A nagy diffúziós modellek látens térben történő desztillálásával a LADD megnyitja az utat a valós idejű alkalmazások előtt, és új mércét állít fel a képszintézis hatékonyságában és teljesítményében.

---

*Code Labs Academy: [Online Coding Bootcamp](/) rugalmas fizetési előfizetésekkel*

Papers Explained

Miért ronthatja a termelékenységet az irodába való visszatérés a világjárvány után? Egy üzleti szakértő meglátásai