Erityisesti suuremmissa yrityksissä on havaittu havaittavissa olevan paluu siihen, että työntekijöiden on vaadittava työskentelemään toimistossa COVID-19-pandemian jälkeen. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), liiketalouden apulaisprofessori Joseph M. Katz Graduate School of Businessissa Pittsburghin yliopistossa, ja Yuye Ding, Tohtoriopiskelija, on[tutkinut tätä mallia](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). He ovat tarkastelleet etätyön sosiologisia ja taloudellisia vaikutuksia sekä yritysten viimeaikaista aloitetta saada työntekijät takaisin toimistoon, mikä usein ärsyttää työntekijöitä.

Ma väittää [Heisen haastattelussa](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html), että yhä digitaalisemmassa työympäristössä, työntekijöiden paluu toimistoon vain ärsyttää heitä eikä lisää tuottavuutta juurikaan. Hän kuitenkin myöntää, että vapaaehtoisesti ja tiimin tuella tehtynä henkilökohtainen työ voi olla hyödyllistä ja edistää koordinaatiota ja ryhmätyötä.

Ma ehdottaa, että tehokkaiden henkilöiden, jotka ovat osoittaneet tehokkuutensa työskennellessään kotona, pitäisi antaa jatkaa niin sen sijaan, että kaikki olisivat toimistossa. Hän uskoo, että pitämällä loistavia yksilöitä, jotka muutoin etsivät töitä muualta, tämä strategia hyödyttää viime kädessä sekä työnantajia että työntekijöitä. Ma ehdottaa myös säännöllisiä henkilökohtaisia ​​tiiminrakennusharjoituksia yrityksen kulttuurin pitämiseksi vahvana, mikä on välttämätöntä tehokkaalle ideoiden luomiselle ja ongelmanratkaisulle.

Tämän suuntauksen huippu näyttää ohittaneen, vaikka useat yritykset vaativat työntekijöiden palaamista toimistoon pandemian jälkeen. Vuonna 2024 tehtyjen tutkimusten mukaan valtaosa toimitusjohtajista ei enää arvosta toimistossa olemista kovinkaan paljon. Yritykset oppivat, että työntekijät saattavat olla varsin tuottavia etätyöskentelyssä pandemian aikana. Mutta muilla esimiehillä on edelleen epäilyksiä etätyöskentelystä, minkä vuoksi he kannattavat toimistoon paluuta. Työntekijöiden moraali saattaa kärsiä tämän luottamuksen puutteen seurauksena, koska se välittää henkilöstön jäsenille, että heidän esimiehensä eivät usko heihin.

Huolimatta siitä, että etätyö voi alentaa yleiskustannus- ja tilantarvetta, suuret yritykset ovat innokkaita saamaan työntekijöitään takaisin, mikä lisää mahdollisuutta, että valvonta ja valta ovat tässä enemmän pelissä kuin hinta. Ma huomauttaa, että monet yritykset ottavat käyttöön palautuskäytäntöjä osakkeiden hintojen laskun vuoksi ja hyödynsivät kätevästi etätyötä kätevänä syntipukkina huonoille suorituksille.

Huolimatta siitä, että etätyön kysyntä on edelleen suuri – monet toimistotilat suurissa kaupungeissa, kuten New Yorkissa, San Franciscossa ja Saksassa, ovat tyhjiä – johtajat ovat edelleen sitä mieltä, että työntekijöiden saaminen henkilökohtaisesti lisää yhteistyötä ja yrityskulttuuria. Mutta sen sijaan, että työskennettäisiin yhdessä työtovereiden kanssa, monet toimistoon palanneet työntekijät kertovat työskentelevänsä suurimman osan ajastaan ​​yksin tietokoneiden ääressä. Tällaisten toimeksiantojen tehottomuuden kyseenalaistaa se, että toimisto- ja etätyön välillä ei ole havaittavissa olevaa eroa, sekä turhautuminen, jota työntekijät joutuvat palaamaan.

Työntekijät ovat tottuneet etätyöskentelyn parempaan tuottavuuteen ja työ- ja perhe-elämän tasapainon tuomiin etuihin, kuten kykyyn yhdistää työ- ja perhe-elämä paremmin ja välttää pitkiä työmatkoja. Tyytymättömyys johtuu siitä, että nämä sopimukset häiriintyvät pakollisella paluulla toimistoon. Lisäksi on käsitys, että työn puute voi haitata ammatillista kasvua.

Loppujen lopuksi Ma ajattelee, että jos työntekijät pakotetaan palaamaan työpaikalle pysyvästi, monet heistä alkaisivat etsiä muita ammatteja ja jäävien motivaatio heikkenee. Kotitoimistot ovat edelleen yleisiä, koska ne tarjoavat paremman työ- ja perhe-elämän tasapainon ja alhaisemman työuupumusasteen haitoistaan ​​huolimatta. Etätyön ja toimiston välillä ei ole havaittavissa olevaa tuottavuuseroa, ja kotona työskentely voi olla yhtä vieraantunutta kuin avotoimistojen häiriötekijät, joissa työntekijät käyttävät usein kuulokkeita keskittyäkseen. Ma neuvoo, että tiimit valitsevat, kuinka monta päivää he haluavat työskennellä toimistossa ja jättävät muun ajan joustavaksi, jotta työntekijät voivat valita itselleen mieluisan työympäristön, vaikka ihmiskontakteista voi olla hyötyä yrityksille.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Miksi toimistoon paluu pandemian jälkeen voi heikentää tuottavuutta: Liiketoiminnan asiantuntijan näkemyksiä

[Google AI](https://ai.google/) esitteli äskettäin uuden Oikilukemisen ominaisuuden Gboardiin, suosittuun mobiilinäppäimistösovellukseen. Yhdellä napautuksella tämä ominaisuus mahdollistaa saumattomat muutokset ja korjaukset lause- ja kappaletasolla, mikä parantaa yleistä kirjoituskokemusta.

## "Fat Finger" -ongelman ratkaiseminen

[Gboard](https://support.google.com/gboard/?hl=fi) käyttää tilastollista dekoodausta keinona ratkaista "rasvasormi"-ongelma, joka on pienillä näytöillä esiintyvä kosketussyötteen luonnollinen epätarkkuus. Tutkimukset osoittavat, että virheprosentti kirjettä kohti voi olla 8–9 prosenttia ilman dekoodausta. Gboardissa on useita virheenkorjausominaisuuksia, jotka tekevät kirjoittamisesta helpompaa ja sujuvampaa. Nämä ominaisuudet yhdistävät manuaaliset tehtävät, joihin liittyy ihmisen panos, ennakoiviin, automaattisiin korjauksiin.

## Kattavat virheenkorjaustyökalut

Gboardin ominaisuudet, kuten sanan täydennys, seuraavan sanan ennustaminen, aktiivinen automaattinen korjaus (AC) ja aktiivinen avainkorjaus (KC), tekevät kirjoittamisesta helpompaa. Näitä työkaluja ovat älykäs kokoonpano, virheenkorjaus ja usean sanan ehdokkaat ehdotuspalkissa tai tekstin sisällä. Post-korjaus (PC) helpottaa myös jo tehtyjen sanojen virheiden korjaamista. Näistä ominaisuuksista huolimatta kaksi keskeistä rajoitusta heikentävät käyttökokemusta.

1. Vaikka laitteessa olevat korjausmallit, kuten KC, AC ja PC, ovat nopeita ja kompakteja, niillä on vaikeuksia käsitellä kehittyneitä ja monimutkaisia ​​virheitä, jotka vaativat pidempiä yhteyksiä. Jotta nämä mallit eivät aktivoituisi, käyttäjien on kirjoitettava hitaasti ja tarkasti.

2. Kirjoitusnopeus laskee, koska käyttäjien on korjattava sitoutuneita sanoja manuaalisesti kieliopin ja oikeinkirjoituksen tarkistusten avulla, mikä voi olla henkisesti ja visuaalisesti raskasta.

## Korkean tason virheenkorjauksen tarve

Nopeat kirjoittajat jättävät usein huomiotta jo kirjoittamansa sanat ja keskittyvät vain näppäimistöön. Tästä voi aiheutua suurempia virhemääriä, mikä edellyttää lauseen tai korkeamman tason korjausmekanismeja.

## Esittelyssä Proofread

Oikoluku ratkaisee nämä usein esiintyvät valitukset tarjoamalla huomattavia tuottavuuden lisäyksiä. Se tekee virheiden korjaamisesta yksinkertaisempaa tarjoamalla yhden kosketuksen lause- ja kappaletason korjauksia.

## Oikolukujen takana oleva tekniikka

Oikoluku-ominaisuus koostuu neljästä pääkomponentista: tiedon tuottamisesta, mittareiden suunnittelusta, mallin säätämisestä ja mallin tarjoamisesta. Kaikki nämä komponentit yhdessä takaavat tehokkuuden. Varmistaakseen, että tietojen jakelu on linjassa Gboard-verkkotunnuksen kanssa, järjestelmä jäljittelee toistuvia näppäimistövirheitä käyttämällä tarkasti ja menetelmällisesti rakennettua virhesynteettistä arkkitehtuuria.

## Kehittyneet mittarit ja mallin optimointi

Mallin arvioimiseksi tutkijat ovat ottaneet käyttöön useita mittareita painottaen erityisesti kielioppivirheiden olemassaolotarkistuksia ja vastaavia suurista kielimalleista (LLM) johdettuja merkitystarkistuksia. Valvottua hienosäätöä ja vahvistusoppimisen (RL) viritystä käytetään InstructGPT-tekniikassa mallin parantamiseksi. Tämä menettely parantaa mallin oikolukemista huomattavasti.

## Käyttöönotto ja suorituskyky

8-bittistä kvantisointia käyttämällä keskikokoinen LLM PaLM2-XS on räätälöity sopimaan yhteen TPU v5:een ja toimii oikolukuominaisuuden perustana. Optimointi alentaa palvelun kustannuksia. Aiemmat tutkimukset ovat osoittaneet, että segmentointi, spekulatiivinen dekoodaus ja bucket-avaimet voivat vähentää latenssia.

## Reaalimaailman vaikutus

Kymmenet tuhannet Pixel 8 -käyttäjät hyötyvät nyt saatavilla olevan oikolukuominaisuuden tarjoamista korkealaatuisista muokkauksista. Perusteellinen synteettisen datan sukupolvi ja useat hienosäädön iteraatiot ovat tuottaneet mallin, joka vähentää merkittävästi kielioppivirheitä, mikä näkyy PaLM2-XS-mallin Bad-suhteen suhteellisessa laskussa 5,74 prosenttia. Lisäksi optimoinnit ovat johtaneet 39,4 %:n laskuun mediaanilatenssissa.

## Tulevaisuuden näkymät

[Tämä tutkimus](https://arxiv.org/abs/2406.04523) osoittaa, kuinka LLM:t voivat parantaa käyttökokemusta ja luoda kiehtovia mahdollisuuksia lisätutkimukselle. Todellisten käyttäjätietojen käyttö, monikielinen tuki, räätälöity kirjoitusapu ja laitteiden yksityisyysratkaisut ovat muutamia esimerkkejä alueista, jotka voivat johtaa alan edistymiseen.

Google AI laajentaa mobiilinäppäimistötekniikan mahdollisuuksia ottamalla käyttöön oikolukuominaisuuden, joka parantaa kirjoittamista kaikkialla maailmassa.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI julkistaa 'Oikoluetun': Gboard-ominaisuuden vaivattomaan lauseen ja kappaleen korjaukseen

Nykyaikaiset syvähermoverkot (DNN) ovat luonnostaan ​​läpinäkymättömiä, minkä vuoksi niiden päätöksentekoprosessien ymmärtäminen on haastavaa. Tämä läpinäkyvyyden puute häiritsee koneoppimistekniikoiden laajaa käyttöönottoa useilla aloilla. Vastauksena Explainable AI (XAI) on ilmaantunut, jonka tarkoituksena on parantaa ihmisten ymmärtämistä DNN:n tuomioista. Kun tarkastellaan kunkin komponentin toiminnallista tarkoitusta, XAI keskittyy nyt myös DNN-verkkojen globaalin käyttäytymisen ymmärtämiseen, toisin kuin paikalliset selitysmenetelmät, jotka käyttävät näkyvyyskarttoja yksittäisten ennusteiden selittämiseen.

Mekaaninen tulkinta on globaali selitettävyystekniikka, joka keskittyy paikantamaan tiettyjä ideoita, joita neuronit, hermoverkon perustavanlaatuiset laskentayksiköt, ovat oppineet ymmärtämään. Verkon piilevien esitysten toimintaa voidaan selittää merkitsemällä hermosoluja ihmisille ymmärrettävillä kuvauksilla. Nämä kuvaukset ovat edenneet yksinkertaisista nimikkeistä yksityiskohtaisiin, koostumukseen perustuviin ja avoimen sanaston selityksiin. Standardoitujen kvantitatiivisten mittareiden puute näiden avoimen sanaston kuvausten arvioimiseksi on kuitenkin estänyt perusteellisen vertailun eri lähestymistapojen välillä.

Tämän puutteen korjaamiseksi tutkijat ATB Potsdamista, Potsdamin yliopistosta, TU Berliinistä, Fraunhofer Heinrich-Hertz-Institutesta ja BIFOLDista esittelevät [CoSy](https://arxiv.org/abs/2405.20331), uraauurtavan kvantitatiivisen arviointikehyksen arvioida avoimen sanaston selitysten käyttöä tietokonenäkömalleissa (CV). Tämä innovatiivinen menetelmä hyödyntää generatiivisen tekoälyn kehitystä keinotekoisten kuvien tuottamiseksi, jotka korreloivat konseptipohjaisten tekstikuvausten kanssa. kodikas eliminoi inhimillisen vuorovaikutuksen tarpeen helpottamalla eri käsitepohjaisten tekstinselityslähestymistapojen kvantitatiivista vertailua syntetisoimalla tietyille kohdeselityksille yhteisiä datapisteitä.

Tutkimusryhmä osoitti laajalla meta-analyysillä, että cozy tarjoaa luotettavia arvioita selityksistä. Tutkimuksessa havaittiin, että käsitepohjaiset tekstinselitysmenetelmät toimivat parhaiten hermoverkkojen ylemmissä kerroksissa, joissa opitaan korkean tason käsitteitä. Laadukkaat hermosolujen selitykset tuotetaan menetelmillä, kuten INVERT, joka luo visuaalia hermoverkkoesityksistä, ja CLIP-Dissect, joka tutkii sisäisiä verkkoesityksiä. Toisaalta tekniikat, kuten MILAN ja FALCON, tuottavat selityksiä huonommasta laadusta ja tarjoavat toisinaan lähes satunnaisia ​​käsitteitä, jotka voivat johtaa epätarkkoihin verkkojohtopäätöksiin.

CoSyn suuri haittapuoli, kuten tutkijat tunnustavat, on, että tiettyjä koulutustiedon luokkia ei ehkä ole sisällytetty generatiiviseen malliin, mikä johtaa liian yleisiin tai moniselitteisiin selityksiin, kuten "valkoisiin esineisiin". Generatiivista tarkkuutta voidaan parantaa ratkaisemalla tämä ongelma tutkimalla koulutusta edeltäviä tietojoukkoja ja mallin suorituskykyä. Silti kodikkaalla on paljon potentiaalia edelleen kehittyvällä ei-paikallisten selitystekniikoiden arvioinnin alalla.

Tulevaisuudessa tiimi suhtautuu toiveikkaasti CoSyn mahdollisiin sovelluksiin useilla aloilla. Selvityksen uskottavuuden tai laadun arvioimiseksi loppuvaiheen tehtävän tuloksesta ihmisen harkinta on sisällytettävä selityksen laadun määritelmään, jota he haluavat käsitellä tulevassa työssään. Lisäksi he haluavat sisällyttää arviointijärjestelmäänsä lisäaloja, kuten luonnollisen kielen käsittelyn ja terveydenhuollon. Cosyn mahdollinen käyttö suurten, läpinäkymättömien, automaattisesti tulkittavien kielimallien (LLM) arvioinnissa on erityisen jännittävää. Tutkijoiden mukaan kodikkaan soveltaminen terveydenhuollon tietokokonaisuuksiin, joissa selityksen laatu on tärkeää, voisi olla iso askel eteenpäin. Näillä mahdollisilla kodin tulevaisuuden sovelluksilla on valtava potentiaali edistää tekoälytutkimusta.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Hermoverkkojen ymmärtäminen: CoSyn kvantitatiivinen kehys tekstiselitysten arvioinnille

[Transformer-pohjaiset mallit](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) ovat kuuluisia kyvystään jäsentää ja tulkita monimutkaista tekstiä. He luottavat sanojen järjestyksen ja kontekstin ymmärtämiseen - tehtäviin, joissa perinteiset paikannuskoodausmenetelmät ovat osoittaneet rajansa. Tämän aukon korjaamiseksi ROFORMER-malli, joka toimii **Rotary Position Embeddingin (RoPE)** avulla, määrittelee uudelleen lähestymistapamme paikannuskoodaukseen.

## Perinteinen paikkakoodaus

Muuntajat käsittelevät tekstiä merkkien sarjana ja mahdollistavat **sekvenssien rinnakkaisen käsittelyn** tehokkuuden parantamiseksi. Tämä vahvuus toi kuitenkin haasteensa: **mallin luontainen agnostismi symboliseen järjestykseen**. **Paikannuskoodaus** oli vastaus, **tarjoamalla jokaiselle tunnukselle yksilöllisen allekirjoituksen, joka ilmaisee sen sekvenssin sijainnin**.

### Absoluuttisen sijainnin upotukset

Aluksi mallit, kuten BERT, käyttivät **absoluuttisen sijainnin upotuksia, jotka määrittivät kiinteän vektorin jokaiselle sekvenssin paikalle**. Tämä menetelmä, vaikka se onkin yksinkertainen, **puuttele kykyä sopeutua sekvenssin pituuden vaihteluihin tai korostaa merkkien välisiä suhteellisia etäisyyksiä**, mikä on kriittistä monien kielellisten rakenteiden ymmärtämisen kannalta.

### Suhteellisen sijainnin upotukset

Kielen dynaamisen luonteen vangitsemiseksi otettiin käyttöön suhteelliset sijainnit, joissa keskityttiin merkkien väliseen etäisyyteen niiden absoluuttisen sijainnin sijaan. Käsitteellisestä edustaan ​​huolimatta nämä upotukset toivat **laskennallista monimutkaisuutta, eivätkä ne onnistuneet integroitumaan saumattomasti Transformersin itsetarkkailumekanismiin**, mikä rajoitti niiden tehokkuutta.

## ROFORMER ja Rotary Position Upotus

Ymmärtääkseen olemassa olevien paikannuskoodausstrategioiden rajoitukset ROFORMER esittelee Rotary Position Embeddingin (RoPE), joka yhdistää absoluuttisen ja suhteellisen sijaintitiedon edut ilman niiden vastaavia haittoja.

### Pyörimisasennon upottaminen

RoPE koodaa sijaintitietoja käyttämällä **kiertomatriiseja**, jolloin malli ymmärtää paitsi missä merkki on, myös kuinka se liittyy jokaiseen toiseen merkkiin sarjassa.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Se toimii geometrisen linssin läpi ja käsittelee merkkien paikkoja moniulotteisen tilan pisteinä, joita kierretään merkitsemään niiden peräkkäisiä suhteita. Tämä kierto mahdollistaa sen, että malli säilyttää ja hyödyntää sekä absoluuttisia että suhteellisia sijaintivihjeitä itsetarkkailumekanismissaan.

### Köyden käyttöönotto

RoPE:n toteuttaminen sisältää jokaisen merkin sijainnin koodaamisen kiertomatriisiin ja tämän matriisin soveltamisen Transformerin itsetarkkailumekanismiin. Tämä prosessi mahdollistaa paikkatiedon joustavan, dynaamisen tulkinnan, mukautuu vaihteleviin sekvenssien pituuksiin ja vangitsee token-vuorovaikutusten olemuksen ilman merkittäviä laskennallisia lisäkustannuksia.

Ensin tarvitset toiminnon pyörivien upotusten luomiseen, ja sitten integroit nämä upotukset malliisi. Alla olevassa esimerkissä oletetaan, että olet perehtynyt mukautettujen tasojen luomiseen Kerasissa.

#### Vaihe 1: Määritä Rotary-upotustoiminto

Tämä toiminto luo pyörivät upotukset ottaen huomioon sekvenssin enimmäispituus ja upotusten mittasuhteet.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Tämä rivi laskee eksponentiaalisesti skaalattujen taajuuksien käänteisarvon sijaintiindeksien perusteella. Näitä taajuuksia käytetään luomaan sinimuotoisia kuvioita pyöriville upotuksille, mikä auttaa koodaamaan suhteellista sijaintitietoa sekvensseihin. Tämä mekanismi on erityisen hyödyllinen tehtävissä, joissa elementtien järjestyksen ja suhteellisen sijainnin ymmärtäminen on ratkaisevan tärkeää, kuten luonnollisen kielen käsittelyssä tai aikasarja-analyysissä.

Yksityiskohdissa:

- `tf.range(0, dim, 2, dtype=tf.float32)` luo arvoalueen 0:sta `dim':iin (poissulkeva), askeltaen 2:lla. Argumentti dtype=tf.float32 määrittää että tämän tensorin alkiot ovat 32-bittisiä liukulukuja. Jos "dim" on esimerkiksi 8, tämä tuottaa "[0, 2, 4, 6]".

- "tf.range":n tuottama tensori jaetaan sitten upotusten ulottuvuudella ("dim"). Tämä toiminto skaalaa nämä indeksit alueelle 0–1 (pois lukien, jos "dim" on parillinen, hieman mukaan lukien, jos "dim" on pariton, koska alueen askel ohittaa kaikki muut arvot). Jatkamalla esimerkkiä arvolla "dim" = 8, jakamalla 8:lla saadaan "[0,0, 0,25, 0,5, 0,75]".

- Operaatio `10000** (...) nostaa 10 000 kunkin elementin potenssiin aiemmin skaalatussa tensorissa. Perusarvo 10 000 on jokseenkin mielivaltainen, mutta se on valittu varmistamaan, että taajuudet vaihtelevat laajalla alueella, mikä auttaa mallia erottamaan eri paikat tehokkaammin. Arvolla "[0,0, 0,25, 0,5, 0,75]" se soveltaisi tehotoimintoa jokaiseen, jolloin arvot olisivat paljon suurempia korkeammille elementeille.

- Lopuksi käänteinen taajuus saadaan ottamalla edellisen vaiheen arvojen käänteisluku (1/x). Käänteiset taajuudet ovat pienempiä korkeammilla indekseillä, mikä tarkoittaa, että sekvenssissä edelleen olevilla elementeillä on pienempiä taajuuksia, mikä vaikuttaa siihen, miten niiden paikat koodataan malliin. Tämä mahdollistaa upotusten skaalauksen tavalla, jossa suhteelliset sijainnit voidaan päätellä mallin huomiomekanismien kautta.

Linja:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

käyttää TensorFlow'n `tf.einsum`-funktiota, työkalua, joka mahdollistaa tiiviin ja tehokkaan tensorioperaatioiden ilmaisemisen Einsteinin summausmerkinnällä.

Tämä toiminto laskee tehokkaasti vektorien "t" ja "inv_freq" ulkotulon, mikä johtaa matriisiin, jossa jokainen elementti "(i, j)" on "t":n "i":nnen elementin ja " inv_freq:n j`-elementti. Tämä matriisi (`taajuudet`) edustaa taajuuksia, joita käytetään luomaan sinimuotoisia kuvioita pyöriville upotuksille.

#### Vaihe 2: Mukautettu Keras-kerros pyöriville upotuksille

Luodaan nyt mukautettu Keras-taso, joka käyttää pyöriviä upotuksia syöttötensoriin. Tämä kerros olettaa, että syötetensorin muoto on `(erän_koko, sekvenssin_pituus, upotuksen_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Rivi "embeddings = self.rotary_embeddings[:seq_len]" valitsee sopivan ennalta laskettujen pyörivien upotusten osajoukon nykyisen syötesekvenssin pituuden perusteella. Koska sekvenssien pituus voi vaihdella erästä toiseen, tämä viipalointitoiminto varmistaa, että vain todellista sekvenssin pituutta vastaavia upotuksia käytetään.

Muuttuja "embeddings" sisältää nyt muodon tensorin "(seq_len, embedding_dim)", jossa "seq_len" on nykyisen erän sekvenssien pituus ja "embedding_dim" on upotusten ulottuvuus. Tämä tensori sisältää pyörivät sijainti upotukset jokaiselle sekvenssin kohdalle `seq_len` asti.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' yhdistää sijaintitaajuuksien sini- ja kosinimuunnokset yhdeksi tensoriksi:

- "tf.cos(freqs)" ja "tf.sin(freqs)" soveltavat kosini- ja sinimuunnoksia vastaavasti "freqs"-tensoriin. Freqs-tensori sisältää taajuusarvot jokaiselle syöttösekvenssin kohdalle ja upotusavaruuden kullekin ulottuvuudelle, jotka on laskettu sekvenssipaikkojen ja upotusmittojen käänteisten taajuuksien perusteella. Sini- ja kosinifunktioita sovelletaan elementtikohtaisesti, jolloin tuloksena on kaksi samanmuotoista tensoria kuin taajuudet. Nämä muunnokset auttavat koodaamaan sijaintia tavalla, joka vangitsee paikkasuhteiden syklisen luonteen, mikä helpottaa mallin kykyä ymmärtää suhteellisia paikkoja.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)' ketjuttaa kosini- ja sinimuunnostensorit viimeistä akselia pitkin (merkitty akselilla=-1). Näiden tensorien ketjuttaminen vierekkäin kaksinkertaistaa taajuuden tensorin ulottuvuuden siten, että ensimmäinen puoli edustaa kosinimuunnettuja arvoja ja toinen puolisko edustaa sinimuunnettuja arvoja jokaiselle sijainnille. Yhdistäminen varmistaa, että jokainen paikkakoodaus sisältää sekä sini- että kosiniinformaatiota, mikä mahdollistaa informaation säilyttämisen sekä paikkasignaalien amplitudista että vaiheesta.

- Yhdistetty tensori "emb" sisältää nyt täydelliset pyörivät upotukset syöttökohtia varten. Emb:n muoto on sama kuin freqs sen kahdessa ensimmäisessä ulottuvuudessa (vastaa sekvenssin paikkoja ja upotusmittoja), mutta sen viimeinen ulottuvuus on kaksi kertaa suurempi, mikä vastaa sekä sini- että kosiniarvoja. Näitä upotuksia käytetään moduloimaan syöttö upotuksia lisäämällä paikkatietoa rotaatiota vastaavalla tavalla.

-`cos_emb = upotukset[:, Ei mitään, :self.dim // 2]`:

1. Ensimmäinen kaksoispiste `:` tarkoittaa "valitse kaikki tämän ulottuvuuden elementit", joka tässä tapauksessa viittaa kaikkiin kohtiin sarjassa.

2. "Ei mitään" käytetään lisäämään ylimääräinen ulottuvuus, mikä tekee tensorista kolmiulotteisen. Tämä tehdään usein yhteensopivuuden varmistamiseksi tiettyjen toimintojen kanssa, jotka odottavat syötteitä tietyllä määrällä ulottuvuuksia. Esimerkiksi suoritettaessa elementtikohtaista kertolaskua toisella tensorilla, joka on kolmiulotteinen, muotojen on kohdistettava yleislähetyssääntöjen mukaisesti.

3. `:self.dim // 2`, valitsee viimeisen akselin mittojen ensimmäisen puoliskon. Koska "embedding_dimension" kaksinkertaistuu sisältämään sekä sini- että kosiniarvot, jakaminen kahdella valitsee tehokkaasti vain upotusten kosinikomponentit.

#### Vaihe 3: Integrointi Keras-malliin

Kun olet määrittänyt RotaryEmbeddingLayerin, voit integroida sen Keras-malliisi. Tämä kerros tulee levittää upotuksiisi ennen niiden syöttämistä huomiokerroksiin tai muihin mallikerroksiin.

Tässä on yksinkertaistettu esimerkki siitä, miten pyörivät upotukset integroidaan malliin:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Enhanced Transformer pyörivällä asennon upotuksella

[Arxiv Link](https://arxiv.org/abs/2403.13799)

20. maaliskuuta 2024

## Käänteinen kirous

Suuret kielimallit (LLM), kuten [GPT-4](https://arxiv.org/abs/2303.08774) ja [Llama-2](https://arxiv.org/abs/2307.09288), ovat osoittaneet vaikuttavia kykyjä ymmärtää ja tuottaa ihmismäistä tekstiä, joka sisältää laajan valikoiman tietoa. He kuitenkin epäonnistuvat näennäisesti yksinkertaisessa tehtävässä: oppimien tosiasioiden kääntämisessä. Tämä rajoitus, jota kutsutaan "käänteiseksi kiroukseksi", tarkoittaa, että LLM:t eivät voi päätellä, että "B on A:n ominaisuus" oppiessaan "A:lla on ominaisuus B", joka on peruspäättelytaito, joka jopa lapsilla on. Tässä artikkelissa esitellään "Reverse Training", joka on uusi menetelmä tämän haasteen ratkaisemiseksi hyödyntämällä kaksisuuntaista koulutusta, joka parantaa mallin tosiasioiden ymmärtämistä sekä eteenpäin että käänteisessä muodossa.

## Käänteisen kirouksen alkuperä

Ongelma johtuu LLM:iden perustavanlaatuisesta koulutuslähestymistavasta, joka sisältää tyypillisesti **autoregressiivisen, vasemmalta oikealle suuntautuvan oppimisen**. Tämä menetelmä ei luonnostaan ​​opeta malleja ymmärtämään tai luomaan tietoa käänteisessä järjestyksessä. Zipfin lain mukaisen tiedonjakelun luonteen vuoksi monet tosiasiat mainitaan vain yhteen suuntaan, mikä pahentaa tätä ongelmaa. "Käänteinen kirous" rajoittaa LLM:ien ymmärrystä vastavuoroisista suhteista ja lausuntojen vastaavuudesta, mikä merkitsee merkittävää puutetta heidän päättelykyvyssään.

## Käänteisen kirouksen voittaminen käänteisellä harjoituksella

Ehdotettu ratkaisu, Reverse Training, kaksinkertaistaa käytettävissä olevat harjoitustiedot sisällyttämällä harjoitusmerkkijonoihin sekä alkuperäiset että käänteiset versiot. Käänteisessä prosessissa on varottava muuttamasta tiettyjä osamerkkijonoja, kuten entiteetin nimiä, säilyttäen alkuperäisen järjestyksensä kontekstin säilyttämiseksi. Tämä menetelmä, joka muistuttaa toisen kielen käyttöönottoa LLM:n oppimiseen, parantaa merkittävästi mallin kykyä käsitellä ja tuottaa tietoa molempiin suuntiin.

## Käänteisen harjoitusmenetelmän testaus

Kirjoittajat suorittivat seuraavat kokeet testatakseen ehdotettua menetelmää:

**1- Symbolic Reverse Task:** Hallitun ympäristön testi, joka osoittaa menetelmän kyvyn päätellä ja soveltaa käänteisiä suhteita.

**2- Käänteinen elämäkertatehtävä:** Elämäkertatietojoukon käyttäminen henkilöiden nimien luomisen arvioimiseksi annetuista tiedoista käänteisesti.

**3- Reaalimaailman tiedon kääntäminen:** Arvioidaan menetelmän tehokkuutta todellisissa skenaarioissa, mukaan lukien julkkiksia ja heidän suhteitaan koskevien tosiasioiden kääntäminen.

**4- Fiktiivisten faktojen hienosäätö:** Mallin oppimiskyvyn testaus äskettäin esiteltyjen, käänteisten kuvitteellisten tosiasioiden perusteella.

Näissä kokeissa Reverse Training ei ainoastaan ​​lieventänyt käänteistä kirousta, vaan joissakin tapauksissa eliminoi sen kokonaan. Menetelmä osoittautui erityisen tehokkaaksi, kun entiteettien nimet säilytettiin alkuperäisessä järjestyksessä käänteisprosessin aikana, mikä korosti tiettyjen kontekstuaalisten ankkurien säilyttämisen tärkeyttä.

## Vaikutukset ja tulevaisuuden ohjeet

Reverse Trainingin menestys käänteisen kirouksen torjumisessa avaa uusia väyliä LLM-koulutusmenetelmille. Tämä lähestymistapa parantaa mallien ymmärrystä vastavuoroisista suhteista ja väitteiden vastaavuudesta avaa oven kehittyneempiä päättelykykyjä. Tulevassa tutkimuksessa voidaan tutkia kääntöprosessin optimointia edelleen, mahdollisuuksia integroida käänteinen koulutus muihin kielimalliarkkitehtuureihin ja tämän menetelmän laajempia sovelluksia luonnollisen kielen ymmärtämiseen ja generointitehtäviin.

---

*Ryhdy koodauksen ammattilaiseksi omaan tahtiisi! Liity Code Labs Academy:n [Online Part-Time Bootcampiin](/) ja kehitä koodaustaitoja. Sovita oppiminen aikataulusi mukaan ja aloita matkasi tekniikkaan jo tänään!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Käänteinen koulutus käänteisen kirouksen hoitamiseksi

[Arxiv Link](https://arxiv.org/abs/2403.12015)

18. maaliskuuta 2024

"Fast High-Resolution Image Synthesis with laten Adversarial Diffusion Distillation" esittelee uudenlaisen tislausmenetelmän, joka tunnetaan nimellä Latent Adversarial Diffusion Distillation (LADD). Tämä lähestymistapa on suunniteltu käsittelemään olemassa olevien [diffuusiomallien](https://en.wikipedia.org/wiki/Diffusion_model) rajoituksia, erityisesti hitaan päättelynopeuden haastetta, joka haittaa reaaliaikaisia ​​sovelluksia. LADD mahdollistaa korkearesoluutioisen, monimuotoisen kuvasynteesin tislaamalla tehokkaasti suuria [latentteja diffuusiomalleja](https://arxiv.org/abs/2112.10752) (LDM), mikä yksinkertaistaa huomattavasti koulutusprosessia ja parantaa suorituskykyä aiempiin menetelmiin verrattuna. .

Teemme yhteenvedon tämän artikkelin tärkeimmistä poiminnoista.

## Johdanto

Diffuusiomallit ovat nousseet tehokkaaksi työkaluksi kuvien ja videoiden synteesiin ja editointiin, ja ne tarjoavat korkealaatuisia tuloksia. Niiden iteratiivisuus, joka vaatii lukuisia verkkoarviointeja kohinan muuntamiseksi koherenteiksi kuviksi, on kuitenkin rajoittanut niiden käytännöllisyyttä reaaliaikaisissa sovelluksissa. Diffuusiomallien nopeuttamiseksi on ehdotettu erilaisia ​​strategioita. LADD esittelee uuden strategian, joka hyödyntää valmiiksi koulutettujen LDM-laitteiden generatiivisia ominaisuuksia, mikä mahdollistaa tehokkaan korkean resoluution kuvasynteesin murto-osassa perinteisten menetelmien vaatimista vaiheista.

## Tausta

Artikkeli aluksi tarjoaa yleiskatsauksen diffuusiomalleista ja niiden [tislauksesta](https://en.wikipedia.org/wiki/Knowledge_distillation). Perinteiset diffuusiomallit toimivat vaimentamalla kuvan asteittain monien iteratiivisten vaiheiden kautta, mikä tekee prosessista hitaan ja laskennallisesti kalliin. Tislausmenetelmillä, mukaan lukien [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), on pyritty virtaviivaistamaan tätä prosessia vähentämällä tarvittavien vaiheiden määrää. ADD:llä on kuitenkin rajoituksia, kuten kiinteä opetusresoluutio ja tarve dekoodata RGB-avaruuteen latenttien diffuusiomallien tislaamiseksi, mikä voi rajoittaa korkean resoluution harjoittelua.

## Metodologia

LADD ratkaisee nämä ongelmat **tislaamalla suoraan piilevään tilaan**, jolloin **vältyy tarve purkaa pikselitilaan** ja mahdollistaa harjoittelun korkeammilla resoluutioilla. Toisin kuin ADD, joka luottaa pikseliavaruudessa toimivaan esikoulutettuun erottimeen, LADD hyödyntää uutta lähestymistapaa, jossa erottaja ja opettajamalli ovat yhtenäisiä ja toimivat suoraan latenteissa. Tämä menetelmä ei ainoastaan ​​yksinkertaista koulutusprosessia, vaan tarjoaa myös useita etuja, mukaan lukien tehokkuuden, kyvyn antaa melutasokohtaista palautetta ja kykyä harjoitella MAR (Multi-Aspect Ratio).

## Kokeilut ja tulokset

Paperi arvioi LADD:tä laajasti erilaisten kokeiden avulla, mikä osoittaa sen erinomaisen suorituskyvyn korkearesoluutioisten kuvien syntetisoinnissa vain muutamalla askeleella. Erityisesti [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) -sovelluksessa LADD johtaa malliin, jonka nimi on SD3-Turbo, joka saavuttaa verrattavissa olevan kuvanlaadun. huippuluokan tekstistä kuvaksi generaattorit vain neljässä vaiheessa. Kokeiluissa tutkitaan myös opettajien erilaisten melujakaumien vaikutusta, synteettisen datan käyttöä, piileviä tislausmenetelmiä ja LADD:n skaalauskäyttäytymistä.

## Vertailu uusimpaan tekniikkaan

LADD:n tehokkuutta korostaa edelleen vertailu nykyisiin johtaviin teksti-kuva- ja kuva-kuva-synteesin menetelmiin. SD3-Turbo ei vain vastaa opettajamallinsa (SD3) suorituskykyä kuvanlaadun suhteen, vaan se myös osoittaa merkittäviä parannuksia muihin lähtötasoihin verrattuna päättelyn nopeuden ja kuvan ja tekstin kohdistuksen suhteen.

## Rajoitukset ja tulevaisuuden ohjeet

Edistymistään huolimatta LADD ei ole rajoitukseton. Kirjoittajat panevat merkille kompromissin mallin kapasiteetin, nopean kohdistuksen ja päättelynopeuden välillä, mikä saattaa vaikuttaa mallin kykyyn käsitellä tiettyjä tekstistä kuvaksi -synteesihaasteita. Tulevaisuuden tutkimussuunnat sisältävät tämän kompromissin syventämisen ja strategioiden kehittämisen kuvan ja tekstin ohjauksen vahvuuksien hallinnan parantamiseksi.

## Johtopäätös

"Nopea korkearesoluutioinen kuvasynteesi piilevällä kontradiffuusiotislauksella" esittelee uuden lähestymistavan kuva-/videosynteesiin, joka nopeuttaa merkittävästi korkealaatuisten kuvien luomista tekstikehotteista. Tislaamalla suuria diffuusiomalleja piilevään tilaan, LADD tasoittaa tietä reaaliaikaisille sovelluksille ja asettaa uuden standardin tehokkuudelle ja suorituskyvylle kuvasynteesissä.

---

*Code Labs Academy: [Online Coding Bootcamp](/) joustavilla maksusuunnitelmilla*

Paperit selitetty

Miksi toimistoon paluu pandemian jälkeen voi heikentää tuottavuutta: Liiketoiminnan asiantuntijan näkemyksiä