Partikular sa malalaking kumpanya, nagkaroon ng kapansin-pansing pagbabalik sa pag-aatas sa mga manggagawa na magtrabaho mula sa opisina kasunod ng pandemya ng COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), isang associate professor ng business administration sa Joseph M. Katz Graduate School of Business sa University of Pittsburgh, at Yuye Ding, isang Mag-aaral ng PhD, [naimbestigahan ang pattern na ito](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Tiningnan nila ang mga sosyolohikal at pang-ekonomiyang epekto ng pagtatrabaho sa malayo gayundin ang kamakailang inisyatiba ng mga negosyo upang maibalik ang mga manggagawa sa opisina, na kadalasang nakakairita sa mga manggagawa.

Nakipagtalo si Ma sa isang [panayam kay Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) na, sa isang nagiging digital na kapaligiran sa trabaho, ang paggawa ng mga manggagawa na bumalik sa opisina ay nagsisilbi lamang na inis sa kanila at hindi gaanong nagagawa upang mapataas ang produktibo. Aminado siya, gayunpaman, na kapag ginawa nang kusang-loob at may suporta sa koponan, ang personal na gawain ay maaaring maging kapaki-pakinabang at magsulong ng pinahusay na koordinasyon at pagtutulungan ng magkakasama.

Iminumungkahi ni Ma na ang mga indibidwal na may mataas na pagganap na napatunayan ang kanilang pagiging epektibo kapag nagtatrabaho mula sa bahay ay dapat pahintulutan na magpatuloy sa paggawa nito, sa halip na ang lahat ay nasa opisina. Sa palagay niya, sa pamamagitan ng pagpapanatili ng mga mahuhusay na indibidwal na maaaring maghanap ng trabaho sa ibang lugar, ang diskarteng ito ay sa huli ay makikinabang sa parehong mga employer at empleyado. Iminumungkahi din ni Ma ang mga regular na in-person na pagsasanay sa pagbuo ng koponan upang mapanatiling matatag ang kultura ng kumpanya, na mahalaga para sa mahusay na pagbuo ng ideya at paglutas ng problema.

Ang rurok ng tendensiyang ito ay lumilitaw na lumipas na, kahit na maraming negosyo ang nangangailangan ng mga empleyado na bumalik sa opisina kasunod ng pandemya. Ayon sa mga survey na ginawa noong 2024, ang karamihan sa mga CEO ay hindi na nagbibigay ng mataas na halaga sa pagiging nasa opisina. Nalaman ng mga negosyo na maaaring maging produktibo ang mga manggagawa kapag nagtatrabaho nang malayuan sa panahon ng pandemya. Ngunit ang ibang mga tagapamahala ay may pag-aalinlangan pa rin tungkol sa pagtatrabaho nang malayuan, kaya naman nagsusulong sila na bumalik sa opisina. Ang moral ng empleyado ay maaaring magdusa bilang resulta ng kawalan ng tiwala na ito dahil ipinapahiwatig nito sa mga miyembro ng kawani na ang kanilang mga tagapamahala ay hindi naniniwala sa kanila.

Sa kabila ng katotohanan na ang telecommuting ay maaaring magpababa ng overhead at mga kinakailangan sa espasyo, ang mga malalaking negosyo ay sabik na bumalik ang kanilang mga manggagawa, na nagpapataas ng posibilidad na ang kontrol at kapangyarihan ay higit na nakikipaglaro dito kaysa sa presyo. Tinukoy ni Ma na maraming negosyo ang nagpatupad ng mga patakaran sa pagbabalik-sa-opisina bilang tugon sa mga pagbaba ng presyo ng stock, na maginhawang ginagamit ang malayong trabaho bilang isang madaling gamitin na scapegoat para sa mahinang pagganap.

Sa kabila ng katotohanang mataas pa rin ang pangangailangan para sa malayong trabaho—maraming espasyo ng opisina sa mga pangunahing lungsod tulad ng New York, San Francisco, at Germany ang bakante—patuloy na pinaniniwalaan ng mga tagapamahala na ang pagkakaroon ng mga manggagawa nang personal ay magpapahusay sa kooperasyon at kultura ng negosyo. Ngunit sa halip na magtrabaho kasama ang mga katrabaho, maraming manggagawa na bumalik sa opisina ang nagsasabing ginugugol nila ang karamihan sa kanilang oras sa pagtatrabaho nang mag-isa sa kanilang mga computer. Ang pagiging hindi epektibo ng naturang mga utos ay tinatawag sa pagdududa sa pamamagitan ng kawalan ng isang nakikitang pagkakaiba sa pagitan ng opisina at malayong trabaho, pati na rin ang pagkabigo na nararanasan ng mga empleyado kapag napilitang bumalik.

Nakasanayan na ng mga manggagawa ang tumaas na produktibidad at mga benepisyo ng balanse sa trabaho-buhay na kasama ng pagtatrabaho nang malayuan, gaya ng kakayahang mas mahusay na pagsamahin ang trabaho at buhay pampamilya at maiwasan ang mahabang pag-commute. Ang kawalang-kasiyahan ay nagreresulta mula sa mga kasunduang ito na naabala ng isang ipinapatupad na pagbabalik sa opisina. Bukod pa rito, mayroong isang pang-unawa na ang nawawalang trabaho ay maaaring makahadlang sa paglago ng propesyonal.

Sa huli, iniisip ni Ma na kung ang mga manggagawa ay mapipilitang bumalik sa lugar ng trabaho nang permanente, marami sa kanila ang magsisimulang maghanap ng iba pang mga propesyon, at ang mga mananatili ay maaaring maging hindi gaanong motibasyon. Ang mga opisina sa bahay ay karaniwan pa rin dahil nagbibigay sila ng mas magandang balanse sa buhay-trabaho at mas mababang rate ng pagka-burnout, sa kabila ng kanilang mga kakulangan. Walang nakikitang pagkakaiba sa pagiging produktibo sa pagitan ng pagtatrabaho nang malayuan at sa isang opisina, at ang pagtatrabaho mula sa bahay ay maaaring kasing-alienate gaya ng mga abala sa mga open-plan na opisina kung saan ang mga empleyado ay madalas na nagsusuot ng mga headphone upang tumutok. Pinapayuhan ni Ma na piliin ng mga team kung ilang araw ang gusto nilang magtrabaho sa opisina at hayaang flexible ang natitirang oras upang mapili ng mga empleyado ang kanilang gustong kapaligiran sa trabaho, kahit na ang mga pakikipag-ugnayan ng tao ay maaaring maging kapaki-pakinabang sa mga kumpanya.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Bakit Ang Pagbabalik sa Opisina Pagkatapos ng Pandemic ay Maaaring Makapinsala sa Produktibidad: Mga Insight mula sa isang Dalubhasa sa Negosyo

Ipinakilala kamakailan ng [Google AI](https://ai.google/) ang isang bagong feature na tinatawag na 'Proofread' sa Gboard, ang sikat na mobile keyboard application. Sa isang pag-tap, nagbibigay-daan ang feature na ito para sa mga walang putol na pagbabago at pagwawasto sa mga antas ng pangungusap at talata, na nagpapahusay sa pangkalahatang karanasan sa pagta-type.

## Pagharap sa Problema sa 'Fat Finger'

Gumagamit ang [Gboard](https://support.google.com/gboard/?hl=fil) ng istatistikal na pag-decode bilang isang paraan ng pagtugon sa isyu ng "fat finger", na kung saan ay ang natural na hindi kawastuhan ng touch input sa maliliit na screen. Ipinapakita ng pananaliksik na ang rate ng error sa bawat titik ay maaaring umabot sa 8 hanggang 9 na porsyento nang walang pag-decode. Ang Gboard ay may kasamang ilang feature sa pagwawasto ng error para gawing mas madali at mas maayos ang pag-type. Pinagsasama ng mga feature na ito ang mga manu-manong gawain na kinasasangkutan ng pag-input ng tao sa mga maagap at awtomatikong pagwawasto.

## Comprehensive Error Correction Tools

Ang pag-type ay pinagsama-samang pinadali ng mga feature ng Gboard, na kinabibilangan ng pagkumpleto ng salita, mga hula sa susunod na salita, aktibong auto-correction (AC), at aktibong pagwawasto ng key (KC). Kasama sa mga tool na ito ang matalinong komposisyon, pagwawasto ng error, at maraming salita na kandidato sa suggestion bar o inline. Ang post-correction (PC) ay nagpapadali din sa pagwawasto ng mga pagkakamali sa mga salita na nagawa na. Sa kabila ng mga feature na ito, dalawang pangunahing paghihigpit ang nakakapinsala sa karanasan ng user.

1. Bagama't mabilis at compact ang mga modelo ng pagwawasto sa device gaya ng KC, AC, at PC, nahihirapan silang humawak ng mga sopistikado at kumplikadong error na nangangailangan ng mas mahabang konteksto. Upang maiwasang ma-activate ang mga modelong ito, dapat na mabagal at tumpak ang pag-type ng mga user.

2. Bumababa ang bilis ng pag-type bilang resulta ng mga user na kailangang manu-manong iwasto ang mga nakatuong salita gamit ang grammar at spell checker, na maaaring nakakapagod sa pag-iisip at sa paningin.

## Ang Pangangailangan para sa High-Level Error Correction

Ang mga mabibilis na typer ay madalas na binabalewala ang mga salitang na-type na nila at nakatutok lamang sa keyboard. Ang mas mataas na mga rate ng error ay maaaring lumabas mula dito, na nangangailangan ng paggamit ng pangungusap o mas mataas na antas ng mga mekanismo ng pagwawasto.

## Ipinapakilala ang Proofread

Niresolba ng Proofread ang mga madalas na reklamong ito sa pamamagitan ng pag-aalok ng mga kapansin-pansing pagtaas ng produktibidad. Ginagawa nitong mas simple ang pagwawasto ng error sa pamamagitan ng pagbibigay ng one-tap na mga pagwawasto sa antas ng pangungusap at talata.

## Ang Teknolohiya sa Likod ng Proofread

Ang feature na Proofread ay binubuo ng apat na pangunahing bahagi: produksyon ng data, disenyo ng sukatan, pagsasaayos ng modelo, at paghahatid ng modelo. Magkasama, ginagarantiyahan ng lahat ng mga sangkap na ito ang pagiging epektibo. Upang matiyak na ang pamamahagi ng data ay naaayon sa domain ng Gboard, ginagaya ng system ang madalas na mga error sa keyboard gamit ang isang tumpak at pamamaraan na binuo ng synthetic architecture ng error.

## Mga Advanced na Sukatan at Pag-optimize ng Modelo

Upang masuri ang modelo, nagsama ang mga mananaliksik ng ilang sukatan, na may partikular na diin sa mga pagsusuri sa presensya ng error sa gramatika at mga katulad na pagsusuri sa kahulugan na nagmula sa mga malalaking modelo ng wika (LLM). Ang pinangangasiwaang fine-tuning at Reinforcement Learning (RL) tuning ay ginagamit sa InstructGPT technique upang mapabuti ang modelo. Ang pagganap ng pag-proofread ng modelo ay lubos na napabuti ng pamamaraang ito.

## Deployment at Performance

Gamit ang 8-bit na quantization, ang medium-sized na LLM PaLM2-XS ay iniakma upang magkasya sa loob ng isang TPU v5 at nagsisilbing pundasyon para sa feature na Proofread. Ang pag-optimize ay nagpapababa sa halaga ng paghahatid. Ipinakita ng naunang pananaliksik na ang segmentation, speculative decoding, at bucket key ay maaaring mabawasan ang latency.

## Real-World Epekto

Sampu-sampung libong mga user ng Pixel 8 ang makikinabang mula sa mataas na kalidad na mga pag-edit na ibinigay ng feature na Proofread, na available na ngayon. Ang isang masusing henerasyon ng sintetikong data at ilang mga pag-ulit ng fine-tuning ay nakagawa ng isang modelo na lubos na nagpapababa ng mga grammatical error, gaya ng nakikita ng 5.74 porsiyentong kamag-anak na pagbaba sa Bad ratio ng PaLM2-XS na modelo. Bukod pa rito, nagresulta ang mga pag-optimize sa 39.4% na pagbaba sa median latency.

## Mga Prospect sa Hinaharap

[Ang pag-aaral na ito](https://arxiv.org/abs/2406.04523) ay nagpapakita kung paano maaaring mapahusay ng mga LLM ang karanasan ng user at lumikha ng mga nakakaintriga na posibilidad para sa karagdagang pagsisiyasat. Ang paggamit ng data ng totoong user, suporta sa maraming wika, tulong sa pagsusulat, at mga solusyon sa privacy ng device ay ilang halimbawa ng mga lugar na maaaring humantong sa karagdagang pag-unlad sa sektor.

Pinapalawak ng Google AI ang mga posibilidad ng teknolohiya ng mobile na keyboard sa pagpapakilala ng feature na Proofread, na nagpapahusay sa pag-type para sa mga tao sa buong mundo.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Inilabas ng Google AI ang 'Proofread': Gboard na Feature para sa Walang Kahirapang Pangungusap at Pagwawasto ng Talata

Ang Modern Deep Neural Networks (DNNs) ay intrinsically opaque, na ginagawang mahirap na maunawaan ang kanilang mga proseso sa paggawa ng desisyon. Ang kakulangan ng transparency na ito ay nakakasagabal sa malawakang pagpapatupad ng mga diskarte sa Machine Learning sa iba't ibang domain. Bilang tugon, lumabas ang Explainable AI (XAI) na naglalayong pahusayin ang pag-unawa ng tao sa mga paghatol ng DNN. Sa pamamagitan ng pagtingin sa functional na layunin ng bawat bahagi, nakatuon na rin ang XAI sa pag-unawa sa pandaigdigang pag-uugali ng mga DNN, kabaligtaran sa mga lokal na pamamaraan ng pagpapaliwanag na gumagamit ng mga mapa ng saliency upang ipaliwanag ang mga indibidwal na hula.

Ang mekanikal na interpretability ay isang pandaigdigang diskarte sa pagpapaliwanag na nakatuon sa pagtukoy sa mga partikular na ideya na ang mga neuron, ang pangunahing mga yunit ng computing ng isang neural network, ay nakakuha ng kakayahang maunawaan. Maaari naming ipaliwanag ang pagpapatakbo ng mga nakatagong representasyon ng network sa pamamagitan ng paglalagay ng label sa mga neuron na may mga paglalarawang naiintindihan ng mga tao. Ang mga paglalarawang ito ay umunlad mula sa mga simpleng etiketa tungo sa mga detalyadong paliwanag, komposisyon, at bukas na bokabularyo. Gayunpaman, ang kakulangan ng standardized quantitative metrics para sa pagtatasa sa mga open-vocabulary description na ito ay humadlang sa masusing paghahambing sa iba't ibang mga diskarte.

Upang matugunan ang puwang na ito, ipinakilala ng mga mananaliksik mula sa ATB Potsdam, University of Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute, at BIFOLD ang [CoSy](https://arxiv.org/abs/2405.20331), isang pangunguna sa quantitative evaluation framework para sa pagtatasa sa paggamit ng mga open-vocabulary na paliwanag sa mga modelo ng computer vision (CV). Gumagamit ang makabagong pamamaraang ito ng mga pagpapaunlad sa Generative AI upang makagawa ng mga artipisyal na larawan na nauugnay sa mga paglalarawang tekstuwal na nakabatay sa konsepto. inalis ng cozy ang pangangailangan para sa pakikipag-ugnayan ng tao sa pamamagitan ng pagpapadali sa mga quantitative na paghahambing ng iba't ibang mga diskarte sa pagpapaliwanag sa teksto na nakabatay sa konsepto sa pamamagitan ng pag-synthesize ng mga punto ng data na karaniwan para sa mga partikular na target na paliwanag.

Ipinakita ng pangkat ng pananaliksik sa pamamagitan ng isang malawak na meta-analysis na nag-aalok ng maginhawang mga mapagkakatiwalaang pagsusuri ng mga paliwanag. Natuklasan ng pag-aaral na ang mga pamamaraan ng pagpapaliwanag sa text na nakabatay sa konsepto ay pinakamahusay na gumagana sa itaas na mga layer ng mga neural network, kung saan natutunan ang mga konseptong may mataas na antas. Ang mga de-kalidad na paliwanag ng neuron ay ginawa ng mga pamamaraan tulad ng INVERT, na lumilikha ng mga visual mula sa mga representasyon ng neural network, at CLIP-Dissect, na sumusuri sa mga panloob na representasyon ng network. Sa kabaligtaran, ang mga diskarte tulad ng MILAN at FALCON ay gumagawa ng mga paliwanag ng mababang kalidad, paminsan-minsan ay nagbibigay ng halos random na mga konsepto, na maaaring magresulta sa hindi tumpak na mga konklusyon sa network.

Ang isang pangunahing disbentaha ng CoSy, gaya ng kinikilala ng mga mananaliksik, ay ang mga partikular na kategorya mula sa data ng pagsasanay ay maaaring hindi naisama sa generative na modelo, na humahantong sa mga paliwanag na masyadong pangkalahatan o hindi maliwanag, tulad ng "mga puting bagay." Maaaring tumaas ang generative accuracy sa pamamagitan ng pagtugon sa problemang ito sa pamamagitan ng pagsusuri sa mga dataset bago ang pagsasanay at performance ng modelo. Gayunpaman, ang maaliwalas ay nagpapakita ng maraming potensyal sa patuloy na umuunlad na larangan ng pagtatasa ng mga hindi lokal na diskarte sa pagpapaliwanag.

Sa hinaharap, umaasa ang koponan tungkol sa mga potensyal na aplikasyon ng CoSy sa maraming larangan. Upang masuri ang katumpakan o kalidad ng isang paliwanag hinggil sa resulta ng isang downstream na gawain, ang paghuhusga ng tao ay dapat isama sa kahulugan ng kalidad ng paliwanag, na nais nilang tugunan sa hinaharap na gawain. Bukod pa rito, gusto nilang isama ang mga karagdagang field tulad ng pagproseso ng natural na wika at pangangalaga sa kalusugan sa kanilang sistema ng pagsusuri. Ang potensyal na paggamit ng cozy para sa pagtatasa ng malaki, opaque, autointerpretable language models (LLMs) ay lalong kapana-panabik. Ayon sa mga mananaliksik, ang paglalapat ng komportable sa mga dataset ng pangangalaga sa kalusugan, kung saan mahalaga ang kalidad ng paliwanag, ay maaaring maging isang malaking hakbang pasulong. Ang mga potensyal na aplikasyon ng cozy sa hinaharap ay may napakalaking potensyal na isulong ang pananaliksik sa AI.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Pag-unawa sa Mga Neural Network: Ang Quantitative Framework ng CoSy para sa Pagsusuri ng Tekstuwal na Paliwanag

[Mga modelong nakabatay sa transformer](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) ay sikat sa kanilang kakayahang mag-parse at mag-interpret ng kumplikadong teksto. Umaasa sila sa pag-unawa sa pagkakasunud-sunod at konteksto ng mga salita - mga gawain kung saan ipinakita ng tradisyonal na positional encoding na mga pamamaraan ang kanilang mga limitasyon. Sa pagtugon sa gap na ito, ang modelong ROFORMER, na pinapagana ng **Rotary Position Embedding (RoPE)**, ay muling tumutukoy sa aming diskarte sa positional encoding.

## Tradisyunal na Positional Encoding

Itinuturing ng mga transformer ang text bilang isang serye ng mga token, at pinapayagan ang **parallel processing ng mga sequence** para sa higit na kahusayan. Gayunpaman, dinala ng lakas na ito ang hamon nito: **ang likas na agnostisismo ng modelo sa pagkakasunud-sunod ng token**. **Positional encoding** ang sagot, **nagbibigay sa bawat token ng natatanging pirma na nagsasaad ng sequence position nito**.

### Mga Pag-embed ng Ganap na Posisyon

Sa una, ang mga modelong tulad ng BERT ay gumamit ng **mga pag-embed ng ganap na posisyon, na nagtatalaga ng isang nakapirming vector sa bawat posisyon sa isang pagkakasunud-sunod**. Ang pamamaraang ito, bagama't diretso, ay likas na **walang kakayahang umangkop sa mga pagkakaiba-iba ng haba ng pagkakasunud-sunod, o upang bigyang-diin ang mga kaugnay na distansya sa pagitan ng mga token**, na kritikal para sa pag-unawa sa maraming linguistic na konstruksyon.

### Mga Pag-embed ng Kamag-anak na Posisyon

Upang makuha ang dynamic na kalikasan ng wika, ipinakilala ang mga relatibong pag-embed ng posisyon, na tumutuon sa distansya sa pagitan ng mga token kaysa sa kanilang mga ganap na posisyon. Sa kabila ng kanilang konseptong kalamangan, ang mga pag-embed na ito ay nagpakilala ng **computational complexity, at nabigong maayos na maisama sa mekanismo ng self-attention ng Transformers**, na nililimitahan ang kanilang bisa.

## ROFORMER at Rotary Position Embedding

Kinikilala ang mga limitasyon ng umiiral na mga diskarte sa positional encoding, ipinakilala ng ROFORMER ang Rotary Position Embedding (RoPE), isang diskarte na pinagsasama ang mga benepisyo ng absolute at relative position information nang walang kani-kanilang mga disbentaha.

### Rotary Position Embedding

Ang RoPE ay nag-e-encode ng positional na impormasyon gamit ang **rotation matrice**, na nagbibigay-daan sa modelo na maunawaan hindi lamang kung nasaan ang isang token, ngunit kung paano ito nauugnay sa bawat iba pang token sa isang sequence.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Gumagana ito sa pamamagitan ng isang geometric na lens, tinatrato ang mga posisyon ng token bilang mga punto sa isang multi-dimensional na espasyo na iniikot upang markahan ang kanilang mga magkakasunod na relasyon. Ang pag-ikot na ito ay nagbibigay-daan sa modelo na mapanatili at mapagsamantalahan ang parehong absolute at relatibong positional na mga pahiwatig sa loob ng mekanismo ng sarili nitong atensyon.

### Pagpapatupad ng RoPE

Ang pagpapatupad ng RoPE ay nagsasangkot ng pag-encode ng bawat posisyon ng token sa isang rotation matrix, at paglalapat ng matrix na ito sa loob ng self-attention mechanism ng Transformer. Ang prosesong ito ay nagbibigay-daan para sa isang flexible, dynamic na interpretasyon ng positional na impormasyon, pagtanggap ng iba't ibang haba ng sequence at pagkuha ng esensya ng mga token interrelationship na walang makabuluhang computational overhead.

Una, kakailanganin mo ng isang function upang makabuo ng mga rotary embeddings, at pagkatapos ay isasama mo ang mga embedding na ito sa iyong modelo. Ipinapalagay ng halimbawa sa ibaba na pamilyar ka sa paggawa ng mga custom na layer sa Keras.

#### Hakbang 1: Tukuyin ang Rotary Embedding Function

Binubuo ng function na ito ang mga rotary embeddings na binibigyan ng maximum na haba ng pagkakasunud-sunod, at ang dimensionality ng mga embeddings.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Kinakalkula ng linyang ito ang kabaligtaran ng exponentially scaled frequency batay sa mga indeks ng posisyon. Ang mga frequency na ito ay ginagamit sa pagbuo ng mga sinusoidal pattern para sa mga rotary embeddings, na tumutulong sa pag-encode ng relatibong positional na impormasyon sa mga sequence. Ang mekanismong ito ay partikular na kapaki-pakinabang sa mga gawain kung saan ang pag-unawa sa pagkakasunud-sunod at relatibong pagpoposisyon ng mga elemento ay mahalaga, tulad ng sa natural na pagpoproseso ng wika o pagsusuri ng time series.

Sa mga detalye:

- Ang `tf.range(0, dim, 2, dtype=tf.float32)` ay lumilikha ng hanay ng mga value na nagsisimula mula 0 hanggang `dim` (eksklusibo), humahakbang ng 2. Tinutukoy ng argumento ng `dtype=tf.float32` na ang mga elemento ng tensor na ito ay 32-bit na mga floating-point na numero. Kung ang `dim` ay 8, halimbawa, ito ay magbubunga ng `[0, 2, 4, 6]`.

- Ang tensor na ginawa ng `tf.range` ay hinati sa dimensionality (`dim`) ng mga embed. Pinababa ng operasyong ito ang mga indeks na ito sa isang hanay sa pagitan ng 0 at 1 (eksklusibo kung ang `dim` ay pantay, bahagyang kasama kung ang `dilim` ay kakaiba, dahil nilalaktawan ng hakbang ng hanay ang bawat iba pang value). Ang pagpapatuloy ng halimbawa na may `dilam` = 8, hinahati sa 8 ay `[0.0, 0.25, 0.5, 0.75]`.

- Ang `10000 ** (...)` na operasyon ay nagtataas ng 10,000 sa kapangyarihan ng bawat elemento sa dating naka-scale na tensor. Ang base ng 10,000 ay medyo arbitrary, ngunit pinili upang matiyak na ang mga frequency ay nag-iiba-iba sa isang malawak na hanay, na tumutulong sa modelo na makilala ang iba't ibang mga posisyon nang mas epektibo. Para sa `[0.0, 0.25, 0.5, 0.75]`, ilalapat nito ang power operation sa bawat isa, na magreresulta sa mga value na mas malaki para sa mas matataas na elemento.

- Panghuli, ang inverse frequency ay nakuha sa pamamagitan ng pagkuha ng reciprocal (1/x) ng mga value mula sa nakaraang hakbang. Ang mga inverse frequency ay mas maliit para sa mas matataas na mga indeks, ibig sabihin, ang mga elemento pa sa sequence ay magkakaroon ng mas maliliit na frequency, na makakaapekto sa kung paano naka-encode ang kanilang mga posisyon sa modelo. Nagbibigay-daan ito sa mga pag-embed na mag-scale sa paraang kung saan maaaring mahinuha ang mga kamag-anak na posisyon sa pamamagitan ng mga mekanismo ng atensyon ng modelo.

Ang linya:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

gumagamit ng `tf.einsum` function ng TensorFlow, isang tool na nagbibigay-daan para sa maikli at mahusay na pagpapahayag ng mga operasyon ng tensor gamit ang Einstein summation notation.

Ang operasyong ito ay epektibong kinakalkula ang panlabas na produkto ng `t` at `inv_freq` na mga vector, na nagreresulta sa isang matrix kung saan ang bawat elemento `(i, j)` ay produkto ng `i`-th elemento ng `t` at ang ` j`-ika elemento ng `inv_freq`. Ang matrix na ito (`freqs`) ay kumakatawan sa mga frequency na ginagamit upang bumuo ng mga sinusoidal na pattern para sa mga rotary embeddings.

#### Hakbang 2: Custom Keras Layer para sa Rotary Embeddings

Ngayon, gumawa tayo ng custom na Keras layer na naglalapat ng mga rotary embeddings sa input tensor. Ipinapalagay ng layer na ito na ang input tensor ay may hugis `(batch_size, sequence_length, embedding_dim)`.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Pinipili ng linyang `embeddings = self.rotary_embeddings[:seq_len]` ang naaangkop na subset ng paunang na-compute na rotary embeddings batay sa kasalukuyang haba ng sequence ng input. Dahil ang haba ng mga pagkakasunud-sunod ay maaaring mag-iba mula sa isang batch patungo sa isa pa, tinitiyak ng slicing operation na ito na ang mga embeddings na tumutugma sa aktwal na haba ng sequence ang ginagamit.

Ang variable na `embeddings` ay mayroon na ngayong tensor ng hugis `(seq_len, embedding_dim)`, kung saan ang `seq_len` ay ang haba ng mga sequence sa kasalukuyang batch, at ang `embedding_dim` ay ang dimensionality ng mga embedding. Ang tensor na ito ay naglalaman ng mga rotary positional embeddings para sa bawat posisyon sa sequence hanggang sa `seq_len`.

Pinagsasama ng `emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` ang mga pagbabago sa sine at cosine ng mga positional na frequency sa isang tensor:

-`tf.cos(freqs)` at `tf.sin(freqs)` ilapat ang cosine at sine transformations, ayon sa pagkakabanggit, sa `freqs` tensor. Ang `freqs` tensor ay naglalaman ng mga frequency value para sa bawat posisyon sa input sequence at bawat dimensyon ng embedding space, na kinakalkula batay sa mga sequence positions at ang inverse frequency ng mga dimensyon ng pag-embed. Ang mga function ng sine at cosine ay inilalapat sa element-wise, na nagreresulta sa dalawang tensor ng parehong hugis bilang `freqs`. Nakakatulong ang mga pagbabagong ito sa pag-encode ng posisyon sa paraang kumukuha ng paikot na katangian ng mga positional na relasyon, na nagpapadali sa kakayahan ng modelo na maunawaan ang mga kaugnay na posisyon.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` pinagsasama-sama ang cosine at sine transformed tensors kasama ang huling axis (na tinutukoy ng `axis=-1`). Ang pagsasama-sama ng mga tensor na ito nang magkatabi ay epektibong nagdodoble sa dimensionality ng `freqs` tensor, kung saan ang unang kalahati ay kumakatawan sa mga value na na-transform ng cosine at ang pangalawang kalahati ay kumakatawan sa mga halaga ng sine-transformed para sa bawat posisyon. Tinitiyak ng concatenation na ang bawat positional encoding ay naglalaman ng parehong sine at cosine na impormasyon, na nagbibigay-daan sa pagpapanatili ng impormasyon tungkol sa parehong amplitude at phase ng positional signal.

- Ang pinagsama-samang tensor na `emb` ay hawak na ngayon ang kumpletong rotary embeddings para sa mga posisyon ng input. Ang hugis ng `emb` ay magiging kapareho ng `freqs` sa unang dalawang dimensyon nito (naaayon sa mga posisyon ng pagkakasunud-sunod at mga dimensyon ng pag-embed), ngunit ang huling dimensyon nito ay magiging dalawang beses na mas malaki, na isinasaalang-alang ang parehong mga halaga ng sine at cosine. Ang mga pag-embed na ito ay ginagamit upang i-modulate ang mga input embeddings sa pamamagitan ng pagdaragdag ng positional na impormasyon sa isang rotationally equivariant na paraan.

-`cos_emb = mga pag-embed[:, Wala, :self.dim // 2]`:

1. Ang unang colon `:` ay nangangahulugang "piliin ang lahat ng elemento sa dimensyong ito," na, sa kasong ito, ay tumutukoy sa lahat ng mga posisyon sa pagkakasunud-sunod.

2. Ginagamit ang `Wala` upang magdagdag ng karagdagang dimensyon, na ginagawang 3-dimensional ang tensor. Madalas itong ginagawa upang matiyak ang pagiging tugma sa ilang partikular na operasyon na umaasa sa mga input ng isang partikular na bilang ng mga dimensyon. Halimbawa, kapag nagsasagawa ng element-wise multiplication sa isa pang tensor na 3-dimensional, ang mga hugis ay dapat na nakahanay ayon sa mga panuntunan sa pagsasahimpapawid.

3. `:self.dim // 2`, pinipili ang unang kalahati ng mga dimensyon sa huling axis. Dahil ang `embedding_dimension` ay dinoble upang isama ang parehong mga halaga ng sine at cosine, ang paghahati sa 2 ay epektibong pinipili lamang ang mga bahagi ng cosine ng mga pag-embed.

#### Hakbang 3: Pagsasama sa isang Keras Model

Pagkatapos tukuyin ang `RotaryEmbeddingLayer`, maaari mo itong isama sa iyong modelo ng Keras. Dapat ilapat ang layer na ito sa iyong mga embed bago ilagay ang mga ito sa mga layer ng atensyon o anumang kasunod na mga layer ng modelo.

Narito ang isang pinasimpleng halimbawa kung paano isama ang mga rotary embeddings sa isang modelo:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Pinahusay na Transformer na May Rotary Position Embedding

[Arxiv Link](https://arxiv.org/abs/2403.13799)

Marso 20, 2024

## Ang Baliktad na Sumpa

Ang mga Large Language Models (LLM) tulad ng [GPT-4](https://arxiv.org/abs/2303.08774) at [Llama-2](https://arxiv.org/abs/2307.09288) ay nagpakita ng mga kahanga-hangang kakayahan sa pag-unawa at pagbuo ng tekstong tulad ng tao, na sumasaklaw sa malawak na hanay ng kaalaman. Gayunpaman, nabigo sila sa isang tila tuwirang gawain: pagbabalik-tanaw sa mga natutunang katotohanan. Ang limitasyong ito, na tinatawag na "Reversal Curse," ay nagpapahiwatig na ang mga LLM ay hindi maaaring magpahiwatig na ang "B ay isang tampok ng A" mula sa pag-aaral ng "A ay may isang tampok na B," isang pangunahing kasanayan sa pangangatwiran na kahit na ang mga bata ay nagtataglay. Ipinakilala ng papel na ito ang "Reverse Training," isang nobelang paraan upang matugunan ang hamon na ito sa pamamagitan ng paggamit ng diskarte sa pagsasanay na may dalawahang direksyon upang mapahusay ang pag-unawa ng modelo sa mga katotohanan sa parehong forward at reverse na mga format.

## Ang Pinagmulan ng Baliktad na Sumpa

Ang problema ay nagmumula sa pangunahing diskarte sa pagsasanay ng mga LLM, na karaniwang nagsasangkot ng **autoregressive, kaliwa-pakanan na pag-aaral**. Ang pamamaraang ito ay hindi likas na nagtuturo sa mga modelo na maunawaan o bumuo ng impormasyon sa reverse order. Dahil sa likas na katangian ng pamamahagi ng data na sumusunod sa batas ng Zipf, maraming katotohanan ang binanggit lamang sa isang direksyon, na nagpapalala sa isyung ito. Nililimitahan ng "Reversal Curse" ang pag-unawa ng mga LLM sa mga katumbas na relasyon at pagkakapantay-pantay sa mga pahayag, na nagmamarka ng isang makabuluhang pagkukulang sa kanilang mga kakayahan sa pangangatwiran.

## Pagtagumpayan ang Reversal Curse gamit ang Reverse Training

Ang iminungkahing solusyon, Reverse Training, ay nagdodoble sa magagamit na data ng pagsasanay sa pamamagitan ng pagsasama ng parehong orihinal at reverse na bersyon ng mga string ng pagsasanay. Ang proseso ng pagbabalik ay maingat na huwag baguhin ang ilang mga substring, gaya ng mga pangalan ng entity, na pinapanatili ang orihinal na pagkakasunod-sunod nito upang mapanatili ang konteksto. Ang pamamaraang ito, katulad ng pagpapakilala ng pangalawang wika para matutunan ng LLM, ay makabuluhang nagpapabuti sa kakayahan ng modelo na magproseso at bumuo ng impormasyon sa parehong direksyon.

## Pagsubok sa Baliktad na Paraan ng Pagsasanay

Ang mga may-akda ay nagsagawa ng mga sumusunod na eksperimento upang subukan ang kanilang iminungkahing pamamaraan:

**1- Symbolic Reverse Task:** Isang kinokontrol na pagsubok sa kapaligiran na nagpapakita ng kakayahan ng pamamaraan na maghinuha at maglapat ng mga baligtad na relasyon.

**2- Pagbabalik-tanaw sa Gawain:** Paggamit ng isang talambuhay na dataset upang masuri ang pagganap sa pagbuo ng mga pangalan ng tao mula sa mga ibinigay na detalye, sa kabaligtaran.

**3- Pagbabaligtad ng Real-world na Kaalaman:** Pagsusuri sa pagiging epektibo ng pamamaraan sa mga totoong sitwasyon sa mundo, kabilang ang pagbabaligtad ng mga katotohanan tungkol sa mga celebrity at kanilang mga relasyon.

**4- Fictitious Facts Finetuning:** Pagsubok sa kakayahan ng modelo sa pagkatuto sa mga bagong ipinakilala, binaligtad na mga kathang-isip na katotohanan.

Sa kabuuan ng mga eksperimentong ito, ang Reverse Training ay hindi lamang nagpapagaan sa Reversal Curse ngunit, sa ilang mga kaso, ganap na inalis ito. Ang pamamaraan ay napatunayang partikular na epektibo kapag ang mga pangalan ng entity ay napanatili sa kanilang orihinal na pagkakasunud-sunod sa panahon ng proseso ng pagbaliktad, na itinatampok ang kahalagahan ng pagpapanatili ng ilang mga anchor sa konteksto.

## Mga Implikasyon at Direksyon sa Hinaharap

Ang tagumpay ng Reverse Training sa pagtugon sa Reversal Curse ay nagbubukas ng mga bagong paraan para sa mga pamamaraan ng pagsasanay sa LLM. Sa pamamagitan ng pagpapahusay ng pag-unawa ng mga modelo sa mga katumbas na relasyon at pagkakapantay-pantay sa mga pahayag, ang diskarteng ito ay nagbubukas ng pinto sa mas sopistikadong mga kakayahan sa pangangatwiran. Maaaring galugarin ng hinaharap na pananaliksik ang higit pang pag-optimize ng proseso ng pagbaliktad, ang potensyal para sa pagsasama ng baligtad na pagsasanay sa iba pang mga arkitektura ng modelo ng wika, at mas malawak na aplikasyon ng pamamaraang ito sa natural na pag-unawa sa wika at mga gawain sa pagbuo.

---

*Maging Coding Pro sa Iyong Sariling Tulin! Sumali sa [Online Part-Time Bootcamp] ni Code Labs Academy(https://codelabsacademy.com/) at upskill sa coding. Pagkasyahin ang pag-aaral sa iyong iskedyul at simulan ang iyong paglalakbay sa tech ngayon!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Baliktarin ang Pagsasanay para Nars ang Baliktad na Sumpa

[Arxiv Link](https://arxiv.org/abs/2403.12015)

ika-18 ng Marso, 2024

Ang "Fast High-Resolution Image Synthesis na may Latent Adversarial Diffusion Distillation" ay nagpapakita ng isang nobelang diskarte sa distillation na kilala bilang Latent Adversarial Diffusion Distillation (LADD). Ang diskarte na ito ay idinisenyo upang tugunan ang mga limitasyon ng umiiral na [mga modelo ng pagsasabog](https://en.wikipedia.org/wiki/Diffusion_model), partikular na ang hamon ng mabagal na bilis ng hinuha, na humahadlang sa mga real-time na aplikasyon. Ang LADD ay nagbibigay-daan sa high-resolution, multi-aspect ratio na synthesis ng larawan sa pamamagitan ng mahusay na paglilinis ng malalaking [latent diffusion models](https://arxiv.org/abs/2112.10752) (LDMs), na makabuluhang pinapasimple ang proseso ng pagsasanay at pagpapahusay ng performance kumpara sa mga nakaraang pamamaraan .

Ibubuod namin ang mga pangunahing takeaways mula sa papel na ito.

## Panimula

Ang mga modelo ng pagsasabog ay lumitaw bilang isang mahusay na tool para sa synthesis at pag-edit ng larawan at video, na nag-aalok ng mga resultang may mataas na kalidad. Gayunpaman, ang kanilang likas na umuulit, na nangangailangan ng maraming pagsusuri sa network upang baguhin ang ingay sa magkakaugnay na mga imahe, ay limitado ang kanilang pagiging praktikal para sa mga real-time na aplikasyon. Iba't ibang mga diskarte ang iminungkahi upang mapabilis ang mga modelo ng pagsasabog. Ipinakilala ng LADD ang isang bagong diskarte, na gumagamit ng mga generative na feature mula sa mga pretrained na LDM, na nagbibigay-daan para sa mahusay na high-resolution na synthesis ng imahe sa isang bahagi ng mga hakbang na kinakailangan ng mga tradisyonal na pamamaraan.

## Background

Nagsisimula ang papel sa pamamagitan ng pagbibigay ng pangkalahatang-ideya ng mga modelo ng diffusion at ang kanilang [distillation](https://en.wikipedia.org/wiki/Knowledge_distillation). Gumagana ang mga tradisyonal na modelo ng pagsasabog sa pamamagitan ng unti-unting pag-denoising ng isang imahe sa pamamagitan ng maraming umuulit na hakbang, na ginagawang mabagal at magastos sa computation ang proseso. Ang mga pamamaraan ng distillation, kabilang ang [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), ay nagsikap na i-streamline ang prosesong ito sa pamamagitan ng pagbawas sa bilang ng mga hakbang na kailangan. Gayunpaman, ang ADD ay nahaharap sa mga limitasyon tulad ng isang nakapirming resolution ng pagsasanay, at ang pangangailangan ng pag-decode sa RGB space para sa distilling latent diffusion models, na maaaring limitahan ang high-resolution na pagsasanay.

## Pamamaraan

Tinutugunan ng LADD ang mga isyung ito sa pamamagitan ng **direktang pag-distill sa latent space**, sa gayo'y **naiiwas ang pangangailangang mag-decode sa pixel space**, at nagbibigay-daan para sa pagsasanay sa mas matataas na resolution. Hindi tulad ng ADD, na umaasa sa isang pretrained na discriminator na tumatakbo sa pixel space, ang LADD ay gumagamit ng isang bagong diskarte kung saan ang discriminator at modelo ng guro ay pinag-isa, na direktang gumagana sa mga nakatago. Ang pamamaraang ito ay hindi lamang pinapasimple ang proseso ng pagsasanay, ngunit nagbibigay din ng ilang mga pakinabang, kabilang ang kahusayan, ang kakayahang magbigay ng tukoy na feedback sa antas ng ingay, at ang kapasidad para sa pagsasanay sa Multi-Aspect Ratio (MAR).

## Mga Eksperimento at Resulta

Malawakang sinusuri ng papel ang LADD sa pamamagitan ng iba't ibang mga eksperimento, na nagpapakita ng mahusay na pagganap nito sa pag-synthesize ng mga larawang may mataas na resolution na may ilang hakbang lamang. Kapansin-pansin, kapag inilapat sa [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3), ang LADD ay nagreresulta sa isang modelong tinatawag na SD3-Turbo, na nakakakuha ng maihahambing na kalidad ng imahe sa estado- of-the-art na text-to-image generators sa apat na hakbang lang. Tinutuklasan din ng mga eksperimento ang epekto ng iba't ibang distribusyon ng ingay ng guro, ang paggamit ng synthetic na data, latent distillation approach, at ang scaling na gawi ng LADD.

## Paghahambing sa State-of-the-Art

Ang pagiging epektibo ng LADD ay higit na binibigyang-diin sa pamamagitan ng paghahambing sa kasalukuyang nangungunang mga pamamaraan sa text-to-image at image-to-image synthesis. Ang SD3-Turbo ay hindi lamang tumutugma sa pagganap ng modelo ng guro nito (SD3) sa kalidad ng larawan, ngunit nagpapakita rin ng mga makabuluhang pagpapabuti sa iba pang mga baseline sa mga tuntunin ng bilis ng hinuha at pagkakahanay ng teksto ng imahe.

## Mga Limitasyon at Mga Direksyon sa Hinaharap

Sa kabila ng mga pagsulong nito, ang LADD ay walang limitasyon. Napansin ng mga may-akda ang isang trade-off sa pagitan ng kapasidad ng modelo, agarang pag-align, at bilis ng hinuha, na maaaring makaapekto sa kakayahan ng modelo na pangasiwaan ang ilang mga hamon sa synthesis ng text-to-image. Kasama sa mga direksyon ng pananaliksik sa hinaharap ang pagtuklas sa trade-off na ito nang mas malalim at pagbuo ng mga diskarte upang mapahusay ang kontrol sa mga lakas ng paggabay sa larawan at teksto.

## Konklusyon

Ang "Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation" ay nagpapakilala ng bagong diskarte sa image/video synthesis na makabuluhang nagpapabilis sa pagbuo ng mga de-kalidad na larawan mula sa mga text prompt. Sa pamamagitan ng pag-distill ng malalaking diffusion model sa latent space, binibigyang-daan ng LADD ang mga real-time na application at nagtatakda ng bagong pamantayan para sa kahusayan at pagganap sa synthesis ng imahe.

Ipinaliwanag ang mga Papel

Bakit Ang Pagbabalik sa Opisina Pagkatapos ng Pandemic ay Maaaring Makapinsala sa Produktibidad: Mga Insight mula sa isang Dalubhasa sa Negosyo