Go háirithe i gcuideachtaí móra, tá filleadh suntasach tar éis teacht ar éileamh ar oibrithe oibriú ón oifig tar éis na paindéime COVID-19. [Mark Ma](https://business.pitt.edu/professors/mark-ma/), ollamh comhlach le riarachán gnó i Scoil Ghnó Iarchéime Joseph M. Katz in Ollscoil Pittsburgh, agus Yuye Ding, a A mhic léinn PhD, [an patrún seo a fhiosrú](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). D'fhéach siad ar na héifeachtaí socheolaíocha agus eacnamaíocha a bhaineann le hoibriú go cianda chomh maith leis an tionscnamh a rinne gnólachtaí le déanaí chun oibrithe a thabhairt ar ais san oifig, rud a chuireann greann ar oibrithe go minic.

Áitíonn Ma in [agallamh le Heise](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) gur timpeallacht oibre atá ag éirí níos digiteacha de réir a chéile, rud a chuireann isteach orthu agus ní dhéanann sé mórán chun táirgiúlacht a mhéadú. Admhaíonn sé, áfach, nuair a dhéantar é go deonach agus le tacaíocht foirne, gur féidir le hobair phearsanta a bheith ina bhuntáiste agus feabhas a chur ar chomhordú agus ar obair foirne.

Molann Ma gur cheart ligean do dhaoine ardfheidhmíochta a bhfuil a n-éifeachtúlacht cruthaithe acu agus iad ag obair ón mbaile leanúint ar aghaidh ag déanamh amhlaidh, seachas gach duine a bheith san oifig. Ceapann sé go rachaidh an straitéis seo chun sochair d’fhostóirí agus d’fhostaithe araon, trí dhaoine iontacha a choinneáil a d’fhéadfadh a bheith ag lorg oibre ar bhealach eile. Molann Ma freisin cleachtaí tógála foirne rialta pearsanta chun cultúr na cuideachta a choinneáil láidir, rud atá riachtanach chun smaointe a ghiniúint go héifeachtach agus chun fadhbanna a réiteach.

Is cosúil go bhfuil barr na treochta seo imithe thart, cé gur theastaigh ó roinnt gnólachtaí fostaithe filleadh ar an oifig tar éis na paindéime. De réir suirbhéanna a rinneadh in 2024, ní chuireann formhór na bPríomhoifigeach Feidhmiúcháin luach ard ar a bheith san oifig a thuilleadh. D’fhoghlaim gnólachtaí go bhféadfadh oibrithe a bheith táirgiúil go leor agus iad ag obair go cianda le linn na paindéime. Ach tá amhras fós ar bhainisteoirí eile faoi oibriú go cianda, agus is é sin an fáth go bhfuil siad ag moladh dul ar ais chuig an oifig. D’fhéadfadh meanma fostaithe bheith thíos leis mar gheall ar an easpa muiníne seo mar go dtugann sé le fios do bhaill na foirne nach gcreideann a mbainisteoirí iontu.

In ainneoin gur féidir le teileachumarsáid riachtanais forchostais agus spáis a ísliú, tá fonn ar ghnóthais mhóra a gcuid oibrithe a fháil ar ais, rud a ardaíonn an fhéidearthacht go bhfuil smacht agus cumhacht níos fearr anseo ná mar a bhaineann le praghas. Tugann Ma le fios gur chuir go leor gnólachtaí beartais um fhilleadh ar an oifig i bhfeidhm mar fhreagra ar thitim i bpraghsanna stoic, ag baint úsáide as cianobair go háisiúil mar ghabhar éalaithe áisiúil le haghaidh drochfheidhmíochta.

In ainneoin go bhfuil éileamh ard fós ar obair chian-oibre—go leor spásanna oifige i gcathracha móra ar nós Nua-Eabhrac, San Francisco, agus an Ghearmáin folamh—tá na bainisteoirí i gcónaí den tuairim go gcuirfidh oibrithe go pearsanta le comhar agus cultúr gnó. Ach in ionad a bheith ag obair le comhoibrithe, deir go leor oibrithe a d'fhill ar an oifig go gcaitheann siad an chuid is mó dá gcuid ama ag obair leo féin ar a gcuid ríomhairí. Tá neamhéifeachtúlacht na sainorduithe sin curtha in amhras mar gheall ar an easpa idirdhealú inaitheanta idir oifig agus obair chian, chomh maith leis an frustrachas a bhíonn ar fhostaithe nuair a bhíonn orthu filleadh.

Tá taithí ag oibrithe ar an táirgiúlacht mhéadaithe agus ar na tairbhí a bhaineann le cothromaíocht oibre-saoil a thagann le hobair go cianda, amhail an cumas saol oibre agus teaghlaigh a chomhtháthú níos fearr agus comaitéireachta fada a sheachaint. Eascraíonn míshástacht as na comhaontuithe seo a bheith curtha isteach ag filleadh forfheidhmithe ar an oifig. Ina theannta sin, tá an dearcadh ann go bhféadfadh easpa oibre bac a chur ar fhás gairmiúil.

Sa deireadh, is dóigh le Ma má chuirtear iallach ar oibrithe filleadh ar an ionad oibre ar bhonn buan, go dtosódh go leor acu ag lorg gairmeacha eile, agus seans nach n-éireodh na cinn a fhanann chomh spreagtha céanna. Tá oifigí baile fós coitianta mar go soláthraíonn siad cothromaíocht oibre-saoil níos fearr agus rátaí níos ísle dóite, in ainneoin a gcuid míbhuntáistí. Níl aon difríocht inaitheanta táirgiúlachta idir oibriú go cianda agus in oifig, agus is féidir le hobair ón mbaile a bheith chomh coimhthíoch céanna leis an seachrán atá ar oifigí plean oscailte ina gcaitheann fostaithe cluasáin go minic chun díriú orthu. Molann Ma go roghnódh foirne cé mhéad lá ar mhaith leo oibriú san oifig agus go bhfágann siad an chuid eile den am solúbtha ionas gur féidir le fostaithe an timpeallacht oibre is fearr leo a roghnú, cé go bhféadfadh teagmhálacha daonna a bheith tairbheach do chuideachtaí.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

An Fáth go bhféadfadh sé go ndéanfaí Táirgiúlacht a ghortú le filleadh ar an Oifig Iarphaindéime: Léargais ó Shaineolaí Gnó

Thug [Google AI](https://ai.google/) gné nua isteach le déanaí ar a dtugtar 'Proofread' do Gboard, an feidhmchlár a bhfuil an-tóir air ar an méarchlár soghluaiste. Le sconna amháin, ceadaíonn an ghné seo modhnuithe agus ceartúcháin gan uaim ag leibhéil na habairte agus na míre, ag feabhsú an taithí clóscríofa iomlán.

## Ag dul i ngleic leis an bhfadhb 'Méar Saill'

Úsáideann [Gboard](https://support.google.com/gboard/?hl=en) díchódú staitistiúil chun dul i ngleic leis an tsaincheist maidir le "méar saille", arb é míchruinneas nádúrtha an ionchur tadhaill ar scáileáin bheaga. Léiríonn taighde gur féidir leis an ráta earráide in aghaidh na litreach 8 go 9 faoin gcéad a bhaint amach gan díchódú. Tagann roinnt gnéithe ceartúcháin earráide ar Gboard chun clóscríobh a dhéanamh níos éasca agus níos míne. Comhcheanglaíonn na gnéithe seo tascanna láimhe a bhaineann le hionchur daonna le ceartúcháin réamhghníomhacha uathoibrithe.

## Uirlisí Ceartúcháin Earráide Cuimsitheach

Déantar an clóscríobh le chéile níos éasca ag gnéithe Gboard, lena n-áirítear comhlánú focal, tuar an chéad fhocail eile, uathcheartú gníomhach (AC), agus ceartúchán gníomhach eochrach (KC). I measc na n-uirlisí seo tá comhdhéanamh cliste, ceartú earráidí, agus iarrthóirí ilfhocail sa bharra moltaí nó inlíne. Éascaíonn iarcheartú (PC) freisin earráidí i bhfocail atá déanta cheana féin a cheartú. In ainneoin na ngnéithe seo, cuireann dhá phríomhshrian isteach ar thaithí an úsáideora.

1. Cé go bhfuil samhlacha ceartúcháin ar-fheiste cosúil le KC, AC, agus PC tapa agus dlúth, tá deacracht acu earráidí sofaisticiúla agus casta a láimhseáil a dteastaíonn comhthéacsanna níos faide. Chun na samhlacha seo a chosc ó ghníomhachtú, ní mór d'úsáideoirí clóscríobh go mall agus go beacht.

2. Laghdaíonn an luas clóscríofa de bharr go mbíonn ar úsáideoirí focail thiomanta a cheartú de láimh trí úsáid a bhaint as seiceálaithe gramadaí agus litrithe, ar féidir leo cáin a ghearradh ó thaobh meabhrach agus radhairc de.

## An Gá le Ceartú Earráide Ardleibhéil

Is minic a dhéanann clóscríobhóirí gasta neamhaird ar fhocail atá clóscríofa acu cheana féin agus díríonn siad go díreach ar an méarchlár. D’fhéadfadh go n-eascródh rátaí earráide níos airde as seo, rud a d’fhág go mbeadh gá le meicníochtaí ceartúcháin abairte nó ardleibhéil.

##Léamh Profaí a thabhairt isteach

Réitíonn léamh profaí na gearáin mhinice seo trí neartuithe suntasacha táirgiúlachta a thairiscint. Déanann sé earráidí a cheartú níos simplí trí cheartúcháin aon-sconna ar leibhéal na habairte agus na míre a sholáthar.

## An Teicneolaíocht Taobh thiar de Léiriú Profaí

Tá ceithre phríomhchuid sa ghné Léite Cruthúnas: táirgeadh sonraí, dearadh méadrachta, tweaking múnla, agus riar samhlacha. Le chéile, ráthaíonn na comhpháirteanna seo go léir éifeachtacht. Chun a chinntiú go bhfuil dáileadh sonraí ag teacht le fearann ​​Gboard, déanann an córas aithris ar earráidí méarchláir go minic agus úsáid á baint as ailtireacht shintéiseach earráide a tógadh go beacht agus go modhúil.

## Ardmhéadracht agus Optamú Samhail

Chun an tsamhail a mheasúnú, tá roinnt méadracht ionchorpraithe ag taighdeoirí, le béim ar leith ar sheiceálacha earráide gramadaí agus seiceálacha brí comhchosúla a thagann ó mhúnlaí móra teanga (LLManna). Baintear úsáid as mionchoigeartú maoirsithe agus tiúnadh Foghlama Treisithe (TL) sa teicníc InstructGPT chun an tsamhail a fheabhsú. Cuireann an nós imeachta seo feabhas mór ar fheidhmíocht profaí na samhla.

## Imlonnú agus Feidhmíocht

Ag baint úsáide as cainníochtú 8-giotán, tá an LLM PaLM2-XS meánmhéide oiriúnaithe chun luí taobh istigh d'aon TPU v5 amháin agus feidhmíonn sé mar bhunús don ghné Léite Cruthúnas. Laghdaíonn an leas iomlán a bhaint as an gcostas riartha. Tá sé léirithe ag taighde roimhe seo gur féidir le deighilt, díchódú amhantrach, agus eochracha buicéad latency a laghdú.

## Tionchar Fíor-Dhomhanda

Bainfidh na mílte úsáideoir Pixel 8 leas as na hathruithe ardcháilíochta a sholáthraíonn an ghné Proofread, atá ar fáil anois. Tá giniúint críochnúil de shonraí sintéiseacha agus roinnt atriallta mionchoigeartaithe tar éis múnla a íslíonn earráidí gramadaí go suntasach, mar a fheictear le laghdú coibhneasta 5.74 faoin gcéad ar Drochchóimheas an tsamhail PaLM2-XS. Ina theannta sin, tá laghdú 39.4% ar an meánfhanachta mar thoradh ar bharrfheabhsú.

## Ionchais Todhchaí

[Léiríonn an staidéar seo](https://arxiv.org/abs/2406.04523) conas a d’fhéadfadh LLManna eispéireas an úsáideora a fheabhsú agus féidearthachtaí suimiúla a chruthú le haghaidh tuilleadh imscrúdaithe. Is samplaí iad úsáid sonraí fíor-úsáideoirí, tacaíocht ilteangach, cúnamh scríbhneoireachta oiriúnaithe, agus réitigh príobháideachais gléasanna de réimsí a bhféadfadh tuilleadh dul chun cinn san earnáil a bheith mar thoradh orthu.

Tá Google AI ag leathnú féidearthachtaí na teicneolaíochta méarchláir shoghluaiste le tabhairt isteach na gné Proofread, ag feabhsú clóscríobh do dhaoine ar fud an domhain.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Nochtann Google AI 'Proofread': Gné Gboard le haghaidh Pianbhreithe Gan Iarracht agus Ceartúcháin Alt

Tá Líonraí Doimhneacha Néaracha Nua-Aimseartha (DNNanna) teimhneach go bunúsach, rud a fhágann go bhfuil sé dúshlánach a bpróisis cinnteoireachta a thuiscint. Cuireann an easpa trédhearcachta seo isteach ar chur i bhfeidhm forleathan na dteicnící Meaisín Foghlama i réimsí éagsúla. Mar fhreagra air sin, tháinig an t-ainm Inmhínithe AI ​​(XAI) chun solais go bhfuil sé ar intinn aige tuiscint an duine ar bhreithiúnais DNN a fheabhsú. Trí fhéachaint ar chuspóir feidhmiúil gach comhpháirte, díríonn XAI anois freisin ar iompar domhanda DNNanna a thuiscint, i gcodarsnacht le modhanna míniúcháin áitiúla a úsáideann léarscáileanna sábháltachta chun tuar aonair a mhíniú.

Teicníc inmhínithe domhanda is ea inléirmhínithe meicniúla a dhíríonn ar na smaointe faoi leith a aimsiú a bhfuil an cumas tuisceana faighte ag néaróin, na haonaid bhunúsacha ríomhaireachta de líonra néarúil. Is féidir linn feidhmiú léirithe folaigh líonra a mhíniú trí néaróin a lipéadú le tuairiscí atá sothuigthe do dhaoine. Tá na tuairiscí seo tar éis dul chun cinn ó lipéid shimplí go dtí míniúcháin ilchasta, cumadóireachta agus oscailte foclóra. Mar sin féin, chuir an easpa méadrachta cainníochtúla caighdeánaithe chun measúnú a dhéanamh ar na tuairiscí foclóra oscailte seo bac ar chomparáidí críochnúla trasna cuir chuige éagsúla.

Chun aghaidh a thabhairt ar an mbearna seo, tugann taighdeoirí ó ATB Potsdam, Ollscoil Potsdam, TU Berlin, Fraunhofer Heinrich-Hertz-Institute, agus BIFOLD isteach [CoSy](https://arxiv.org/abs/2405.20331), creat meastóireachta cainníochtúil ceannródaíoch do measúnú a dhéanamh ar úsáid na mínithe foclóra oscailte i múnlaí fís ríomhaire (CV). Baineann an modh nuálaíoch seo úsáid as forbairtí in Generative AI chun íomhánna saorga a tháirgeadh a bhaineann le tuairiscí téacs atá bunaithe ar choincheap. cuireann cluthar deireadh leis an ngá atá le hidirghníomhaíocht dhaonna trí chomparáidí cainníochtúla de chur chuige míniúcháin téacsacha bunaithe ar choincheapa éagsúla a éascú trí phointí sonraí is coiteann do mhínithe sprice áirithe a shintéisiú.

Léirigh an fhoireann taighde trí mheitanailís fhairsing go dtugann cluthar meastóireachtaí iontaofa ar mhíniúcháin. Fuair ​​​​an staidéar amach go bhfeidhmíonn modhanna míniúcháin téacs bunaithe ar choincheap is fearr sna sraitheanna uachtaracha de líonraí néaracha, áit a bhfoghlaimítear coincheapa ardleibhéil. Déantar mínithe néaróin ardcháilíochta a tháirgeadh trí mhodhanna mar INVERT, a chruthaíonn amhairc ó uiríll líonra néarúil, agus CLIP-Dissect, a scrúdaíonn léirithe líonra inmheánacha. Os a choinne sin, cruthaíonn teicnící ar nós MILAN agus FALCON mínithe ar cháilíocht níos ísle, ag soláthar coincheapa beagnach randamach ó am go chéile, rud a d'fhéadfadh conclúidí líonra míchruinn a bheith mar thoradh orthu.

Míbhuntáiste mór a bhaineann le CoSy, mar a aithníonn na taighdeoirí, is ea go bhféadfadh sé nach raibh catagóirí sonracha ó na sonraí oiliúna curtha san áireamh sa mhúnla giniúna, rud a fhágann go bhfuil mínithe róghinearálta nó débhríoch, mar "rudaí bána". D’fhéadfaí cruinneas giniúna a mhéadú trí dhul i ngleic leis an bhfadhb seo trí thacair sonraí réamhoiliúna agus feidhmíocht na samhla a scrúdú. Fiú go fóill, tá go leor poitéinseal ag baint le cluthar sa réimse atá fós ag forbairt maidir le measúnú a dhéanamh ar theicnící míniúcháin neamháitiúla.

Ag breathnú amach romhainn, tá an fhoireann dóchasach faoi fheidhmiú féideartha CoSy thar réimsí iolracha. Chun sochreidteacht nó cáilíocht mínithe a mheas maidir le toradh tasc iartheachtach, ní mór breithiúnas daonna a áireamh sa sainmhíniú ar cháilíocht an mhínithe, ar mian leo díriú air in obair amach anseo. Ina theannta sin, ba mhaith leo réimsí breise cosúil le próiseáil teanga nádúrtha agus cúram sláinte a áireamh ina gcóras meastóireachta. Tá an úsáid a d’fhéadfaí a bhaint as cluthar chun samhlacha teanga móra, teimhneacha, uath-léirmhínithe (LLManna) a mheasúnú, thar a bheith spreagúil. De réir na dtaighdeoirí, d'fhéadfadh sé gur céim mhór chun tosaigh é cur i bhfeidhm cluthar ar thacair sonraí cúram sláinte, áit a bhfuil cáilíocht an mhínithe tábhachtach. Tá poitéinseal ollmhór ag na feidhmeanna féideartha cluthar seo amach anseo chun taighde AI a chur chun cinn.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Líonraí Néaracha a Thuiscint: Creat Cainníochtúil CoSy do Mheastóireacht Mhínithe Téacsúil

Tá clú ar [samhlacha atá bunaithe ar chlaochladán](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) as a gcumas téacs casta a pharsáil agus a léirmhíniú. Braitheann siad ar ord agus ar chomhthéacs na bhfocal a thuiscint - tascanna ar léirigh modhanna traidisiúnta ionchódaithe suímh a dteorainneacha. Agus aghaidh á tabhairt ar an mbearna seo, déanann samhail ROFORMER, arna chumhachtú ag an **Leabú Seasamh Rothlach (RoPE)**, ár gcur chuige maidir le hionchódú suímh a athshainiú.

## Ionchódú Traidisiúnta ar Phoist

Caitheann trasfhoirmeoirí le téacs mar shraith comharthaí, agus ceadaíonn siad **seichimh a phróiseáil go comhuaineach** ar mhaithe le héifeachtúlacht níos fearr. Mar sin féin, thug an láidreacht seo a dhúshlán: **agnosticism dúchasach na samhla in ord comharthaí**. Ba é **ionchódú poist** an freagra, **síniú uathúil a sholáthar do gach comhartha ag léiriú a shuíomh sa seicheamh**.

### Leabú Seasaimh Iomlán

Ar dtús, d'úsáid samhlacha ar nós CRET **leabaithe suímh iomlána, ag sannadh veicteoir fosaithe do gach suíomh i seicheamh**. Cé go bhfuil an modh seo simplí, go bunúsach**níl an cumas ann oiriúnú d’éagsúlachtaí faid, nó béim a chur ar na faid choibhneasta idir comharthaí**, rud atá ríthábhachtach chun go leor de na struchtúir theangeolaíocha a thuiscint.

### Leabú Seasaimh Choibhneasta

Chun nádúr dinimiciúil na teanga a léiriú, tugadh isteach leabú suímh choibhneasta, ag díriú ar an achar idir comharthaí seachas a ndearbhshuímh. In ainneoin a mbuntáiste coincheapúil, thug na leabaithe seo isteach **castacht ríomhaireachtúil, agus níor éirigh leo comhtháthú gan uaim i meicníocht féin-aird na gClaochladáin**, rud a chuir srian lena n-éifeachtúlacht.

## ROFORMER agus Leabú Seasamh Rothlach

Agus teorainneacha na straitéisí ionchódaithe suímh atá ann cheana féin á n-aithint, tugann ROFORMER isteach Leabú Seasamh Rothlach (RoPE), cur chuige a chomhcheanglaíonn na buntáistí a bhaineann le faisnéis maidir le seasamh iomlán agus coibhneasta gan a gcuid míbhuntáistí faoi seach.

### Leabú Seasamh Rothlach

Ionchódaíonn RoPE faisnéis suímh trí úsáid a bhaint as **maitrísí rothlaithe**, rud a chuireann ar chumas an mhúnla a thuiscint ní hamháin cá bhfuil comhartha, ach conas a bhaineann sé le gach comhartha eile i seicheamh.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Feidhmíonn sé trí lionsa geoiméadrach, ag déileáil le suímh chomharthaí mar phointí i spás iltoiseach atá rothlaithe chun a gcaidreamh seicheamhach a mharcáil. Ligeann an rothlú seo don mhúnla leideanna suímh iomlána agus coibhneasta araon a chaomhnú agus a shaothrú laistigh dá meicníocht féin-aire.

### RoPE a chur i bhfeidhm

Is éard atá i gceist le RoPE a chur i bhfeidhm suíomh gach comhartha a ionchódú isteach i maitrís uainíochta, agus an maitrís seo a chur i bhfeidhm laistigh de mheicníocht féin-aire an Trasfhoirmeora. Ligeann an próiseas seo do léirmhíniú solúbtha, dinimiciúil ar fhaisnéis suímh, a fhreastalaíonn ar fhaid éagsúla seichimh agus a ghabháil le croílár na n-idirghaolmhaireachtaí comharthaí gan forchostais ríomhaireachtúla suntasacha.

Ar dtús, beidh feidhm uait chun na leabaithe rothlacha a ghiniúint, agus ansin déanfaidh tú na leabaithe seo a chomhtháthú isteach i do mhúnla. Glacann an sampla thíos leis go bhfuil tú eolach ar shraitheanna saincheaptha a chruthú i Keras.

#### Céim 1: Sainmhínigh an Fheidhm Leabaithe Rothlach

Gineann an fheidhm seo na leabaithe rothlacha nuair a thugtar an t-uasfhad seicheamh, agus toiseacht na leabaithe.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Ríomhann an líne seo inbhéartach na minicíochtaí de réir scála easpónantúil bunaithe ar na hinnéacsanna suímh. Úsáidtear na minicíochtaí seo chun patrúin sinusoidal a ghiniúint le haghaidh leabaithe rothlacha, rud a chabhraíonn leis an eolas suímh choibhneasta a ionchódú i seichimh. Tá an mheicníocht seo an-úsáideach i dtascanna ina bhfuil sé ríthábhachtach ord agus suíomh coibhneasta na n-eilimintí a thuiscint, mar shampla i bpróiseáil teanga nádúrtha nó in anailís amshraitheanna.

I sonraí:

- cruthaíonn `tf.range(0, dim, 2, dtype=tf.float32)` raon luachanna ag tosú ó 0 go dtí `dim` (eisiach), céim ar 2. Sonraíonn an argóint `dtype=tf.float32` gur uimhreacha snámhphointe 32-giotán iad eilimintí an tensor seo. Más é `dim` ná 8, mar shampla, thairgfeadh sé seo `[0, 2, 4, 6]`.

- Roinntear an tensor a tháirgtear le `tf.range` ansin ar thoise (`dim`) na leabaithe. Scálaíonn an oibríocht seo na hinnéacsanna seo síos go dtí raon idir 0 agus 1 (seachas má tá `dim` cothrom, rud beag cuimsitheach má tá `dim` corr, toisc go scipeann céim an raoin gach luach eile). Ag leanúint leis an sampla le `dim` = 8, á roinnt ar 8 toradh `[0.0, 0.25, 0.5, 0.75]`.

- Ardaíonn an oibríocht `10000 ** (...)` 10,000 go dtí cumhacht gach eilimint sa tensor scálaithe roimhe seo. Tá bonn 10,000 beagán treallach, ach roghnaítear é chun a chinntiú go n-athraíonn na minicíochtaí thar raon leathan, rud a chabhraíonn leis an tsamhail idirdhealú níos éifeachtaí a dhéanamh idir seasaimh éagsúla. I gcás `[0.0, 0.25, 0.5, 0.75]`, chuirfeadh sé an oibríocht chumhachta i bhfeidhm ar gach ceann acu, rud a d'fhág go mbeadh luachanna i bhfad níos mó le haghaidh eilimintí níos airde.

- Ar deireadh, faightear an mhinicíocht inbhéartach trí chómhalartach (1/x) na luachanna a ghlacadh ón gcéim roimhe seo. Tá na minicíochtaí inbhéartacha níos lú le haghaidh innéacsanna níos airde, rud a chiallaíonn go mbeidh minicíochtaí níos lú ag eilimintí níos faide sa seicheamh, rud a chuireann isteach ar an gcaoi a ndéantar a suíomhanna a ionchódú sa mhúnla. Ligeann sé seo do na leabaithe scála a dhéanamh ar bhealach inar féidir seasaimh choibhneasta a thuiscint trí mheicníochtaí aird na samhla.

An líne:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

Úsáideann TensorFlow feidhm `tf.einsum`, uirlis a ligeann do léiriú gonta agus éifeachtach ar oibríochtaí tensor ag baint úsáide as nodaireacht suimiúcháin Einstein.

Ríomhann an oibríocht seo go héifeachtach táirge seachtrach na veicteoirí `t` agus `inv_freq`, agus mar thoradh air sin bíonn maitrís ann inarb ionann gach eilimint `(i, j)` agus táirge na heiliminte `i`-ú de`t` agus `` j`-ú eilimint de `inv_freq`. Léiríonn an maitrís seo (`freqs`) na minicíochtaí a úsáidtear chun na patrúin sinusoidal a ghiniúint do na leabaithe rothlacha.

#### Céim 2: Ciseal Keras Saincheaptha le haghaidh Leabaithe Rothlacha

Anois, déanaimis ciseal Keras saincheaptha a chruthú a chuireann leabaithe rothlacha i bhfeidhm ar an tensor ionchuir. Glacann an ciseal seo leis gur cruth `(batch_size, sequence_length, embedding_dim)` atá san tensor ionchuir.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Roghnaíonn an líne `leabaithe = self.rotary_embeddings[:seq_len]` an fothacar cuí de leabaithe rothlacha réamhríofa bunaithe ar fhad an tseichimh ionchuir reatha. Ós rud é gur féidir le fad na sraitheanna a bheith éagsúil ó bhaisc amháin go ceann eile, cinntíonn an oibríocht slicing seo nach n-úsáidtear ach na leabaithe a fhreagraíonn don fhad seicheamh iarbhír.

Coinníonn an athróg `leabaithe` tensor cruth `(seq_len, leabú_dim)` anois, áit arb é `seq_len` fad na seicheamh sa bhaisc reatha, agus is é `embedding_dim` toiseachas na leabaithe. Cuimsítear sa tensor seo na leabaithe suímh rothlacha do gach suíomh sa seicheamh suas go dtí `seq_len`.

Comhcheanglaíonn `emb = tf.concat((tf.cos(freqs), tf.sin(minics)), ais=-1)` claochluithe sín agus comhshíneas de mhinicíochtaí suímh in aon teanntóir amháin:

Baineann -`tf.cos(freqs)` agus `tf.sin(freqs)` na claochluithe comhshíne agus sínis, faoi seach, leis an tensor `freqs`. Cuimsítear sa tensor `freqs` luachanna minicíochta do gach suíomh sa seicheamh ionchuir agus do gach toise den spás leabaithe, arna ríomh bunaithe ar shuímh an tseichimh agus ar mhinicíochtaí inbhéartacha na dtoisí leabaithe. Cuirtear na feidhmeanna sín agus cosine i bhfeidhm ar bhonn eiliminteach, rud a fhágann go mbíonn dhá thoisitheoir den chruth céanna le `freqs`. Cabhraíonn na claochluithe seo le hionchódú an tsuímh ar bhealach a thugann léargas ar nádúr timthriallach na gcaidrimh shuímh, ag éascú cumas na samhla chun suíomhanna coibhneasta a thuiscint.

-` tf.concat((tf.cos(freqs), tf.sin(freqs)), ais=-1)` comhdhlúthaíonn sé na teannasóirí cósine agus síonchlaochlaithe feadh na haise deiridh (arna sonrú ag `ais=-1`). Má dhéantar na teanntóirí seo a chomhchalú taobh le taobh, déantar toise an tensor `freqs` a dhúbailt go héifeachtach, agus seasann an chéad leath do luachanna comhshóite agus seasann an dara leath do luachanna sínis-chlaochlaithe do gach suíomh. Cinntíonn an comhghatánú go bhfuil faisnéis sín agus comhshíneas i ngach ionchódú suímh, rud a cheadaíonn faisnéis a chaomhnú faoi aimplitiúid agus faoi chéim na gcomharthaí suímh.

- Tá na leabaithe rothlacha iomlána do na suíomhanna ionchuir anois ag an `emb` tensor comhtháite. Beidh cruth `emb` mar an gcéanna le `freqs` sa chéad dá thoise (a fhreagraíonn do shuímh seichimh agus toisí leabú), ach beidh a thoise deiridh dhá uair chomh mór, ag cur san áireamh luachanna sínis agus comhshíne araon. Úsáidtear na leabaithe seo chun na leabaithe ionchuir a mhodhnú trí fhaisnéis suímh a chur leis ar mhodh coibhéiseach rothlach.

-`cos_emb = leabaithe[:, Dada, :self.dim // 2]`:

1. Ciallaíonn an chéad idirstad `:` "roghnaigh gach eilimint sa ghné seo," a thagraíonn, sa chás seo, do gach seasamh sa seicheamh.

2. Ní úsáidtear `none` chun gné bhreise a chur leis, rud a fhágann go bhfuil an tensor 3-thoiseach. Is minic a dhéantar é seo chun comhoiriúnacht le hoibríochtaí áirithe a bhfuiltear ag súil le hionchuir de líon sonrach toisí a áirithiú. Mar shampla, nuair a bhíonn iolrú gné-chiallmhar á déanamh le tensor eile atá 3-tríthoiseach, ní mór na cruthanna a ailíniú de réir rialacha craolacháin.

3. `:self.dim // 2`, roghnaíonn an chéad leath de na toisí san ais dheireanach. Ós rud é go ndéantar an `toise_leabú' a dhúbailt chun luachanna sínis agus comhshíne a chur san áireamh, ní roghnaíonn roinnt ar 2 ach comhpháirteanna an chomhshíne sna leabaithe.

#### Céim 3: Comhtháthú le Múnla Keras

Tar éis duit an `RotaryEmbeddingLayer` a shainiú, is féidir leat é a chomhtháthú isteach i do mhúnla Keras. Ba chóir an ciseal seo a chur i bhfeidhm ar do leabaithe sula gcuirtear iad i sraitheanna aird nó i sraitheanna múnla ar bith ina dhiaidh sin.

Seo sampla simplithe de conas na leabaithe rothlacha a chomhtháthú i múnla:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Trasfhoirmeoir Feabhsaithe Le Leabú Seasamh Rothlach

[Nasc Arxiv](https://arxiv.org/abs/2403.13799)

20 Márta, 2024

## An Mallacht Aisiompaithe

Léirigh Múnlaí Móra Teanga (LLManna) cosúil le [GPT-4](https://arxiv.org/abs/2303.08774) agus [Llama-2](https://arxiv.org/abs/2307.09288) cumais iontacha i dtuiscint agus ag giniúint téacs cosúil le duine, a chuimsíonn raon leathan eolais. Mar sin féin, teipeann orthu ag tasc atá simplí de réir dealraimh: fíricí foghlamtha a aisiompú. Tugann an teorannú seo, ar a dtugtar an "Mallacht Aisiompaithe," le tuiscint nach féidir le LLManna a bhaint amach gur "gné de A" é B ó fhoghlaim "go bhfuil gné B ag A," bunscil réasúnaíochta atá ag leanaí fiú. Tugann an páipéar seo isteach "Reverse Training," modh nua chun aghaidh a thabhairt ar an dúshlán seo trí chur chuige oiliúna déthreo a ghiaráil chun tuiscint an mhúnla ar fhíorais a fheabhsú i bhformáidí chun cinn agus i bhformáidí droim ar ais.

## Bunús an Mhallacht Aisiompaithe

Eascraíonn an fhadhb as cur chuige oiliúna bunúsacha LLManna, a bhaineann go hiondúil le **foghlaim atá forchéimnitheach ó chlé go deas**. Ní mhúineann an modh seo go bunúsach na samhlacha chun faisnéis a thuiscint nó a ghiniúint san ord droim ar ais. Mar gheall ar nádúr an dáileacháin sonraí de réir dhlí Zipf, ní luaitear go leor fíricí ach i dtreo amháin, rud a chuireann an cheist seo níos measa. Cuireann an "Mallacht Aisiompaithe" teorainn le tuiscint na LLM ar chaidrimh chómhalartacha agus ar choibhéis i ráitis, rud a fhágann go bhfuil easnamh suntasach ina gcumas réasúnaíochta.

## An Mallacht Aisiompú a Shárú le hOiliúint Aisiompaithe

Déanann an réiteach atá beartaithe, Reverse Training, na sonraí oiliúna atá ar fáil a dhúbailt trí bhunleaganacha agus leaganacha droim ar ais de theaghráin oiliúna a áireamh. Tá an próiseas aisiompaithe cúramach gan fotheidil áirithe a athrú, mar ainmneacha aonáin, ag coinneáil a seicheamh bunaidh chun an comhthéacs a chaomhnú. Cuireann an modh seo, cosúil le tabhairt isteach an dara teanga don LLM le foghlaim, go mór le cumas an mhúnla faisnéis a phróiseáil agus a ghiniúint sa dá threo.

## An Modh Oiliúna Droim ar Ais a Thástáil

Rinne na húdair na turgnaimh seo a leanas chun a modh molta a thástáil:

**1- Tasc Droim ar Ais Siombailí:** Triail timpeallachta rialaithe a thaispeánann cumas an mhodha gaolmhaireacht aisiompaithe a bhaint amach agus a chur i bhfeidhm.

**2- Tasc Beathaisnéise a Fhreaschur:** Úsáid a bhaint as tacar sonraí beathaisnéise chun feidhmíocht a mheas maidir le hainmneacha daoine a ghiniúint ó mhionsonraí tugtha, ar chúl.

**3- Fíor-Aisiompú Faisnéise an Domhain:** Measúnú a dhéanamh ar éifeachtacht an mhodha i gcásanna sa saol fíor, lena n-áirítear fíricí faoi dhaoine cáiliúla agus a gcaidrimh a aisiompú.

**4- Mionchoigeartú ar Fhíricí Bréige:** Cumas foghlama na samhla a thástáil ar fhíorais bhréige nua-thionscanta.

Ar fud na dturgnaimh seo, ní hamháin gur mhaolaigh Reverse Training an Mallacht Aisiompaithe ach, i gcásanna áirithe, chuir siad deireadh leis go hiomlán. Bhí an modh an-éifeachtach nuair a caomhnaíodh ainmneacha aonán ina n-ord bunaidh le linn an phróisis aisiompaithe, rud a chuir béim ar a thábhachtaí atá sé go gcoimeádfaí ancairí comhthéacsúla áirithe.

## Impleachtaí agus Treonna Amach Anseo

Osclaíonn rathúlacht Reverse Training maidir le dul i ngleic leis an Reversal Curse bealaí nua le haghaidh modheolaíochtaí oiliúna LLM. Trí fheabhas a chur ar thuiscint samhlacha ar chaidrimh chómhalartacha agus ar choibhéis i ráitis, osclaíonn an cur chuige seo an doras chuig cumais réasúnaíochta níos sofaisticiúla. D’fhéadfadh taighde sa todhchaí iniúchadh breise a dhéanamh ar an bpróiseas aisiompaithe, an fhéidearthacht chun oiliúint droim ar ais a chomhtháthú in ailtireachtaí samhlacha teanga eile, agus feidhmiú níos leithne an mhodha seo i dtuiscint teanga nádúrtha agus i dtascanna giniúna.

---

* Bí i do Chód Pro ar do Luas Féin! Glac páirt i Code Labs Academy’s [Tosaithe Campa Páirtaimseartha Ar Líne](/) agus cuir le scileanna códaithe. Cuir an fhoghlaim thart ar do sceideal agus cuir tús le do thuras chuig an teicneolaíocht inniu!*

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Oiliúint Droim ar Ais chun Altraí an Mhallacht Aisiompú

[Arxiv Link](https://arxiv.org/abs/2403.12015)

18ú Márta, 2024

Cuireann “Sintéis Íomhá Ardtaifeach Tapa le Driogadh Idirleata Sáraimh Folaigh” cur chuige nua driogtha i láthair ar a dtugtar Driogadh Idirleata Sáraimh Folaigh (LADD). Tá an cur chuige seo deartha chun aghaidh a thabhairt ar na srianta atá ar [samhlacha idirleata](https://en.wikipedia.org/wiki/Diffusion_model) atá ann cheana féin, go háirithe an dúshlán a bhaineann le luas mall tátal, a chuireann bac ar fheidhmchláir fhíor-ama. Cumasaíonn LADD sintéis íomhá cóimheas ilghnéitheach ardtaifigh trí [samhlacha idirleata folaigh](https://arxiv.org/abs/2112.10752) (LDManna) a dhriogadh go héifeachtach, an próiseas oiliúna a shimpliú go suntasach agus feidhmíocht a fheabhsú i gcomparáid le modhanna roimhe seo. .

Déanfaimid achoimre ar na príomhbhealaí beir leat ón bpáipéar seo.

## Réamhrá

Tá samhlacha idirleata tagtha chun cinn mar uirlis chumhachtach do shintéisiú agus eagarthóireacht íomhá agus físe, ag tairiscint torthaí ardchaighdeáin. Mar sin féin, chuir a nádúr atriallach, a éilíonn meastóireachtaí iomadúla líonra chun torann a athrú go híomhánna comhleanúnacha, teorainn lena gcuid praiticiúlacht d’fheidhmchláir fhíor-ama. Tá straitéisí éagsúla molta chun samhlacha idirleata a luathú. Tugann LADD straitéis nua isteach, a ghiaráil gnéithe giniúna ó LDManna réamhoilte, a cheadaíonn sintéis íomhá ardtaifigh éifeachtach i gcodán de na céimeanna a theastaíonn ó mhodhanna traidisiúnta.

## Cúlra

Tosaíonn an páipéar trí fhorbhreathnú a sholáthar ar mhúnlaí idirleata agus ar a [dhriogadh](https://en.wikipedia.org/wiki/Knowledge_distillation). Feidhmíonn samhlacha idirleata traidisiúnta trí íomhá a shéanadh de réir a chéile trí go leor céimeanna atriallacha, rud a fhágann go bhfuil an próiseas mall agus costasach ó thaobh ríomhaireacht de. Tá iarracht déanta ag modhanna driogtha, lena n-áirítear [Driogadh Idirleata Sáraíochta](https://arxiv.org/abs/2311.17042) (ADD), an próiseas seo a chuíchóiriú trí líon na gcéimeanna a theastaíonn a laghdú. Mar sin féin, tá teorainneacha le sárú ag ADD, amhail taifeach seasta oiliúna, agus an gá atá le díchódú go spás RGB chun samhlacha idirleata folaigh a dhriogadh, rud a d’fhéadfadh teorainn a chur le hoiliúint ardtaifigh.

## Modheolaíocht

Tugann LADD aghaidh ar na saincheisteanna seo trí **dhriogadh go díreach i spás folaigh**, ar an gcaoi sin **an gá atá le díchódú go spás picteilín** a sheachaint, agus ceadú d’oiliúint ag réitigh níos airde. Murab ionann agus ADD, a bhraitheann ar idirdhealúoir réamhoilte a fheidhmíonn sa spás picteilín, úsáideann LADD cur chuige nua ina bhfuil samhail an idirdhealaitheora agus an mhúinteora aontaithe, ag feidhmiú go díreach ar fholaigh. Ní hamháin go ndéanann an modh seo an próiseas oiliúna a shimpliú, ach cuireann sé roinnt buntáistí ar fáil freisin, lena n-áirítear éifeachtúlacht, an cumas aiseolas sonrach ar leibhéal torainn a sholáthar, agus an cumas chun oiliúint a chur ar Chóimheas Ilghnéitheach (MAR).

## Turgnaimh agus Torthaí

Déanann an páipéar meastóireacht fhairsing ar LADD trí thurgnaimh éagsúla, ag léiriú a fheidhmíochta níos fearr maidir le híomhánna ardtaifigh a shintéisiú gan ach roinnt céimeanna. Go háirithe, nuair a chuirtear i bhfeidhm é ar [Stable Idirleata 3](https://stability.ai/news/stable-diffusion-3) (SD3), is é an toradh a bhíonn ar LADD ná múnla ar a dtugtar SD3-Turbo, a ghnóthaíonn cáilíocht íomhá inchomparáide leis an stát-. gineadóirí téacs-go-íomhá den scoth i gceithre chéim. Déanann na turgnaimh iniúchadh freisin ar an tionchar a bhíonn ag dáiltí difriúla torainn múinteoirí, úsáid sonraí sintéiseacha, cuir chuige um dhriogadh folaigh, agus iompar scálaithe LADD.

## Comparáid leis an Staid Nua-aimseartha

Leagtar béim bhreise ar éifeachtacht LADD trí chomparáid a dhéanamh leis na modhanna tosaigh reatha i sintéis téacs-go-íomhá agus íomhá-go-íomhá. Ní hamháin go meaitseálann SD3-Turbo feidhmíocht a mhúnla múinteora (SD3) i gcáilíocht íomhá, ach léiríonn sé feabhsuithe suntasacha thar bhunlínte eile i dtéarmaí luas tátail agus ailíniú íomhá-téacs.

## Teorainneacha agus Treonna Amach Anseo

In ainneoin a dhul chun cinn, níl LADD gan teorainneacha. Tugann na húdair faoi deara comhbhabhtáil idir cumas samhla, ailíniú pras, agus luas tátail, a d'fhéadfadh tionchar a bheith aige ar chumas an mhúnla dúshláin áirithe sintéise téacs-go-íomhá a láimhseáil. I measc na dtreoracha taighde amach anseo tá iniúchadh níos doimhne ar an gcomhbhabhtáil seo agus straitéisí a fhorbairt chun smacht a fheabhsú ar an íomhá agus ar láidreachtaí treorach an téacs.

## Conclúid

Tugann “Sintéis Íomhá Ardtaifeach Tapa le Driogadh Idirleata Sáraimh Folaigh” isteach cur chuige nua maidir le sintéis íomhá/fís a luathaíonn go mór giniúint íomhánna ardcháilíochta ó leideanna téacs. Trí mhúnlaí idirleata móra a dhriogadh sa spás folaigh, réitíonn LADD an bealach le haghaidh feidhmchláir fhíor-ama agus socraíonn sé caighdeán nua éifeachtúlachta agus feidhmíochta i sintéis íomhá.

---

*Code Labs Academy: [Tosaithe Códaithe Ar Líne](/) le Pleananna Íocaíochta Solúbtha*

Páipéir Mínithe

An Fáth go bhféadfadh sé go ndéanfaí Táirgiúlacht a ghortú le filleadh ar an Oifig Iarphaindéime: Léargais ó Shaineolaí Gnó