Асабліва ў буйных кампаніях пасля пандэміі COVID-19 назіраецца прыкметнае вяртанне патрабаванняў да працы з офіса. [Марк Ма](https://business.pitt.edu/professors/mark-ma/), дацэнт кафедры дзелавога адміністравання ў Вышэйшай школе бізнесу Джозэфа М. Каца пры Пітсбургскім універсітэце, і Юйе Дзін, Аспірант, [даследаваў гэты шаблон](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Яны разгледзелі сацыялагічныя і эканамічныя наступствы дыстанцыйнай працы, а таксама нядаўнюю ініцыятыву прадпрыемстваў вярнуць работнікаў у офіс, што часта раздражняе іх.

Ма сцвярджае ў [інтэрв'ю з Хайзе](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html), што ў усё больш лічбавае працоўнае асяроддзе, прымушаючы работнікаў вяртацца ў офіс, іх проста раздражняе і мала спрыяе павышэнню прадукцыйнасці. Аднак ён прызнае, што пры добраахвотнай працы і падтрымцы каманды асабістая праца можа быць карыснай і спрыяць паляпшэнню каардынацыі і каманднай працы.

Ма мяркуе, што высокапрадукцыйным людзям, якія даказалі сваю эфектыўнасць пры працы дома, трэба дазволіць працягваць гэта рабіць, а не трымаць усіх у офісе. Ён лічыць, што захаванне бліскучых людзей, якія ў адваротным выпадку маглі б шукаць працу ў іншым месцы, у канчатковым выніку гэтая стратэгія прынясе карысць як працадаўцам, так і супрацоўнікам. Ма таксама прапануе рэгулярныя асабістыя практыкаванні па стварэнні каманды, каб падтрымліваць надзейную культуру кампаніі, што вельмі важна для эфектыўнай генерацыі ідэй і вырашэння праблем.

Вершыня гэтай тэндэнцыі, здаецца, мінула, нават калі некаторыя прадпрыемствы запатрабавалі ад супрацоўнікаў вярнуцца ў офіс пасля пандэміі. Згодна з апытаннямі, праведзенымі ў 2024 годзе, большасць генеральных дырэктараў больш не надаюць вялікага значэння знаходжанню ў офісе. Прадпрыемствы даведаліся, што працаўнікі могуць быць вельмі прадуктыўнымі, калі працуюць выдалена падчас пандэміі. Але ў іншых кіраўнікоў усё яшчэ ёсць асцярогі наконт аддаленай працы, таму яны выступаюць за вяртанне ў офіс. Маральны дух супрацоўнікаў можа пацярпець у выніку гэтага адсутнасці даверу, бо гэта дае зразумець супрацоўнікам, што іх кіраўнікі не вераць у іх.

Нягледзячы на ​​​​тое, што дыстанцыйная праца можа знізіць патрабаванні да накладных выдаткаў і прасторы, буйныя кампаніі вельмі хочуць, каб іх работнікі вярнуліся, што павялічвае верагоднасць таго, што кантроль і ўлада тут больш важныя, чым цана. Ма адзначае, што многія прадпрыемствы ўкаранілі палітыку вяртання ў офіс у адказ на падзенне коштаў на акцыі, зручна выкарыстоўваючы аддаленую працу ў якасці зручнага казла адпушчэння за дрэнную прадукцыйнасць.

Нягледзячы на ​​​​тое, што па-ранейшаму існуе высокі попыт на дыстанцыйную працу - многія офісныя памяшканні ў буйных гарадах, такіх як Нью-Ёрк, Сан-Францыска і Германія, вакантныя, - кіраўнікі працягваюць прытрымлівацца думкі, што асабістыя супрацоўнікі палепшаць супрацоўніцтва і бізнес-культуру. Але замест таго, каб працаваць разам з калегамі, многія работнікі, якія вярнуліся ў офіс, кажуць, што праводзяць большую частку часу, працуючы ў адзіноце за камп'ютарамі. Неэфектыўнасць такіх мандатаў выклікае сумнеў з-за адсутнасці прыкметнага адрознення паміж офіснай і аддаленай працай, а таксама расчаравання, якое адчуваюць супрацоўнікі, калі іх прымушаюць вярнуцца.

Работнікі прывыклі да павышэння прадукцыйнасці і пераваг балансу паміж працоўным і асабістым жыццём, якія прыходзяць з дыстанцыйнай працай, такіх як магчымасць лепш інтэграваць працоўнае і сямейнае жыццё і пазбягаць працяглых паездак. Незадаволенасць узнікае ў выніку зрыву гэтых пагадненняў у выніку прымусовага вяртання ў офіс. Акрамя таго, існуе меркаванне, што адсутнасць працы можа перашкодзіць прафесійнаму росту.

У рэшце рэшт, Ма лічыць, што калі работнікаў прымусяць вярнуцца на працу на пастаяннай аснове, многія з іх пачнуць шукаць іншыя прафесіі, а тыя, што застануцца, могуць стаць менш матываванымі. Хатнія офісы па-ранейшаму распаўсюджаныя, таму што яны забяспечваюць лепшы баланс паміж працоўным і асабістым жыццём і меншы ўзровень выгарання, нягледзячы на ​​іх недахопы. Няма прыкметнай розніцы ў прадукцыйнасці паміж аддаленай працай і працай у офісе, і праца з дому можа быць гэтак жа адчужанай, як і адцягненне офісаў адкрытай планіроўкі, дзе супрацоўнікі часта носяць навушнікі, каб засяродзіцца. Ма раіць, каб каманды выбіралі, колькі дзён яны хочуць працаваць у офісе, а астатні час пакідалі гнуткім, каб супрацоўнікі маглі выбіраць упадабанае працоўнае асяроддзе, нават калі чалавечыя кантакты могуць быць карыснымі для кампаній.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Чаму вяртанне ў офіс пасля пандэміі можа пашкодзіць прадукцыйнасці: меркаванні бізнес-эксперта

[Google AI](https://ai.google/) нядаўна прадставіў новую функцыю пад назвай "Прачытанне" ў Gboard, папулярнай мабільнай клавіятурнай праграме. Адным націскам гэтая функцыя дазваляе ўносіць плаўныя мадыфікацыі і выпраўленні на ўзроўні сказа і абзаца, паляпшаючы агульны досвед уводу.

## Рашэнне праблемы "тоўстага пальца".

[Gboard](https://support.google.com/gboard/?hl=en) выкарыстоўвае статыстычнае дэкадаванне як сродак вырашэння праблемы "тоўстага пальца", якая з'яўляецца натуральнай недакладнасцю сэнсарнага ўводу на маленькіх экранах. Даследаванні паказваюць, што ўзровень памылак на літару можа дасягаць ад 8 да 9 працэнтаў без дэкадавання. Gboard пастаўляецца з некалькімі функцыямі выпраўлення памылак, каб зрабіць увод прасцейшым і плыўным. Гэтыя функцыі спалучаюць ручныя задачы з удзелам чалавека з актыўнымі аўтаматычнымі выпраўленнямі.

## Комплексныя інструменты выпраўлення памылак

Увод тэксту палягчаецца разам дзякуючы функцыям Gboard, якія ўключаюць завяршэнне слоў, прагназаванне наступнага слова, актыўную аўтакарэкцыю (AC) і актыўную карэкцыю клавіш (KC). Гэтыя інструменты ўключаюць у сябе разумную кампазіцыю, выпраўленне памылак і некалькі слоў-кандыдатаў у панэлі прапаноў або ў радку. Поствыпраўленне (ПК) таксама спрыяе выпраўленню памылак у словах, якія ўжо былі зроблены. Нягледзячы на ​​гэтыя асаблівасці, два асноўныя абмежаванні пагаршаюць карыстацкі досвед.

1. У той час як мадэлі карэкцыі на прыладзе, такія як KC, AC і PC, хуткія і кампактныя, яны маюць цяжкасці з апрацоўкай складаных і складаных памылак, якія патрабуюць больш працяглых кантэкстаў. Каб гэтыя мадэлі не актываваліся, карыстальнікі павінны ўводзіць павольна і дакладна.

2. Хуткасць набору тэксту зніжаецца ў выніку таго, што карыстальнікам даводзіцца ўручную выпраўляць замацаваныя словы з дапамогай граматыкі і праверкі арфаграфіі, што можа нагружаць розум і зрок.

## Патрэба ў выпраўленні памылак высокага ўзроўню

Людзі, якія хутка друкуюць, часта ігнаруюць словы, якія яны ўжо набралі, і засяроджваюцца толькі на клавіятуры. З-за гэтага можа паўстаць больш высокі ўзровень памылак, што патрабуе выкарыстання механізмаў карэкцыі прысуду або больш высокага ўзроўню.

## Прадстаўляем карэктуру

Карэктура вырашае гэтыя частыя скаргі, прапаноўваючы значнае павышэнне прадукцыйнасці. Гэта спрашчае выпраўленне памылак, забяспечваючы выпраўленні на ўзроўні прапаноў і абзацаў адным націскам.

## Тэхналогія карэктуры

Функцыя Proofread складаецца з чатырох асноўных кампанентаў: вытворчасць даных, распрацоўка паказчыкаў, налада мадэлі і абслугоўванне мадэлі. У сукупнасці ўсе гэтыя кампаненты гарантуюць эфектыўнасць. Каб забяспечыць размеркаванне даных у адпаведнасці з даменам Gboard, сістэма імітуе частыя памылкі клавіятуры, выкарыстоўваючы дакладна і метадычна пабудаваную сінтэтычную архітэктуру памылак.

## Пашыраныя паказчыкі і аптымізацыя мадэлі

Каб ацаніць мадэль, даследчыкі ўключылі шэраг паказчыкаў, з асаблівым акцэнтам на праверцы наяўнасці граматычных памылак і падобных праверках значэнняў, атрыманых з вялікіх моўных мадэляў (LLM). Для паляпшэння мадэлі ў тэхніцы InstructGPT выкарыстоўваюцца кантраляваная тонкая налада і налада навучання з падмацаваннем (RL). Гэтая працэдура значна паляпшае прадукцыйнасць карэктуры мадэлі.

## Разгортванне і прадукцыйнасць

Выкарыстоўваючы 8-бітнае квантаванне, LLM PaLM2-XS сярэдняга памеру прыстасаваны для размяшчэння ўнутры аднаго TPU v5 і служыць асновай для функцыі праверкі. Аптымізацыя зніжае кошт абслугоўвання. Папярэднія даследаванні прадэманстравалі, што сегментацыя, спекулятыўнае дэкадаванне і ключы-вядры могуць паменшыць затрымку.

## Уплыў у рэальным свеце

Дзясяткі тысяч карыстальнікаў Pixel 8 атрымаюць прыбытак ад высакаякасных правак, якія забяспечвае функцыя «Прачытка», якая цяпер даступная. Дбайная генерацыя сінтэтычных даных і некалькі ітэрацый тонкай налады стварылі мадэль, якая істотна зніжае колькасць граматычных памылак, пра што сведчыць адноснае зніжэнне каэфіцыента Bad мадэлі PaLM2-XS на 5,74 працэнта. Акрамя таго, аптымізацыя прывяла да зніжэння сярэдняй затрымкі на 39,4%.

## Перспектывы на будучыню

[Гэта даследаванне](https://arxiv.org/abs/2406.04523) дэманструе, як LLM могуць палепшыць карыстацкі досвед і стварыць інтрыгуючыя магчымасці для далейшага расследавання. Выкарыстанне даных рэальных карыстальнікаў, шматмоўная падтрымка, персанальная дапамога ў напісанні і рашэнні па канфідэнцыяльнасці прылад - гэта некалькі прыкладаў абласцей, якія могуць прывесці да далейшага прагрэсу ў сектары.

Google AI пашырае магчымасці тэхналогіі мабільнай клавіятуры з увядзеннем функцыі Proofread, паляпшаючы набор тэксту для людзей ва ўсім свеце.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI прадстаўляе «Праверку»: функцыя Gboard для лёгкага выпраўлення прапаноў і абзацаў

Сучасныя глыбокія нейронныя сеткі (DNN) па сваёй сутнасці непразрыстыя, таму зразумець працэсы прыняцця рашэнняў у іх складана. Гэты недахоп празрыстасці перашкаджае шырокаму ўкараненню метадаў машыннага навучання ў розных галінах. У адказ на гэта з'явіўся Explainable AI (XAI), які мае намер палепшыць разуменне чалавекам рашэнняў DNN. Разглядаючы функцыянальнае прызначэнне кожнага кампанента, XAI цяпер таксама засяроджваецца на разуменні глабальных паводзін DNN, у адрозненне ад мясцовых метадаў тлумачэння, якія выкарыстоўваюць карты прыкметнасці для тлумачэння індывідуальных прагнозаў.

Механістычная інтэрпрэтацыя - гэта глабальная тэхніка тлумачальнасці, якая сканцэнтравана на вызначэнні канкрэтных ідэй, якія нейроны, асноўныя вылічальныя адзінкі нейронавай сеткі, набылі здольнасць разумець. Мы можам растлумачыць працу схаваных уяўленняў сеткі, пазначаючы нейроны апісаннямі, зразумелымі людзям. Гэтыя апісанні перайшлі ад простых этыкетак да складаных, кампазіцыйных і адкрытых слоўнікавых тлумачэнняў. Тым не менш, адсутнасць стандартызаваных колькасных паказчыкаў для ацэнкі гэтых адкрытых слоўнікавых апісанняў перашкаджала дбайным параўнанням розных падыходаў.

Каб ліквідаваць гэты прабел, даследчыкі з ATB Potsdam, Універсітэта Патсдама, TU Berlin, Інстытута Фраўнгофера Генрыха Герца і BIFOLD прадстаўляюць [CoSy](https://arxiv.org/abs/2405.20331), наватарскую структуру колькаснай ацэнкі для ацэнка выкарыстання адкрытых слоўнікавых тлумачэнняў у мадэлях камп'ютэрнага гледжання (CV). Гэты інавацыйны метад выкарыстоўвае распрацоўкі Generative AI для стварэння штучных малюнкаў, якія суадносяцца з канцэптуальнымі тэкставымі апісаннямі. cosy пазбаўляе ад неабходнасці ўзаемадзеяння паміж людзьмі, палягчаючы колькаснае параўнанне розных падыходаў да тэкставага тлумачэння, заснаваных на канцэпцыях, шляхам сінтэзу кропак дадзеных, агульных для пэўных мэтавых тлумачэнняў.

Даследчая група прадэманстравала з дапамогай шырокага мета-аналізу, што cozy прапануе надзейныя ацэнкі тлумачэнняў. Даследаванне выявіла, што метады тэкставага тлумачэння, заснаваныя на канцэпцыях, лепш за ўсё працуюць на верхніх пластах нейронавых сетак, дзе засвойваюцца канцэпцыі высокага ўзроўню. Высакаякасныя тлумачэнні нейронаў ствараюцца такімі метадамі, як INVERT, які стварае візуальныя эфекты з уяўленняў нейронных сетак, і CLIP-Dissect, які даследуе ўяўленні ўнутраных сетак. І наадварот, такія метады, як MILAN і FALCON, ствараюць тлумачэнні горшай якасці, час ад часу даючы амаль выпадковыя канцэпцыі, што можа прывесці да недакладных сеткавых высноў.

Асноўным недахопам CoSy, як прызнаюць даследчыкі, з'яўляецца тое, што пэўныя катэгорыі з навучальных даных маглі не быць уключаны ў генератыўную мадэль, што прывяло да занадта агульных або неадназначных тлумачэнняў, такіх як «белыя аб'екты». Генератыўная дакладнасць можа быць павялічана шляхам вырашэння гэтай праблемы шляхам вывучэння набораў даных перад навучаннем і прадукцыйнасці мадэлі. Тым не менш, cozy мае вялікі патэнцыял у галіне ацэнкі нелакальных метадаў тлумачэння, якая ўсё яшчэ развіваецца.

Забягаючы наперад, каманда спадзяецца на патэнцыяльнае прымяненне CoSy у розных галінах. Для ацэнкі праўдападобнасці або якасці тлумачэння адносна выніку наступнай задачы чалавечае меркаванне павінна быць уключана ў вызначэнне якасці тлумачэння, якое яны хочуць вырашыць у будучай працы. Акрамя таго, яны хочуць уключыць у сваю сістэму ацэнкі дадатковыя вобласці, такія як апрацоўка натуральнай мовы і ахова здароўя. Патэнцыйнае выкарыстанне cosy для ацэнкі вялікіх, непразрыстых мадэляў мовы з магчымасцю аўтаінтэрпрэтацыі (LLM) асабліва цікава. На думку даследчыкаў, прымяненне cozy да набораў дадзеных аховы здароўя, дзе якасць тлумачэнняў важная, можа стаць вялікім крокам наперад. Гэтыя патэнцыйныя будучыя прымянення cozy маюць велізарны патэнцыял для прасоўвання даследаванняў штучнага інтэлекту.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Разуменне нейронавых сетак: колькасная структура CoSy для ацэнкі тэкставых тлумачэнняў

[Мадэлі на аснове трансфарматараў](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) славяцца сваёй здольнасцю разбіраць і інтэрпрэтаваць складаны тэкст. Яны абапіраюцца на разуменне парадку і кантэксту слоў - задачы, у якіх традыцыйныя метады пазіцыйнага кадавання паказалі свае межы. Устараняючы гэты прабел, мадэль ROFORMER на аснове **Rotary Position Embedding (RoPE)** перавызначае наш падыход да пазіцыйнага кадавання.

## Традыцыйнае пазіцыйнае кадаванне

Transformers разглядаюць тэкст як шэраг токенаў і дазваляюць **паралельную апрацоўку паслядоўнасцяў** для большай эфектыўнасці. Аднак гэтая сіла прынесла сваю праблему: **уласцівы мадэлі агнастыцызм да сімвалічнага парадку**. **Пазіцыйнае кадзіраванне** было адказам, **забяспечваючы кожны токен унікальнай сігнатурай, якая пазначае яго пазіцыю ў паслядоўнасці**.

### Убудовы абсалютнай пазіцыі

Першапачаткова такія мадэлі, як BERT, выкарыстоўвалі **абсалютныя ўбудовы пазіцый, прысвойваючы фіксаваны вектар кожнай пазіцыі ў паслядоўнасці**. Гэтаму метаду, хоць і простаму, па сваёй сутнасці **не хапае здольнасці адаптавацца да варыяцый даўжыні паслядоўнасці або падкрэсліваць адносныя адлегласці паміж лексемамі**, што мае вырашальнае значэнне для разумення многіх лінгвістычных канструкцый.

### Убудовы адноснага становішча

Каб выявіць дынамічную прыроду мовы, былі ўведзены ўбудовы адноснай пазіцыі, арыентаваныя на адлегласць паміж лексемамі, а не на іх абсалютныя пазіцыі. Нягледзячы на ​​сваю канцэптуальную перавагу, гэтыя ўбудовы ўвялі **складанасць вылічэнняў і не змаглі бесперашкодна інтэгравацца ў механізм самаканцэнтрацыі Трансформераў**, што абмяжоўвае іх эфектыўнасць.

## ROFORMER і паваротнае ўбудаванне

Прызнаючы абмежаванні існуючых стратэгій пазіцыйнага кадавання, ROFORMER прадстаўляе Rotary Position Embedding (RoPE), падыход, які спалучае ў сабе перавагі інфармацыі аб абсалютнай і адноснай пазіцыі без адпаведных недахопаў.

### Убудаванне паваротнай пазіцыі

RoPE кадуе пазіцыйную інфармацыю з дапамогай **матрыц кручэння**, што дазваляе мадэлі разумець не толькі тое, дзе знаходзіцца токен, але і тое, як ён суадносіцца з кожным іншым токенам у паслядоўнасці.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Ён працуе праз геаметрычную лінзу, разглядаючы пазіцыі токенаў як кропкі ў шматмернай прасторы, якія паварочваюцца, каб адзначыць іх паслядоўныя адносіны. Такое паварот дазваляе мадэлі захоўваць і выкарыстоўваць як абсалютныя, так і адносныя пазіцыйныя сігналы ў сваім механізме ўвагі да сябе.

### Укараненне RoPE

Рэалізацыя RoPE прадугледжвае кадзіраванне пазіцыі кожнага токена ў матрыцу кручэння і прымяненне гэтай матрыцы ў механізме самакіравання Transformer. Гэты працэс дазваляе гнуткую, дынамічную інтэрпрэтацыю пазіцыйнай інфармацыі, улічваючы розныя даўжыні паслядоўнасці і фіксуючы сутнасць узаемасувязяў токенаў без значных вылічальных выдаткаў.

Спачатку вам спатрэбіцца функцыя для генерацыі паваротных убудоў, а потым вы інтэграваеце гэтыя ўбудовы ў сваю мадэль. У прыкладзе ніжэй мяркуецца, што вы знаёмыя са стварэннем уласных слаёў у Keras.

#### Крок 1: Вызначце функцыю паваротнага ўбудавання

Гэтая функцыя стварае паваротныя ўбудовы з улікам максімальнай даўжыні паслядоўнасці і памернасці ўкладанняў.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Гэты радок вылічвае адваротную экспанентна маштабаваную частату на аснове індэксаў пазіцыі. Гэтыя частоты выкарыстоўваюцца для генерацыі сінусоідных шаблонаў для паваротных убудоўванняў, што дапамагае ў кадзіраванні адноснай пазіцыйнай інфармацыі ў паслядоўнасцях. Гэты механізм асабліва карысны ў задачах, дзе разуменне парадку і адноснага размяшчэння элементаў мае вырашальнае значэнне, напрыклад, пры апрацоўцы натуральнай мовы або аналізе часовых шэрагаў.

Падрабязней:

- `tf.range(0, dim, 2, dtype=tf.float32)` стварае дыяпазон значэнняў, пачынаючы ад 0 да `dim` (выключна), з крокам 2. Аргумент `dtype=tf.float32` вызначае што элементы гэтага тэнзара з'яўляюцца 32-бітнымі лікамі з плаваючай коскай. Напрыклад, калі "dim" роўна 8, атрымаецца "[0, 2, 4, 6]".

- Тэнзар, атрыманы `tf.range`, потым дзеліцца на памернасць (`dim`) укладанняў. Гэтая аперацыя памяншае гэтыя індэксы да дыяпазону ад 0 да 1 (за выключэннем, калі "dim" цотны, крыху ўключна, калі "dim" няцотны, таму што крок дыяпазону прапускае ўсе астатнія значэнні). Працягваючы прыклад з "dim" = 8, дзяленне на 8 дае "[0.0, 0.25, 0.5, 0.75]".

- Аперацыя `10000 ** (...)` ўзводзіць 10 000 у ступень кожнага элемента ў раней маштабаваным тэнзары. База ў 10 000 з'яўляецца ў пэўнай ступені адвольнай, але выбрана для таго, каб частоты змяняліся ў шырокім дыяпазоне, што дапамагае мадэлі больш эфектыўна адрозніваць розныя пазіцыі. Для "[0.0, 0.25, 0.5, 0.75]" ён будзе прымяняць аперацыю ступені да кожнага, што прывядзе да значна большых значэнняў для вышэйшых элементаў.

- Нарэшце, адваротная частата атрымліваецца шляхам узяцця зваротнай (1/x) значэнняў з папярэдняга кроку. Зваротныя частоты меншыя для больш высокіх індэксаў, гэта значыць, што элементы далей у паслядоўнасці будуць мець меншыя частоты, што ўплывае на тое, як іх пазіцыі кадуюцца ў мадэлі. Гэта дазваляе ўбудаванням маштабавацца такім чынам, што адноснае становішча можа быць выведзена праз механізмы ўвагі мадэлі.

Радок:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

выкарыстоўвае функцыю `tf.einsum` TensorFlow, інструмент, які дазваляе сціслае і эфектыўнае выражэнне тэнзарных аперацый з выкарыстаннем абазначэння сумавання Эйнштэйна.

Гэтая аперацыя эфектыўна вылічвае знешні здабытак вектараў "t" і "inv_freq", у выніку чаго атрымліваецца матрыца, дзе кожны элемент "(i, j)" з'яўляецца здабыткам "i"-га элемента з "t" і " j-ы элемент `inv_freq`. Гэтая матрыца (`freqs`) прадстаўляе частоты, якія выкарыстоўваюцца для генерацыі сінусоідных малюнкаў для паваротных убудоў.

#### Крок 2: Карыстальніцкі пласт Keras для паваротных убудоў

Зараз давайце створым уласны пласт Keras, які прымяняе паваротныя ўбудовы да ўваходнага тэнзара. Гэты ўзровень мяркуе, што ўваходны тэнзар мае форму "(batch_size, sequence_length, embedding_dim)".

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

Радок `embeddings = self.rotary_embeddings[:seq_len]` выбірае адпаведнае падмноства папярэдне вылічаных паваротных укладанняў на аснове бягучай даўжыні ўваходнай паслядоўнасці. Паколькі даўжыня паслядоўнасцей можа вар'іравацца ад адной партыі да іншай, гэтая аперацыя нарэзкі гарантуе, што выкарыстоўваюцца толькі ўбудовы, якія адпавядаюць фактычнай даўжыні паслядоўнасці.

Пераменная `embeddings` цяпер утрымлівае тэнзар формы `(seq_len, embedding_dim)`, дзе `seq_len` — даўжыня паслядоўнасцей у бягучым пакете, а `embedding_dim` — памернасць убудоўванняў. Гэты тэнзар утрымлівае паваротныя пазіцыйныя ўбудовы для кожнай пазіцыі ў паслядоўнасці да "seq_len".

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` аб'ядноўвае пераўтварэнні сінуса і косінуса пазіцыйных частот у адзін тэнзар:

-`tf.cos(freqs)` і `tf.sin(freqs)` прымяняюць пераўтварэнні косінуса і сінуса адпаведна да тэнзара "freqs". Тэнзар "freqs" змяшчае значэнні частот для кожнай пазіцыі ва ўваходнай паслядоўнасці і кожнага вымярэння прасторы ўбудавання, разлічаныя на аснове пазіцый паслядоўнасці і адваротных частот вымярэнняў убудавання. Функцыі сінус і косінус прымяняюцца паэлементна, што прыводзіць да двух тэнзараў такой жа формы, што і "freqs". Гэтыя пераўтварэнні дапамагаюць кадзіраваць пазіцыю такім чынам, каб адлюстраваць цыклічны характар ​​пазіцыйных адносін, палягчаючы здольнасць мадэлі разумець адносныя пазіцыі.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` аб'ядноўвае трансфармаваныя тэнзары косінуса і сінуса ўздоўж апошняй восі (пазначаецца `axis=-1`). Аб'яднанне гэтых тэнзараў побач эфектыўна падвойвае памернасць тэнзара "freqs", прычым першая палова ўяўляе значэнні, трансфармаваныя ў косінус, а другая палова ўяўляе значэнні, трансфармаваныя ў сінус, для кожнай пазіцыі. Канкатэнацыя гарантуе, што кожнае пазіцыйнае кадзіраванне змяшчае як сінусную, так і косінусную інфармацыю, што дазваляе захаваць інфармацыю як аб амплітудзе, так і аб фазе пазіцыйных сігналаў.

- Злучаны тэнзар `emb` цяпер змяшчае поўныя паваротныя ўбудовы для пазіцый уводу. Форма "emb" будзе такой жа, як і "freqs" у першых двух вымярэннях (адпаведных пазіцыям паслядоўнасці і ўбудаваным вымярэнням), але апошняе вымярэнне будзе ўдвая большым, улічваючы як сінус, так і косінус. Гэтыя ўбудовы выкарыстоўваюцца для мадуляцыі ўваходных убудоў шляхам дадання пазіцыйнай інфармацыі ратацыйна-эквіварыянтным спосабам.

-`cos_emb = убудовы[:, Няма, :self.dim // 2]`:

1. Першае двукроп'е `:` азначае «выбраць усе элементы ў гэтым вымярэнні», што ў дадзеным выпадку адносіцца да ўсіх пазіцый у паслядоўнасці.

2. "Няма" выкарыстоўваецца для дадання дадатковага вымярэння, што робіць тэнзар трохмерным. Гэта часта робіцца для забеспячэння сумяшчальнасці з пэўнымі аперацыямі, якія чакаюць уводу пэўнай колькасці вымярэнняў. Напрыклад, пры выкананні паэлементнага множання з іншым 3-мерным тэнзарам фігуры павінны выраўноўвацца ў адпаведнасці з правіламі трансляцыі.

3. `:self.dim // 2`, выбірае першую палову памераў на апошняй восі. Паколькі "вымярэнне_ўбудавання" падвойваецца, каб уключыць значэнні як сінуса, так і косінуса, дзяленне на 2 эфектыўна выбірае толькі кампаненты косінуса ўкладанняў.

#### Крок 3: Інтэграцыя з мадэллю Keras

Пасля вызначэння `RotaryEmbeddingLayer` вы можаце інтэграваць яго ў сваю мадэль Keras. Гэты пласт трэба прымяніць да вашых убудаванняў перад тым, як уключыць іх у пласты ўвагі або любыя наступныя пласты мадэлі.

Вось спрошчаны прыклад таго, як інтэграваць паваротныя ўбудовы ў мадэль:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Палепшаны трансфарматар з паваротным убудаваннем

[Спасылка на Arxiv](https://arxiv.org/abs/2403.13799)

20 сакавіка 2024 г

## Адваротнае праклён

Вялікія моўныя мадэлі (LLM), такія як [GPT-4](https://arxiv.org/abs/2303.08774) і [Llama-2](https://arxiv.org/abs/2307.09288), прадэманстравалі ўражлівыя магчымасці разумення і стварэнне чалавечага тэксту, які ахоплівае шырокі спектр ведаў. Аднак яны не спраўляюцца з, здавалася б, простай задачай: перавярнуць вывучаныя факты. Гэта абмежаванне, якое называецца "Адваротным праклёнам", азначае, што магістранты не могуць зрабіць выснову, што "B з'яўляецца асаблівасцю A" з вывучэння "A мае асаблівасць B", базавага навыку развагі, якім валодаюць нават дзеці. У гэтым дакуменце прадстаўлена "Зваротнае навучанне", новы метад вырашэння гэтай праблемы шляхам выкарыстання двухнакіраванага падыходу да навучання для паляпшэння разумення мадэллю фактаў як у прамым, так і ў зваротным фарматах.

## Вытокі зваротнага праклёну

Праблема ўзнікае з-за фундаментальнага падыходу да навучання магістраў, які звычайна ўключае **аўтарэгрэсіўнае навучанне злева направа**. Гэты метад па сваёй сутнасці не вучыць мадэлі разумець або генераваць інфармацыю ў адваротным парадку. Улічваючы прыроду размеркавання дадзеных у адпаведнасці з законам Зіпфа, многія факты згадваюцца толькі ў адным кірунку, што пагаршае гэтую праблему. «Зваротнае праклён» абмяжоўвае разуменне LLM узаемных сувязяў і эквівалентнасці ў выказваннях, адзначаючы істотны недахоп у іх здольнасці разважаць.

## Пераадоленне зваротнага праклёну з зваротным навучаннем

Прапанаванае рашэнне Reverse Training падвойвае даступныя навучальныя даныя, уключаючы як арыгінальныя, так і зваротныя версіі навучальных радкоў. Працэс развароту асцярожны, каб не змяніць пэўныя падрадкі, такія як імёны аб'ектаў, захоўваючы іх зыходную паслядоўнасць для захавання кантэксту. Гэты метад, падобны да ўвядзення другой мовы для вывучэння LLM, значна паляпшае здольнасць мадэлі апрацоўваць і генераваць інфармацыю ў абодвух напрамках.

## Тэставанне метаду зваротнага навучання

Аўтары правялі наступныя эксперыменты, каб праверыць прапанаваны імі метад:

**1- Сімвалічная адваротная задача:** Тэст у кантраляваным асяроддзі, які дэманструе здольнасць метаду рабіць высновы і прымяняць адваротныя адносіны.

**2- Зваротнае заданне па біяграфіі:** Выкарыстанне набору біяграфічных даных для ацэнкі прадукцыйнасці стварэння імёнаў асоб з зададзеных дэталяў у зваротным парадку.

**3- Рэверсіраванне ведаў у рэальным свеце:** Ацэнка эфектыўнасці метаду ў рэальных сцэнарыях, у тым ліку аднаўленне фактаў пра знакамітасцей і іх адносіны.

**4- Дакладная налада фіктыўных фактаў:** Тэставанне магчымасці навучання мадэлі на новых уведзеных, перавернутых фіктыўных фактах.

Падчас гэтых эксперыментаў Зваротнае навучанне не толькі змякчыла Адваротнае праклён, але ў некаторых выпадках цалкам ліквідавала яго. Метад аказаўся асабліва эфектыўным, калі назвы аб'ектаў былі захаваны ў іх першапачатковым парадку падчас працэсу развароту, падкрэсліваючы важнасць захавання пэўных кантэкстуальных якароў.

## Наступствы і будучыя напрамкі

Поспех зваротнага навучання ў барацьбе са зваротным праклёнам адкрывае новыя шляхі для метадалогій навучання LLM. Палепшыўшы разуменне мадэлямі ўзаемных адносін і эквівалентнасці ў выказваннях, гэты падыход адкрывае дзверы для больш дасканалых магчымасцей развагі. Будучыя даследаванні могуць вывучыць далейшую аптымізацыю працэсу развароту, патэнцыял інтэграцыі зваротнага навучання ў іншыя архітэктуры моўных мадэляў і больш шырокае прымяненне гэтага метаду ў задачах разумення і генерацыі натуральнай мовы.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Адваротнае навучанне захаванню адваротнага праклёну

[Спасылка на Arxiv](https://arxiv.org/abs/2403.12015)

18 сакавіка 2024 г

«Хуткі сінтэз малюнкаў з высокім разрозненнем з прыхаванай спаборніцкай дыфузійнай дыстыляцыяй» прадстаўляе новы падыход дыстыляцыі, вядомы як прыхаваная спаборніцкая дыфузійная дыстыляцыя (LADD). Гэты падыход прызначаны для ліквідацыі абмежаванняў існуючых [дыфузійных мадэляў](https://en.wikipedia.org/wiki/Diffusion_model), асабліва праблемы нізкай хуткасці вываду, якая перашкаджае праграмам у рэальным часе. LADD забяспечвае сінтэз відарысаў з высокай раздзяляльнасцю і суадносінамі бакоў шляхам эфектыўнай дыстыляцыі вялікіх [мадэляў схаванай дыфузіі](https://arxiv.org/abs/2112.10752) (LDM), што значна спрашчае працэс навучання і павышае прадукцыйнасць у параўнанні з папярэднімі метадамі .

Мы абагульнім асноўныя высновы з гэтага артыкула.

## Уводзіны

Дыфузійныя мадэлі з'явіліся як магутны інструмент для сінтэзу і рэдагавання відарысаў і відэа, прапаноўваючы высакаякасныя вынікі. Аднак іх ітэрацыйная прырода, якая патрабуе шматлікіх ацэнак сеткі для пераўтварэння шуму ў кагерэнтныя выявы, абмежавала іх практычнасць для прыкладанняў у рэжыме рэальнага часу. Для паскарэння мадэляў дыфузіі былі прапанаваны розныя стратэгіі. LADD прадстаўляе новую стратэгію, якая выкарыстоўвае генератыўныя магчымасці з папярэдне падрыхтаваных LDM, што дазваляе эфектыўна сінтэзаваць выявы з высокім разрозненнем за долю крокаў, неабходных традыцыйным метадам.

## Фон

Дакумент пачынаецца з агляду мадэляў дыфузіі і іх [дыстыляцыі](https://en.wikipedia.org/wiki/Knowledge_distillation). Традыцыйныя мадэлі дыфузіі працуюць шляхам паступовага знішчэння шуму выявы праз мноства ітэрацыйных этапаў, што робіць працэс павольным і дарагім з вылічальных затрат. Метады дыстыляцыі, у тым ліку [супрацьлегальная дыфузійная дыстыляцыя](https://arxiv.org/abs/2311.17042) (ADD), накіраваны на ўпарадкаванне гэтага працэсу шляхам скарачэння колькасці неабходных этапаў. Аднак ADD сутыкаецца з такімі абмежаваннямі, як фіксаванае навучальнае раздзяленне і неабходнасць дэкадавання ў прастору RGB для перагонкі мадэляў схаванай дыфузіі, што можа абмежаваць навучанне з высокім разрозненнем.

## Метадалогія

LADD вырашае гэтыя праблемы шляхам **дыстыляцыі непасрэдна ў латэнтнай прасторы**, тым самым **пазбягаючы неабходнасці дэкадавання ў піксельную прастору** і дазваляючы навучанне ў больш высокіх раздзяленнях. У адрозненне ад ADD, які абапіраецца на папярэдне падрыхтаваны дыскрымінатар, які працуе ў піксельнай прасторы, LADD выкарыстоўвае новы падыход, дзе дыскрымінатар і мадэль настаўніка аб'яднаны і працуюць непасрэдна на латэнтах. Гэты метад не толькі спрашчае працэс навучання, але і забяспечвае шэраг пераваг, у тым ліку эфектыўнасць, магчымасць забяспечваць спецыфічную зваротную сувязь па ўзроўні шуму і здольнасць да навучання Multi-Aspect Ratio (MAR).

## Эксперыменты і вынікі

Дакумент шырока ацэньвае LADD праз розныя эксперыменты, дэманструючы яго выдатную прадукцыйнасць у сінтэзе малюнкаў з высокім раздзяленнем усяго за некалькі крокаў. Характэрна, што пры ўжыванні да [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) LADD прыводзіць да мадэлі пад назвай SD3-Turbo, якая дасягае якасці выявы, параўнальнай з дзяржаўным самыя сучасныя генератары тэксту ў малюнак усяго ў чатыры кроку. Эксперыменты таксама даследуюць уплыў розных размеркаванняў шуму выкладчыкаў, выкарыстанне сінтэтычных даных, падыходы схаванай дыстыляцыі і паводзіны маштабавання LADD.

## Параўнанне з самым сучасным

Эфектыўнасць LADD дадаткова падкрэсліваецца параўнаннем з сучаснымі вядучымі метадамі сінтэзу тэксту ў відарыс і відарыса ў відарыс. SD3-Turbo не толькі адпавядае прадукцыйнасці сваёй настаўніцкай мадэлі (SD3) па якасці выявы, але таксама дэманструе значныя паляпшэнні ў параўнанні з іншымі базавымі паказчыкамі з пункту гледжання хуткасці вываду і выраўноўвання выявы і тэксту.

## Абмежаванні і будучыя напрамкі

Нягледзячы на ​​свой прагрэс, LADD не пазбаўлены абмежаванняў. Аўтары адзначаюць кампраміс паміж ёмістасцю мадэлі, хуткім выраўноўваннем і хуткасцю вываду, што можа паўплываць на здольнасць мадэлі спраўляцца з пэўнымі праблемамі сінтэзу тэксту ў малюнак. Будучыя кірункі даследаванняў ўключаюць у сябе больш глыбокае вывучэнне гэтага кампрамісу і распрацоўку стратэгій для павышэння кантролю над перавагамі малюнкаў і тэкставых інструкцый.

## Выснова

«Хуткі сінтэз выявы з высокім раздзяленнем са схаванай спаборніцкай дыфузійнай дыстыляцыяй» прадстаўляе новы падыход да сінтэзу выявы/відэа, які значна паскарае стварэнне высакаякасных малюнкаў з тэкставых падказак. Пераганяючы вялікія дыфузійныя мадэлі ў латэнтнай прасторы, LADD адкрывае шлях для прыкладанняў у рэальным часе і ўсталёўвае новы стандарт эфектыўнасці і прадукцыйнасці сінтэзу малюнкаў.

Дакументы патлумачылі

Чаму вяртанне ў офіс пасля пандэміі можа пашкодзіць прадукцыйнасці: меркаванні бізнес-эксперта