Айрыкча ири компанияларда COVID-19 пандемиясынан кийин жумушчулардын кеңседен иштөөсүн талап кылуу байкалаарлык кайтып келди. [Марк Ма](https://business.pitt.edu/professors/mark-ma/), Питтсбург университетиндеги Джозеф М. Катц бизнестин жогорку мектебинин бизнести башкаруу боюнча доценти жана Юйе Динг, а PhD студенти, [бул үлгүнү изилдеген](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401). Алар алыстан иштөөнүн социологиялык жана экономикалык кесепеттерин, ошондой эле ишканалардын жумушчуларды тез-тез кыжырын келтирген кеңсеге кайтаруу демилгесин карап чыгышты.

Ма [Хейзе менен болгон маегинде](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) мындай дейт: барган сайын санариптик иш чөйрөсү, жумушчулардын кеңсеге кайтып келиши алардын кыжырын келтирет жана өндүрүмдүүлүгүн жогорулатуу үчүн анчалык деле эмес. Ал өз ыктыяры менен жана команданын колдоосу менен ишке ашырылса, жеке иш пайдалуу болуп, координацияны жана командалык ишти жакшыртат деп мойнуна алат.

Ма үйдөн иштөөдө эффективдүүлүгүн далилдеген жогорку сапаттагы адамдарга офисте бардыгын отургузбастан, муну улантууга уруксат берүүнү сунуштайт. Анын ою боюнча, башка жерден жумуш издей турган мыкты инсандарды сактап калуу менен, бул стратегия акырында иш берүүчүлөргө да, кызматкерлерге да пайда алып келет. Ма ошондой эле компаниянын маданиятын бекемдөө үчүн үзгүлтүксүз жеке команда түзүү көнүгүүлөрүн сунуштайт, бул идеяны натыйжалуу түзүү жана көйгөйлөрдү чечүү үчүн абдан маанилүү.

Бул тенденциянын туу чокусу өтүп кетти окшойт, бирок бир нече ишканалар пандемиядан кийин кызматкерлерден кеңсеге кайтып келүүнү талап кылышкан. 2024-жылы жүргүзүлгөн сурамжылоого ылайык, башкы директорлордун көбү кеңседе болууну мындан ары жогору баалашпайт. Пандемия учурунда жумушчулар алыстан иштегенде жемиштүү болушу мүмкүн экенин ишканалар билишти. Бирок башка менеджерлер дагы эле алыстан иштөөдөн күмөн санашат, ошондуктан алар кеңсеге кайтып барууну жакташууда. Кызматкерлердин моралдык абалы бул ишенимсиздиктин натыйжасында жабыркашы мүмкүн, анткени ал кызматкерлерге алардын жетекчилери аларга ишенбейт деп билдирет.

Телекоммуникация чыгымдарды жана мейкиндикке болгон талаптарды азайтышы мүмкүн экендигине карабастан, ири ишканалар жумушчуларынын кайтып келишин каалашат, бул бул жерде баага караганда башкаруу жана бийлик көбүрөөк ойноо мүмкүнчүлүгүн жогорулатат. Ма көптөгөн ишканалар акциялардын баасынын төмөндөшүнө жооп иретинде офиске кайтып келүү саясатын ишке ашырып, начар иштеши үчүн алыскы жумушту ыңгайлуу колдонушканын белгилейт.

Алыскы иштөөгө дагы эле суроо-талап жогору экендигине карабастан - Нью-Йорк, Сан-Франциско жана Германия сыяктуу ири шаарларда көптөгөн кеңсе жайлар бош - менеджерлер жумушчулардын жеке болушу кызматташтыкты жана бизнес маданиятын жогорулатат деген көз карашты карманышат. Бирок кесиптештери менен чогуу иштөөнүн ордуна кеңсеге кайтып келген көптөгөн жумушчулар убактысынын көбүн компьютерде жалгыз иштөө менен өткөрүшөрүн айтышат. Мындай мандаттардын натыйжасыздыгы кызматтык жана аралыктан иштөөнүн ортосундагы айырмачылыктын жоктугу, ошондой эле кызматкерлердин кайтып келүүгө аргасыз болгон нааразычылыгынан улам күмөн жаратат.

Жумушчулар өндүрүмдүүлүктүн жогорулашына жана жумуш менен үй-бүлөлүк жашоону жакшыраак интеграциялоо жана узак жол жүрүүдөн качуу сыяктуу алыстан иштөө менен келген жумуш-жашоо балансынын артыкчылыктарына көнүп калышты. Бул келишимдердин бузулушуна байланыштуу нааразычылык кеңсеге мажбурлап кайтарылып берилет. Мындан тышкары, жетишпеген жумуш кесиптик өсүүсүнө тоскоол болушу мүмкүн деген түшүнүк бар.

Акыр-аягы, Ма эгер жумушчулар туруктуу негизде жумуш ордуна кайтып келүүгө аргасыз болсо, алардын көбү башка кесиптерди издей башташат, ал эми калгандары азыраак мотивация болуп калышы мүмкүн деп ойлойт. Үй кеңселери дагы эле кеңири таралган, анткени алар жумуш менен жашоонун балансын жакшыртат жана кемчиликтерине карабастан, күйүп кетүүнүн төмөндөшүн камсыздайт. Алыстан жана кеңседе иштөөнүн ортосунда өндүрүмдүүлүктүн байкаларлык айырмасы жок жана үйдөн иштөө, кызматкерлер көңүлүн буруу үчүн кулакчындарды көп тагынган ачык пландуу кеңселердин алаксытышы сыяктуу эле алыстатышы мүмкүн. Ма командалар кеңседе канча күн иштөөнү каалаарын тандап, калган убакытты ийкемдүү калтырууну кеңешет, ошондуктан адамдар менен байланыштар компаниялар үчүн пайдалуу болсо да, кызматкерлер өздөрүнө жаккан иш чөйрөсүн тандай алышат.

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Эмне үчүн пост-пандемиядан кийин кеңсеге кайтып келүү өндүрүмдүүлүккө зыян келтириши мүмкүн: Бизнес экспертинин түшүнүктөрү

[Google AI](https://ai.google/) жакында эле таанымал мобилдик клавиатура колдонмосу болгон Gboard'га "Proofread" деп аталган жаңы функцияны киргизди. Бир чыкылдатуу менен бул функция сүйлөм жана абзац деңгээлинде үзгүлтүксүз өзгөртүүлөрдү жана оңдоолорду жүргүзүүгө мүмкүндүк берип, жалпы терүү тажрыйбасын жакшыртат.

## "Май бармак" көйгөйүн чечүү

[Gboard](https://support.google.com/gboard/?hl=en) "майлуу манжа" маселесин чечүүнүн каражаты катары статистикалык декоддоону колдонот, бул кичинекей экрандарда тийүү менен киргизүүнүн табигый так эместиги. Изилдөөлөр көрсөткөндөй, ар бир тамгадагы ката декоддоосуз 8-9 пайызга чейин жетиши мүмкүн. Gboard терүүнү жеңилдетүү жана жылмакай кылуу үчүн каталарды оңдоонун бир нече функциялары менен келет. Бул функциялар адамдын киргизүүнү камтыган кол тапшырмаларын активдүү, автоматташтырылган оңдоолор менен айкалыштырат.

## Каталарды оңдоонун комплекстүү куралдары

Терүү Gboard'дун сөздү аяктоо, кийинки сөздү болжолдоо, активдүү автотүзөө (AC) жана активдүү ачкычты оңдоону (KC) камтыган функциялары менен чогуу жеңилдетет. Бул инструменттер акылдуу композицияны, каталарды оңдоону жана сунуш тилкесинде же сапта бир нече сөздөн турган талапкерлерди камтыйт. Пост-түзөтүү (ПК) ошондой эле буга чейин жасалган сөздөрдөгү каталарды оңдоого көмөктөшөт. Бул өзгөчөлүктөргө карабастан, эки негизги чектөөлөр колдонуучу тажрыйбасын начарлатат.

1. KC, AC жана PC сыяктуу түзмөктөгү оңдоо моделдери тез жана компакттуу болгону менен, алар узак контекстти талап кылган татаал жана татаал каталарды чечүүдө кыйынчылыктарга дуушар болушат. Бул моделдердин жандырылышына жол бербөө үчүн колдонуучулар жай жана так териши керек.

2. Терүү ылдамдыгы колдонуучулардын грамматика жана орфография текшергичтерин колдонуу менен жасалган сөздөрдү кол менен оңдоого туура келишинин натыйжасында төмөндөйт, бул акыл-эс жана визуалдык жактан оор болушу мүмкүн.

## Жогорку деңгээлдеги каталарды оңдоо муктаждыгы

Тез терүүчүлөр көбүнчө терген сөздөрүн этибарга албай, клавиатурага гана көңүл бурушат. Ушундан улам каталардын жогорку деңгээли келип чыгышы мүмкүн, бул сүйлөмдөрдү же жогорку деңгээлдеги оңдоо механизмдерин колдонууну талап кылат.

## Коррекциялоону киргизүү

Proofread көрүнүктүү өндүрүмдүүлүктү жогорулатуу менен бул тез-тез даттанууларды чечет. Ал бир таптап сүйлөм жана абзац деңгээлиндеги оңдоолорду камсыз кылуу менен катаны оңдоону жеңилдетет.

## Текшерүүнүн артындагы технология

Proofread өзгөчөлүгү төрт негизги компоненттен турат: маалыматтарды өндүрүү, метрикалык дизайн, моделди өзгөртүү жана моделди тейлөө. Бул компоненттердин баары чогуу натыйжалуулугун камсыз кылат. Дайындарды бөлүштүрүү Gboard доменине ылайык болушун камсыздоо үчүн, система так жана методикалык түрдө курулган ката синтетикалык архитектурасын колдонуп клавиатура каталарын туурайт.

## Өркүндөтүлгөн метрика жана моделди оптималдаштыруу

Модельди баалоо үчүн, изилдөөчүлөр грамматикалык каталардын бар экендигин текшерүүгө жана чоң тил моделдеринен (LLMs) алынган окшош маанилерди текшерүүгө өзгөчө басым жасоо менен бир катар метрикаларды киргизишти. Моделди өркүндөтүү үчүн InstructGPT техникасында көзөмөлгө алынган тактоо жана бекемдөөчү үйрөнүү (RL) тюнинг колдонулат. Бул процедуранын жардамы менен моделдин корректордук көрсөткүчтөрү жакшыртылды.

## Жайгаштыруу жана аткаруу

8 биттик квантташтырууну колдонуу менен, орто өлчөмдөгү LLM PaLM2-XS бир TPU v5 ичине ылайыкташтырылган жана Proofread функциясы үчүн негиз катары кызмат кылат. Оптималдаштыруу тейлөөнүн баасын төмөндөтөт. Мурунку изилдөөлөр сегменттөө, спекулятивдүү декоддоо жана чака ачкычтары күтүү убактысын азайта аларын көрсөттү.

## Чыныгы дүйнө таасири

Он миңдеген Pixel 8 колдонуучулары азыр жеткиликтүү болгон Proofread функциясы берген жогорку сапаттагы түзөтүүлөрдөн пайда алышат. Синтетикалык маалыматтардын кылдат мууну жана тактоолордун бир нече итерациялары PaLM2-XS моделинин Начар катышынын 5,74 пайызга салыштырмалуу төмөндөшүнөн көрүнүп тургандай, грамматикалык каталарды олуттуу түрдө азайткан моделди түздү. Кошумчалай кетсек, оптималдаштыруу медианалык күтүү мөөнөтүн 39,4% га төмөндөтүүгө алып келди.

## Келечек перспективалары

[Бул изилдөө](https://arxiv.org/abs/2406.04523) LLMлер кантип колдонуучу тажрыйбасын жакшыртаарын жана андан аркы иликтөө үчүн кызыктуу мүмкүнчүлүктөрдү түзө аларын көрсөтөт. Чыныгы колдонуучунун маалыматтарын колдонуу, көп тилдүү колдоо, ылайыкташтырылган жазуу жардамы жана түзмөктүн купуялык чечимдери сектордогу мындан аркы ийгиликтерге алып келе турган аймактардын бир нече мисалы болуп саналат.

Google AI мобилдик клавиатура технологиясынын мүмкүнчүлүктөрүн Proofread функциясын киргизүү менен кеңейтип, дүйнө жүзүндөгү адамдар үчүн терүүнү жакшыртат.

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI "Түзөтмө окууну" ачат: сүйлөмдөрдү жана абзацтарды оңой оңдоо үчүн Gboard функциясы

Заманбап терең нейрон тармактары (DNNs) түпкүлүгүндө тунук эмес, бул алардын чечим кабыл алуу процесстерин түшүнүүнү кыйындатат. Бул ачык-айкындуулуктун жоктугу ар кандай чөйрөлөрдө Machine Learning ыкмаларын кеңири жайылтууга тоскоол болот. Буга жооп катары, Explainable AI (XAI) адамдын DNN өкүмдөрүн түшүнүүсүн жакшыртууга ниеттенген. Ар бир компоненттин функционалдык максатын карап чыгуу менен, XAI азыр жеке божомолдорду түшүндүрүү үчүн көрүнүктүү карталарды колдонгон жергиликтүү түшүндүрүү ыкмаларынан айырмаланып, DNNлердин глобалдык жүрүм-турумун түшүнүүгө басым жасайт.

Механикалык интерпретациялоо – бул нейрондор, нейрондук тармактын негизги эсептөө бирдиктери түшүнүү жөндөмүнө ээ болгон өзгөчө идеяларды так аныктоого багытталган глобалдык түшүндүрүү ыкмасы. Тармактын жашыруун өкүлчүлүктөрүнүн иштешин нейрондорду адамдарга түшүнүктүү болгон сыпаттамалар менен белгилөө менен түшүндүрө алабыз. Бул сүрөттөөлөр жөнөкөй энбелгилерден өнүккөн, композициялык жана ачык сөздүк түшүндүрмөлөргө чейин жеткен. Ошого карабастан, бул ачык лексика сыпаттамаларын баалоо үчүн стандартташтырылган сандык көрсөткүчтөрдүн жоктугу ар кандай ыкмалар боюнча кылдат салыштырууга тоскоол болду.

Бул боштукту жоюу үчүн, ATB Potsdam, Potsdam University, TU Berlin, Fraunhofer Heinrich-Hertz-Institute жана BIFOLD изилдөөчүлөрү [CoSy](https://arxiv.org/abs/2405.20331) үчүн пионердик сандык баалоо негизин киргизишет. компьютердик көрүү (CV) моделдеринде ачык сөздүк түшүндүрмөлөрдү колдонууну баалоо. Бул инновациялык ыкма концепцияга негизделген тексттик сыпаттамаларга ылайыктуу жасалма сүрөттөрдү өндүрүү үчүн Генеративдик AIдагы иштеп чыгууларды колдонот. cozy белгилүү бир максаттуу түшүндүрмөлөр үчүн жалпы маалымат чекиттерин синтездөө аркылуу ар кандай концепцияга негизделген тексттик түшүндүрүү ыкмаларын сандык салыштырууну жеңилдетүү аркылуу адамдардын өз ара аракеттенүүсүнүн зарылдыгын жок кылат.

Изилдөө тобу кеңири мета-анализ аркылуу түшүндүрмөлөргө ишенимдүү баа берүүнү сунуштаарын көрсөттү. Изилдөө концепцияга негизделген тексттик түшүндүрүү методдору жогорку деңгээлдеги түшүнүктөр үйрөнүлгөн нейрон тармактарынын жогорку катмарларында эң жакшы иштешин аныктады. Нейрондордун жогорку сапаттагы түшүндүрмөлөрү нейрондук тармактын өкүлчүлүктөрүнөн визуалдарды жараткан INVERT жана ички тармактын өкүлчүлүктөрүн изилдеген CLIP-Dissect сыяктуу ыкмалар менен өндүрүлөт. Тескерисинче, MILAN жана FALCON сыяктуу техникалар начар сапаттагы түшүндүрмөлөрдү жаратып, анда-санда дээрлик туш келди түшүнүктөрдү берет, бул тармактын так эмес тыянактарына алып келиши мүмкүн.

Окумуштуулар тааныгандай, CoSyнин негизги кемчилиги, окутуу маалыматтарынын белгилүү категориялары генеративдик моделге кирбей калышы мүмкүн, бул өтө жалпы же түшүнүксүз түшүндүрмөлөргө алып келет, мисалы, "ак объектилер". Генеративдик тактык бул көйгөйдү алдын ала тренингге чейинки маалыматтар топтомун жана моделдин иштешин карап чыгуу менен жогорулатууга болот. Ошентсе да, жайлуу экспонаттар жергиликтүү эмес түшүндүрүү ыкмаларын баалоонун өнүгүп келе жаткан тармагында көп мүмкүнчүлүктөрдү көрсөтөт.

Алдыга көз чаптырып, команда CoSyдин бир нече тармактардагы потенциалдуу колдонмолоруна үмүттөнөт. Төмөнкү тапшырманын натыйжасы боюнча түшүндүрмөнүн жүйөлүүлүгүн же сапатын баалоо үчүн, адамдын ой-пикири түшүндүрүү сапатынын аныктамасына киргизилиши керек, алар келечектеги ишинде чечүүнү каалашат. Андан тышкары, алар табигый тилди иштетүү жана саламаттыкты сактоо сыяктуу кошумча тармактарды баалоо системасына киргизгиси келет. Чоң, тунук эмес, автоинтерпретациялануучу тил моделдерин (LLMs) баалоо үчүн ыңгайлуу колдонуу өзгөчө кызыктуу. Изилдөөчүлөрдүн айтымында, түшүндүрүү сапаты маанилүү болгон саламаттыкты сактоонун маалымат топтомуна ыңгайлуу колдонуу алдыга чоң кадам болушу мүмкүн. Ыңгайлуу келечектеги бул потенциалдуу колдонмолор AI изилдөөлөрүн алдыга жылдыруу үчүн чоң потенциалга ээ.

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Нейрондук тармактарды түшүнүү: Тексттик түшүндүрмөлөрдү баалоо үчүн CoSyнин сандык негизи

[Трансформаторго негизделген моделдер](https://blogs.nvidia.com/blog/what-is-a-transformer-model/) татаал текстти талдоо жана чечмелөө жөндөмдүүлүгү менен белгилүү. Алар сөздөрдүн тартибин жана контекстти түшүнүүгө таянышат - салттуу позициялык коддоо ыкмалары өз чегин көрсөткөн тапшырмалар. Бул боштукту чечип, **Rotary Position Embedding (RoPE)** менен иштетилген ROFORMER модели позициялык коддоого болгон мамилебизди кайра аныктайт.

## Салттуу позициялык коддоо

Трансформаторлор текстти бир катар токендер катары карашат жана эффективдүүлүгүн жогорулатуу үчүн **ырааттуулуктарды параллелдүү иштетүүгө** мүмкүндүк берет. Бирок, бул күч өзүнүн чакырыгын алып келди: **моделге мүнөздүү агностицизм белги тартибине**. **Позициондук коддоо** жооп болду, **ар бир токенге анын ырааттуулугун билдирген уникалдуу колтамга берүү**.

### Абсолюттук позицияны орнотуу

Башында, BERT сыяктуу моделдер **абсолюттук позицияны кыстарууларды колдонуп, ар бир позицияга ырааттуулукта туруктуу векторду дайындашкан**. Бул ыкма жөнөкөй болсо да, табиятынан **катар узундуктагы вариацияларга ыңгайлашууга же токендердин ортосундагы салыштырмалуу аралыктарды баса белгилөө жөндөмүнө ээ эмес**, көптөгөн тилдик түзүлүштөрдү түшүнүү үчүн маанилүү.

### Салыштырмалуу Позиция кыстаруу

Тилдин динамикалык табиятын чагылдыруу үчүн, алардын абсолюттук позицияларына эмес, токендердин ортосундагы аралыкка көңүл буруп, салыштырмалуу позицияларды кыстаруу киргизилген. Концептуалдык артыкчылыгына карабастан, бул орнотуулар **эсептөө татаалдыгын киргизип, Transformers** өзүнө көңүл буруу механизмине үзгүлтүксүз интеграциялана алган жок, бул алардын эффективдүүлүгүн чектеди.

## ROFORMER жана Rotary Position Embedding

Учурдагы позициялык коддоо стратегияларынын чектөөлөрүн моюнга алуу менен, ROFORMER Rotary Position Embedding (Rotary Position Embedding) ыкмасын киргизет, ал абсолюттук жана салыштырмалуу позиция маалыматынын артыкчылыктарын алардын кемчиликтерисиз айкалыштырган.

### Rotary Position Embedding

RoPE позициялык маалыматты **айлануу матрицаларынын** жардамы менен коддойт, бул моделге токендин кайда экенин гана эмес, анын ырааттуулуктагы ар бир башка токенге кандай байланышы бар экенин түшүнүүгө мүмкүндүк берет.

######  ![Reformer.png](https://d3vdhmy3teu986.cloudfront.net/strapi/Screenshot_2024_05_30_150733_e5238b237a.png)Credit: [*ArXiv*](https://arxiv.org/abs/2104.09864)

Ал геометриялык линза аркылуу иштейт, токендердин позицияларын алардын ырааттуу мамилелерин белгилөө үчүн бурулган көп өлчөмдүү мейкиндиктеги чекиттер катары карайт. Бул айлануу моделге өзүнө көңүл буруу механизминин алкагында абсолюттук жана салыштырмалуу позициялык сигналдарды сактоого жана пайдаланууга мүмкүндүк берет.

### RoPE ишке ашыруу

RoPEди ишке ашыруу ар бир токендин абалын айлануу матрицасына коддоону жана бул матрицаны Трансформатордун өзүнө көңүл буруу механизминин ичинде колдонууну камтыйт. Бул процесс позициялык маалыматты ийкемдүү, динамикалык чечмелөөгө мүмкүндүк берет, ар кандай ырааттуулуктун узундугун камтыган жана олуттуу эсептөө чыгымдары жок токендердин өз ара байланыштарынын маңызын чагылдырат.

Биринчиден, сизге айланма кыстарууларды түзүү үчүн функция керек болот, андан кийин бул жалгаштырууларды моделиңизге бириктиресиз. Төмөнкү мисалда сиз Кераста ыңгайлаштырылган катмарларды түзүү менен таанышсыз деп болжолдойт.

#### 1-кадам: Айлануучу кыстаруу функциясын аныктаңыз

Бул функция катардын максималдуу узундугун жана кыстаруулардын өлчөмдүүлүгүн эске алуу менен айлануучу кыстарууларды жаратат.

```Python // import tensorflow as tf
from tensorflow.keras.layers import Layer
import numpy as np

def get_rotary_embedding(dim, max_seq_len):
    inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))
    t = tf.range(max_seq_len, dtype=tf.float32)
    freqs = tf.einsum('i,j->ij', t, inv_freq)
    emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)
    return emb

```

```Python //
inv_freq = 1.0 / (10000 ** (tf.range(0, dim, 2, dtype=tf.float32) / dim))

```

Бул сызык позициянын индекстеринин негизинде экспоненциалдык масштабдуу жыштыктардын тескерисин эсептейт. Бул жыштыктар ротордук кыстаруу үчүн синусоидалдык схемаларды түзүүдө колдонулат, бул ырааттуулуктагы салыштырмалуу позициялык маалыматты коддоого жардам берет. Бул механизм өзгөчө элементтердин тартибин жана салыштырмалуу жайгашуусун түшүнүү өтө маанилүү болгон тапшырмаларда, мисалы, табигый тилди иштетүүдө же убакыт серияларын талдоодо пайдалуу.

Толук маалымат:

- `tf.range(0, dim, 2, dtype=tf.float32)` 0дөн баштап 'dim'ге (эксклюзив) чейинки маанилердин диапазонун түзүп, 2ге кадам жасайт. `dtype=tf.float32` аргументи аныктайт бул тензордун элементтери 32 биттик калкыма чекиттүү сандар. Эгерде `dim` 8 болсо, мисалы, бул `[0, 2, 4, 6]` чыгарат.

- `tf.range` тарабынан өндүрүлгөн тензор андан кийин кыстаруулардын өлчөмдүүлүгүнө (`dim`) бөлүнөт. Бул операция бул индекстерди 0 жана 1 ортосундагы диапазонго чейин ылдыйлатат (эгерде `күмүрлүү` жуп болсо, эксклюзивдүү, эгерде `күңүрөйт` так болсо, бир аз камтылат, анткени диапазон кадамы башка бардык маанилерди өткөрүп жиберет). Мисалды `dim` = 8 менен улантуу, 8ге бөлүү `[0,0, 0,25, 0,5, 0,75]` болот.

- `10000 ** (...)` операциясы мурда масштабдуу тензордогу ар бир элементтин кубаттуулугуна 10 000 көтөрөт. 10 000дин базасы кандайдыр бир ыктыярдуу, бирок жыштыктар кеңири диапазондо өзгөрүп турушун камсыз кылуу үчүн тандалып алынган, бул моделге ар кандай позицияларды натыйжалуураак айырмалоого жардам берет. `[0,0, 0,25, 0,5, 0,75]` үчүн, ал ар бирине кубаттуулук операциясын колдонот, натыйжада жогорку элементтер үчүн маанилер алда канча чоң болот.

- Акырында тескери жыштык мурунку кадамдагы маанилердин өз ара (1/х) алынышы менен алынат. Тескери жыштыктар жогорку индекстер үчүн кичирээк, демек, ырааттуулуктагы элементтер азыраак жыштыктарга ээ болуп, алардын позициялары моделге кантип коддолгонуна таасир этет. Бул кыстарууларды моделдин көңүл буруу механизмдери аркылуу салыштыруу позицияларын аныктоого мүмкүндүк берет.

сап:

```Python //
freqs = tf.einsum('i,j->ij', t, inv_freq)
```

TensorFlow'тун "tf.einsum" функциясын колдонот, бул курал Эйнштейндин суммалоо нотасын колдонуу менен тензордук операцияларды кыска жана эффективдүү туюндуруп алууга мүмкүндүк берет.

Бул операция `t` жана `inv_freq` векторлорунун тышкы продуктусун эффективдүү эсептейт, натыйжада ар бир `(i, j)` элементи `t` жана ` `i`-чу элементинин продуктусу болгон матрица пайда болот. j`- `inv_freq` элементи. Бул матрица (`freqs`) айланма кыстармалар үчүн синусоидалдык схемаларды түзүү үчүн колдонулган жыштыктарды билдирет.

#### 2-кадам: Айлануучу кыстаруу үчүн ыңгайлаштырылган Керас катмары

Эми, кирүүчү тензорго айлануучу жалгаштырууларды колдонгон ыңгайлаштырылган Keras катмарын түзөлү. Бул катмар киргизүү тензору `(партиянын_өлчөмү, ырааттуулугу_узундугу, кыстаруу_чыгармалары)' формасында деп болжолдойт.

``` Python //
class RotaryEmbeddingLayer(Layer):
    def __init__(self, dim, max_seq_len, **kwargs):
        super().__init__(**kwargs)
        self.dim = dim
        self.max_seq_len = max_seq_len
        self.rotary_embeddings = get_rotary_embedding(dim, max_seq_len)

    def call(self, inputs):
        seq_len = tf.shape(inputs)[1]
        embeddings = self.rotary_embeddings[:seq_len]
        
        cos_emb = embeddings[:, None, :self.dim // 2]
        sin_emb = embeddings[:, None, self.dim // 2:]
        
        # Decompose inputs into sine and cosine components
        inputs_cos = inputs[..., :self.dim // 2]
        inputs_sin = inputs[..., self.dim // 2:]
        
        # Apply rotary embeddings
        rotated_cos = inputs_cos * cos_emb - inputs_sin * sin_emb
        rotated_sin = inputs_sin * cos_emb + inputs_cos * sin_emb
        
        return tf.concat([rotated_cos, rotated_sin], axis=-1)

    def get_config(self):
        config = super().get_config()
        config.update({
            "dim": self.dim,
            "max_seq_len": self.max_seq_len
        })
        return config

```

`embeddings = self.rotary_embeddings[:seq_len]` сабы учурдагы киргизүү ырааттуулугунун узундугунун негизинде алдын ала эсептелген айлануучу кыстаруулардын тиешелүү ички топтомун тандайт. Ырааттуулуктун узундугу бир партиядан экинчисине ар кандай болушу мүмкүн болгондуктан, бул кесүү операциясы ырааттуулуктун чыныгы узундугуна туура келген кыстармалар гана колдонулушун камсыздайт.

Эми `embeddings` өзгөрмөсүндө форманын тензору бар `(seq_len, embedding_dim)`, мында `seq_len` учурдагы партиядагы ырааттуулуктун узундугу, ал эми `embedding_dim` кыстаруулардын өлчөмдүүлүгү. Бул тензор `seq_len`ге чейинки ырааттуулуктагы ар бир позиция үчүн айлануучу позициялык кыстарууларды камтыйт.

`emb = tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` позициялык жыштыктардын синус жана косинус трансформацияларын бир тензорго бириктирет:

-`tf.cos(freqs)` жана `tf.sin(freqs)` `freqs` тензоруна тиешелүүлүгүнө жараша косинус жана синус трансформацияларын колдонот. `freqs` тензору киргизүү ырааттуулугундагы ар бир позиция жана кыстаруу мейкиндигинин ар бир өлчөмү үчүн жыштык маанилерин камтыйт, алар ырааттуулуктун позицияларынын жана кыстаруу өлчөмдөрүнүн тескери жыштыктарынын негизинде эсептелинет. Синус жана косинус функциялары элементтер боюнча колдонулат, натыйжада `freqs` менен бирдей формадагы эки тензор пайда болот. Бул трансформациялар позицияны коддоого жардам берип, позициялык мамилелердин циклдик мүнөзүн чагылдырып, моделдин салыштырмалуу позицияларды түшүнүү жөндөмүн жеңилдетет.

-`tf.concat((tf.cos(freqs), tf.sin(freqs)), axis=-1)` акыркы огу боюнча косинус менен синус түрүндөгү тензорлорду бириктирет (`ax=-1` менен белгиленет). Бул тензорлорду жанаша бириктирүү "freqs" тензорунун өлчөмдүүлүгүн эффективдүү эки эсеге көбөйтөт, анын биринчи жарымы косинус-трансформацияланган маанилерди, экинчи жарымы ар бир позиция үчүн синус-трансформацияланган маанилерди билдирет. Конкатенация ар бир позициялык коддоо синус жана косинус маалыматын камтууга кепилдик берет, бул позициялык сигналдардын амплитудасы жана фазасы жөнүндө маалыматты сактоого мүмкүндүк берет.

- Бириктирилген тензор `emb` азыр киргизүү позициялары үчүн толук айлануучу кыстарууларды камтыйт. "Emb" формасы анын алгачкы эки өлчөмүндөгү "freqs" менен бирдей болот (ырааттуулуктун позицияларына жана кыстаруу өлчөмдөрүнө туура келет), бирок анын акыркы өлчөмү синус жана косинус маанилерин эсепке алуу менен эки эсе чоң болот. Бул жалгаштыруу позициялык маалыматты айлануу эквиварианттык жол менен кошуу менен киргизилген киргизүүлөрдү модуляциялоо үчүн колдонулат.

-`cos_emb = embeddings[:, None, :self.dim // 2]`:

1. Биринчи кош чекит `:` "бул өлчөмдөгү бардык элементтерди тандоо" дегенди билдирет, бул учурда ырааттуулуктагы бардык позицияларды билдирет.

2. “Жок” кошумча өлчөм кошуу үчүн колдонулат, тензорду 3 өлчөмдүү кылат. Бул көп учурда белгилүү бир өлчөмдөгү киргизүүлөрдү күткөн белгилүү операциялар менен шайкештикти камсыз кылуу үчүн жасалат. Мисалы, 3 өлчөмдүү башка тензор менен элементтик көбөйтүүнү аткарганда, формалар берүү эрежелерине ылайык тегизделиши керек.

3. `:self.dim // 2`, акыркы огундагы өлчөмдөрдүн биринчи жарымын тандайт. 'Embedding_dimension' эки эсеге көбөйтүлгөндүктөн, синус менен косинус маанилерин да камтыгандыктан, 2ге бөлүү натыйжалуу кыстаруулардын косинус компоненттерин гана тандайт.

#### 3-кадам: Керас модели менен интеграция

"RotaryEmbeddingLayer" аныктагандан кийин, сиз аны Keras моделиңизге интеграциялай аласыз. Бул катмар кыстармаларыңызды көңүл катмарларына же ар кандай кийинки моделдик катмарларга киргизүүдөн мурун колдонушу керек.

Моделге айланма кыстармаларды кантип интеграциялоонун жөнөкөйлөштүрүлгөн мисалы:

```Python //
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Embedding, Dense

max_seq_len = 512
embedding_dim = 64

inp = Input(shape=(max_seq_len,))
x = Embedding(input_dim=10000, output_dim=embedding_dim)(inp)
x = RotaryEmbeddingLayer(dim=embedding_dim, max_seq_len=max_seq_len)(x)
# Add your model's layers here, e.g., Transformer blocks
x = Dense(1, activation='sigmoid')(x)

model = Model(inputs=inp, outputs=x)
model.summary()
```

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer: Айлануучу позициясы орнотулган күчөтүлгөн трансформатор

[Arxiv Шилтеме](https://arxiv.org/abs/2403.13799)

20-март, 2024-жыл

## Кайтарма каргыш

[GPT-4](https://arxiv.org/abs/2303.08774) жана [Llama-2](https://arxiv.org/abs/2307.09288) сыяктуу чоң тил моделдери (LLMs) түшүнүү боюнча таасирдүү жөндөмдөрдү көрсөтүштү. жана билимдин кеңири спектрин камтыган адамга окшош текстти түзүү. Бирок, алар жөнөкөй көрүнгөн тапшырманы аткара алышпайт: үйрөнгөн фактыларды артка кайтаруу. "Кайрылуу каргышы" деп аталган бул чектөө, LLMлер балдарда да ээ болгон негизги ой жүгүртүү жөндөмү болгон "Анын В өзгөчөлүгү бар" дегенди үйрөнүүдөн "В - Анын өзгөчөлүгү" деп жыйынтык чыгара албасын билдирет. Бул макалада моделдин фактыларды туура жана тескери форматта түшүнүүсүн жогорулатуу үчүн эки багыттуу окутуу ыкмасын колдонуу аркылуу бул көйгөйдү чечүүнүн жаңы ыкмасы болгон "Тескери окутуу" киргизилет.

## Кайталануучу каргыштын келип чыгышы

Көйгөй адатта **авторегрессивдүү, солдон оңго окууну** камтыган LLMдердин фундаменталдык окутуу ыкмасынан келип чыгат. Бул ыкма моделдерди тескери тартипте маалыматты түшүнүүгө же түзүүгө табиятынан үйрөтпөйт. Zipf мыйзамына ылайык маалыматтарды бөлүштүрүүнүн мүнөзүн эске алганда, көптөгөн фактылар бир гана багытта айтылып, бул маселени курчутат. "Кайрылуу каргыш" LLMлердин өз ара мамилелерди жана билдирүүлөрдөгү эквиваленттүүлүгүн түшүнүүсүн чектеп, алардын ой жүгүртүү мүмкүнчүлүктөрүндөгү олуттуу кемчиликти белгилейт.

## Кайтарма каргышты тескери машыгуу менен жеңүү

Сунушталган чечим, Reverse Training, окутуу саптарынын түпнуска жана тескери версияларын кошуу менен жеткиликтүү окуу маалыматтарын эки эсеге көбөйтөт. Кайтаруу процесси контекстти сактап калуу үчүн алардын баштапкы ырааттуулугун сактап, объекттин аталыштары сыяктуу айрым субсаптарды өзгөртпөө үчүн этияттык менен жүргүзүлөт. Бул ыкма, LLM үйрөнүү үчүн экинчи тилди киргизүүгө окшош, моделдин эки багытта маалыматты иштеп чыгуу жана түзүү жөндөмдүүлүгүн кыйла жакшыртат.

## Тескери окутуу ыкмасын сыноо

Авторлор сунуштаган ыкманы текшерүү үчүн төмөнкү эксперименттерди жүргүзүшкөн:

**1- Символикалык тескери тапшырма:** Методдун тескери мамилелерди тыянак чыгаруу жана колдонуу жөндөмүн көрсөтүүчү башкарылуучу чөйрө тести.

**2- Өмүр баянын өзгөртүү тапшырмасы:** Берилген маалыматтардан тескери түрдө адамдын атын чыгаруудагы натыйжалуулукту баалоо үчүн биографиялык маалымат топтомун колдонуу.

**3- Чыныгы дүйнөдөгү билимди жокко чыгаруу:** Чыныгы сценарийлерде методдун натыйжалуулугун баалоо, анын ичинде атактуулар жана алардын мамилелери тууралуу фактыларды жокко чыгаруу.

**4- Fictitious Facts Finettuning:** Жаңы киргизилген, тескери жасалма фактылар боюнча моделдин үйрөнүү жөндөмдүүлүгүн текшерүү.

Бул эксперименттер боюнча, Reverse Training бир гана Reversal каргышын жумшартпастан, бирок, кээ бир учурларда, аны толугу менен жок кылды. Метод айрым контексттик анкерлерди сактоонун маанилүүлүгүн баса белгилеп, объектилердин аталыштары кайра өзгөртүү процессинде баштапкы тартипте сакталганда өзгөчө натыйжалуу болду.

## Натыйжалары жана келечектеги багыттары

Reversal Curse менен күрөшүүдө Reverse Trainingдин ийгилиги LLM окутуу методологиясы үчүн жаңы жолдорду ачат. Моделдердин билдирүүлөрдөгү өз ара мамилелерди жана эквиваленттүүлүгүн түшүнүүсүн өркүндөтүү менен, бул ыкма татаалыраак ой жүгүртүү мүмкүнчүлүктөрүнө эшик ачат. Келечектеги изилдөөлөр тескери процессти андан ары оптималдаштырууну, башка тил моделдеринин архитектурасына тескери окутууну интеграциялоо потенциалын жана бул ыкманы табигый тилди түшүнүүдө жана муун тапшырмаларында кеңири колдонууну изилдеши мүмкүн.

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Каргыштын медайымына тескери тренинг

[Arxiv Шилтеме](https://arxiv.org/abs/2403.12015)

18-март, 2024-жыл

"Жашыруун атаандаш диффузиялык дистилляция менен тез жогорку резолюциядагы сүрөт синтези" Латенттик атаандаш диффузиялык дистилляция (LADD) деп аталган жаңы дистилляция ыкмасын сунуштайт. Бул ыкма учурдагы [диффузия моделдеринин](https://en.wikipedia.org/wiki/Diffusion_model) чектөөлөрүн, өзгөчө реалдуу убакыттагы колдонмолорду тоскоол кылган жай жыйынтык чыгаруунун кыйынчылыгын чечүү үчүн иштелип чыккан. LADD чоң [жашыруун диффузиялык моделдерди](https://arxiv.org/abs/2112.10752) (LDMs) эффективдүү дистилляциялоо менен жогорку чечилиштеги, көп аспекттүү катыштуу сүрөт синтезин камсыздайт, окутуу процессин кыйла жөнөкөйлөштүрөт жана мурунку методдорго салыштырмалуу натыйжалуулукту жогорулатат. .

Биз бул кагаздан негизги жыйынтыктарды жалпылайбыз.

## Киришүү

Диффузия моделдери жогорку сапаттагы натыйжаларды сунуш кылган сүрөттөрдү жана видеолорду синтездөө жана түзөтүү үчүн күчтүү курал катары пайда болду. Бирок, ызы-чууну ырааттуу сүрөттөргө айландыруу үчүн көптөгөн тармактык баалоолорду талап кылган алардын кайталануучу табияты реалдуу убакытта колдонуу үчүн практикалык мүмкүнчүлүгүн чектеди. Диффузия моделдерин тездетүү үчүн ар кандай стратегиялар сунушталган. LADD жаңы стратегияны киргизет, алдын ала даярдалган LDMлердин генеративдик өзгөчөлүктөрүнөн пайдаланып, салттуу методдор талап кылган кадамдардын бир бөлүгүндө эффективдүү жогорку резолюциядагы сүрөт синтезине мүмкүндүк берет.

## Фон

Документ диффузиялык моделдер жана алардын [дистилляциясы](https://en.wikipedia.org/wiki/Knowledge_distillation) жөнүндө жалпы маалымат берүү менен башталат. Салттуу диффузиялык моделдер көптөгөн итеративдик кадамдар аркылуу сүрөттү акырындык менен жокко чыгаруу менен иштейт, бул процессти жай жана эсептөө үчүн кымбат кылат. Дистилляция ыкмалары, анын ичинде [Таршылаш диффузиялык дистилляция](https://arxiv.org/abs/2311.17042) (ADD), керектүү кадамдардын санын кыскартуу менен бул процессти тартипке келтирүүгө аракет кылышкан. Бирок, ADD стационардык резолюция сыяктуу чектөөлөргө дуушар болот жана жашыруун диффузиялык моделдерди дистилляциялоо үчүн RGB мейкиндигинде декоддоо зарылчылыгы, бул жогорку резолюциядагы окутууну чектеши мүмкүн.

## Методология

LADD бул маселелерди **түздөн-түз жашыруун мейкиндикте дистилляциялоо менен** чечет, ошону менен **пикселдик мейкиндикке декоддоо зарылдыгын болтурбай** жана жогорку резолюцияларда машыгууга мүмкүндүк берет. Пикселдик мейкиндикте иштеген алдын ала даярдалган дискриминаторго таянган ADDден айырмаланып, LADD жаңы ыкманы колдонот, анда дискриминатор менен мугалимдин модели бирдиктүү болуп, түздөн-түз жашырылганда иштейт. Бул ыкма окуу процессин жөнөкөйлөтүп гана койбостон, ошондой эле бир нече артыкчылыктарды, анын ичинде эффективдүүлүктү, ызы-чуу деңгээлиндеги спецификалык кайтарым байланышты камсыз кылуу мүмкүнчүлүгүн жана Multi-Aspect Ratio (MAR) тренинги үчүн мүмкүнчүлүктөрдү берет.

## Эксперимент жана натыйжалар

Кагаз ар кандай эксперименттер аркылуу LADDге кеңири баа берип, анын бир нече кадамдар менен жогорку чечилиштеги сүрөттөрдү синтездөөдөгү эң жогорку натыйжалуулугун көрсөтөт. Белгилей кетчү нерсе, [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) үчүн колдонулганда, LADD SD3-Turbo деп аталган моделди пайда кылат, ал абалга салыштырмалуу сүрөт сапатына жетишет. төрт кадамда заманбап тексттен сүрөткө генераторлор. Эксперименттер ошондой эле мугалимдин ызы-чуунун ар кандай бөлүштүрүлүшүнүн таасирин, синтетикалык маалыматтарды колдонууну, жашыруун дистилляциялык ыкмаларды жана LADDдин масштабдуу жүрүм-турумун изилдейт.

## Заманбап технология менен салыштыруу

LADD эффективдүүлүгү андан ары тексттен сүрөткө жана сүрөттөн сүрөткө синтезде учурдагы алдыңкы методдор менен салыштыруу аркылуу баса белгиленет. SD3-Turbo сүрөттүн сапаты боюнча мугалим моделинин (SD3) иштешине гана дал келбестен, ошондой эле тыянак чыгаруу ылдамдыгы жана сүрөт-текстти тегиздөө жагынан башка базалык көрсөткүчтөрдөн олуттуу жакшыргандыгын көрсөтөт.

## Чектөөлөр жана келечектеги багыттар

Анын жетишкендиктерине карабастан, LADD чектөөлөрсүз эмес. Авторлор моделдин сыйымдуулугу, ыкчам тегиздөө жана жыйынтык чыгаруу ылдамдыгынын ортосундагы айырмачылыкты белгилешет, бул моделдин текстти сүрөткө синтездөөнүн айрым көйгөйлөрүн чечүүгө таасир этиши мүмкүн. Келечектеги изилдөө багыттары бул соодалашууну тереңирээк изилдөөнү жана сүрөт менен текстти башкаруунун күчтүү жактарын көзөмөлдөөнү күчөтүү үчүн стратегияларды иштеп чыгууну камтыйт.

## Корутунду

"Жашыруун атаандаш диффузиялык дистилляция менен тез жогорку резолюциядагы сүрөт синтези" тексттик сунуштардан жогорку сапаттагы сүрөттөрдүн жаралышын кыйла тездетүүчү сүрөт/видео синтезине жаңы ыкманы сунуштайт. Жашыруун мейкиндикте чоң диффузиялык моделдерди дистилляциялоо менен LADD реалдуу убакыт режиминдеги колдонмолорго жол ачат жана сүрөттөрдү синтездөөдө натыйжалуулуктун жана аткаруунун жаңы стандартын белгилейт.

Түшүндүрүлгөн кагаздар

Эмне үчүн пост-пандемиядан кийин кеңсеге кайтып келүү өндүрүмдүүлүккө зыян келтириши мүмкүн: Бизнес экспертинин түшүнүктөрү