Հատկապես ավելի մեծ ընկերություններում նկատելի վերադարձ է եղել, որ աշխատողներից պահանջվում է աշխատել գրասենյակից՝ COVID-19 համաճարակից հետո: [Mark Ma](https://business.pitt.edu/professors/mark-ma/), բիզնեսի կառավարման դոցենտ Պիտսբուրգի համալսարանի Ջոզեֆ Մ. Կատցի բիզնեսի բարձրագույն դպրոցի, և Յույե Դինգը, Ասպիրանտ, ուսումնասիրել է այս օրինակը](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4675401): Նրանք ուսումնասիրել են հեռավար աշխատանքի սոցիոլոգիական և տնտեսական հետևանքները, ինչպես նաև ձեռնարկությունների կողմից աշխատողներին գրասենյակ վերադարձնելու վերջին նախաձեռնությունը, ինչը հաճախ նյարդայնացնում է աշխատողներին:

Մա պնդում է [հարցազրույց Heise-ի հետ](https://www.heise.de/hintergrund/Homeoffice-Forscher-Die-Menschen-koennen-von-zuhause-aus-produktiv-arbeiten-9823045.html) աճող թվային աշխատանքային միջավայրը, աշխատողներին աշխատասենյակ վերադառնալը պարզապես ծառայում է նրանց նյարդայնացնելուն և քիչ բան է բերում արտադրողականության բարձրացմանը: Այնուամենայնիվ, նա ընդունում է, որ երբ կամավոր և թիմային աջակցությամբ արվում է, անձնական աշխատանքը կարող է ձեռնտու լինել և նպաստել համակարգման և թիմային աշխատանքի բարելավմանը:

Մա-ն առաջարկում է, որ բարձր կատարողական ունեցող անհատներին, ովքեր ապացուցել են իրենց արդյունավետությունը տնից աշխատելիս, պետք է թույլատրվի շարունակել դա անել, այլ ոչ թե բոլորին գրասենյակում ունենալ: Նա կարծում է, որ պահպանելով փայլուն անհատներ, ովքեր այլ կերպ կարող էին աշխատանք փնտրել այլուր, այս ռազմավարությունը, ի վերջո, կշահի և՛ գործատուներին, և՛ աշխատողներին: Մա նաև առաջարկում է կանոնավոր անհատական ​​թիմերի ձևավորման վարժություններ՝ ընկերության մշակույթն ամուր պահելու համար, ինչը կարևոր է արդյունավետ գաղափարների ստեղծման և խնդիրների լուծման համար:

Այս միտումի գագաթնակետը, կարծես, անցել է, չնայած մի քանի ձեռնարկություններ պահանջում էին աշխատակիցներից վերադառնալ գրասենյակ համաճարակից հետո: 2024 թվականին կատարված հարցումների համաձայն՝ գործադիր տնօրենների մեծամասնությունն այլևս մեծ նշանակություն չի տալիս գրասենյակում գտնվելուն։ Բիզնեսները սովորեցին, որ աշխատողները կարող են բավականին արդյունավետ լինել համաճարակի ժամանակ հեռակա աշխատելիս: Բայց մյուս մենեջերները դեռևս կասկածներ ունեն հեռակա աշխատանքի վերաբերյալ, այդ իսկ պատճառով նրանք հանդես են գալիս գրասենյակ վերադառնալու օգտին: Աշխատակիցների բարոյականությունը կարող է տուժել այս անվստահության հետևանքով, քանի որ այն անձնակազմի անդամներին հաղորդում է, որ իրենց ղեկավարները չեն հավատում իրենց:

Չնայած այն հանգամանքին, որ հեռահար աշխատանքը կարող է նվազեցնել ծախսերի և տարածության պահանջները, խոշոր բիզնեսները ցանկանում են վերադարձնել իրենց աշխատողներին, ինչը մեծացնում է հավանականությունը, որ այստեղ վերահսկողությունն ու ուժն ավելի շատ են խաղում, քան գինը: Մա մատնանշում է, որ շատ ձեռնարկություններ իրականացրել են գրասենյակ վերադարձի քաղաքականություն՝ ի պատասխան բաժնետոմսերի գների անկման՝ հարմար կերպով օգտագործելով հեռահար աշխատանքը՝ որպես հարմար քավության նոխազ՝ վատ աշխատանքի համար:

Չնայած այն հանգամանքին, որ հեռավոր աշխատանքի համար դեռևս մեծ պահանջարկ կա՝ խոշոր քաղաքներում, ինչպիսիք են Նյու Յորքը, Սան Ֆրանցիսկոն և Գերմանիան, շատ գրասենյակային տարածքներ թափուր են, մենեջերները շարունակում են մնալ այն կարծիքին, որ անձամբ աշխատողներ ունենալը կբարձրացնի համագործակցությունը և բիզնես մշակույթը: Բայց գործընկերների հետ միասին աշխատելու փոխարեն, շատ աշխատողներ, ովքեր վերադարձել են գրասենյակ, ասում են, որ իրենց ժամանակի մեծ մասն անցկացնում են մենակ աշխատելով իրենց համակարգիչների վրա: Նման մանդատների անարդյունավետությունը կասկածի տակ է դրվում գրասենյակի և հեռահար աշխատանքի միջև նկատելի տարբերակման բացակայության, ինչպես նաև այն հիասթափության պատճառով, որ աշխատակիցները ստիպված են վերադառնալ:

Աշխատողները սովոր են բարձր արտադրողականության և աշխատանքի և կյանքի հավասարակշռության առավելություններին, որոնք գալիս են հեռակա աշխատանքի հետ, ինչպես օրինակ՝ աշխատանքային և ընտանեկան կյանքն ավելի լավ ինտեգրելու և երկար ճանապարհորդություններից խուսափելու կարողությունը: Դժգոհությունն առաջանում է նրանից, որ այս համաձայնագրերը խաթարվում են գրասենյակ հարկադիր վերադարձով: Բացի այդ, ընկալում կա, որ աշխատանքի բացակայությունը կարող է խոչընդոտել մասնագիտական ​​աճին:

Ի վերջո, Մա կարծում է, որ եթե աշխատողներին ստիպեն մշտական ​​հիմունքներով վերադառնալ աշխատավայր, նրանցից շատերը կսկսեն այլ մասնագիտություններ փնտրել, իսկ մնացածները կարող են ավելի քիչ մոտիվացված լինել: Տնային գրասենյակները դեռևս տարածված են, քանի որ դրանք ապահովում են աշխատանքի և կյանքի ավելի լավ հավասարակշռություն և այրման ավելի ցածր մակարդակ՝ չնայած դրանց թերություններին: Հեռակա և գրասենյակում աշխատելու միջև արտադրողականության նկատելի տարբերություն չկա, և տնից աշխատելը կարող է նույնքան խորթ լինել, որքան բաց գրասենյակների ուշադրությունը շեղելը, որտեղ աշխատակիցները հաճախ ականջակալներ են կրում՝ կենտրոնանալու համար: Մա խորհուրդ է տալիս թիմերին ընտրել, թե քանի օր են ցանկանում աշխատել գրասենյակում, իսկ մնացած ժամանակը ճկուն թողնել, որպեսզի աշխատակիցները կարողանան ընտրել իրենց նախընտրած աշխատանքային միջավայրը, թեև մարդկային շփումները կարող են օգտակար լինել ընկերությունների համար:

thumbnail_mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

mikey-harris-kw0z6RyvC0s-unsplash (1) (1) (1).webp

Ինչու՞ հետհամաճարակի հետ կապված գրասենյակ վերադառնալը կարող է վնասել արտադրողականությանը. Բիզնես փորձագետի պատկերացումները

[Google AI](https://ai.google/) վերջերս ներկայացրեց նոր գործառույթ, որը կոչվում է «Proofread» շարժական ստեղնաշարի հանրահայտ հավելված Gboard-ում: Մեկ հպումով այս հատկությունը թույլ է տալիս անխափան փոփոխություններ և ուղղումներ կատարել նախադասության և պարբերության մակարդակներում՝ բարելավելով մուտքագրման ընդհանուր փորձը:

## «Ճարպ մատի» խնդրի լուծում

[Gboard](https://support.google.com/gboard/?hl=en) օգտագործում է վիճակագրական ապակոդավորում՝ որպես «գեր մատի» խնդիրը լուծելու միջոց, որը փոքր էկրանների վրա հպումի մուտքագրման բնական անճշտությունն է: Հետազոտությունները ցույց են տալիս, որ մեկ տառի համար սխալի մակարդակը կարող է հասնել 8-ից 9 տոկոսի՝ առանց վերծանման: Gboard-ն ունի սխալներ շտկող մի քանի գործառույթներ՝ մուտքագրումն ավելի հեշտ և սահուն դարձնելու համար: Այս հատկանիշները համատեղում են ձեռքով առաջադրանքները, որոնք ներառում են մարդկային ներդրում, ակտիվ, ավտոմատացված ուղղումներով:

## Սխալների ուղղման համապարփակ գործիքներ

Մուտքագրումը ընդհանուր առմամբ հեշտացվում է Gboard-ի գործառույթների շնորհիվ, որոնք ներառում են բառի լրացում, հաջորդ բառի կանխատեսումներ, ակտիվ ավտոմատ ուղղում (AC) և ակտիվ բանալիների ուղղում (KC): Այս գործիքները ներառում են խելացի կոմպոզիցիա, սխալի ուղղում և բազմաթիվ բառերի թեկնածուներ առաջարկների տողում կամ ներդիրում: Հետուղղումը (ՀՀ) նաև հեշտացնում է արդեն իսկ կատարված բառերի սխալների ուղղումը: Չնայած այս հատկանիշներին, երկու հիմնական սահմանափակումները խաթարում են օգտագործողի փորձը:

1. Թեև սարքի վրա շտկելու մոդելները, ինչպիսիք են KC-ն, AC-ը և PC-ն, արագ և կոմպակտ են, նրանք դժվարանում են հաղթահարել բարդ և բարդ սխալները, որոնք պահանջում են ավելի երկար համատեքստեր: Այս մոդելների ակտիվացումը կանխելու համար օգտվողները պետք է դանդաղ և ճշգրիտ մուտքագրեն:

2. Մուտքագրման արագությունը նվազում է, քանի որ օգտատերերը ստիպված են լինում ձեռքով ուղղել ստանձնած բառերը՝ օգտագործելով քերականության և ուղղագրության ստուգիչները, ինչը կարող է հոգեպես և տեսողականորեն բարդացնել:

## Բարձր մակարդակի սխալների ուղղման անհրաժեշտությունը

Արագ մեքենագրողները հաճախ անտեսում են արդեն իսկ մուտքագրած բառերը և կենտրոնանում միայն ստեղնաշարի վրա: Սրանից կարող են առաջանալ սխալների ավելի բարձր տեմպեր, որոնք պահանջում են նախադասության կամ ավելի բարձր մակարդակի ուղղման մեխանիզմների կիրառում:

## Ներկայացնում ենք սրբագրումը

Սրբագրումը լուծում է այս հաճախակի բողոքները՝ առաջարկելով զգալի արտադրողականության բարձրացում: Այն հեշտացնում է սխալների ուղղումը` ապահովելով մեկ հպումով նախադասության և պարբերության մակարդակի ուղղումներ:

## Տեխնոլոգիան սրբագրման հետևում

Սրբագրման գործառույթը բաղկացած է չորս հիմնական բաղադրիչներից՝ տվյալների արտադրություն, չափումների ձևավորում, մոդելի ճշգրտում և մոդելի սպասարկում: Այս բոլոր բաղադրիչները միասին երաշխավորում են արդյունավետությունը: Ապահովելու համար, որ տվյալների բաշխումը համահունչ է Gboard տիրույթին, համակարգը կրկնօրինակում է ստեղնաշարի հաճախակի սխալները՝ օգտագործելով ճշգրիտ և մեթոդականորեն կառուցված սխալների սինթետիկ ճարտարապետությունը:

## Ընդլայնված չափումներ և մոդելների օպտիմիզացում

Մոդելը գնահատելու համար հետազոտողները ներառել են մի շարք չափումներ՝ հատուկ շեշտադրելով քերականական սխալների առկայության ստուգումները և համանման նշանակության ստուգումները, որոնք բխում են մեծ լեզվական մոդելներից (LLMs): Մոդելը բարելավելու համար InstructGPT տեխնիկայում օգտագործվում են վերահսկվող ճշգրտման և ուժեղացման ուսուցման (RL) թյունինգը: Մոդելի սրբագրման աշխատանքը զգալիորեն բարելավվում է այս ընթացակարգով:

## Տեղակայում և կատարում

Օգտագործելով 8-բիթանոց քվանտացումը՝ միջին չափի LLM PaLM2-XS-ը հարմարեցված է մեկ TPU v5-ի ներսում տեղավորվելու համար և ծառայում է որպես սրբագրման գործառույթի հիմք: Օպտիմալացումը նվազեցնում է սպասարկման արժեքը: Նախկին հետազոտությունները ցույց են տվել, որ հատվածավորումը, սպեկուլյատիվ ապակոդավորումը և դույլ ստեղները կարող են նվազեցնել ուշացումը:

## Ազդեցություն իրական աշխարհի վրա

Pixel 8-ի տասնյակ հազարավոր օգտատերեր կշահեն «Ստուգել» գործառույթի կողմից տրամադրվող բարձրորակ խմբագրումներից, որն այժմ հասանելի է: Սինթետիկ տվյալների մանրակրկիտ սերունդը և ճշգրտման մի քանի կրկնությունները ստեղծել են մի մոդել, որն էականորեն նվազեցնում է քերականական սխալները, ինչը երևում է PaLM2-XS մոդելի վատ հարաբերակցության 5,74 տոկոս հարաբերական նվազմամբ: Բացի այդ, օպտիմալացումները հանգեցրել են միջին ուշացման 39.4%-ով նվազմանը:

## Ապագա հեռանկարներ

[Այս ուսումնասիրությունը](https://arxiv.org/abs/2406.04523) ցույց է տալիս, թե ինչպես LLM-ները կարող են բարելավել օգտվողների փորձը և ստեղծել հետաքրքիր հնարավորություններ հետագա հետաքննության համար: Իրական օգտատերերի տվյալների օգտագործումը, բազմալեզու աջակցությունը, գրելու հարմարեցված օգնությունը և սարքի գաղտնիության լուծումները այն ոլորտների մի քանի օրինակներ են, որոնք կարող են հանգեցնել ոլորտում հետագա առաջընթացի:

Google AI-ն ընդլայնում է շարժական ստեղնաշարի տեխնոլոգիայի հնարավորությունները՝ «Ստուգել» գործառույթի ներդրմամբ՝ բարելավելով մուտքագրումը ամբողջ աշխարհի մարդկանց համար:

thumbnail_female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

female-coworkers-chatting-phones-coffee-shop_74855-1866 (1).webp

Google AI-ն ցուցադրում է «սրբագրում».

Ժամանակակից խորը նեյրոնային ցանցերը (DNN) ի սկզբանե անթափանց են, ինչը դժվարացնում է նրանց որոշումների կայացման գործընթացները հասկանալը: Թափանցիկության այս բացակայությունը խանգարում է մեքենայական ուսուցման տեխնիկայի լայնածավալ իրականացմանը տարբեր ոլորտներում: Ի պատասխան՝ հայտնվեց բացատրելի AI (XAI)՝ նպատակ ունենալով բարելավել DNN-ի դատողությունների մարդկային ընկալումը: Դիտելով յուրաքանչյուր բաղադրիչի ֆունկցիոնալ նպատակը՝ XAI-ն այժմ նաև կենտրոնանում է DNN-ների գլոբալ վարքագիծը հասկանալու վրա՝ ի տարբերություն տեղական բացատրական մեթոդների, որոնք օգտագործում են կարևորության քարտեզները՝ բացատրելու անհատական ​​կանխատեսումները:

Մեխանիստական ​​մեկնաբանելիությունը գլոբալ բացատրելիության տեխնիկա է, որը կենտրոնանում է կոնկրետ գաղափարների բացահայտման վրա, որոնք նեյրոնները՝ նեյրոնային ցանցի հիմնական հաշվողական միավորները, ձեռք են բերել հասկանալու ունակություն: Մենք կարող ենք բացատրել ցանցի թաքնված ներկայացումների աշխատանքը՝ նեյրոնները պիտակավորելով մարդկանց համար հասկանալի նկարագրություններով: Այս նկարագրությունները պարզ պիտակներից անցել են մշակված, կոմպոզիցիոն և բաց բառապաշարի բացատրությունների: Այնուամենայնիվ, այս բաց բառապաշարի նկարագրությունները գնահատելու ստանդարտացված քանակական չափումների բացակայությունը խոչընդոտել է տարբեր մոտեցումների մանրակրկիտ համեմատությունները:

Այս բացը շտկելու համար ATB Potsdam-ի, Պոտսդամի համալսարանի, TU Berlin-ի, Fraunhofer Heinrich-Hertz-Institute-ի և BIFOLD-ի հետազոտողները ներկայացնում են [CoSy](https://arxiv.org/abs/2405.20331) քանակական գնահատման առաջամարտիկ շրջանակը: համակարգչային տեսողության (CV) մոդելներում բաց բառապաշարի բացատրությունների կիրառման գնահատում: Այս նորարարական մեթոդը օգտագործում է Generative AI-ի զարգացումները՝ արտադրելու արհեստական ​​պատկերներ, որոնք առնչվում են հայեցակարգի վրա հիմնված տեքստային նկարագրություններին: հարմարավետությունը վերացնում է մարդկային փոխազդեցության անհրաժեշտությունը՝ հեշտացնելով տարբեր հայեցակարգի վրա հիմնված տեքստային բացատրությունների մոտեցումների քանակական համեմատությունները՝ սինթեզելով տվյալ թիրախային բացատրությունների համար ընդհանուր տվյալների կետերը:

Հետազոտական ​​թիմը լայնածավալ մետա-վերլուծության միջոցով ցույց տվեց, որ հարմարավետությունն առաջարկում է բացատրությունների հուսալի գնահատականներ: Ուսումնասիրությունը պարզեց, որ հայեցակարգի վրա հիմնված տեքստային բացատրության մեթոդները լավագույնս գործում են նեյրոնային ցանցերի վերին շերտերում, որտեղ սովորում են բարձր մակարդակի հասկացությունները: Նեյրոնների բարձրորակ բացատրություններն արտադրվում են այնպիսի մեթոդներով, ինչպիսիք են INVERT-ը, որը վիզուալներ է ստեղծում նեյրոնային ցանցի ներկայացումներից և CLIP-Dissect-ը, որը ուսումնասիրում է ներքին ցանցի ներկայացումները: Ընդհակառակը, մեթոդները, ինչպիսիք են MILAN-ը և FALCON-ը, տալիս են ցածր որակի բացատրություններ՝ երբեմն տրամադրելով գրեթե պատահական հասկացություններ, որոնք կարող են հանգեցնել ցանցի ոչ ճշգրիտ եզրակացությունների:

CoSy-ի հիմնական թերությունը, ինչպես գիտակցում են հետազոտողները, այն է, որ վերապատրաստման տվյալների հատուկ կատեգորիաները կարող էին չներառվել գեներատիվ մոդելում, ինչը հանգեցնում է չափազանց ընդհանուր կամ երկիմաստ բացատրությունների, ինչպիսիք են «սպիտակ օբյեկտները»: Գեներատիվ ճշգրտությունը կարող է ավելացվել՝ լուծելով այս խնդիրը՝ ուսումնասիրելով նախնական վերապատրաստման տվյալների հավաքածուները և մոդելի կատարողականը: Այնուամենայնիվ, հարմարավետությունը մեծ ներուժ է ցուցադրում ոչ տեղական բացատրության տեխնիկայի գնահատման դեռ զարգացող ոլորտում:

Նայելով առաջ՝ թիմը հուսով է CoSy-ի պոտենցիալ հավելվածների վերաբերյալ բազմաթիվ ոլորտներում: Ստորև բերված առաջադրանքի արդյունքի վերաբերյալ բացատրության հավանականությունը կամ որակը գնահատելու համար մարդկային դատողությունը պետք է ներառվի բացատրության որակի սահմանման մեջ, որին նրանք ցանկանում են անդրադառնալ հետագա աշխատանքում: Բացի այդ, նրանք ցանկանում են իրենց գնահատման համակարգում ներառել լրացուցիչ ոլորտներ, ինչպիսիք են բնական լեզվի մշակումը և առողջապահությունը: Հատկապես հետաքրքիր է հարմարավետության պոտենցիալ օգտագործումը մեծ, անթափանց, ինքնամեկնաբանվող լեզվական մոդելների (LLMs) գնահատման համար: Հետազոտողների կարծիքով՝ առողջապահական տվյալների հավաքածուներում հարմարավետության կիրառումը, որտեղ բացատրության որակը կարևոր է, կարող է մեծ առաջընթաց լինել: Հարմարավետության այս պոտենցիալ ապագա կիրառությունները հսկայական ներուժ ունեն արհեստական ​​ինտելեկտի հետազոտությունն առաջ մղելու համար:

thumbnail_it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

it-consultants-brainstorm-ways-use-ai-cognitive-computing-extract-usable-information-from-complex-da (2) (1).webp

Հասկանալով նյարդային ցանցերը. CoSy-ի քանակական շրջանակը տեքստային բացատրության գնահատման համար

thumbnail_man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

man-doing-software-quality-assurance-using-tablet-reading-source-code_482257-82926 (1).webp

RoFormer. Ընդլայնված տրանսֆորմատոր՝ պտտվող դիրքի ներկառուցմամբ

[Arxiv Link](https://arxiv.org/abs/2403.13799)

20 մարտի, 2024 թ

## The Reversal Curse

Լեզուների խոշոր մոդելները (LLM), ինչպիսիք են [GPT-4](https://arxiv.org/abs/2303.08774) և [Llama-2](https://arxiv.org/abs/2307.09288) տպավորիչ կարողություններ են դրսևորել հասկանալու համար: և ստեղծելով մարդանման տեքստ, որը ներառում է գիտելիքների լայն շրջանակ: Այնուամենայնիվ, նրանք ձախողվում են պարզ թվացող առաջադրանքում՝ շրջել սովորած փաստերը: Այս սահմանափակումը, որը կոչվում է «Հակադարձ անեծք», ենթադրում է, որ LLM-ները չեն կարող եզրակացնել, որ «B-ն Ա-ի հատկանիշն է» սովորելուց «A-ն ունի B հատկանիշ», որը հիմնարար տրամաբանական հմտություն է, որն ունեն նույնիսկ երեխաները: Այս փաստաթուղթը ներկայացնում է «Հակադարձ ուսուցում»՝ այս մարտահրավերը լուծելու նոր մեթոդ՝ օգտագործելով երկակի ուղղության ուսուցման մոտեցումը, որպեսզի ուժեղացնեք մոդելի փաստերի ըմբռնումը ինչպես առաջ, այնպես էլ հակառակ ձևաչափերով:

## Հակադարձ անեծքի ծագումը

Խնդիրն առաջանում է LLM-ների վերապատրաստման հիմնարար մոտեցումից, որը սովորաբար ներառում է **ավտորեգեսիվ, ձախից աջ ուսուցում**: Այս մեթոդը չի սովորեցնում մոդելներին հասկանալ կամ ստեղծել տեղեկատվություն հակառակ հերթականությամբ: Հաշվի առնելով Zipf-ի օրենքին հետևող տվյալների բաշխման բնույթը, շատ փաստեր նշվում են միայն մեկ ուղղությամբ, ինչը սրում է այս խնդիրը: «Հակադարձ անեծքը» սահմանափակում է LLM-ների փոխադարձ հարաբերությունների և հայտարարություններում համարժեքության ըմբռնումը, ինչը մատնանշում է նրանց տրամաբանական կարողությունների էական թերությունը:

## Հաղթահարելով հակադարձ անեծքը հակադարձ մարզման միջոցով

Առաջարկվող լուծումը՝ Reverse Training, կրկնապատկում է առկա ուսուցման տվյալները՝ ներառելով ուսուցման տողերի և՛ բնօրինակ, և՛ հակադարձ տարբերակները: Հակադարձման գործընթացը պետք է զգույշ լինի, որպեսզի չփոխի որոշ ենթատողեր, ինչպիսիք են կազմի անունները, պահպանելով դրանց սկզբնական հաջորդականությունը՝ համատեքստը պահպանելու համար: Այս մեթոդը, որը նման է LLM-ին սովորելու համար երկրորդ լեզվի ներդրմանը, զգալիորեն բարելավում է մոդելի՝ երկու ուղղություններով տեղեկատվություն մշակելու և գեներացնելու ունակությունը:

## Հակադարձ մարզման մեթոդի փորձարկում

Իրենց առաջարկած մեթոդը փորձարկելու համար հեղինակներն իրականացրել են հետևյալ փորձերը.

**1- Սիմվոլիկ հակադարձ առաջադրանք.** Վերահսկվող միջավայրի թեստ, որը ցույց է տալիս մեթոդի կարողությունը եզրակացնել և կիրառել հակադարձ հարաբերություններ:

**2- Կենսագրության հակադարձ առաջադրանք.** Կենսագրության տվյալների շտեմարանի օգտագործում՝ տվյալ մանրամասներից մարդկանց անունները հակառակը ստեղծելու գործում գնահատելու համար:

**3- Իրական աշխարհի գիտելիքի հակադարձում.** մեթոդի արդյունավետության գնահատում իրական աշխարհի սցենարներում, ներառյալ հայտնի մարդկանց և նրանց հարաբերությունների մասին փաստերը:

**4- Կեղծ փաստերի ճշգրտում.** մոդելի ուսուցման կարողության փորձարկում նոր ներկայացված, հակադարձված հորինված փաստերի վրա:

Այս փորձերի ընթացքում Reverse Training-ը ոչ միայն մեղմեց հակադարձ անեծքը, այլ որոշ դեպքերում ամբողջովին վերացրեց այն: Մեթոդը հատկապես արդյունավետ է եղել, երբ միավորների անունները պահպանվել են իրենց սկզբնական հերթականությամբ՝ հակադարձման գործընթացում՝ ընդգծելով որոշակի համատեքստային խարիսխների պահպանման կարևորությունը:

## Հետևանքներ և ապագա ուղղություններ

Reverse Training-ի հաջողությունը Reversal Curse-ի դեմ պայքարում նոր ուղիներ է բացում LLM ուսուցման մեթոդոլոգիաների համար: Բարելավելով մոդելների ըմբռնումը փոխադարձ հարաբերությունների և հայտարարություններում համարժեքության մասին՝ այս մոտեցումը դուռ է բացում ավելի բարդ տրամաբանական կարողությունների համար: Հետագա հետազոտությունները կարող են ուսումնասիրել հակադարձման գործընթացի հետագա օպտիմալացումը, այլ լեզուների մոդելային ճարտարապետություններում հակադարձ ուսուցման ինտեգրման ներուժը և այս մեթոդի ավելի լայն կիրառությունները բնական լեզվի ըմբռնման և գեներացման առաջադրանքներում:

thumbnail_photo-1636013912260-a176d5e08408 (1).webp

photo-1636013912260-a176d5e08408 (1).webp

Հակադարձ ուսուցում բուժքույրի հակադարձ անեծքի համար

[Arxiv Link](https://arxiv.org/abs/2403.12015)

2024 թվականի մարտի 18

«Արագ բարձրորակ պատկերի սինթեզը թաքնված հակառակորդի դիֆուզիոն թորումով» ներկայացնում է թորման նոր մոտեցում, որը հայտնի է որպես թաքնված հակառակորդի դիֆուզիոն թորում (LADD): Այս մոտեցումը նախագծված է լուծելու գոյություն ունեցող [դիֆուզիոն մոդելների](https://en.wikipedia.org/wiki/Diffusion_model) սահմանափակումները, մասնավորապես դանդաղ եզրակացության արագության մարտահրավերը, որը խոչընդոտում է իրական ժամանակի հավելվածներին: LADD-ն հնարավորություն է տալիս բարձր լուծաչափով, բազմակողմ հարաբերակցությամբ պատկերների սինթեզ՝ արդյունավետորեն թորելով մեծ [լատենտ դիֆուզիոն մոդելներ](https://arxiv.org/abs/2112.10752) (LDMs), զգալիորեն պարզեցնելով ուսուցման գործընթացը և բարելավելով կատարողականությունը նախորդ մեթոդների համեմատ: .

Մենք կամփոփենք այս փաստաթղթի հիմնական կետերը:

## Ներածություն

Դիֆուզիոն մոդելները հայտնվել են որպես պատկերների և տեսանյութերի սինթեզի և խմբագրման հզոր գործիք՝ առաջարկելով բարձրորակ արդյունքներ: Այնուամենայնիվ, դրանց կրկնվող բնույթը, որը պահանջում է բազմաթիվ ցանցային գնահատումներ աղմուկը համահունչ պատկերների վերածելու համար, սահմանափակել է դրանց գործնականությունը իրական ժամանակի կիրառման համար: Տարբեր ռազմավարություններ են առաջարկվել դիֆուզիոն մոդելներն արագացնելու համար: LADD-ը ներկայացնում է նոր ռազմավարություն՝ օգտագործելով նախապես պատրաստված LDM-ների գեներատիվ առանձնահատկությունները, ինչը թույլ է տալիս արդյունավետ բարձր լուծաչափով պատկերների սինթեզ՝ ավանդական մեթոդներով պահանջվող քայլերի մի մասում:

## Նախապատմություն

Աշխատանքը սկսվում է դիֆուզիոն մոդելների և դրանց [թորման] ակնարկ տրամադրելով (https://en.wikipedia.org/wiki/Knowledge_distillation): Ավանդական դիֆուզիոն մոդելները գործում են՝ աստիճանաբար վերացնելով պատկերը բազմաթիվ կրկնվող քայլերի միջոցով՝ դարձնելով գործընթացը դանդաղ և հաշվողականորեն թանկ: Թորման մեթոդները, ներառյալ [Adversarial Diffusion Distillation](https://arxiv.org/abs/2311.17042) (ADD), ձգտել են պարզեցնել այս գործընթացը՝ նվազեցնելով անհրաժեշտ քայլերի քանակը: Այնուամենայնիվ, ADD-ն բախվում է սահմանափակումների, ինչպիսիք են ֆիքսված ուսուցման լուծումը և RGB տարածության վերծանման անհրաժեշտությունը լատենտ դիֆուզիոն մոդելների թորման համար, ինչը կարող է սահմանափակել բարձր լուծաչափով մարզումները:

## Մեթոդաբանություն

LADD-ն լուծում է այս խնդիրները՝ **ուղղակիորեն թորելով թաքնված տարածության մեջ**՝ այդպիսով **խուսափելով պիքսելային տարածություն վերծանելու անհրաժեշտությունից** և թույլ տալով մարզվել ավելի բարձր լուծաչափերով: Ի տարբերություն ADD-ի, որը հիմնված է պիքսելային տարածության մեջ գործող նախապես պատրաստված տարբերակիչի վրա, LADD-ն օգտագործում է նոր մոտեցում, որտեղ տարբերակիչն ու ուսուցչի մոդելը միավորված են՝ ուղղակիորեն գործելով լատենտների վրա: Այս մեթոդը ոչ միայն պարզեցնում է ուսուցման գործընթացը, այլև տալիս է մի քանի առավելություններ, ներառյալ արդյունավետությունը, աղմուկի մակարդակի հատուկ հետադարձ կապ տրամադրելու հնարավորությունը և բազմակողմանի հարաբերակցության (MAR) ուսուցման հնարավորությունը:

## Փորձեր և արդյունքներ

Թուղթը լայնորեն գնահատում է LADD-ն տարբեր փորձերի միջոցով՝ ցույց տալով նրա բարձր արդյունավետությունը բարձր լուծաչափով պատկերների սինթեզման մեջ ընդամենը մի քանի քայլով: Հատկանշական է, որ երբ կիրառվում է [Stable Diffusion 3](https://stability.ai/news/stable-diffusion-3) (SD3) համար, LADD-ն առաջացնում է SD3-Turbo անվանումով մոդել, որը ձեռք է բերում պատկերի համեմատելի որակ Նորագույն տեքստի պատկեր գեներատորներ ընդամենը չորս քայլով: Փորձերը նաև ուսումնասիրում են ուսուցիչների աղմուկի տարբեր բաշխումների ազդեցությունը, սինթետիկ տվյալների օգտագործումը, թորման թաքնված մոտեցումները և LADD-ի մասշտաբային վարքագիծը:

## Համեմատություն նորագույնի հետ

LADD-ի արդյունավետությունն ավելի է ընդգծվում տեքստից պատկեր և պատկերից պատկեր սինթեզի ներկայիս առաջատար մեթոդների համեմատությամբ: SD3-Turbo-ն ոչ միայն համապատասխանում է իր ուսուցչի մոդելի (SD3) կատարողականին պատկերի որակի մեջ, այլև ցույց է տալիս զգալի բարելավումներ այլ բազային գծերի համեմատ՝ եզրակացության արագության և պատկեր-տեքստի հավասարեցման առումով:

## Սահմանափակումներ և ապագա ուղղություններ

Չնայած իր առաջընթացին, LADD-ն առանց սահմանափակումների չէ: Հեղինակները նշում են փոխզիջում մոդելի հզորության, արագ հավասարեցման և եզրակացության արագության միջև, ինչը կարող է ազդել մոդելի ունակության վրա՝ կարգավորելու տեքստ-պատկեր սինթեզի որոշակի մարտահրավերներ: Հետազոտության ապագա ուղղությունները ներառում են այս փոխզիջման ավելի խորը ուսումնասիրությունը և ռազմավարությունների մշակումը պատկերի և տեքստի ուղղորդման ուժեղ կողմերի նկատմամբ վերահսկողությունը ուժեղացնելու համար:

## Եզրակացություն

«Արագ բարձրորակ պատկերների սինթեզը թաքնված հակառակորդի դիֆուզիոն թորումով» ներկայացնում է պատկերների/տեսանյութերի սինթեզի նոր մոտեցում, որը զգալիորեն արագացնում է տեքստային հուշումներից բարձրորակ պատկերների ստեղծումը: Թորելով մեծ դիֆուզիոն մոդելները թաքնված տարածության մեջ՝ LADD-ը ճանապարհ է հարթում իրական ժամանակի կիրառման համար և սահմանում է նոր չափանիշ՝ պատկերների սինթեզի արդյունավետության և կատարողականության համար:

Բացատրված փաստաթղթեր

Ինչու՞ հետհամաճարակի հետ կապված գրասենյակ վերադառնալը կարող է վնասել արտադրողականությանը. Բիզնես փորձագետի պատկերացումները