Հերթականից հաջորդականություն մեքենայական թարգմանության մոդել

Երբևէ մտածե՞լ եք, թե ինչպես է աշխատում մեքենայական թարգմանությունը: Կոդի մի քանի տող բավական է Google Translate-ի, DeepL-ի և այլնի նման գործիքներ ստեղծելու համար: Այս հոդվածում մենք ձեզ կուղեկցենք հաջորդականությունից հաջորդականություն (seq2seq) մեքենայական թարգմանության մոդել ստեղծելու գործընթացին: Վերջում դուք կկարողանաք հասկանալ, թե ինչպես է այն աշխատում և ինչպես ունենալ տեղակայվող թարգմանության մոդել:

Հասկանալով Seq2Seq մոդելը

Seq2seq մոդելի հայեցակարգը հասկանալու համար եկեք սուզվենք օրինակի մեջ: Պատկերացրեք, որ ունեք անգլերեն նախադասություն.

"How are you?"

և դուք ուզում եք այն թարգմանել թամազայթ.

"Amek tettiliḍ?"

Seq2seq մոդելը բաղկացած է կոդավորիչից և ապակոդավորիչից, որոնք միասին աշխատում են այս թարգմանությունը կատարելու համար:

1. Կոդավորիչ. Կոդավորիչը վերցնում է «Ինչպե՞ս ես դու» սկզբնաղբյուր նախադասությունը և բառ առ բառ մշակում: Այն կոդավորում է տեղեկատվությունը ֆիքսված երկարությամբ վեկտորի մեջ, որը կոչվում է համատեքստային վեկտոր: Մեր օրինակում կոդավորիչը կվերլուծեր յուրաքանչյուր բառ և կստեղծեր նախադասության իմաստալից ներկայացում:

2. Decoder: Ապակոդավորիչը ստանում է կոնտեքստի վեկտորը կոդավորիչից և սկսում է գեներացնել թիրախային նախադասությունը՝ «Amek tettiliḍ?»: Դա անում է բառ առ բառ՝ հաշվի առնելով համատեքստի վեկտորը և նախկինում ստեղծված բառերը։ Ապակոդավորիչը սովորում է ճիշտ թարգմանություն ստեղծել՝ հիմնվելով այն օրինաչափությունների վրա, որոնք հայտնաբերում է մարզման ընթացքում:

Տվյալների պատրաստում

Այժմ, երբ մենք հասկացանք seq2seq մոդելը, եկեք խոսենք տվյալների պատրաստման մասին՝ օգտագործելով նույն օրինակը:

Մեքենայական թարգմանության մոդել պատրաստելու համար պահանջվում է զուգահեռ կորպուս, որը բաղկացած է նախադասության զույգերից և՛ սկզբնաղբյուր (մեր դեպքում՝ անգլերեն), և՛ նպատակային լեզուներով (թամազայթ): Մի քանի ռեսուրսներ, ինչպիսիք են Europarl, և ՄԱԿ-ի զուգահեռ կորպուսը տրամադրում են հսկայական քանակությամբ բազմալեզու տվյալներ:

1. Tokenization: Տվյալների պատրաստման առաջին քայլը նշանավորումն է: Մենք բաժանում ենք անգլերեն և թամազայթ նախադասությունները առանձին նշանների կամ բառերի: Օրինակ, անգլերեն նախադասությունը «Ինչպես ես»: կնշանակվի [«Ինչպե՞ս», «կես», «դու», «?»] և թամազերեն «Amek tettiliḍ» նախադասությունը: կնշանակվի ['SOS', 'Amek', 'tettiliḍ', '?', 'EOS']: Մենք օգտագործում ենք SOS և EOS հաջորդականության սկիզբն ու ավարտը նշելու համար:

2. Մաքրում և նորմալացում. Այնուհետև մենք կատարում ենք մաքրում և նորմալացում խորհրդանշական նախադասությունների վրա: Սա ներառում է անհարկի նիշերի, կետադրական նշանների կամ հատուկ նշանների հեռացում, որոնք կարող են խանգարել թարգմանության գործընթացին: Օրինակ, մենք կարող ենք հեռացնել հարցական նշանը և՛ անգլերեն, և՛ թամազայթ նախադասությունների վերջում՝ ուսուցման տվյալները պարզեցնելու համար:

Կախված սկզբնաղբյուրի և թիրախային լեզուների առանձնահատկություններից, կարող են պահանջվել լեզվին հատուկ նախամշակման լրացուցիչ քայլեր: Օրինակ, ֆրանսերենում մեզ կարող է անհրաժեշտ լինել հատուկ նիշեր, ինչպիսիք են շեշտադրումները կամ դիկրիտները:

3. Բառապաշարի ստեղծում. Մենք ստեղծում ենք բառապաշար՝ հավաքելով եզակի բառեր ինչպես սկզբնաղբյուրից, այնպես էլ նպատակային նախադասություններից: Այնուհետև յուրաքանչյուր բառին տրվում է եզակի ինդեքս կամ նույնացուցիչ, ինչի արդյունքում մենք անվանում ենք բառերի ներդրման քարտեզ, որը կօգտագործվի վերապատրաստման գործընթացում.

6: "how"
330: "are"
537: "you"

Դրանով մեր խորհրդանշական օրինակը կունենա հետևյալ տեսքը.

[6, 330, 537] # How Are You
[420, 775] # Amek tettiliḍ

4. Sequence Padding. Հերթականության միատեսակ երկարություն ապահովելու համար մենք նախադասությունները լրացնում ենք հատուկ նշաններով (օրինակ՝ «PAD» կամ 0), որպեսզի բոլորն ունենան նույն երկարությունը: Լիցքավորումն անհրաժեշտ է, քանի որ նեյրոնային ցանցերը սովորաբար ակնկալում են ֆիքսված երկարության մուտքեր: Ավելի կարճ նախադասությունների վերջում լրացման նշաններ ավելացնելով՝ մենք ստեղծում ենք հավասար երկարությամբ հաջորդականություններ՝ թույլ տալով արդյունավետ մարզվել: Երկարությունը կլինի ամենաերկար մուտքային նախադասության բառերի թիվը:

Օրինակ՝ մեր մուտքային և ելքային նշանների վրա 13-ի լցոն կիրառելը կտա հետևյալ արդյունքը.

[6, 330, 537, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # How Are You
[420, 775, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # Amek tettiliḍ

Մոդելների ուսուցում

Պատրաստված տվյալների շնորհիվ մենք կարող ենք շարունակել մեքենայական թարգմանության մեր մոդելի ուսուցումը: Մենք տվյալները բաժանում ենք վերապատրաստման և վավերացման խմբերի: Ուսուցման հավաքածուն օգտագործվում է ուսուցման ընթացքում մոդելի պարամետրերը թարմացնելու համար, մինչդեռ վավերացման հավաքածուն օգնում է մեզ վերահսկել մոդելի աշխատանքը և կանխել չափից ավելի հարմարեցումը:

Նյարդային ցանցերի ուսուցում

Դասընթացի ընթացքում մենք մոդելին կերակրում ենք սկզբնաղբյուր նախադասություններով (անգլերեն) որպես մուտքագրում և համապատասխան նպատակային նախադասություններ (Tamazight) որպես ցանկալի արդյունք: Մոդելը ստեղծում է կանխատեսումներ թիրախային նախադասությունների համար՝ բառ առ բառ՝ հիմնվելով մուտքագրման հաջորդականության վրա: Այս կանխատեսումները համեմատվում են իրական թիրախային հաջորդականությունների հետ՝ օգտագործելով կորստի ֆունկցիան, ինչպիսին է կատեգորիկ խաչաձև էնտրոպիան:

Հետ տարածման և պարամետրերի թարմացումներ

Հետտարածման գործընթացի միջոցով մոդելը հաշվարկում է կորստի գրադիենտները՝ կապված իր պարամետրերի հետ: Այս գրադիենտները ցույց են տալիս պարամետրերի թարմացումների ուղղությունը և մեծությունը, որոնք անհրաժեշտ են կորուստը նվազագույնի հասցնելու համար: Օպտիմիզացման ալգորիթմը, ինչպիսին է ստոխաստիկ գրադիենտ ծագումը (SGD) կամ Ադամը, օգտագործում է այս գրադիենտները՝ կրկնվող մոդելի պարամետրերը թարմացնելու համար՝ ժամանակի ընթացքում կանխատեսումները դարձնելով ավելի ճշգրիտ։

Կրկնվող թրեյնինգ

Վերապատրաստման գործընթացը կրկնվում է մի քանի դարաշրջանների ընթացքում: Յուրաքանչյուր դարաշրջանում մոդելն անցնում է ուսուցման ողջ շտեմարանը՝ թարմացնելով իր պարամետրերը և ճշգրտելով թարգմանության օրինաչափությունների իր ըմբռնումը: Կրկնելով այս գործընթացը՝ մոդելը գնալով ավելի հմուտ է դառնում ճշգրիտ թարգմանություններ ստեղծելու գործում:

Վավերացում և գնահատում

Ուսուցման ընթացքում մենք պարբերաբար գնահատում ենք մոդելի կատարումը վավերացման հավաքածուի վրա: Այս գնահատումն օգնում է մեզ վերահսկել մոդելի առաջընթացը և անհրաժեշտության դեպքում կատարել ճշգրտումներ: Թարգմանությունների որակը գնահատելու և տեղեկատու թարգմանությունների հետ համեմատելու համար մենք կարող ենք օգտագործել այնպիսի չափումներ, ինչպիսին է BLEU-ն (Երկլեզու գնահատման թերուսումնասիրություն):

տեղակայում

Երբ մոդելը վերապատրաստվի և գնահատվի, այն պատրաստ է տեղակայման: TensorFlow-ն ապահովում է մեքենայական թարգմանության մոդելների տեղակայման մի քանի տարբերակներ, այդ թվում՝ TensorFlow Serving, TensorFlow Lite և TensorFlow.js: TensorFlow Serving-ը թույլ է տալիս մոդելը սպասարկել REST API-ի միջոցով՝ հնարավորություն տալով հեշտ ինտեգրվել այլ հավելվածների հետ: TensorFlow Lite-ը հնարավորություն է տալիս մոդելը գործարկել սահմանափակ ռեսուրսներով շարժական սարքերում: TensorFlow.js-ը հնարավորություն է տալիս տեղակայել վեբ բրաուզերներում՝ թարգմանությունը հասանելի դարձնելով օգտատերերին անմիջապես կայքերում:

Վեբ շրջանակը, ինչպիսին է FastAPI նույնպես կարող է օգտագործվել REST API-ի ստեղծման համար:

Լրացուցիչ մանրամասների համար կարող եք նաև ստուգել մեր հոդվածը ինչպես տեղակայել ձեր մեքենայական ուսուցման մոդելը մասին:

Շարունակական բարելավում

Մեքենայի թարգմանության մոդելի կառուցումը կրկնվող գործընթաց է: Շարունակական բարելավման համար էական են օգտատերերի արձագանքների մոնիտորինգը, լրացուցիչ տվյալների հավաքագրումը և մոդելի ճշգրտումը կանոնավոր թարմացումների միջոցով: TensorFlow-ի ճկունությունն ու մասշտաբայնությունը հեշտացնում են մոդելի հարմարեցումը զարգացող պահանջներին և նոր լեզուներին: