Mašininio vertimo iš sekos į seką modelis

Ar kada nors susimąstėte, kaip veikia mašininis vertimas? Pakanka kelių kodo eilučių, kad sukurtumėte įrankius, panašius į „Google Translate“, „DeepL“ ir kt. Šiame straipsnyje paaiškinsime, kaip sukurti automatinio vertimo iš sekos į seką (seq2seq) modelį. Pabaigoje galėsite suprasti, kaip tai veikia ir kaip turėti įdiegiamą vertimo modelį.

Seq2Seq modelio supratimas

Norėdami suprasti seq2seq modelio koncepciją, pasinerkime į pavyzdį. Įsivaizduokite, kad turite sakinį anglų kalba:

"How are you?"

ir norite išversti į Tamazight:

"Amek tettiliḍ?"

Seq2seq modelį sudaro koduotuvas ir dekoderis, kurie kartu atlieka šį vertimą.

Kodavimo priemonė: koduotuvas paima šaltinio sakinį „Kaip sekasi?“ ir apdoroja jį žodis po žodžio. Jis koduoja informaciją į fiksuoto ilgio vektorių, vadinamą konteksto vektoriumi. Mūsų pavyzdyje kodavimo priemonė analizuotų kiekvieną žodį ir sukurtų prasmingą sakinio vaizdavimą.
Dekoderis: Dekoderis gauna konteksto vektorių iš kodavimo įrenginio ir pradeda generuoti tikslinį sakinį „Amek tettiliḍ?“. Tai daro žodis po žodžio, atsižvelgdama į konteksto vektorių ir anksčiau sugeneruotus žodžius. Dekoderis išmoksta generuoti teisingą vertimą, remdamasis treniruočių metu aptiktais modeliais.

Duomenų paruošimas

Dabar, kai suprantame seq2seq modelį, pakalbėkime apie duomenų paruošimą naudodami tą patį pavyzdį.

Norint išmokyti mašininio vertimo modelį, reikalingas lygiagretus korpusas, kurį sudaro lygiagrečios sakinių poros tiek šaltinio (mūsų atveju anglų kalba), tiek tikslinėmis kalbomis (Tamazight). Keletas išteklių, pvz., Europarl ir UN Parallel Corpus, teikia daugybę daugiakalbių duomenų.

Tokenizavimas: Pirmasis duomenų rengimo žingsnis yra prieigos raktas. Anglų ir Tamazight sakinius suskaidome į atskirus žetonus arba žodžius. Pavyzdžiui, angliškas sakinys "How are you?" būtų ženklinamas į ['Kaip', 'ar', 'tu, '?'] ir Tamazight sakinys "Amek tettiliḍ?" būtų ženklinami į ['SOS', 'Amek', 'tettiliḍ', '?', 'EOS']. Sekos pradžiai ir pabaigai nurodyti naudojame SOS ir EOS.
Valymas ir normalizavimas: Toliau atliekame žetoninių sakinių valymą ir normalizavimą. Tai reiškia, kad reikia pašalinti visus nereikalingus simbolius, skyrybos ženklus ar specialius simbolius, kurie gali trukdyti vertimo procesui. Pavyzdžiui, galime pašalinti klaustuką anglų ir Tamazight sakinių pabaigoje, kad supaprastintume mokymo duomenis.

Atsižvelgiant į šaltinio ir tikslinių kalbų ypatybes, gali prireikti papildomų konkrečios kalbos išankstinio apdorojimo veiksmų. Pavyzdžiui, prancūzų kalba gali tekti naudoti specialiuosius simbolius, pvz., diakritinius ženklus ar diakritinius ženklus.

Žodyno kūrimas: Mes kuriame žodyną rinkdami unikalius žodžius tiek iš šaltinio, tiek iš tikslinių sakinių. Tada kiekvienam žodžiui priskiriamas unikalus indeksas arba identifikatorius, todėl gaunamas tai, ką vadiname žodžių įterpimo žemėlapiu, kuris bus naudojamas mokymo procese:

6: "how"
330: "are"
537: "you"

Su tuo mūsų tokenizuotas pavyzdys atrodytų taip:

[6, 330, 537] # How Are You
[420, 775] # Amek tettiliḍ

Sekos užpildymas: norėdami užtikrinti vienodą sekos ilgį, sakinius užpildome specialiais ženklais (pvz., „PAD“ arba 0), kad jie visi būtų vienodo ilgio. Užpildymas yra būtinas, nes neuroniniai tinklai paprastai tikisi fiksuoto ilgio įvesties. Trumpesnių sakinių pabaigoje pridėdami užpildymo žetonus, sukuriame vienodo ilgio sekas, leidžiančias efektyviai treniruotis. Ilgis būtų ilgiausio įvesties sakinio žodžių skaičius.

Pavyzdžiui, mūsų įvesties ir išvesties prieigos raktams pritaikius užpildymą 13, bus gautas toks rezultatas:

[6, 330, 537, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # How Are You
[420, 775, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # Amek tettiliḍ

Modelių mokymas

Paruošę duomenis, galime tęsti mašininio vertimo modelio mokymą. Mes suskirstome duomenis į mokymo ir patvirtinimo rinkinius. Treniruočių rinkinys naudojamas modelio parametrams atnaujinti treniruočių metu, o patvirtinimo rinkinys padeda stebėti modelio veikimą ir išvengti per didelio pritaikymo.

Neuroninio tinklo mokymas

Mokymo metu mes pateikiame modelį šaltinio sakiniais (anglų kalba) kaip įvestis ir atitinkamais tiksliniais sakiniais (Tamazight) kaip norima išvestimi. Modelis generuoja prognozes tiksliniams sakiniams, žodis po žodžio, remiantis įvesties sekomis. Šios prognozės palyginamos su tikrosiomis tikslinėmis sekomis, naudojant praradimo funkciją, pvz., kategorišką kryžminę entropiją.

Atgalinis platinimas ir parametrų atnaujinimai

Atgalinio dauginimo proceso metu modelis apskaičiuoja nuostolių gradientus pagal jo parametrus. Šie gradientai rodo parametrų atnaujinimo kryptį ir dydį, reikalingą nuostoliams sumažinti. Optimizavimo algoritmas, pvz., stochastinis gradiento nusileidimas (SGD) arba Adam, naudoja šiuos gradientus modelio parametrams atnaujinti iteratyviai, todėl prognozės laikui bėgant tampa tikslesnės.

Iteratyvinis mokymas

Mokymo procesas kartojasi per kelias epochas. Kiekvienoje epochoje modelis pereina visą mokymo duomenų rinkinį, atnaujina jo parametrus ir patikslina vertimo modelių supratimą. Kartojant šį procesą, modelis tampa vis labiau įgudęs generuoti tikslius vertimus.

Patvirtinimas ir įvertinimas

Mokymų metu mes periodiškai vertiname modelio veikimą patvirtinimo rinkinyje. Šis įvertinimas padeda mums stebėti modelio eigą ir prireikus koreguoti. Vertimų kokybei įvertinti ir palyginimui su etaloniniais vertimais galime naudoti tokias metrikas kaip BLEU (Bilingual Evaluation Understudy).

Diegimas

Kai modelis yra apmokytas ir įvertintas, jis yra paruoštas naudoti. „TensorFlow“ siūlo keletą mašininio vertimo modelių diegimo parinkčių, įskaitant „TensorFlow Serving“, „TensorFlow Lite“ ir „TensorFlow.js“. „TensorFlow Serving“ leidžia aptarnauti modelį per REST API, leidžiantį lengvai integruoti su kitomis programomis. TensorFlow Lite leidžia paleisti modelį mobiliuosiuose įrenginiuose su ribotais ištekliais. TensorFlow.js įgalina diegimą žiniatinklio naršyklėse, todėl vertimas pasiekiamas vartotojams tiesiogiai svetainėse.

Kuriant REST API taip pat galima naudoti žiniatinklio sistemą, pvz., FastAPI.

Taip pat galite peržiūrėti mūsų straipsnį apie kaip įdiegti mašininio mokymosi modelį, kad gautumėte daugiau informacijos.

Nuolatinis tobulėjimas

Mašininio vertimo modelio kūrimas yra kartotinis procesas. Norint nuolat tobulėti, būtina stebėti vartotojų atsiliepimus, rinkti papildomus duomenis ir tobulinti modelį reguliariai atnaujinant. „TensorFlow“ lankstumas ir mastelio keitimas leidžia lengviau pritaikyti modelį prie besikeičiančių reikalavimų ir naujų kalbų.