Inoiz galdetu al zaizu nola funtzionatzen duen itzulpen automatikoa? Kode lerro gutxi nahikoak dira Google Translate, DeepL eta abar bezalako tresnak eraikitzeko. Artikulu honetan, sekuentziatik sekuentziarako (seq2seq) itzulpen automatikoko eredua sortzeko prozesuan ibiliko zaitugu. Bukaeran, nola funtzionatzen duen ulertu ahal izango duzu eta nola heda daitekeen itzulpen-eredu bat izan.
Seq2Seq eredua ulertzea
Seq2seq ereduaren kontzeptua ulertzeko, murgil gaitezen adibide batean. Imajinatu ingelesez esaldi bat duzula:
"How are you?"
eta tamazightera itzuli nahi duzu:
"Amek tettiliḍ?"
Seq2seq eredua kodetzaile batek eta deskodegailu batek osatzen dute, eta elkarrekin lan egiten dute itzulpen hori egiteko.
-
Kodetzailea: Kodetzaileak iturburu-esaldia hartzen du, "Zer moduz?", eta hitzez hitz prozesatzen du. Informazioa testuinguruaren bektorea izeneko luzera finkoko bektore batean kodetzen du. Gure adibidean, kodetzaileak hitz bakoitza aztertu eta esaldiaren irudikapen esanguratsua sortuko luke.
-
Deskodetzailea: Deskodetzaileak testuinguru-bektorea jasotzen du kodegailutik eta helburu-perpausa sortzen hasten da, "Amek tettiliḍ?". Hitzez hitz egiten du hori, testuinguru-bektorea eta aurrez sortutako hitzak kontuan hartuta. Deskodetzaileak prestakuntzan zehar aurkitzen dituen ereduen arabera itzulpen zuzena sortzen ikasten du.
Datuak prestatzea
Orain seq2seq eredua ulertzen dugula, hitz egin dezagun datuen prestaketaz adibide bera erabiliz.
Itzulpen automatikoko eredu bat trebatzeko, corpus paralelo bat behar da, esaldi-bikote lerrokatuz osatua, bai jatorriko (gure kasuan, ingelesa) bai helburuko hizkuntzetako (tamazighta). Europarl eta UN Corpus Paraleloa bezalako hainbat baliabidek datu eleaniztun ugari eskaintzen dituzte.
-
Tokenizazioa: Datuak prestatzeko lehen urratsa tokenizazioa da. Ingelesezko eta Tamazight esaldiak banakako token edo hitzetan banatzen ditugu. Adibidez, ingelesezko "How are you?" ['Nola', 'Zaude', 'Zu', '?'] eta tamazight esaldia "Amek tettiliḍ?" tokenizatuko litzateke ['SOS', 'Amek', 'tettiliḍ', '?', 'EOS']. SOS eta EOS erabiltzen ditugu sekuentziaren hasiera eta amaiera adierazteko.
-
Garbiketa eta Normalizazioa: Jarraian, tokenizatutako esaldien garbiketa eta normalizazioa egiten dugu. Horrek itzulpen-prozesua oztopatu dezakeen alferrikako karaktere, puntuazio edo ikur bereziak kentzea dakar. Adibidez, ingelesezko eta tamazight esaldien amaierako galdera ikurra kendu genezake prestakuntza-datuak errazteko.
Jatorri eta xede hizkuntzen ezaugarrien arabera, hizkuntzaren berariazko aurreprozesatzeko urrats osagarriak behar izan daitezke. Adibidez, frantsesez, baliteke azentuak edo diakritikoak bezalako karaktere bereziak kudeatu behar izatea.
- Hiztegiaren sorrera: Hiztegi bat sortzen dugu iturriko zein helburuko esaldietatik hitz bereziak bilduz. Ondoren, hitz bakoitzari indize edo identifikatzaile bakarra esleitzen zaio, eta ondorioz, hitzak txertatzeko mapa deitzen dioguna, prestakuntza-prozesuan erabiliko dena:
6: "how"
330: "are"
537: "you"
Horrekin gure tokened adibidea honela izango litzateke:
[6, 330, 537] # How Are You
[420, 775] # Amek tettiliḍ
- Sekuentzia-betegarria: Sekuentziaren luzera uniformea bermatzeko, esaldiak token bereziekin betetzen ditugu (adibidez, "PAD" edo 0), guztiek luzera berdina izan dezaten. Betegarria beharrezkoa da sare neuronalek normalean luzera finkoko sarrerak espero dituztelako. Esaldi laburren amaieran betegarri-tokenak gehituz, luzera bereko sekuentziak sortzen ditugu, prestakuntza eraginkorra ahalbidetuz. Luzera sarrerako esaldi luzeenaren hitz kopurua izango litzateke.
Adibidez, gure sarrerako eta irteerako tokenetan 13 betegarri bat aplikatzeak emaitza hau emango du:
[6, 330, 537, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # How Are You
[420, 775, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # Amek tettiliḍ
Ereduen Prestakuntza
Datuak prestatuta, gure itzulpen automatikoaren eredua entrenatzeari ekin diezaiokegu. Datuak prestakuntza eta baliozkotze multzoetan banatu ditugu. Entrenamendu-multzoa ereduaren parametroak eguneratzeko erabiltzen da prestakuntzan zehar, eta baliozkotze-multzoak, berriz, ereduaren errendimendua kontrolatzen eta gehiegizko egokitzapena saihesten laguntzen digu.
Sare Neuronalen Prestakuntza
Prestakuntzan zehar, eredua elikatzen dugu iturri-perpausak (ingelesa) sarrera gisa eta dagozkion xede-perpausak (Tamazight) nahi den irteera gisa. Ereduak xede-perpausetarako iragarpenak sortzen ditu, hitzez hitz, sarrera-sekuentzietan oinarrituta. Iragarpen hauek benetako xede-sekuentziekin alderatzen dira galera-funtzio bat erabiliz, hala nola entropia gurutzatua kategorikoa.
Atzerapropagazioa eta parametroen eguneraketak
Atzera hedatzeko prozesuaren bidez, ereduak galeraren gradienteak kalkulatzen ditu bere parametroekiko. Gradiente hauek galera minimizatzeko beharrezkoak diren parametroen eguneraketen norabidea eta magnitudea adierazten dute. Optimizazio algoritmoak, hala nola, gradiente estokastikoen jaitsiera (SGD) edo Adam, gradiente hauek erabiltzen ditu ereduaren parametroak modu iteratiboki eguneratzeko, iragarpenak denboran zehar zehatzagoak izan daitezen.
Prestakuntza Iteratiboa
Prestakuntza-prozesua iteratiboki gertatzen da hainbat garaitan. Garai bakoitzean, ereduak prestakuntza-datu multzo osoa zeharkatzen du, bere parametroak eguneratuz eta itzulpen-ereduen ulermena finkatuz. Prozesu hori errepikatuz gero, eredua gero eta trebeagoa da itzulpen zehatzak sortzeko.
Balioztatzea eta Ebaluazioa
Prestakuntzan zehar, aldian-aldian ereduak baliozkotze multzoan duen errendimendua ebaluatzen dugu. Ebaluazio honek ereduaren aurrerapena kontrolatzen eta behar izanez gero egokitzapenak egiten laguntzen digu. BLEU (Bilingual Evaluation Understudy) bezalako neurriak erabil ditzakegu itzulpenen kalitatea ebaluatzeko eta erreferentziazko itzulpenekin alderatzeko.
Hedapena
Eredua trebatu eta ebaluatu ondoren, hedatzeko prest dago. TensorFlow-ek itzulpen automatikoko ereduak zabaltzeko hainbat aukera eskaintzen ditu, besteak beste, TensorFlow Serving, TensorFlow Lite eta TensorFlow.js. TensorFlow Serving-ek eredua REST API baten bidez hornitzea ahalbidetzen du, beste aplikazio batzuekin erraz integratzeko aukera emanez. TensorFlow Lite-k eredua baliabide mugatuak dituzten gailu mugikorretan exekutatzeko aukera ematen du. TensorFlow.js-ek web-arakatzaileetan hedatzea ahalbidetzen du, itzulpena erabiltzaileentzat zuzenean webguneetan eskuragarri jarriz.
FastAPI bezalako web esparru bat ere erabil daiteke REST API bat eraikitzeko.
Gure artikulua ere ikus dezakezu how to deploy your machine learning model xehetasun gehiago lortzeko.
Etengabeko Hobekuntza
Itzulpen automatikoko eredu bat eraikitzea prozesu iteratiboa da. Erabiltzaileen iritzia kontrolatzea, datu gehigarriak biltzea eta eredua fintzea aldizkako eguneratzeen bidez ezinbestekoak dira etengabe hobetzeko. TensorFlow-en malgutasunari eta eskalagarritasunari esker, eredua eboluzioko eskakizunetara eta hizkuntza berrietara egokitzea errazten du.
