Ar smaoinigh tú riamh ar conas a oibríonn aistriúchán meaisín? Is beag línte cód atá go leor chun uirlisí a thógáil cosúil le Google Translate, DeepL, etc. San Airteagal seo, siúilfimid tú tríd an bpróiseas chun samhail aistriúcháin meaisín seicheamh go seicheamh (seq2seq) a chruthú. Faoi dheireadh, beidh tú in ann a thuiscint conas a oibríonn sé, agus conas múnla aistriúcháin in-imscartha a bheith agat.
Samhail Seq2Seq a thuiscint
Chun coincheap an tsamhail seq2seq a thuiscint, déanaimis tumadh isteach i sampla. Samhlaigh go bhfuil abairt agat i mBéarla:
"How are you?"
agus ba mhaith leat é a aistriú go Tamazight:
"Amek tettiliḍ?"
Is éard atá sa tsamhail seq2seq ná ionchódóir agus díchódóir, a oibríonn le chéile chun an t-aistriúchán seo a dhéanamh.
-
Ionchódóir: Glacann an t-ionchódóir an abairt fhoinseach, "Conas atá tú?", agus próiseálann sé focal ar fhocal í. Ionchódaíonn sé an fhaisnéis i veicteoir fad fosaithe ar a dtugtar an veicteoir comhthéacs. Inár sampla, dhéanfadh an t-ionchódóir anailís ar gach focal agus cruthódh sé léiriú brí ar an abairt.
-
Díchódóir: Faigheann an díchódóir an veicteoir comhthéacs ón ionchódóir agus tosaíonn sé ag giniúint na sprice, "Amek tettiliḍ?". Déanann sé é seo focal ar fhocal, ag cur an veicteoir comhthéacs agus na focail a gineadh roimhe seo san áireamh. Foghlaimíonn an díchódóir an t-aistriúchán ceart a ghiniúint bunaithe ar na patrúin a aimsíonn sé le linn oiliúna.
Ullmhúchán Sonraí
Anois go bhfuil tuiscint againn ar an tsamhail seq2seq, déanaimis labhairt faoi ullmhú sonraí ag baint úsáide as an sampla céanna.
Chun múnla meaisín-aistrithe a oiliúint, tá gá le corpas comhthreomhar, ina bhfuil péirí abairtí ailínithe san fhoinse (Béarla inár gcás) agus sna sprioctheangacha (Tamazight). Soláthraíonn roinnt acmhainní amhail Europarl, agus UN Parallel Corpus méideanna ollmhóra sonraí ilteangacha.
-
Comharthaíocht: Is é an chéad chéim in ullmhú sonraí ná tokenization. Briseann muid síos na habairtí Béarla agus Tamazight ina chomharthaí nó ina bhfocal aonair. Mar shampla, an abairt Béarla "Conas atá tú?" tokenized isteach ['Conas', 'atá', 'tú', '?'], agus an abairt Tamazight "Amek tettiliḍ?" a chur in ionad ['SOS', 'Amek', 'tettiliḍ', '?', 'EOS']. Úsáidimid SOS agus EOS chun tús agus deireadh an tseichimh a léiriú.
-
Glanadh agus Normalú: Ansin, déanaimid glanadh agus normalú ar na habairtí tokenized. Is éard atá i gceist leis seo aon charachtair, poncaíocht nó siombailí speisialta nach bhfuil gá leo a bhaint a d’fhéadfadh bac a chur ar phróiseas an aistriúcháin. Mar shampla, d’fhéadfaimis an comhartha ceiste ag deireadh na habairtí Béarla agus Tamazight a bhaint chun na sonraí oiliúna a shimpliú.
Ag brath ar shaintréithe na foinse agus na sprioctheanga, d’fhéadfadh go mbeadh gá le céimeanna breise réamhphróiseála a bhaineann go sonrach le teanga. Mar shampla, i bhFraincis, b’fhéidir go mbeadh orainn carachtair speisialta ar nós variant nó diacritic a láimhseáil.
- Cruthú Stór Focal: Cruthaímid stór focal trí fhocail uathúla a bhailiú ó na habairtí foinse agus na sprice araon. Ansin sanntar innéacs nó aitheantóir uathúil do gach focal, rud a dtugaimid mapa leabú na bhfocal air dá bharr, a úsáidfear le linn an phróisis oiliúna:
6: "how"
330: "are"
537: "you"
Leis sin bheadh cuma mar seo ar ár sampla tokenized:
[6, 330, 537] # How Are You
[420, 775] # Amek tettiliḍ
- Stadáil Seicheamh: Chun faid aonfhoirmeacha seichimh a chinntiú, cuirimid na habairtí le comharthaí speisialta (m.sh., "PAD", nó 0) ionas go mbeidh an fad céanna acu go léir. Tá gá le stuáil toisc go mbíonn líonraí néaracha ag súil go hiondúil le hionchuir fad sheasta. Trí chomharthaí stuála a chur leis ag deireadh abairtí níos giorra, cruthaímid seichimh ar chomhfhad, rud a cheadaíonn oiliúint éifeachtach. Is é an fad líon na bhfocal san abairt ionchuir is faide.
Mar shampla, má chuirtear stuáil 13 ar ár n-earraí ionchuir agus aschuir, gheobhaidh tú an toradh seo a leanas:
[6, 330, 537, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # How Are You
[420, 775, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # Amek tettiliḍ
Oiliúint Mhúnla
Agus na sonraí ullmhaithe, is féidir linn dul ar aghaidh lenár múnla aistriúcháin meaisín a thraenáil. Roinneamar na sonraí i dtacair oiliúna agus bailíochtaithe. Úsáidtear an tacar oiliúna chun paraiméadair an mhúnla a nuashonrú le linn na hoiliúna, agus cabhraíonn an tacar bailíochtaithe linn monatóireacht a dhéanamh ar fheidhmíocht an mhúnla agus rófheisteas a chosc.
Oiliúint Líonra Néarúil
Le linn na hoiliúna, cuirimid an múnla leis na habairtí foinse (Béarla) mar ionchur agus na sprioc-abairtí comhfhreagracha (Tamazight) mar an t-aschur inmhianaithe. Gineann an tsamhail tuar do na sprioc-abairtí, focal ar fhocal, bunaithe ar na seichimh ionchuir. Cuirtear na tuartha seo i gcomparáid leis na seichimh sprice iarbhír ag baint úsáide as feidhm chaillteanais, amhail tras-eantrópacht chatagóireach.
Nuashonruithe um Iomadú Cúltaca agus Paraiméadair
Tríd an bpróiseas aisfhillte, ríomhann an tsamhail grádáin an chaillteanais i leith a pharaiméadair. Léiríonn na grádáin seo treo agus méid na nuashonruithe paraiméadar is gá chun an caillteanas a íoslaghdú. Úsáideann an algartam barrfheabhsaithe, mar shliocht grádán stochastic (SGD) nó Adam, na grádáin seo chun paraiméadair an mhúnla a nuashonrú go atriallach, rud a fhágann go mbeidh na tuartha níos cruinne le himeacht ama
Oiliúint atriallach
Tarlaíonn an próiseas oiliúna go atriallach thar amanna iolracha. I ngach tréimhse, téann an tsamhail tríd an tacar sonraí oiliúna iomlán, ag nuashonrú a paraiméadair agus ag mionchoigeartú a thuiscint ar na patrúin aistriúcháin. Tríd an bpróiseas seo a dhéanamh arís, éiríonn an tsamhail níos oilte ar aistriúcháin chruinne a ghiniúint.
Bailíochtú agus Meastóireacht
Le linn na hoiliúna, déanaimid measúnú tréimhsiúil ar fheidhmíocht an mhúnla ar an tacar bailíochtaithe. Cuidíonn an mheastóireacht seo linn monatóireacht a dhéanamh ar dhul chun cinn na samhla agus coigeartuithe a dhéanamh más gá. Is féidir linn méadracht cosúil le BLEU (Tearnamh Meastóireachta Dátheangach) a úsáid chun cáilíocht na n-aistriúchán a mheas agus iad a chur i gcomparáid leis na haistriúcháin tagartha.
Imscaradh
Nuair a bheidh an tsamhail oilte agus measúnaithe, tá sé réidh le himscaradh. Soláthraíonn TensorFlow roinnt roghanna chun samhlacha meaisín-aistriúcháin a úsáid, lena n-áirítear TensorFlow Serving, TensorFlow Lite, agus TensorFlow.js. Ceadaíonn TensorFlow Serving an tsamhail a sheirbheáil trí API REST, rud a chumasaíonn comhtháthú éasca le feidhmchláir eile. Ligeann TensorFlow Lite an tsamhail a rith ar ghléasanna soghluaiste le hacmhainní teoranta. Cumasaíonn TensorFlow.js imscaradh i mbrabhsálaithe gréasáin, rud a fhágann go mbeidh an t-aistriúchán inrochtana go díreach ar láithreáin ghréasáin.
Is féidir creat gréasáin ar nós FastAPI a úsáid freisin chun REST API a thógáil.
Is féidir leat ár n-alt a sheiceáil freisin ar conas do mhúnla meaisínfhoghlama a imscaradh le haghaidh tuilleadh sonraí.
Feabhsú Leanúnach
Is próiseas atriallach é samhail aistriúcháin mheaisín a thógáil. Tá monatóireacht ar aiseolas ó úsáideoirí, bailiú sonraí breise, agus scagadh a dhéanamh ar an tsamhail trí nuashonruithe rialta riachtanach chun feabhas leanúnach a chur air. Mar gheall ar sholúbthacht agus inscálaitheacht TensorFlow is fusa an tsamhail a oiriúnú do riachtanais athraitheacha agus do theangacha nua.
