Ikaskuntza kontrastiboa norberak gainbegiratzen duen ikaskuntzan erabiltzen den teknika da etiketarik gabeko datuetatik irudikapen esanguratsuak sortzeko, datu berdinen ikuspegi ezberdinen antzekotasun eta desberdintasunen kontzeptua aprobetxatuz.
Oinarrizko kontzeptua
-
Bikote positiboak eta negatiboak
-
Bikote positiboak: Datu-instantzia beraren bertsio handituen bikoteak dira. Esate baterako, irudi bera hartu eta eraldaketa desberdinak aplikatuz (erraketak, mozketak, koloreen nahasketa, etab.) eduki beraren ikuspegi desberdinak sortzeko.
-
Bikote negatiboak: datu-instantzia desberdinek osatzen dute. Ikaskuntza kontrastiboaren testuinguruan, bikote negatiboak irudi desberdinak edo irudien bertsio areagotuak hartuz sortzen dira sarritan.
-
Helburua: Ikaskuntza kontrastiboaren helburua da eredua bultzatzea bikote positiboen irudikapenak elkarrengana hurbiltzea ikasitako ezaugarrien espazioan, bikote negatiboen irudikapenak urrunduz.
-
Gale-funtzioa: galera-funtzio kontrastiboak, InfoNCE (Noise Contrastive Estimation) galera edo NT-Xent (Normalized Temperature-scaled Cross-Entropy) galera bezalakoak erabiltzen dira. Galera hauek bikote positiboen irudikapenen arteko distantzia urrun dagoenean eredua zigortzen dute eta bikote negatiboen irudikapenen arteko distantzia handiagoa sustatzen dute.
Leveraging Components
-
Antzeko neurriak
-
Ikaskuntza kontrastiboa antzekotasun neurrietan oinarritzen da, hala nola kosinuaren antzekotasuna, distantzia euklidearra edo produktu puntukoa, ikasitako espazioko irudikapenen arteko hurbiltasuna edo distantzia kuantifikatzeko.
-
Agotatzeko estrategiak
-
Datuen gehikuntzak funtsezko zeregina du ikaskuntza kontrastiboan, datu berdinen ikuspegi desberdinak sortuz, ereduari eraldaketa desberdinetan ezaugarri aldaezinak ikasteko aukera emanez.
-
Lotearen tamaina
-
Batch tamaina handiagoak ikaskuntza kontrastean onuragarriak izaten dira, optimizazio-urrats bakoitzerako lagin anitzagoak ematen baitituzte, irudikapenak hobeto ikasten laguntzen baitute.
Eragina eta aplikazioak
-
Ordenagailuaren ikusmena: ikaskuntza kontrastiboa oso eraginkorra izan da irudietan oinarritutako zereginetarako irudikapenak ikasteko, hala nola irudien sailkapena, objektuak hautematea eta segmentazioa.
-
Hizkuntza Naturalaren Prozesamendua: esaldi edo dokumentuen txertaketa ikastean itxaropentsua izan da, hizkuntza ulermena eta itzulpena bezalako zereginak hobetuz.
-
Gomendio-sistemak: erabiltzailearen hobespenen edo elementuen ezaugarrien irudikapen esanguratsuak ikasiz, gomendio-algoritmoak hobetu ditzake.
Eraginkortasuna eta erronkak
-
Eraginkortasuna: ikaskuntza kontrastatuak emaitza ikusgarriak erakutsi ditu, batez ere etiketatutako datuak urriak edo lortzea garestia diren agertokietan.
-
Erronkak: hiperparametroak sintonizatzea, areagotzeko estrategia egokiak hautatzea eta baliabide konputazionalak modu eraginkorrean kudeatzea erronkak dira ikaskuntza kontrastean.
Inplementazio praktikoek maiz erabiltzen dituzte arkitektura pertsonalizatuak, hala nola Siamese sareak, Momentum Contrast (MoCo), SimCLR (Simple Framework for Contrastive Learning Visual Representations) edo beste aldaera batzuk, hainbat domeinutan etiketarik gabeko datuetatik irudikapenak modu eraginkorrean ikasteko.
