Anomalia detektatzea arautik edo espero den jokabidetik nabarmen desbideratzen diren datuetan ereduak edo instantziak identifikatzeko prozesuari egiten dio erreferentzia. Desbideratze hauek, anomaliak deitzen direnak, datu-multzo baten barruan balizko mehatxuak, akatsak edo gertaera interesgarriak adieraz ditzakete. Anomaliak identifikatzearen atzean dauden oinarrizko printzipioak datuetatik oinarri-oinarrizko portaera edo portaera normal bat ezartzea eta esperotako eredu horretatik kanpo geratzen diren kasuak detektatzea dakar.
Anomalia detektatzeko planteamenduak eta teknikak
-
Metodo estatistikoak: datuen portaera normala definitzeko eredu estatistikoak erabiltzea eta horietatik nabarmen desbideratzen diren instantziak identifikatzea dakar. Z-score, Gauss-eko banaketa-ereduak eta hipotesien probak (Grubbs-en atzerriko probak bezalakoak) kategoria honetan sartzen dira.
-
Machine Learning Algoritms: Gainbegiratu, gainbegiratu gabeko eta erdi-gainbegiratutako ikaskuntza automatikoko algoritmoak erabil daitezke. Gainbegiratu gabeko teknikek, esaterako, multzokatzea (adibidez, K-meanak) edo dentsitatearen balioespena (adibidez, Gauss Nahaste-ereduak) etiketarik gabeko anomaliak aurkitzen laguntzen dute, eta gainbegiraturiko ikuspegiek, esaterako, isolamendu-basoak edo klase bakarreko SVMek etiketatutako datuak baliatzen dituzte anomaliak detektatzeko.
-
Gainbegiratu gabeko Ikaskuntza Planteamenduak: metodo hauek datu arrunten egitura ikastera bideratzen dute anomaliak esplizituki etiketatu gabe. Autokodetzaileek edo ikaskuntza sakonean oinarritutako planteamenduek datu arrunten irudikapenak ikas ditzakete eta desbideratzeak anomalia gisa identifikatu ditzakete.
Anomalia detektatzeko erronkak
-
Datu desorekatuak: anomaliak normalean datu-multzo osoaren zati txiki bat dira, eta klase desorekatuak eragiten dituzte. Desoreka honek ohiko ikaskuntza automatikoko algoritmoen errendimenduan eragin dezake.
-
Anomaliak definitzea: anomalia zer den zehaztea subjektiboa eta testuinguruaren araberakoa izan daiteke. Anomalia detektatzeko sarritan domeinu-ezagutza behar da abereak modu eraginkorrean definitzeko.
-
Aztertzen diren gradu desberdinak: anomaliak maila ezberdinetan ager daitezke hainbat domeinutan. Anomalia batzuk desbideratze arinak izan daitezke, eta beste batzuk, berriz, muturreko kanpokoak izan daitezke, eta zaila da atalase unibertsala definitzea.
Mundu errealeko aplikazioak eta garrantzia
-
Zibersegurtasuna: sareko ezohiko trafikoa edo jarduera gaiztoak hautematea.
-
Iruzurra hautematea: finantza-datuetan iruzurrezko transakzioak identifikatzea.
-
Osasungintzaren jarraipena: pazientearen osasun datuetan anomaliak hautematea.
-
Industria-sistemak: makineria irregulartasunak kontrolatzea, hutsegiteak saihesteko.
Metodo egokiak hautatzearen garrantzia
Anomalia detektatzeko metodo egokia aukeratzea funtsezkoa da, erabilera-kasu ezberdinek zehaztasun, interpretagarritasun eta eraginkortasun konputazionalaren eskakizun desberdinak baitituzte. Esaterako, zibersegurtasunean, denbora errealean zehaztasun handiko detekzioa funtsezkoa da, osasungintzan, berriz, interpretagarritasuna eta positibo faltsuak gutxitzea garrantzitsuagoa izan daiteke.
Metodoak domeinu bakoitzaren berezitasunetara egokitzea eta detekzio-zehaztasunaren eta konplexutasun konputazionalaren arteko konpromezuak ulertzea ezinbestekoak dira anomaliak detektatzeko.
Anomalia detektatzeko hainbat teknika eta planteamendu dakartza, bakoitzak bere indargune eta ahulguneekin. Metodo egokia hautatzea datuen izaeraren, arazoaren testuinguruaren eta aplikazioaren baldintza zehatzen araberakoa da.
