Τα σύγχρονα βαθιά νευρωνικά δίκτυα (DNN) είναι εγγενώς αδιαφανή, καθιστώντας δύσκολη την κατανόηση των διαδικασιών λήψης αποφάσεων τους. Αυτή η έλλειψη διαφάνειας παρεμβαίνει στην εκτεταμένη εφαρμογή τεχνικών Μηχανικής Μάθησης σε διάφορους τομείς. Ως απάντηση, το Explainable AI (XAI) εμφανίστηκε με σκοπό να βελτιώσει την ανθρώπινη κατανόηση των κρίσεων DNN. Εξετάζοντας τον λειτουργικό σκοπό κάθε στοιχείου, το XAI εστιάζει τώρα επίσης στην κατανόηση της παγκόσμιας συμπεριφοράς των DNN, σε αντίθεση με τις τοπικές μεθόδους εξήγησης που χρησιμοποιούν χάρτες εξέχουσας σημασίας για να εξηγήσουν μεμονωμένες προβλέψεις.
Η μηχανιστική ερμηνευσιμότητα είναι μια παγκόσμια τεχνική επεξήγησης που εστιάζει στον εντοπισμό των συγκεκριμένων ιδεών που οι νευρώνες, οι θεμελιώδεις υπολογιστικές μονάδες ενός νευρωνικού δικτύου, έχουν αποκτήσει την ικανότητα να κατανοούν. Μπορούμε να εξηγήσουμε τη λειτουργία των λανθάνουσας αναπαράστασης ενός δικτύου επισημαίνοντας τους νευρώνες με περιγραφές που είναι κατανοητές στον άνθρωπο. Αυτές οι περιγραφές έχουν εξελιχθεί από απλές ετικέτες σε περίπλοκες, συνθετικές και ανοιχτές εξηγήσεις λεξιλογίου. Ωστόσο, η έλλειψη τυποποιημένων ποσοτικών μετρήσεων για την αξιολόγηση αυτών των περιγραφών ανοιχτού λεξιλογίου έχει εμποδίσει τις διεξοδικές συγκρίσεις μεταξύ διαφόρων προσεγγίσεων.
Για να αντιμετωπίσουν αυτό το κενό, ερευνητές από το ATB Potsdam, το Πανεπιστήμιο του Πότσνταμ, το TU Berlin, το Fraunhofer Heinrich-Hertz-Institute και το BIFOLD εισάγουν το CoSy, ένα πρωτοποριακό πλαίσιο ποσοτικής αξιολόγησης για αξιολόγηση της χρήσης επεξηγήσεων ανοιχτού λεξιλογίου σε μοντέλα υπολογιστικής όρασης (CV). Αυτή η καινοτόμος μέθοδος χρησιμοποιεί τις εξελίξεις στο Generative AI για την παραγωγή τεχνητών εικόνων που συσχετίζονται με περιγραφές κειμένου βασισμένες σε έννοιες. Το cozy εξαλείφει την ανάγκη για ανθρώπινη αλληλεπίδραση διευκολύνοντας τις ποσοτικές συγκρίσεις διαφορετικών προσεγγίσεων κειμένου επεξήγησης που βασίζονται σε έννοιες, συνθέτοντας σημεία δεδομένων κοινά για συγκεκριμένες επεξηγήσεις στόχων.
Η ερευνητική ομάδα απέδειξε μέσα από μια εκτενή μετα-ανάλυση ότι το cozy προσφέρει αξιόπιστες αξιολογήσεις εξηγήσεων. Η μελέτη ανακάλυψε ότι οι μέθοδοι επεξήγησης κειμένου που βασίζονται σε έννοιες λειτουργούν καλύτερα στα ανώτερα στρώματα των νευρωνικών δικτύων, όπου μαθαίνονται έννοιες υψηλού επιπέδου. Επεξηγήσεις νευρώνων υψηλής ποιότητας παράγονται με μεθόδους όπως το INVERT, το οποίο δημιουργεί οπτικές εικόνες από αναπαραστάσεις νευρωνικών δικτύων και το CLIP-Dissect, το οποίο εξετάζει τις αναπαραστάσεις εσωτερικού δικτύου. Αντίθετα, τεχνικές όπως το MILAN και το FALCON παράγουν εξηγήσεις κατώτερης ποιότητας, παρέχοντας περιστασιακά σχεδόν τυχαίες έννοιες, οι οποίες μπορεί να οδηγήσουν σε ανακριβή συμπεράσματα δικτύου.
Ένα σημαντικό μειονέκτημα του CoSy, όπως αναγνωρίζουν οι ερευνητές, είναι ότι συγκεκριμένες κατηγορίες από τα δεδομένα εκπαίδευσης ενδέχεται να μην είχαν συμπεριληφθεί στο μοντέλο παραγωγής, οδηγώντας σε εξηγήσεις που είναι πολύ γενικές ή διφορούμενες, όπως "λευκά αντικείμενα". Η παραγωγική ακρίβεια μπορεί να αυξηθεί με την αντιμετώπιση αυτού του προβλήματος εξετάζοντας τα σύνολα δεδομένων πριν από την εκπαίδευση και την απόδοση του μοντέλου. Ακόμα κι όμως, το cozy παρουσιάζει πολλές δυνατότητες στον ακόμα αναπτυσσόμενο τομέα της αξιολόγησης των μη τοπικών τεχνικών επεξήγησης.
Κοιτάζοντας το μέλλον, η ομάδα είναι αισιόδοξη για τις πιθανές εφαρμογές του CoSy σε πολλούς τομείς. Για να αξιολογηθεί η αληθοφάνεια ή η ποιότητα μιας εξήγησης σχετικά με το αποτέλεσμα μιας μεταγενέστερης εργασίας, η ανθρώπινη κρίση πρέπει να συμπεριληφθεί στον ορισμό της ποιότητας της εξήγησης, την οποία θέλουν να εξετάσουν σε μελλοντική εργασία. Επιπλέον, θέλουν να συμπεριλάβουν επιπλέον πεδία όπως η επεξεργασία φυσικής γλώσσας και η υγειονομική περίθαλψη στο σύστημα αξιολόγησής τους. Η πιθανή χρήση του cozy για την αξιολόγηση μεγάλων, αδιαφανών, αυτοερμηνεύσιμων γλωσσικών μοντέλων (LLM) είναι ιδιαίτερα συναρπαστική. Σύμφωνα με τους ερευνητές, η εφαρμογή cozy σε σύνολα δεδομένων υγειονομικής περίθαλψης, όπου η ποιότητα της επεξήγησης είναι σημαντική, θα μπορούσε να είναι ένα μεγάλο βήμα προς τα εμπρός. Αυτές οι πιθανές μελλοντικές εφαρμογές του cozy έχουν τεράστιες δυνατότητες να προωθήσουν την έρευνα AI.