Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης
Τα τελευταία χρόνια παρατηρείται εκθετική πρόοδος στο τομέα της ΤΝ και συγκεκριμένα των εφαρμογών μηχανικής μάθησης, με όλο και περισσότερα προϊόντα και υπηρεσίες να υ- ιοθετούν τις νέες τεχνολογίες σε παγκόσμια κλίμακα. Η ταχύτατη αυτή εξέλιξη ώθησε την ανάγκη δημιουργίας ενός νέου ερευνητικού κ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2022
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/16362 |
| id |
nemertes-10889-16362 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Εξηγησιμότητα μηχανικής μάθησης Αξιολόγηση ευρωστίας Machine learning explainability Robustness evaluation |
| spellingShingle |
Εξηγησιμότητα μηχανικής μάθησης Αξιολόγηση ευρωστίας Machine learning explainability Robustness evaluation Ρήγας, Στέφανος Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| description |
Τα τελευταία χρόνια παρατηρείται εκθετική πρόοδος στο τομέα της ΤΝ και συγκεκριμένα
των εφαρμογών μηχανικής μάθησης, με όλο και περισσότερα προϊόντα και υπηρεσίες να υ-
ιοθετούν τις νέες τεχνολογίες σε παγκόσμια κλίμακα. Η ταχύτατη αυτή εξέλιξη ώθησε την
ανάγκη δημιουργίας ενός νέου ερευνητικού κλάδου, αυτού της Εξηγήσιμης Τεχνητής Νοημο-
σύνης (XAI), ώστε να αναλυθούν σε βάθος και να εξηγηθούν οι προβλέψεις αλγορίθμων που
διατηρούν κρυφό τον τρόπο λειτουργίας τους. Η αναγνώριση των εσωτερικών διαδικασιών
με τις οποίες αυτά τα συστήματα λαμβάνουν αποφάσεις, είναι καθοριστικής σημασίας για την
ανάπτυξη διαφάνειας, λογοδοσίας και δικαιοσύνης στη χρήση των τεχνολογιών αυτών. Ω-
στόσο μέχρι σήμερα στη βιβλιογραφία, παρατηρούνται δυσκολίες ή και διαφωνίες στον ορισμό,
την περιγραφή και τα κριτήρια που καθιστούν εξηγήσιμη μια εφαρμογή μηχανικής μάθησης.
΄Εχουν αναπτυχθεί διάφορες μέθοδοι εξηγησιμότητας στις προσπάθειες μας να καταλάβουμε
καλύτερα τις εφαρμογές ΤΝ, παρ΄όλα αυτά υπάρχει ακόμα αμφιβολία για το λογικό τους υ-
πόβαθρο και τις εξηγήσεις που παράγουνε. ΄Ενας από τους παράγοντες που ευθύνονται για
αυτό είναι οι ελλείψεις στο τομέα της αξιολόγησης των υπάρχοντων μεθόδων εξηγησιμότητας.
Σε αυτή τη διπλωματική εργασία εστιάζουμε σε μία από τις πτυχές αξιολόγησης των με-
θόδων αυτών, αυτή της ευρωστίας, προτείνοντας μια καινοτόμο μεθοδολογία αξιολόγησης
ευρωστίας την οποία εφαρμόζουμε σε τρεις μεθόδους εξηγησιμότητας προς σύγκριση. Ο-
ρίζουμε και περιγράφουμε τις διαστάσεις της ευρωστίας, ώστε να περικλείει τις έννοιες της
συνέπειας και της σταθερότητας των εξηγήσεων, και σχεδιάζουμε διαφορετικά σενάρια για
την αξιολόγησή τους. Η αξιολόγηση των μεθόδων εξηγησιμότητας γίνεται μέσα από μια
πληθώρα πολυδιάστατων πειραμάτων, προκειμένου να αξιολογηθούν υπό διαφορετικές υλο-
ποιήσεις αλγορίθμων, σύνολα δεδομένων και κατηγορίες εξηγησιμότητας. Είναι σημαντικό
να ερευνήσουμε τη συμπεριφορά των μεθόδων εξηγησιμότητας σε πολλαπλές συνθήκες, για
να εντοπίσουμε τις αδυναμίες και τα πλεονεκτήματα του τρόπου λειτουργίας τους. Τέλος,
παραθέτουμε τις παρατηρήσεις μας από τα αποτελέσματα των πειραμάτων και ιδέες για την
επέκταση και τη βελτίωση της προτεινόμενης μεθόδου. |
| author2 |
Rigas, Stefanos |
| author_facet |
Rigas, Stefanos Ρήγας, Στέφανος |
| author |
Ρήγας, Στέφανος |
| author_sort |
Ρήγας, Στέφανος |
| title |
Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| title_short |
Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| title_full |
Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| title_fullStr |
Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| title_full_unstemmed |
Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| title_sort |
αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης |
| publishDate |
2022 |
| url |
http://hdl.handle.net/10889/16362 |
| work_keys_str_mv |
AT rēgasstephanos axiologēsēeurōstiasmethodōnexēgēsimotētasmēchanikēsmathēsēs AT rēgasstephanos robustnessevaluationofmachinelearningexplainabilitymethods |
| _version_ |
1771297314121449472 |
| spelling |
nemertes-10889-163622022-09-05T20:45:35Z Αξιολόγηση ευρωστίας μεθόδων εξηγησιμότητας μηχανικής μάθησης Robustness evaluation of machine learning explainability methods Ρήγας, Στέφανος Rigas, Stefanos Εξηγησιμότητα μηχανικής μάθησης Αξιολόγηση ευρωστίας Machine learning explainability Robustness evaluation Τα τελευταία χρόνια παρατηρείται εκθετική πρόοδος στο τομέα της ΤΝ και συγκεκριμένα των εφαρμογών μηχανικής μάθησης, με όλο και περισσότερα προϊόντα και υπηρεσίες να υ- ιοθετούν τις νέες τεχνολογίες σε παγκόσμια κλίμακα. Η ταχύτατη αυτή εξέλιξη ώθησε την ανάγκη δημιουργίας ενός νέου ερευνητικού κλάδου, αυτού της Εξηγήσιμης Τεχνητής Νοημο- σύνης (XAI), ώστε να αναλυθούν σε βάθος και να εξηγηθούν οι προβλέψεις αλγορίθμων που διατηρούν κρυφό τον τρόπο λειτουργίας τους. Η αναγνώριση των εσωτερικών διαδικασιών με τις οποίες αυτά τα συστήματα λαμβάνουν αποφάσεις, είναι καθοριστικής σημασίας για την ανάπτυξη διαφάνειας, λογοδοσίας και δικαιοσύνης στη χρήση των τεχνολογιών αυτών. Ω- στόσο μέχρι σήμερα στη βιβλιογραφία, παρατηρούνται δυσκολίες ή και διαφωνίες στον ορισμό, την περιγραφή και τα κριτήρια που καθιστούν εξηγήσιμη μια εφαρμογή μηχανικής μάθησης. ΄Εχουν αναπτυχθεί διάφορες μέθοδοι εξηγησιμότητας στις προσπάθειες μας να καταλάβουμε καλύτερα τις εφαρμογές ΤΝ, παρ΄όλα αυτά υπάρχει ακόμα αμφιβολία για το λογικό τους υ- πόβαθρο και τις εξηγήσεις που παράγουνε. ΄Ενας από τους παράγοντες που ευθύνονται για αυτό είναι οι ελλείψεις στο τομέα της αξιολόγησης των υπάρχοντων μεθόδων εξηγησιμότητας. Σε αυτή τη διπλωματική εργασία εστιάζουμε σε μία από τις πτυχές αξιολόγησης των με- θόδων αυτών, αυτή της ευρωστίας, προτείνοντας μια καινοτόμο μεθοδολογία αξιολόγησης ευρωστίας την οποία εφαρμόζουμε σε τρεις μεθόδους εξηγησιμότητας προς σύγκριση. Ο- ρίζουμε και περιγράφουμε τις διαστάσεις της ευρωστίας, ώστε να περικλείει τις έννοιες της συνέπειας και της σταθερότητας των εξηγήσεων, και σχεδιάζουμε διαφορετικά σενάρια για την αξιολόγησή τους. Η αξιολόγηση των μεθόδων εξηγησιμότητας γίνεται μέσα από μια πληθώρα πολυδιάστατων πειραμάτων, προκειμένου να αξιολογηθούν υπό διαφορετικές υλο- ποιήσεις αλγορίθμων, σύνολα δεδομένων και κατηγορίες εξηγησιμότητας. Είναι σημαντικό να ερευνήσουμε τη συμπεριφορά των μεθόδων εξηγησιμότητας σε πολλαπλές συνθήκες, για να εντοπίσουμε τις αδυναμίες και τα πλεονεκτήματα του τρόπου λειτουργίας τους. Τέλος, παραθέτουμε τις παρατηρήσεις μας από τα αποτελέσματα των πειραμάτων και ιδέες για την επέκταση και τη βελτίωση της προτεινόμενης μεθόδου. In recent years, there has been exponential progress in the field of artificial intelligence and specifically machine learning applications, with more and more products and services adopting the new technologies on a global scale. This rapid evolution has prompted the need for a new research discipline, that of Explainable Artificial Intelligence (XAI), in order to analyse in depth and explain the predictions of algorithms that keep their mode of operation hidden. Identifying the internal processes by which these systems make decisions is crucial to developing transparency, accountability and fairness in the use of these technologies. However, to date in the literature, there are difficulties or even disagreements in the definition, description and criteria that render a machine learning application explainable. Various methods of explainability have been developed in our efforts to better understand AI applications, yet there is still doubt about their logical processes and the explanations they produce. One of the factors responsible for this is the shortcomings in the field of evaluating existing explainability techniques. In this diploma thesis we focus on one of the evaluation aspects of these methods, that of robustness, by proposing an innovative robustness evaluation methodology which we apply to three explainability methods for comparison. We define and describe the dimensions of robustness to encompass the notions of consistency and stability of explanations, and design different scenarios for their evaluation. The evaluation of the explainability methods is carried out through a variety of multivariate experiments in order to evaluate them under different algorithm implementations, datasets and explainability categories. It is important to investigate the behavior of explainability methods for multiple conditions to identify the weaknesses and strengths of their mode of operation. Finally, we provide our observations from the experimental results and ideas for extending and improving the proposed method. 2022-07-04T07:08:02Z 2022-07-04T07:08:02Z 2022-06-30 http://hdl.handle.net/10889/16362 gr application/pdf |
