Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων
Τα συστήματα συστάσεων εντοπίζονται πλέον παντού στον κόσμο του διαδικτύου, καθορίζοντας απλές καθημερινές μας συνήθειες όπως την μουσική που θα ακούσουμε, τα προϊόντα που θα αγοράσουμε, τα βιβλία που θα διαβάσουμε και καταλήγουν να επηρεάζουν έμμεσα το τι σκεφτόμαστε και πως δρούμε ως πολίτες στην...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2022
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/15929 |
| id |
nemertes-10889-15929 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Μηχανική μάθηση Συστήματα συστάσεων Μεροληψία δημοφιλίας Δικαιοσύνη Machine learning Recommender systems Popularity bias Fairness |
| spellingShingle |
Μηχανική μάθηση Συστήματα συστάσεων Μεροληψία δημοφιλίας Δικαιοσύνη Machine learning Recommender systems Popularity bias Fairness Καψάλης, Ρωμανός Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| description |
Τα συστήματα συστάσεων εντοπίζονται πλέον παντού στον κόσμο του διαδικτύου, καθορίζοντας απλές καθημερινές μας συνήθειες όπως την μουσική που θα ακούσουμε, τα προϊόντα που θα αγοράσουμε, τα βιβλία που θα διαβάσουμε και καταλήγουν να επηρεάζουν έμμεσα το τι σκεφτόμαστε και
πως δρούμε ως πολίτες στην κοινωνία. Καθίσταται επομένως επιτακτική η ανάγκη ελέγχου αυτών των συστημάτων και η εύρεση της όποιας μεροληψίας εισάγουν. Το πιο γνωστό και σοβαρό είδος μεροληψίας είναι η μεροληψία δημοφιλίας (popularity bias). Σε αυτή την διπλωματική εργασία αναφέρονται τα σημαντικότερα ζητήματα μεροληψίας και δικαιοσύνης που εντοπίζονται στην μηχανική μάθηση γενικότερα και στα συστήματα συστάσεων ειδικότερα. Στα πλαίσια αυτής της διπλωματικής εργασίας έχει αναπτυχθεί μια εφαρμογή η οποία επιτρέπει στους χρήστες να δημιουργήσουν ένα σύστημα συστάσεων, χρησιμοποιώντας ένα σύνολο δεδομένων της επιθυμίας τους, και ακολούθως να ελέγξουν εάν έχει εισαχθεί κάποια μεροληψία και να την μετριάσουν με χρήση ενός εκ των τεσσάρων αλγορίθμων που προσφέρονται: FAR, PFAR, FA*IR και Calibrated recommendations. Με την εφαρμογή αυτή υλοποιήθηκαν πειράματα για τον εντοπισμό της μεροληψίας με χρήση τεσσάρων συνόλων δεδομένων, εκ των οποίων το ένα πραγματικό. Στη συνέχεια, γίνεται η αξιολόγηση των αποτελεσμάτων μέσω τριών διαφορετικών τύπων αναλύσεων: ανάλυση υπερπαραμέτρων των αλγορίθμων, σύγκριση αλγορίθμων και συνόλων δεδομένων και ανάλυση cut-off. Σε όλες τις αναλύσεις που πραγματοποιήθηκαν εξετάστηκε επίσης ο ρόλος των χαρακτηριστικών των δεδομένων, όπως η αραιότητα του μητρώου χρηστών αξιολογήσεων, ο λόγος αξιολογήσεων προς χρήστες, αξιολογήσεων προς αντικείμενα, χρηστών προς αντικείμενα και ο χώρος των αξιολογήσεων, δίνοντας ιδιαίτερη έμφαση στην αραιότητα των δεδομένων. Τέλος, γίνεται ο μετριασμός της μεροληψίας που εντοπίστηκε, με σύγκριση τριών διαφορετικών αλγορίθμων. Από την ανάλυση που πραγματοποιήθηκε διαπιστώθηκε ότι σε όλα τα σύνολα δεδομένων, τα χαρακτηριστικά των δεδομένων επηρεάζουν έως έναν βαθμό την μεροληψία που εισάγεται. Παράλληλα, οι υπερπαράμετροι των αλγορίθμων παίζουν πολύ μεγάλο ρόλο στην ρύθμιση της μεροληψίας πέρα από την ρύθμιση την ακρίβειας. Μια ακόμη διαπίστωση που προέκυψε από την έρευνά μας είναι ότι οι post-processing αλγόριθμοι μετριασμού της μεροληψίας μπορούν να βελτιώσουν το αντιστάθμισμα μεροληψίας-ακρίβειας, ωστόσο έχουν και σημαντικούς περιορισμούς. Εν κατακλείδι, οι δημιουργοί των συστημάτων είναι αναγκαίο αφενός να έχουν επίγνωση της μεροληψίας που εισάγεται, καθώς και των αιτιών της, και αφετέρου θα πρέπει να φροντίζουν να βρίσκουν ένα αντιστάθμισμα ανάμεσα στην ακρίβεια και την μεροληψία. Αυτό μπορεί να συμβεί είτε με την κατάλληλη ρύθμιση των υπερπαραμέτρων είτε με τον μετριασμό της μεροληψίας. H εφαρμογή που αναπτύχθηκε στα πλαίσια αυτής της διπλωματικής εργασίας συμβάλλει σημαντικά προς αυτή την κατεύθυνση. |
| author2 |
Kapsalis, Romanos |
| author_facet |
Kapsalis, Romanos Καψάλης, Ρωμανός |
| author |
Καψάλης, Ρωμανός |
| author_sort |
Καψάλης, Ρωμανός |
| title |
Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| title_short |
Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| title_full |
Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| title_fullStr |
Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| title_full_unstemmed |
Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| title_sort |
έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων |
| publishDate |
2022 |
| url |
http://hdl.handle.net/10889/15929 |
| work_keys_str_mv |
AT kapsalēsrōmanos ereunakaianaptyxēsystēmatosgiatēnanichneusēmerolēpsiassesystēmatasystaseōn AT kapsalēsrōmanos researchanddevelopmentofasystemforbiasidentificationinrecommendersystems |
| _version_ |
1771297145072123904 |
| spelling |
nemertes-10889-159292022-09-05T05:39:12Z Έρευνα και ανάπτυξη συστήματος για την ανίχνευση μεροληψίας σε συστήματα συστάσεων Research and development of a system for bias identification in recommender systems Καψάλης, Ρωμανός Kapsalis, Romanos Μηχανική μάθηση Συστήματα συστάσεων Μεροληψία δημοφιλίας Δικαιοσύνη Machine learning Recommender systems Popularity bias Fairness Τα συστήματα συστάσεων εντοπίζονται πλέον παντού στον κόσμο του διαδικτύου, καθορίζοντας απλές καθημερινές μας συνήθειες όπως την μουσική που θα ακούσουμε, τα προϊόντα που θα αγοράσουμε, τα βιβλία που θα διαβάσουμε και καταλήγουν να επηρεάζουν έμμεσα το τι σκεφτόμαστε και πως δρούμε ως πολίτες στην κοινωνία. Καθίσταται επομένως επιτακτική η ανάγκη ελέγχου αυτών των συστημάτων και η εύρεση της όποιας μεροληψίας εισάγουν. Το πιο γνωστό και σοβαρό είδος μεροληψίας είναι η μεροληψία δημοφιλίας (popularity bias). Σε αυτή την διπλωματική εργασία αναφέρονται τα σημαντικότερα ζητήματα μεροληψίας και δικαιοσύνης που εντοπίζονται στην μηχανική μάθηση γενικότερα και στα συστήματα συστάσεων ειδικότερα. Στα πλαίσια αυτής της διπλωματικής εργασίας έχει αναπτυχθεί μια εφαρμογή η οποία επιτρέπει στους χρήστες να δημιουργήσουν ένα σύστημα συστάσεων, χρησιμοποιώντας ένα σύνολο δεδομένων της επιθυμίας τους, και ακολούθως να ελέγξουν εάν έχει εισαχθεί κάποια μεροληψία και να την μετριάσουν με χρήση ενός εκ των τεσσάρων αλγορίθμων που προσφέρονται: FAR, PFAR, FA*IR και Calibrated recommendations. Με την εφαρμογή αυτή υλοποιήθηκαν πειράματα για τον εντοπισμό της μεροληψίας με χρήση τεσσάρων συνόλων δεδομένων, εκ των οποίων το ένα πραγματικό. Στη συνέχεια, γίνεται η αξιολόγηση των αποτελεσμάτων μέσω τριών διαφορετικών τύπων αναλύσεων: ανάλυση υπερπαραμέτρων των αλγορίθμων, σύγκριση αλγορίθμων και συνόλων δεδομένων και ανάλυση cut-off. Σε όλες τις αναλύσεις που πραγματοποιήθηκαν εξετάστηκε επίσης ο ρόλος των χαρακτηριστικών των δεδομένων, όπως η αραιότητα του μητρώου χρηστών αξιολογήσεων, ο λόγος αξιολογήσεων προς χρήστες, αξιολογήσεων προς αντικείμενα, χρηστών προς αντικείμενα και ο χώρος των αξιολογήσεων, δίνοντας ιδιαίτερη έμφαση στην αραιότητα των δεδομένων. Τέλος, γίνεται ο μετριασμός της μεροληψίας που εντοπίστηκε, με σύγκριση τριών διαφορετικών αλγορίθμων. Από την ανάλυση που πραγματοποιήθηκε διαπιστώθηκε ότι σε όλα τα σύνολα δεδομένων, τα χαρακτηριστικά των δεδομένων επηρεάζουν έως έναν βαθμό την μεροληψία που εισάγεται. Παράλληλα, οι υπερπαράμετροι των αλγορίθμων παίζουν πολύ μεγάλο ρόλο στην ρύθμιση της μεροληψίας πέρα από την ρύθμιση την ακρίβειας. Μια ακόμη διαπίστωση που προέκυψε από την έρευνά μας είναι ότι οι post-processing αλγόριθμοι μετριασμού της μεροληψίας μπορούν να βελτιώσουν το αντιστάθμισμα μεροληψίας-ακρίβειας, ωστόσο έχουν και σημαντικούς περιορισμούς. Εν κατακλείδι, οι δημιουργοί των συστημάτων είναι αναγκαίο αφενός να έχουν επίγνωση της μεροληψίας που εισάγεται, καθώς και των αιτιών της, και αφετέρου θα πρέπει να φροντίζουν να βρίσκουν ένα αντιστάθμισμα ανάμεσα στην ακρίβεια και την μεροληψία. Αυτό μπορεί να συμβεί είτε με την κατάλληλη ρύθμιση των υπερπαραμέτρων είτε με τον μετριασμό της μεροληψίας. H εφαρμογή που αναπτύχθηκε στα πλαίσια αυτής της διπλωματικής εργασίας συμβάλλει σημαντικά προς αυτή την κατεύθυνση. Recently, researchers have increased their scrutiny of ethical issues on artificial intelligence (AI), especially οn the field of Machine Learning. However, most previous studies on the area of Ethical Machine Learning have only focused on classification and regression tasks, while only a few studies have investigated ethical issues on recommender systems. The aim of this Diploma Thesis is to contribute to the understanding of biases that appear in recommender systems. In this direction, a web-app was developed to help users understand how biases are introduced in recommender systems. Moreover, we could thereby estimate the extend of bias in these systems. The app is comprised by four main pages. The first page visualizes datasets to help users find possible biases. In the second page, the user can build a recommender system by choosing between a vast collection of algorithms and hyperparameter tuning options in a user-friendly way. Additionally, we developed a page for the evaluation of a recommender system as per popularity bias, fairness, diversity, novelty and coverage. The evaluation consists of a) bias monitoring through different types of plots for a single dataset or dataset comparison b) cut-off analysis and c) hyperparameter analysis. Finally, we developed a page for popularity bias mitigation using one of the four algorithms that are available: FAR, PFAR, FA*IR and Calibrated recommendations. With reference to the broader field of ethical issues, this thesis shares special interest to popularity bias, diversity, novelty and item coverage. An extensive experimental study was conducted to gain a better understanding of the sources of bias and analyze the effect of different bias mitigation algorithms. This was implemented by utilizing the aforementioned web app. Four datasets were used in the present study: one real dataset provided by a major electronics retailer, and three datasets collected from the internet. The first part of the study examines the role of the hyperparameter tuning for every algorithm that was used and the role of dataset characteristics, in bias and accuracy. It also compares the above-mentioned datasets. The second part consists of bias mitigation using three reranking algorithms: FAR, PFAR and Calibrated recommendations and an in-processing algorithm. This study has identified that data characteristics, and especially the sparsity of user-item matrix, can highly affect the bias that is introduced. Moreover, another significant finding is that the post-processing mitigation algorithms that were examined can improve the bias-accuracy tradeoff, but have several limitations too. In conclusion, developers of recommender systems need to be aware of sources of biases and of the accuracy-bias tradeoff. This work contributes to this direction and lays the groundwork for future research into bias in recommender systems. 2022-03-08T08:10:17Z 2022-03-08T08:10:17Z 2022-03-08 http://hdl.handle.net/10889/15929 gr application/pdf |
