Χρήση machine learning σε eye-tracking δεδομένα για την ανίχνευση συναισθημάτων του χρήστη κατά τη διάρκεια παρακολούθησης εικόνας

• Κύριος συγγραφέας: Λαδάς, Κωνσταντίνος-Ελισσαίος
• Άλλοι συγγραφείς: Ladas, Konstantinos-Elissaios
• Γλώσσα: Greek
• Έκδοση: 2020
• Θέματα: Μηχανική μάθηση; Συναισθήματα; Οφθαλμική ιχνηλάτηση; Εικόνα; Machine learning; Eye-tracking; Emotions; Image

Η παρούσα διπλωματική εργασία αποτελείται από τη συγκέντρωση δεδομένων eye-tracking από έναν αριθμό ατόμων ενώ παρακολουθούσαν κάποια ερεθίσματα σε εργαστηριακό χώρο, έπειτα labeling των δεδομένων αυτών με τα συναισθήματα που καταγράφηκαν από τους συμμετέχοντες και στη συνέχεια εκπαίδευση αλγορίθμων μηχανικής μάθησης με τα δεδομένα αυτά στο εργαλείο Weka. Η εργασία είναι πειραματικής φύσεως και χρειάστηκε πολύπλευρη έρευνα για να διεκπεραιωθεί. Εξαρχής είχε αποφασιστεί ότι θα μελετηθούν τα ανθρώπινα συναισθήματα οπότε έπρεπε να μελετηθεί το ψυχολογικό υπόβαθρο γύρω από αυτά. Πάρθηκε η απόφαση να μην γίνει μεγάλη εμβάθυνση και να βρεθεί ένα γενικευμένο, εύκολα εφαρμόσιμο μοντέλο συναισθημάτων που να καλύπτει ένα μεγάλο εύρος καθώς είναι ένας τομέας που χαρακτηρίζεται από μεγάλη υποκειμενικότητα. Η απάντηση σε αυτό ήταν τα συναισθήματα που είχε χαρακτηρίσει ο ψυχολόγος Paul Ekman ως «βασικά». Έτσι έγινε αναζήτηση οπτικών ερεθισμάτων που θα μπορούσαν να προκαλέσουν ένα από αυτά τα βασικά συναισθήματα. Στη συνέχεια, αφού δεν υπήρχε κάποιο έτοιμο dataset, έπρεπε να γίνει συγκέντρωση δεδομένων και μετρικών από άτομα που έχουν παρακολουθήσει τα ερεθίσματα αυτά και επομένως θα εξέφραζαν κάποιο συναίσθημα. Η συγκέντρωση αυτή έγινε με τη χρήση eye-tracker από 14 άτομα ,με διάφορα ψυχολογικά υπόβαθρα, τα οποία παρακολούθησαν 28 εικόνες επιλεγμένες από τη συλλογή εικόνων του IAPS. Επίσης πραγματοποιήθηκε ηχογράφηση των συμμετεχόντων να λένε το πιο κοντινό από τα συναισθήματα που τους δόθηκαν σαν επιλογές για κάθε εικόνα. Στο τέλος, εξήχθη ένα dataset με περίπου 320.000 δείγματα του βλέμματος των χρηστών. Το dataset αυτό, μετά από μελέτη, labeling και επεξεργασία, χρησιμοποιήθηκε για εκπαίδευση supervised αλγορίθμων machine learning με τη χρήση του εργαλείου Weka. Το πρόβλημα που έπρεπε να αντιμετωπιστεί ήταν πρόβλημα ταξινόμησης, αφού έπρεπε να γίνει πρόβλεψη του συναισθήματος για κάθε δείγμα στο dataset με σκοπό να βρεθεί κάποια συσχέτιση μεταξύ των οπτικών μετρικών που είχαν συγκεντρωθεί και των συναισθημάτων που ζητήθηκαν. Ανάμεσα στα μοντέλα, το μεγαλύτερο ποσοστό σωστών προβλέψεων που παρατηρήθηκε ήταν 90.87%. Το ποσοστό αυτό συνιστά, ότι δεδομένων αρκετών eye-tracking δειγμάτων εκπαίδευσης του αλγορίθμου σε συγκεκριμένες εικόνες, μπορεί να γίνει πρόβλεψη του συναισθήματος που θα δηλώσει ένας χρήστης βλέποντας μία από αυτές τις εικόνες με αρκετά μεγάλη ακρίβεια.