Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης
Η αναγνώριση συναισθημάτων συνιστά ένα δημοφιλή χώρο έρευνας τα τελευταία χρόνια. Το αντικείμενο αυτό βρίσκει εφαρμογή τόσο στην ενίσχυση της αλληλεπίδρασης ανθρώπου – υπολογιστή, όσο και στην υποστήριξη των ερευνητών που μελετούν τη βιολογική φύση των συναισθημάτων. Ιδιαίτερο ενδιαφέρον παρουσιάζει...
Κύριος συγγραφέας: | |
---|---|
Άλλοι συγγραφείς: | |
Γλώσσα: | Greek |
Έκδοση: |
2023
|
Θέματα: | |
Διαθέσιμο Online: | https://hdl.handle.net/10889/24953 |
id |
nemertes-10889-24953 |
---|---|
record_format |
dspace |
institution |
UPatras |
collection |
Nemertes |
language |
Greek |
topic |
Αναγνώριση συναισθημάτων Βαθιά μάθηση Μηχανική μάθηση Επεξεργασία σημάτων Emotion recognition Deep learning Machine learning Signal processing |
spellingShingle |
Αναγνώριση συναισθημάτων Βαθιά μάθηση Μηχανική μάθηση Επεξεργασία σημάτων Emotion recognition Deep learning Machine learning Signal processing Πράσινος, Νικόλαος Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
description |
Η αναγνώριση συναισθημάτων συνιστά ένα δημοφιλή χώρο έρευνας τα τελευταία χρόνια. Το αντικείμενο αυτό βρίσκει εφαρμογή τόσο στην ενίσχυση της αλληλεπίδρασης ανθρώπου – υπολογιστή, όσο και στην υποστήριξη των ερευνητών που μελετούν τη βιολογική φύση των συναισθημάτων. Ιδιαίτερο ενδιαφέρον παρουσιάζει η αναγνώριση συναισθημάτων με τη χρήση βιοσημάτων, αφού η συσχέτιση των συναισθηματικών καταστάσεων με τις αποκρίσεις του οργανισμού είναι μεγάλη. Τα βιοσήματα με την πιο ευρεία χρήση είναι τα ηλεκτροεγκεφαλογραφήματα, αφού με την άνθιση των διεπαφών εγκεφάλου – υπολογιστή, η απόκτηση δεδομένων είναι πιο εύκολη και οικονομική από τα υπόλοιπα βιοσήματα, ενώ ταυτόχρονα η μελέτη του εγκεφάλου παρουσιάζει ακαδημαϊκό ενδιαφέρον σε διάφορους τομείς.
Η έρευνα για την αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα, αναπτύσσεται διαρκώς λόγω της ραγδαίας εξέλιξης των αλγορίθμων μηχανικής μάθησης. Όμως στη βιβλιογραφία, οι περισσότερες υλοποιήσεις χρησιμοποιούν μοντέλα, που δεν αξιοποιούν πλήρως τη χωρική διάσταση των σημάτων του εγκεφάλου. Στην υλοποίηση της διπλωματικής, ακολουθείται μια προσέγγιση, η οποία βασίζεται στην δημιουργία ενός μοντέλου, που θα είναι ικανό να μαθαίνει τη χωρική πληροφορία, που μεταφέρουν τα εγκεφαλικά σήματα με ιεραρχικό τρόπο. Αρχικά, το μοντέλο μαθαίνει τις χωρικές συσχετίσεις ανάμεσα στα ηλεκτρόδια κάθε εγκεφαλικής περιοχής. Στη συνέχεια, χρησιμοποιώντας τη γνώση, που έχει αποκτηθεί από τα ηλεκτρόδια, το μοντέλο μαθαίνει τις χωρικές εξαρτήσεις ανάμεσα στις εγκεφαλικές περιοχές. Έτσι η γνώση που έχει αποκτηθεί, μπορεί να χρησιμοποιηθεί, για να γίνει ταξινόμηση της συναισθηματικής κατάστασης ενός ανθρώπου. Το μοντέλο αυτό αξιοποιεί τους μετατροπείς όρασης (vision transformers), οι οποίοι χρησιμοποιώντας μηχανισμούς αυτό – προσοχής, μπορούν να εντοπίσουν τις χωρικές αλληλεξαρτήσεις σε επίπεδο ηλεκτροδίων και σε επίπεδο εγκεφαλικών περιοχών.
Για την αξιολόγηση του μοντέλου, πραγματοποιήθηκαν subject – independent πειράματα για δυαδική ταξινόμηση και ταξινόμηση τεσσάρων κλάσεων. Τα αποτελέσματα που προέκυψαν, συμφωνούν και σε ορισμένες περιπτώσεις ξεπερνούν τη βιβλιογραφία, αποδεικνύοντας ότι οι vision transformers μπορούν να χρησιμοποιηθούν για την μάθηση της χωρικής πληροφορίας, που βρίσκεται στα ηλεκτροεγκεφαλογραφήματα και να εκτελέσουν αναγνώριση συναισθημάτων με αποδοτικό τρόπο. |
author2 |
Prasinos, Nikolaos |
author_facet |
Prasinos, Nikolaos Πράσινος, Νικόλαος |
author |
Πράσινος, Νικόλαος |
author_sort |
Πράσινος, Νικόλαος |
title |
Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
title_short |
Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
title_full |
Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
title_fullStr |
Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
title_full_unstemmed |
Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
title_sort |
αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης |
publishDate |
2023 |
url |
https://hdl.handle.net/10889/24953 |
work_keys_str_mv |
AT prasinosnikolaos anagnōrisēsynaisthēmatōnapoēlektroenkephalographēmatamemethodoierarchikēsbathiasmathēsēs AT prasinosnikolaos emotionrecognitionfromeegsignalsusingahierarchicaldeeplearningmethod |
_version_ |
1771297299852427264 |
spelling |
nemertes-10889-249532023-05-12T03:37:45Z Αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα με μέθοδο ιεραρχικής βαθιάς μάθησης Emotion recognition from EEG signals using a hierarchical deep learning method Πράσινος, Νικόλαος Prasinos, Nikolaos Αναγνώριση συναισθημάτων Βαθιά μάθηση Μηχανική μάθηση Επεξεργασία σημάτων Emotion recognition Deep learning Machine learning Signal processing Η αναγνώριση συναισθημάτων συνιστά ένα δημοφιλή χώρο έρευνας τα τελευταία χρόνια. Το αντικείμενο αυτό βρίσκει εφαρμογή τόσο στην ενίσχυση της αλληλεπίδρασης ανθρώπου – υπολογιστή, όσο και στην υποστήριξη των ερευνητών που μελετούν τη βιολογική φύση των συναισθημάτων. Ιδιαίτερο ενδιαφέρον παρουσιάζει η αναγνώριση συναισθημάτων με τη χρήση βιοσημάτων, αφού η συσχέτιση των συναισθηματικών καταστάσεων με τις αποκρίσεις του οργανισμού είναι μεγάλη. Τα βιοσήματα με την πιο ευρεία χρήση είναι τα ηλεκτροεγκεφαλογραφήματα, αφού με την άνθιση των διεπαφών εγκεφάλου – υπολογιστή, η απόκτηση δεδομένων είναι πιο εύκολη και οικονομική από τα υπόλοιπα βιοσήματα, ενώ ταυτόχρονα η μελέτη του εγκεφάλου παρουσιάζει ακαδημαϊκό ενδιαφέρον σε διάφορους τομείς. Η έρευνα για την αναγνώριση συναισθημάτων από ηλεκτροεγκεφαλογραφήματα, αναπτύσσεται διαρκώς λόγω της ραγδαίας εξέλιξης των αλγορίθμων μηχανικής μάθησης. Όμως στη βιβλιογραφία, οι περισσότερες υλοποιήσεις χρησιμοποιούν μοντέλα, που δεν αξιοποιούν πλήρως τη χωρική διάσταση των σημάτων του εγκεφάλου. Στην υλοποίηση της διπλωματικής, ακολουθείται μια προσέγγιση, η οποία βασίζεται στην δημιουργία ενός μοντέλου, που θα είναι ικανό να μαθαίνει τη χωρική πληροφορία, που μεταφέρουν τα εγκεφαλικά σήματα με ιεραρχικό τρόπο. Αρχικά, το μοντέλο μαθαίνει τις χωρικές συσχετίσεις ανάμεσα στα ηλεκτρόδια κάθε εγκεφαλικής περιοχής. Στη συνέχεια, χρησιμοποιώντας τη γνώση, που έχει αποκτηθεί από τα ηλεκτρόδια, το μοντέλο μαθαίνει τις χωρικές εξαρτήσεις ανάμεσα στις εγκεφαλικές περιοχές. Έτσι η γνώση που έχει αποκτηθεί, μπορεί να χρησιμοποιηθεί, για να γίνει ταξινόμηση της συναισθηματικής κατάστασης ενός ανθρώπου. Το μοντέλο αυτό αξιοποιεί τους μετατροπείς όρασης (vision transformers), οι οποίοι χρησιμοποιώντας μηχανισμούς αυτό – προσοχής, μπορούν να εντοπίσουν τις χωρικές αλληλεξαρτήσεις σε επίπεδο ηλεκτροδίων και σε επίπεδο εγκεφαλικών περιοχών. Για την αξιολόγηση του μοντέλου, πραγματοποιήθηκαν subject – independent πειράματα για δυαδική ταξινόμηση και ταξινόμηση τεσσάρων κλάσεων. Τα αποτελέσματα που προέκυψαν, συμφωνούν και σε ορισμένες περιπτώσεις ξεπερνούν τη βιβλιογραφία, αποδεικνύοντας ότι οι vision transformers μπορούν να χρησιμοποιηθούν για την μάθηση της χωρικής πληροφορίας, που βρίσκεται στα ηλεκτροεγκεφαλογραφήματα και να εκτελέσουν αναγνώριση συναισθημάτων με αποδοτικό τρόπο. Emotion recognition has been a popular research field in recent years. Its applications vary from enhancing human – computer interaction, to supporting researchers who study the biological nature of emotions. The use of biosignals to recognize emotions is particularly interesting, because of the important association that exists between emotional states and physiological responses. The most widely used biosignals are EEG signals, due to the ease and low cost of data acquisition, since the recent advancements in brain – computer interfaces, as well as the academic importance of the brain in multiple fields of study. Research on emotion recognition from EEG is constantly advancing, due to the rapid improvements in machine learning algorithms. However in the literature, most frameworks fail to take full advantage of the spatial dimension of brain signals. The implementation that is presented in the thesis, follows a framework, that aims to create a model capable of learning the spatial information of EEG signals in a hierarchical way. Firstly, it learns the spatial correlations between the different electrodes in each brain region. Then, using the knowledge it has obtained from the positions of the electrodes, the model learns the spatial dependencies between the different regions of the human brain. Once that is completed, the accumulated knowledge can be used to classify human emotions. The model consists of vision transformers, which utilize self – attention mechanisms, in order to identify spatial dependencies in both the electrode level and the brain – region level. The evaluation of the model is done on subject – independent experiments for binary and four – class classification. The results that were obtained, show agreement with the literature and in some cases improve upon it, thus proving that vision transformers can be used for learning the spatial information of EEG signals and can be used efficiently for emotion recognition. 2023-05-11T09:33:59Z 2023-05-11T09:33:59Z 2023-04-27 https://hdl.handle.net/10889/24953 el application/pdf |