Motor imagery brain machine interface

Electroencephalography (EEG)-based Brain Machine Interfaces (also known as Brain Computer Interfaces BCIs), particularly those using motor-imagery (MI) data, have the potential to become groundbreaking technologies in both clinical and entertainment settings. That is attributed to their ability to c...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Ζάγγος, Χρήστος
Άλλοι συγγραφείς: Zaggos, Christos
Γλώσσα:English
Έκδοση: 2020
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/13525
id nemertes-10889-13525
record_format dspace
institution UPatras
collection Nemertes
language English
topic Brain machine interface
Electroencephalography (EEG)
Deep learning
Convolutional neural networks
Recurrent neural networks
Motor imagery
Common spatial patterns
Wavelet decomposition
Διεπαφή εγκεφάλου-μηχανής
Ηλεκτροεγκεφαλογράφημα
Βαθιά μάθηση
Συνελικτικά νευρωνικά δίκτυα
Αναδρομικά νευρωνικά δίκτυα
Νοερές κινήσεις
Κοινά χωρικά πρότυπα
Μετασχηματισμός wavelet
spellingShingle Brain machine interface
Electroencephalography (EEG)
Deep learning
Convolutional neural networks
Recurrent neural networks
Motor imagery
Common spatial patterns
Wavelet decomposition
Διεπαφή εγκεφάλου-μηχανής
Ηλεκτροεγκεφαλογράφημα
Βαθιά μάθηση
Συνελικτικά νευρωνικά δίκτυα
Αναδρομικά νευρωνικά δίκτυα
Νοερές κινήσεις
Κοινά χωρικά πρότυπα
Μετασχηματισμός wavelet
Ζάγγος, Χρήστος
Motor imagery brain machine interface
description Electroencephalography (EEG)-based Brain Machine Interfaces (also known as Brain Computer Interfaces BCIs), particularly those using motor-imagery (MI) data, have the potential to become groundbreaking technologies in both clinical and entertainment settings. That is attributed to their ability to create a direct communication pathway between the human brain and the external environment, by translating recorded brain activity into messages or commands. MI data describes the mental performance of movements not accompanied by any kind of peripheral (muscular) activity. However, despite the extensive research on EEG in recent years, it is still challenging to interpret EEG signals effectively, mainly because they are non-stationary, they can suffer from external noise and are prone to unique signal artifacts. As a result, the majority of research on this field employs computationally demanding preprocessing techniques or complicated artifact removal stages that pose limitations regarding the robustness and the propriety of the models for real-world applications, neglecting at the same time the spatio-temporal information provided by the EEG signals. In this thesis, we introduce a 2D Convolutional Recurrent Neural Network (2D CNN-LSTM) for precisely identifying human intended movements by exploiting both the spatial features and the temporal dynamics of 'raw' EEG data. In order to achieve this, we introduce a transformation that is able to convert the 'raw' EEG signals into 3D structures based on the spatio-temporal analysis of electrode space on the scalp region. In addition, we design a 3D CNN that uses the same input data with the 2D CNN-LSTM model and an 1D CNN model that utilizes only the 'raw' EEG signals, without any kind of transformation, and we evaluate them under similar experimental conditions. Both the 3D CNN model and the 2D CNN-LSTM model outperform the 1D CNN model by more that 30% in terms of accuracy, with the 2D CNN-LSTM model demonstrating the best performing capabilities of all (95.52%). Finally, for the sake of comparison, we test and evaluate two of the most common approaches in the field of BCIs, Common Spatial Patterns algorithm and Wavelet Packet Decomposition, relatively to the Deep Learning models in terms of performance.
author2 Zaggos, Christos
author_facet Zaggos, Christos
Ζάγγος, Χρήστος
author Ζάγγος, Χρήστος
author_sort Ζάγγος, Χρήστος
title Motor imagery brain machine interface
title_short Motor imagery brain machine interface
title_full Motor imagery brain machine interface
title_fullStr Motor imagery brain machine interface
title_full_unstemmed Motor imagery brain machine interface
title_sort motor imagery brain machine interface
publishDate 2020
url http://hdl.handle.net/10889/13525
work_keys_str_mv AT zangoschrēstos motorimagerybrainmachineinterface
AT zangoschrēstos brainmachineinterfacestonelenchokaitēnanichneusēnoerōnkinēseōn
_version_ 1771297193082224640
spelling nemertes-10889-135252022-09-05T09:40:28Z Motor imagery brain machine interface Brain machine interface στον έλεγχο και την ανίχνευση νοερών κινήσεων Ζάγγος, Χρήστος Zaggos, Christos Brain machine interface Electroencephalography (EEG) Deep learning Convolutional neural networks Recurrent neural networks Motor imagery Common spatial patterns Wavelet decomposition Διεπαφή εγκεφάλου-μηχανής Ηλεκτροεγκεφαλογράφημα Βαθιά μάθηση Συνελικτικά νευρωνικά δίκτυα Αναδρομικά νευρωνικά δίκτυα Νοερές κινήσεις Κοινά χωρικά πρότυπα Μετασχηματισμός wavelet Electroencephalography (EEG)-based Brain Machine Interfaces (also known as Brain Computer Interfaces BCIs), particularly those using motor-imagery (MI) data, have the potential to become groundbreaking technologies in both clinical and entertainment settings. That is attributed to their ability to create a direct communication pathway between the human brain and the external environment, by translating recorded brain activity into messages or commands. MI data describes the mental performance of movements not accompanied by any kind of peripheral (muscular) activity. However, despite the extensive research on EEG in recent years, it is still challenging to interpret EEG signals effectively, mainly because they are non-stationary, they can suffer from external noise and are prone to unique signal artifacts. As a result, the majority of research on this field employs computationally demanding preprocessing techniques or complicated artifact removal stages that pose limitations regarding the robustness and the propriety of the models for real-world applications, neglecting at the same time the spatio-temporal information provided by the EEG signals. In this thesis, we introduce a 2D Convolutional Recurrent Neural Network (2D CNN-LSTM) for precisely identifying human intended movements by exploiting both the spatial features and the temporal dynamics of 'raw' EEG data. In order to achieve this, we introduce a transformation that is able to convert the 'raw' EEG signals into 3D structures based on the spatio-temporal analysis of electrode space on the scalp region. In addition, we design a 3D CNN that uses the same input data with the 2D CNN-LSTM model and an 1D CNN model that utilizes only the 'raw' EEG signals, without any kind of transformation, and we evaluate them under similar experimental conditions. Both the 3D CNN model and the 2D CNN-LSTM model outperform the 1D CNN model by more that 30% in terms of accuracy, with the 2D CNN-LSTM model demonstrating the best performing capabilities of all (95.52%). Finally, for the sake of comparison, we test and evaluate two of the most common approaches in the field of BCIs, Common Spatial Patterns algorithm and Wavelet Packet Decomposition, relatively to the Deep Learning models in terms of performance. Οι Διεπαφές Εγκεφάλου-Μηχανής (Brain Machine Interfaces (BMIs) γνωστές και ως Brain Computer Interfaces (BCIs)) που βασίζονται στη χρήση ηλεκτροεγκεφαλογραφημάτων (EEG) και κυρίως αυτές σχετίζονται με νοερές κινήσεις (MI) αποτελούν πρωτοποριακές τεχνολογίες τόσο στον τομέα της υγείας όσο και στον τομέα της ψυχαγωγίας. Αυτό οφείλεται στην ικανότητα τους να δημιουργούν έναν άμεσο δίαυλο επικοινωνίας μεταξύ του ανθρώπινου εγκεφάλου και του εξωτερικού περιβάλλοντος, μέσα από μία διαδικασία μετάφρασης της εγκεφαλικής δραστηριότητας σε μηνύματα και εντολές. Τα δεδομένα που σχετίζονται με τις νοερές κινήσεις περιγράφουν την εκτέλεση κινήσεων οι οποίες δεν συνοδεύονται από κανενός είδους περιφερειακή (μυϊκή) δραστηριότητα. Ωστόσο, παρά την εκτενή έρευνα πάνω στα EEG τα τελευταία χρόνια, η ακριβής ερμηνεία των σημάτων EEG είναι δεν είναι μία εύκολη διαδικασία, διότι τα EEG είναι μη-στάσιμα σήματα, επηρεάζονται από θόρυβο εξωγενούς προέλευσης και επιπλέον είναι επιρρεπή σε συγκεκριμένων ειδών artifacts. Κατά συνέπεια, η πλειοψηφία των ερευνών στον τομέα περιλαμβάνει τη χρήση υπολογιστικά απαιτητικών μεθόδων προ-επεξεργασίας ή σύνθετων τεχνικών αφαίρεσης των artifacts οι οποίες, όμως, θέτουν αρκετούς περιορισμούς όσον αφορά την καταλληλότητα των μοντέλων σε εφαρμογές του πραγματικού κόσμου, αγνοώντας ταυτόχρονα τη χωρο-χρονική πληροφορία που είναι διαθέσιμη από τα EEG. Σε αυτή τη διπλωματική εργασία παρουσιάζουμε ένα Δισδιάστατο Συνελικτικό Αναδρομικό Νευρωνικό Δίκτυο (2D CNN-LSTM) το οποίο έχει τη δυνατότητα να αναγνωρίζει τα είδη των διαφόρων νοερών κινήσεων εκμεταλλευόμενο όχι μόνο τα χωρικά χαρακτηριστικά αλλά και τις χρονικές εξαρτήσεις των EEG. Για να το πετύχουμε αυτό, εφαρμόσαμε έναν μετασχηματισμό ο οποίος μετατρέπει τα αρχικά σήματα EEG σε τρισδιάστατες δομές, λαμβάνοντας υπόψη τη γεωμετρική απεικόνιση των ηλεκτροδίων στην περιοχή του κρανίου . Επιπροσθέτως, σχεδιάσαμε ένα Τρισδιάστατο Συνελικτικό Νευρωνικό Δίκτυο (3D CNN), το οποίο χρησιμοποιεί την ίδια μορφή δεδομένων εισόδου με το 2D CNN-LSTM, και ένα Μονοδιάστατο Συνελικτικό Νευρωνικό Δίκτυο (1D CNN) το οποίο χρησιμοποιεί τα EEG απευθείας, χωρίς τον μετασχηματισμό που προαναφέραμε. Όλα τα μοντέλα αξιολογήθηκαν υπό παρόμοιες πειραματικές συνθήκες. Τόσο το 3D CNN όσο και το 2D CNN-LSTM μοντέλο ξεπέρασαν κατά περίπου 30% το 1D CNN μοντέλο όσον αφορά την ακρίβεια ταξινόμησης, με το 2D CNN-LSTM μοντέλο να επιδεικνύει τις βέλτιστες επιδόσεις (95.52%). Τέλος, για συγκριτικούς λόγους, υλοποιήσαμε και αξιολογήσαμε δύο από τις πιο διάσημες μεθόδους στον τομέα των BCIs, τον αλγόριθμο Κοινών Χωρικών Προτύπων (Common Spatial Patterns) και τη μέθοδο Wavelet Packet Decomposition, οι οποίες συγκρίθηκαν με τα μοντέλα Βαθιάς Μάθησης όσον αφορά τις επιδόσεις τους. 2020-07-12T12:40:44Z 2020-07-12T12:40:44Z 2020-07-02 http://hdl.handle.net/10889/13525 en application/pdf