Electroencephalogram brain computer interface during inner speech
The scope of the present thesis was to investigate whether a set of electroencephalography data obtained from an already conducted study was suitable for Brain Computer Interface applications. Brain Computer Interfaces are a technology that allows the direct communication between the brain and an ou...
Κύριος συγγραφέας: | |
---|---|
Άλλοι συγγραφείς: | |
Γλώσσα: | English |
Έκδοση: |
2023
|
Θέματα: | |
Διαθέσιμο Online: | https://hdl.handle.net/10889/25067 |
id |
nemertes-10889-25067 |
---|---|
record_format |
dspace |
institution |
UPatras |
collection |
Nemertes |
language |
English |
topic |
Electroencephalogram Brain computer interface Inner speech Ηλεκτροεγκεφαλογράφημα Διεπαφή ανθρώπου-υπολογιστή Εσωτερική ομιλία |
spellingShingle |
Electroencephalogram Brain computer interface Inner speech Ηλεκτροεγκεφαλογράφημα Διεπαφή ανθρώπου-υπολογιστή Εσωτερική ομιλία Ζαρμπούτης, Δημήτριος Electroencephalogram brain computer interface during inner speech |
description |
The scope of the present thesis was to investigate whether a set of electroencephalography data obtained from an already conducted study was suitable for Brain Computer Interface applications. Brain Computer Interfaces are a technology that allows the direct communication between the brain and an outside device which can be either a computer or any other artificial machinery. Brain Computer Interfaces achieve so by bypassing the normal physiological way in which the brain communicates the messaging and connecting it directly to the outer device. Regarding the experimental procedure, the data were acquired from ten healthy subjects in a study that was published by Argentinean researchers where the magnitudes such as Event Related Potentials, Inter Trial Coherence and Power Spectral Density were calculated for the total number of subjects. Subjects were presented with 4 visual cues which corresponded to the classes “up”, ”down”, ”right” and “left”. The experimental procedure was repeated both for imaging and for pronouncing the prompts. What was done was to compute the same magnitudes for each separate subject and for each separate class out of the four that were presented in the initial experiment. The conditions that we compared were two: inner speech and pronounced speech. After the extraction of the diagrams, the computational procedure was repeated but this time concentrating only in the channels that corresponded to Broca’s area which is the brain area that is mainly responsible for the production of speech. We used the MNE package written in python which is a computational tool for importing and processing electroencephalography data. It possesses significant advantages since it is open source and consequently can be implemented free of charge. The outcomes of our study showed significant differences in Event Related Potentials between each one of the subject. However, for the same subject and for each one of the separate classes the differences were negligible. As far as the inter trial coherence and power diagrams were concerned, again we observed significant similarities for the four classes but for the same subject and significant differences from subject to subject. It has to be mentioned that the outcomes for the selected channels being concentrated only in Broca’s area were more or less similar to the ones for the total number of channels. Additionally to the already acquired outcomes, a further statistical analysis was conducted which consisted firstly by the computation of the topographical display of the power for each one of the subjects and for the two separate conditions but simultaneously for all of the four classes. Secondly, the time frequency plots and the power spectral density plots were computed. The final part of this statistical analysis is the computation of event related synchronizations and desynchronizations and three series of diagrams were constructed in this computational process. Firstly, the event related synchronizations and desynchronizations in bands which were computed for the four classes in sum, secondly the event related synchronizations and desynchronizations analyzed through the time frequency responses and finally the violin plots of event related synchronizations and desynchronizations. After the further evaluation of the data through the statistical analysis it has to be stated the goal of drawing the conclusion that the data are suitable for a brain computer interface application in the inner speech modality has not been fully achieved. |
author2 |
Zarmpoutis, Dimitrios |
author_facet |
Zarmpoutis, Dimitrios Ζαρμπούτης, Δημήτριος |
author |
Ζαρμπούτης, Δημήτριος |
author_sort |
Ζαρμπούτης, Δημήτριος |
title |
Electroencephalogram brain computer interface during inner speech |
title_short |
Electroencephalogram brain computer interface during inner speech |
title_full |
Electroencephalogram brain computer interface during inner speech |
title_fullStr |
Electroencephalogram brain computer interface during inner speech |
title_full_unstemmed |
Electroencephalogram brain computer interface during inner speech |
title_sort |
electroencephalogram brain computer interface during inner speech |
publishDate |
2023 |
url |
https://hdl.handle.net/10889/25067 |
work_keys_str_mv |
AT zarmpoutēsdēmētrios electroencephalogrambraincomputerinterfaceduringinnerspeech AT zarmpoutēsdēmētrios meletētēsenkephalikēsleitourgiaskatatēdiarkeiaesōterikēsomiliasgiatēdēmiourgiadiepaphēsanthrōpouypologistē |
_version_ |
1771297266365104128 |
spelling |
nemertes-10889-250672023-06-14T03:56:25Z Electroencephalogram brain computer interface during inner speech Μελέτη της εγκεφαλικής λειτουργίας κατά τη διάρκεια εσωτερικής ομιλίας για τη δημιουργία διεπαφής ανθρώπου-υπολογιστή Ζαρμπούτης, Δημήτριος Zarmpoutis, Dimitrios Electroencephalogram Brain computer interface Inner speech Ηλεκτροεγκεφαλογράφημα Διεπαφή ανθρώπου-υπολογιστή Εσωτερική ομιλία The scope of the present thesis was to investigate whether a set of electroencephalography data obtained from an already conducted study was suitable for Brain Computer Interface applications. Brain Computer Interfaces are a technology that allows the direct communication between the brain and an outside device which can be either a computer or any other artificial machinery. Brain Computer Interfaces achieve so by bypassing the normal physiological way in which the brain communicates the messaging and connecting it directly to the outer device. Regarding the experimental procedure, the data were acquired from ten healthy subjects in a study that was published by Argentinean researchers where the magnitudes such as Event Related Potentials, Inter Trial Coherence and Power Spectral Density were calculated for the total number of subjects. Subjects were presented with 4 visual cues which corresponded to the classes “up”, ”down”, ”right” and “left”. The experimental procedure was repeated both for imaging and for pronouncing the prompts. What was done was to compute the same magnitudes for each separate subject and for each separate class out of the four that were presented in the initial experiment. The conditions that we compared were two: inner speech and pronounced speech. After the extraction of the diagrams, the computational procedure was repeated but this time concentrating only in the channels that corresponded to Broca’s area which is the brain area that is mainly responsible for the production of speech. We used the MNE package written in python which is a computational tool for importing and processing electroencephalography data. It possesses significant advantages since it is open source and consequently can be implemented free of charge. The outcomes of our study showed significant differences in Event Related Potentials between each one of the subject. However, for the same subject and for each one of the separate classes the differences were negligible. As far as the inter trial coherence and power diagrams were concerned, again we observed significant similarities for the four classes but for the same subject and significant differences from subject to subject. It has to be mentioned that the outcomes for the selected channels being concentrated only in Broca’s area were more or less similar to the ones for the total number of channels. Additionally to the already acquired outcomes, a further statistical analysis was conducted which consisted firstly by the computation of the topographical display of the power for each one of the subjects and for the two separate conditions but simultaneously for all of the four classes. Secondly, the time frequency plots and the power spectral density plots were computed. The final part of this statistical analysis is the computation of event related synchronizations and desynchronizations and three series of diagrams were constructed in this computational process. Firstly, the event related synchronizations and desynchronizations in bands which were computed for the four classes in sum, secondly the event related synchronizations and desynchronizations analyzed through the time frequency responses and finally the violin plots of event related synchronizations and desynchronizations. After the further evaluation of the data through the statistical analysis it has to be stated the goal of drawing the conclusion that the data are suitable for a brain computer interface application in the inner speech modality has not been fully achieved. Στην παρούσα μεταπτυχιακή εργασία εξετάζεται το φαινόμενο της εσωτερικής ομιλίας σε καταγραφές ηλεκτροεγκεφαλογραφήματος για εφαρμογές στη διεπιφάνεια ανθρώπου-υπολογιστή. Η τεχνολογία της διεπαφής ανθρώπου-υπολογιστή επιτρέπει την άμεση επικοινωνία μεταξύ του εγκεφάλου και μιας εξωτερικής συσκευής η οποία μπορεί να είναι είτε ένας υπολογιστής είτε οποιαδήποτε τεχνητή διάταξη. Για να επιτευχθεί αυτός ο σκοπός, παρακάμπτεται το φυσιολογικό μονοπάτι μέσω του οποίου ο εγκέφαλος επικοινωνεί τα σήματα και η μετάδοση γίνεται απευθείας μέσω της σύνδεσης στην εξωτερική συσκευή. Όσον αφορά την πειραματική διαδικασία, τα δεδομένα εξήχθησαν από μία μελέτη η οποία είχε ήδη δημοσιευθεί το έτος 2021. Μεγέθη όπως τα προκλητά δυναμικά, η συνάφεια μεταξύ των δοκιμών και η ισχύς είχαν ήδη υπολογισθεί για τον συνολικό αριθμό των πειραματικών επαναλήψεων. Στα υποκείμενα παρουσιάσθηκε μια σειρά από 4 διαφορετικά οπτικά ερεθίσματα τα οποία αντιστοιχούσαν στις εντολές “πάνω”, “κάτω”, “δεξιά” και “αριστερά”. Η πειραματική διαδικασία επαναλήφθηκε τόσο για την περίπτωση της προφορικής εκφοράς των εντολών όσο και για την περίπτωση της νοητικής αναπαράστασης τους μέσω της σκέψης. Στην παρούσα μελέτη υπολογίστηκαν τα ίδια προαναφερθέντα μεγέθη αλλά αυτή τη φορά ξεχωριστά για κάθε μία εντολή και για κάθε ένα διαφορετικό υποκείμενο. Οι συνθήκες οι οποίες εξετάστηκαν ήταν οι προαναφερθείσες δύο, προφορική εκφορά και νοητική σκέψη. Μετά την εξαγωγή των γραφημάτων η υπολογιστική διαδικασία επαναλήφθηκε αλλά αυτή τη φορά επικεντρώνοντας μόνο στα κανάλια της περιοχής του Broca η οποία είναι η περιοχή υπεύθυνη για την παραγωγή του λόγου. Για την εξαγωγή των γραφημάτων χρησιμοποιήθηκε το πακέτο MNE γραμμένο σε γλώσσα προγραμματισμού python το οποίο είναι ένα ανοιχτού κώδικα δωρεάν διαθέσιμο πακέτο για την επεξεργασία εγκεφαλικών σημάτων μέσω καταγραφών ηλεκτροεγκεφαλογραφήματος. Όσον αφορά τα εξαγόμενα της υπολογιστικής επεξεργασίας μας, παρατηρήθηκαν σημαντικές διαφορές όσον αφορά τα προκλητά δυναμικά από υποκείμενο σε υποκείμενο. Εντούτοις εξετάζοντας το ίδιο υποκείμενο για τις 4 διαφορετικές εντολές καθώς και για τις δύο διαφορετικές καταστάσεις, οι διαφορές υπήρξαν αμελητέες. Κατά την εξέταση των δύο άλλων ποσοτήτων κατά την υπολογιστική διαδικασία τα αποτελέσματα υπήρξαν παρόμοια. Τέλος οφείλει να αναφερθεί ότι τα γραφήματα που παράχθηκαν επικεντρωνόμενοι μόνο στην περιοχή του Broca η οποία είναι η υπεύθυνη για τον λόγο δεν παρουσίαζαν σημαντικές διαφορές σε σχέση με τα γραφήματα για τις καταγραφές από το σύνολο των καναλιών. Επιπροσθέτως στα ήδη εξαγόμενα συμπεράσματα της μελέτης, μία περαιτέρω στατιστική ανάλυση διενεργήθηκε η οποία αποτελούταν αρχικά από τον υπολογισμό της τοπογραφικής απεικόνισης της ισχύος για καθένα από τα υποκείμενα και τις δύο διαφορετικές καταστάσεις αλλά ταυτόχρονα και για τις τέσσερις εντολές. Στη συνέχεια υπολογίστηκαν τα διαγράμματα συχνότητας χρόνου και αυτά της φασματικής πυκνότητας ισχύος. Το τελικό μέρος της στατιστικής ανάλυσης αποτελεί ο υπολογισμός των σχετιζόμενων με τα γεγονότα συγχρονισμών και αποσυγχρονισμών όπου τρεις διακριτές σειρές διαγραμμάτων παρήχθησαν στην εν λόγω υπολογιστική διαδικασία. Πρώτα, οι συγχρονισμοί και αποσυγχρονισμοί σε ζώνες, οι οποίες υπολογίστηκαν για τις τέσσερις εντολές αθροιστικά, έπειτα αναλύθηκαν οι συγχρονισμοί και αποσυγχρονισμοί μέσω των αποκρίσεων συχνότητας και χρόνου και τέλος εξήχθησαν τα διαγράμματα σε μορφή βιολιού. Έπειτα και από την επιπλέον αξιολόγηση των δεδομένων μέσω της στατιστικής ανάλυσης οφείλει να επισημανθεί ότι ο στόχος της κατάληξης στο συμπέρασμα ότι τα δεδομένα είναι κατάλληλα για εφαρμογή σε διεπιφάνειες ανθρώπου υπολογιστή δεν επετεύχθη. 2023-06-13T11:49:08Z 2023-06-13T11:49:08Z 2023-04-05 https://hdl.handle.net/10889/25067 en application/pdf |