Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων
H εργασία αυτή ασχολείται με την χρήση προ-εκπαιδευμένων Συνελικτικών Νευρωνικών Δικτύων για την αναγνώριση κινήσεων του χεριού μέσω επιφανειακών EMG σημάτων. Το σήμα EMG καταγράφεται με την χρήση επιφανειακών αισθητήρων, ο αριθμός των οποίων ποικίλλει ανάλογα με την βάση δεδομένων που θα χρησιμοπ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2021
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/14404 |
| id |
nemertes-10889-14404 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ηλεκτρομυογράφημα Συνελικτικά νευρωνικά δίκτυα Αναγνώριση κινήσεων του χεριού Βαθιά μηχανική μάθηση Electromyography (EMG) Convolutional neural networks Gesture recognition Deep learning 612.76 |
| spellingShingle |
Ηλεκτρομυογράφημα Συνελικτικά νευρωνικά δίκτυα Αναγνώριση κινήσεων του χεριού Βαθιά μηχανική μάθηση Electromyography (EMG) Convolutional neural networks Gesture recognition Deep learning 612.76 Γεωργούλα, Μαρίνα Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| description |
H εργασία αυτή ασχολείται με την χρήση προ-εκπαιδευμένων Συνελικτικών
Νευρωνικών Δικτύων για την αναγνώριση κινήσεων του χεριού μέσω επιφανειακών EMG σημάτων.
Το σήμα EMG καταγράφεται με την χρήση επιφανειακών αισθητήρων, ο αριθμός των οποίων ποικίλλει ανάλογα με την βάση δεδομένων που θα χρησιμοποιηθεί. Σε αυτήν την εργασία χρησιμοποιούνται 3 βάσεις δεδομένων και καθεμία
περιέχει δεδομένα που έχουν καταγραφεί με διαφορετικό αριθμό αισθητήρων:
DB1 NinaPro (10 αισθητήρες), DB5 NinaPro (16 αισθητήρες), DBc CapgMyo (128
αισθητήρες). Εφόσον προηγηθεί η κατάλληλη επεξεργασία στο σήμα, όπως ενίσχυση και φιλτράρισμα, χρησιμοποιείται η παραθυροποίηση για να δημιουργηθεί
από το σήμα μία εικόνα τριών καναλιών. Το μέγεθος του παραθύρου βρίσκεται
πειραματικά και καθορίζει το μέγεθος της εικόνας.
Σε πρώτο στάδιο, η EMG εικόνα εισάγεται σε κάθε προ-εκπαιδευμένο μοντέλο, το οποίο έχει αρχικά εκπαιδευτεί στο Imagenet, και εφαρμόζεται η τεχνική
του transfer learning, και ειδικότερα του fine tuning, για να προσαρμοστεί το
μοντέλο στα EMG δεδομένα και να αναγνωρίζει σωστά τις χειρονομίες. Προκειμένου να επιτευχθεί μία ικανοποιητική απόδοση και να αποφευχθεί η υπερεκπαίδευση, γίνονται πειράματα αλλάζοντας πολλές παραμέτρους όπως είναι ο
ρυθμός εκμάθησης (learning rate), το μέγεθος παρτίδας (batch size),ο αριθμός των
επαναλήψεων (epochs), ο αριθμός και το είδος των επιπέδων που δομούν τον νέο
ταξινομητή (dense layers), καθώς και παραμέτρους προσαύξησης δεδομένων (data
augmenation).
Εφόσον προσδιοριστούν μέσω πειραμάτων οι κατάλληλες τιμές των παραμέτρων και επιλεχθεί το βελτιστο μοντέλο για κάθε κατηγορία προ-εκπαιδευμένων
μοντέλων αλλά και για κάθε βάση δεδομένων, υλοποιείται η δεύτερη φάση της
διπλωματικής εργασίας. Ειδικότερα, το δεύτερο αυτό κομμάτι έχει ως στόχο την
διευρεύνηση του αριθμού και της θέσης των ηλεκτροδίων που συμβάλλουν στην απόκτηση αξιόπιστης EMG πληροφορίας. Προκειμένου να εξεταστεί η σπουδαιότητα κάθε ηλεκτροδίου εφαρμόζονται δύο τεχνικές: 1) μηδενισμός του ηλεκτροδίου
και 2) αντικατάσταση του ηλεκτροδίου με τυχαίο θόρυβο.
Ολοκληρώνοντας και το δεύτερο κομμάτι της διπλωματικής, μπορούν να εξαχθούν κάποια συμπεράσματα για το ποια και πόσα ηλεκτρόδια είναι αυτά που
παίζουν το σημαντικότερο ρόλο στην καταγραφή του EMG σήματος για κάθε κίνηση ξεχωριστά, αλλά και σε ποια θέση βρίσκονται κατά μήκος του πήχη. Αυτά
τα αποτελέσματα μπορούν να διασταυρωθούν και από ιατρικής σκοπιά αφού κάθε κίνηση αντιστοιχεί σε διαφορετικό συνδυασμό μυών οι οποίοι βρίσκονται σε
συγκεκριμένες θέσεις πάνω στον πήχη. |
| author2 |
Σκόδρας, Αθανάσιος |
| author_facet |
Σκόδρας, Αθανάσιος Γεωργούλα, Μαρίνα |
| format |
Thesis |
| author |
Γεωργούλα, Μαρίνα |
| author_sort |
Γεωργούλα, Μαρίνα |
| title |
Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| title_short |
Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| title_full |
Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| title_fullStr |
Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| title_full_unstemmed |
Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων |
| title_sort |
αναγνώριση κινήσεων του χεριού μέσω emg σημάτων |
| publishDate |
2021 |
| url |
http://hdl.handle.net/10889/14404 |
| work_keys_str_mv |
AT geōrgoulamarina anagnōrisēkinēseōntoucherioumesōemgsēmatōn AT geōrgoulamarina emgbasedgesturerecognition |
| _version_ |
1771297169272209408 |
| spelling |
nemertes-10889-144042022-09-05T06:58:31Z Αναγνώριση κινήσεων του χεριού μέσω EMG σημάτων EMG-based gesture recognition Γεωργούλα, Μαρίνα Σκόδρας, Αθανάσιος Δερματάς, Ευάγγελος Georgoula, Marina Ηλεκτρομυογράφημα Συνελικτικά νευρωνικά δίκτυα Αναγνώριση κινήσεων του χεριού Βαθιά μηχανική μάθηση Electromyography (EMG) Convolutional neural networks Gesture recognition Deep learning 612.76 H εργασία αυτή ασχολείται με την χρήση προ-εκπαιδευμένων Συνελικτικών Νευρωνικών Δικτύων για την αναγνώριση κινήσεων του χεριού μέσω επιφανειακών EMG σημάτων. Το σήμα EMG καταγράφεται με την χρήση επιφανειακών αισθητήρων, ο αριθμός των οποίων ποικίλλει ανάλογα με την βάση δεδομένων που θα χρησιμοποιηθεί. Σε αυτήν την εργασία χρησιμοποιούνται 3 βάσεις δεδομένων και καθεμία περιέχει δεδομένα που έχουν καταγραφεί με διαφορετικό αριθμό αισθητήρων: DB1 NinaPro (10 αισθητήρες), DB5 NinaPro (16 αισθητήρες), DBc CapgMyo (128 αισθητήρες). Εφόσον προηγηθεί η κατάλληλη επεξεργασία στο σήμα, όπως ενίσχυση και φιλτράρισμα, χρησιμοποιείται η παραθυροποίηση για να δημιουργηθεί από το σήμα μία εικόνα τριών καναλιών. Το μέγεθος του παραθύρου βρίσκεται πειραματικά και καθορίζει το μέγεθος της εικόνας. Σε πρώτο στάδιο, η EMG εικόνα εισάγεται σε κάθε προ-εκπαιδευμένο μοντέλο, το οποίο έχει αρχικά εκπαιδευτεί στο Imagenet, και εφαρμόζεται η τεχνική του transfer learning, και ειδικότερα του fine tuning, για να προσαρμοστεί το μοντέλο στα EMG δεδομένα και να αναγνωρίζει σωστά τις χειρονομίες. Προκειμένου να επιτευχθεί μία ικανοποιητική απόδοση και να αποφευχθεί η υπερεκπαίδευση, γίνονται πειράματα αλλάζοντας πολλές παραμέτρους όπως είναι ο ρυθμός εκμάθησης (learning rate), το μέγεθος παρτίδας (batch size),ο αριθμός των επαναλήψεων (epochs), ο αριθμός και το είδος των επιπέδων που δομούν τον νέο ταξινομητή (dense layers), καθώς και παραμέτρους προσαύξησης δεδομένων (data augmenation). Εφόσον προσδιοριστούν μέσω πειραμάτων οι κατάλληλες τιμές των παραμέτρων και επιλεχθεί το βελτιστο μοντέλο για κάθε κατηγορία προ-εκπαιδευμένων μοντέλων αλλά και για κάθε βάση δεδομένων, υλοποιείται η δεύτερη φάση της διπλωματικής εργασίας. Ειδικότερα, το δεύτερο αυτό κομμάτι έχει ως στόχο την διευρεύνηση του αριθμού και της θέσης των ηλεκτροδίων που συμβάλλουν στην απόκτηση αξιόπιστης EMG πληροφορίας. Προκειμένου να εξεταστεί η σπουδαιότητα κάθε ηλεκτροδίου εφαρμόζονται δύο τεχνικές: 1) μηδενισμός του ηλεκτροδίου και 2) αντικατάσταση του ηλεκτροδίου με τυχαίο θόρυβο. Ολοκληρώνοντας και το δεύτερο κομμάτι της διπλωματικής, μπορούν να εξαχθούν κάποια συμπεράσματα για το ποια και πόσα ηλεκτρόδια είναι αυτά που παίζουν το σημαντικότερο ρόλο στην καταγραφή του EMG σήματος για κάθε κίνηση ξεχωριστά, αλλά και σε ποια θέση βρίσκονται κατά μήκος του πήχη. Αυτά τα αποτελέσματα μπορούν να διασταυρωθούν και από ιατρικής σκοπιά αφού κάθε κίνηση αντιστοιχεί σε διαφορετικό συνδυασμό μυών οι οποίοι βρίσκονται σε συγκεκριμένες θέσεις πάνω στον πήχη. This Msc Thesis is dealing with the study and implementation of pretrained Convolutional Neural Networks and their performance on hand movement classification using surface EMG signals. The EMG signal is recorded by surface electrodes, whose number and position varies depending on the database. Three public databases are used in this thesis, each containing data recorded by different number of sensors: DB1 NinaPro (10 sensors), DB5 NinaPro (16 sensors), DBc CapgMyo (128 sensors). The data is first separated by applying sliding windows. Once the appropriate signal processing, such as amplification and filtering, is applied, the windows create a three-channel image from the signal. The window size is experimentally set and determines the size of the image. As a first step, each pre-trained model, originally trained on Imagenet, is taking an EMG image as input and implements transfer learning, in particular fine tuning, to adapt the model to the EMG data and to correctly classify the gestures. In order to achieve a satisfactory performance and to avoid overfitting, many parameters are changed during training such as learning rate, batch size, number of epochs, number and type of layers that form the new classifier and data augmentation parameters. Once the appropriate parameter values have been determined through experiments and the optimal model is selected for each category of pre-trained models and for each database, the second phase of this thesis is implemented. In particular, this second part intends to examine the number and position of electrodes that are responsible for obtaining reliable EMG information. In order to examine the importance of each electrode, two techniques are used: 1) zeroing of the electrode and 2) replacement of the electrode with random noise. By completing the second part of the diploma thesis, some conclusions can be drawn about which and how many electrodes are those who play the most important role in recording the EMG signal for each movement separately, but also their positioning along the forearm. These results can also be cross-validated with medical terms since each movement corresponds to a different combination of muscles located in specific positions on the forearm. 2021-01-04T11:28:48Z 2021-01-04T11:28:48Z 2019-09-26 Thesis http://hdl.handle.net/10889/14404 gr 0 application/pdf |
