Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων
Η Μηχανική Μάθηση αποτελεί ίσως τον πιο ραγδαία αναπτυσσόμενο τομέα της Τεχνητής Νοημοσύνης, καθώς τα τελευταία χρόνια, ειδικά μετά την έλευση της Βαθιάς Μάθησης, έχει προσφέρει πληθώρα μεθόδων με πολύ καλά αποτελέσματα σε αρκετούς τομείς όπως η ρομποτική και ο έλεγχος προσθετικών μελών. Σε αυτή...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/24769 |
| id |
nemertes-10889-24769 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ηλεκτρομυογράφημα Νευρωνικά δίκτυα Μηχανική μάθηση Electromyography (EMG) Machine learning Neural networks |
| spellingShingle |
Ηλεκτρομυογράφημα Νευρωνικά δίκτυα Μηχανική μάθηση Electromyography (EMG) Machine learning Neural networks Αναστασοπούλου, Αγγελική Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| description |
Η Μηχανική Μάθηση αποτελεί ίσως τον πιο ραγδαία αναπτυσσόμενο τομέα της
Τεχνητής Νοημοσύνης, καθώς τα τελευταία χρόνια, ειδικά μετά την έλευση της Βαθιάς
Μάθησης, έχει προσφέρει πληθώρα μεθόδων με πολύ καλά αποτελέσματα σε αρκετούς
τομείς όπως η ρομποτική και ο έλεγχος προσθετικών μελών. Σε αυτή τη διπλωματική
εργασία προτείνεται μια προσέγγιση για την αναγνώριση των κινήσεων του χεριού με
βάση τα χρονικά συνελικτικά νευρωνικά δίκτυα (TCN) και τις Μηχανές Διανυσμάτων
Υποστήριξης (SVM) και παρουσιάζει μια νέα βάση δεδομένων κινήσεων. Στόχος είναι η
να αναπτύξουμε ένα ισχυρό και ακριβές σύστημα για την αναγνώριση συγκεκριμένων
κινήσεων του χεριού, το οποίο μπορεί να χρησιμοποιηθεί σε εφαρμογές όπως η
προσθετική και η αλληλεπίδραση ανθρώπου-υπολογιστή.
Στο πρώτο μέρος της εργασίας, εφαρμόζουμε έναν ταξινομητή SVM στη βάση
δεδομένων Ninapro DB5, η οποία περιέχει 52 κινήσεις χεριών χωρισμένες σε τέσσερις
κατηγορίες. Ωστόσο από αυτό το σύνολο των κινήσεων απομονώσαμε 5 κινήσεις οι
οποίες εμφάνιζαν μεγαλύτερη ακρίβεια στην αναγνώριση τους. Προ-επεξεργαστήκαμε
τα σήματα εισόδου εφαρμόζοντας φιλτράρισμα και κανονικοποίηση ζώνης διέλευσης
και έγινε εξαγωγή των απαραίτητων χαρακτηριστικών για την είσοδό τους στον
ταξινομητή.
Ύστερα από την παρατήρηση ότι στις βάσεις δεδομένων της Ninapro οι περισσότεροι
εθελοντές που έλαβαν μέρος στη δημιουργία αυτής είναι υγιείς και αρτιμελείς,
δημιουργήθηκε μια νέα βάση δεδομένων DB. Στη δημιουργία αυτής, έλαβαν μέρος
εθελοντές με κινητικά προβλήματα στα άνω άκρα, τα οποία αποτελούν αποτέλεσμα
του νευρολογικού αυτοάνοσου νοσήματος Σκλήρυνση Κατά Πλάκας. Για τη συλλογή
των δεδομένων ακολουθήθηκε πιστά το πρωτόκολλο καταγραφής της Ninapro ώστε
να είναι συγκρίσιμες. Εφαρμόσαμε τα ίδια βήματα προ-επεξεργασίας με το
προηγούμενο πείραμα και στον ταξινομητή SVM για την αναγνώριση των 5 κινήσεων
που έχουν επιλεχθεί.
6
Έπειτα εφαρμόσαμε το μοντέλο TCN στη βάση δεδομένων Ninapro DB5, με σκοπό την
αναγνώριση των 5 κινήσεων. Χρησιμοποιώντας τη μέθοδο των κυλιόμενων
παραθύρων δημιουργήσαμε εισόδους με διαφορετικό μήκος στο μοντέλο μας, ώστε να
πετύχουμε μεγαλύτερη ακρίβεια στην κατηγοριοποίηση των κινήσεων. Ακόμη,
σημαντική σημασία για την αύξηση της ακρίβειας έχει και ο προσδιορισμός των
βέλτιστων υπερ-παραμέτρων, το οποίο επιτεύχθηκε με τη με μέθοδο grid search.
Συμπερασματικά, η προτεινόμενη προσέγγισή μας παρουσιάζει τη δυνατότητα
αναγνώρισης των κινήσεων του χεριού με τον κλασικό ταξινομητή SVM όπως και
τεχνικές Βαθιάς Μάθησης. Το νέο σύνολο δεδομένων που δημιουργήθηκε μπορεί να
χρησιμοποιηθεί για περαιτέρω έρευνα και ανάπτυξη σε αυτόν τον τομέα.
Μελλοντικές έρευνες θα μπορούσαν να επικεντρωθούν στη δημιουργία διαφορετικών
αρχιτεκτονικών βαθιάς μάθησης και μεθόδων βελτιστοποίησης για περαιτέρω αύξηση
της απόδοσης του συστήματος |
| author2 |
Anastasopoulou, Angeliki |
| author_facet |
Anastasopoulou, Angeliki Αναστασοπούλου, Αγγελική |
| author |
Αναστασοπούλου, Αγγελική |
| author_sort |
Αναστασοπούλου, Αγγελική |
| title |
Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| title_short |
Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| title_full |
Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| title_fullStr |
Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| title_full_unstemmed |
Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| title_sort |
αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/24769 |
| work_keys_str_mv |
AT anastasopoulouangelikē anagnōrisēkinēseōntoucherioumesōchronikōnsyneliktikōndiktyōn AT anastasopoulouangelikē handmovementrecognitionusingtemporalconvolutionalneuralnetwork |
| _version_ |
1771297303193190400 |
| spelling |
nemertes-10889-247692023-03-10T04:38:21Z Αναγνώριση κινήσεων του χεριού μέσω χρονικών συνελικτικών δικτύων Hand movement recognition using temporal convolutional neural network Αναστασοπούλου, Αγγελική Anastasopoulou, Angeliki Ηλεκτρομυογράφημα Νευρωνικά δίκτυα Μηχανική μάθηση Electromyography (EMG) Machine learning Neural networks Η Μηχανική Μάθηση αποτελεί ίσως τον πιο ραγδαία αναπτυσσόμενο τομέα της Τεχνητής Νοημοσύνης, καθώς τα τελευταία χρόνια, ειδικά μετά την έλευση της Βαθιάς Μάθησης, έχει προσφέρει πληθώρα μεθόδων με πολύ καλά αποτελέσματα σε αρκετούς τομείς όπως η ρομποτική και ο έλεγχος προσθετικών μελών. Σε αυτή τη διπλωματική εργασία προτείνεται μια προσέγγιση για την αναγνώριση των κινήσεων του χεριού με βάση τα χρονικά συνελικτικά νευρωνικά δίκτυα (TCN) και τις Μηχανές Διανυσμάτων Υποστήριξης (SVM) και παρουσιάζει μια νέα βάση δεδομένων κινήσεων. Στόχος είναι η να αναπτύξουμε ένα ισχυρό και ακριβές σύστημα για την αναγνώριση συγκεκριμένων κινήσεων του χεριού, το οποίο μπορεί να χρησιμοποιηθεί σε εφαρμογές όπως η προσθετική και η αλληλεπίδραση ανθρώπου-υπολογιστή. Στο πρώτο μέρος της εργασίας, εφαρμόζουμε έναν ταξινομητή SVM στη βάση δεδομένων Ninapro DB5, η οποία περιέχει 52 κινήσεις χεριών χωρισμένες σε τέσσερις κατηγορίες. Ωστόσο από αυτό το σύνολο των κινήσεων απομονώσαμε 5 κινήσεις οι οποίες εμφάνιζαν μεγαλύτερη ακρίβεια στην αναγνώριση τους. Προ-επεξεργαστήκαμε τα σήματα εισόδου εφαρμόζοντας φιλτράρισμα και κανονικοποίηση ζώνης διέλευσης και έγινε εξαγωγή των απαραίτητων χαρακτηριστικών για την είσοδό τους στον ταξινομητή. Ύστερα από την παρατήρηση ότι στις βάσεις δεδομένων της Ninapro οι περισσότεροι εθελοντές που έλαβαν μέρος στη δημιουργία αυτής είναι υγιείς και αρτιμελείς, δημιουργήθηκε μια νέα βάση δεδομένων DB. Στη δημιουργία αυτής, έλαβαν μέρος εθελοντές με κινητικά προβλήματα στα άνω άκρα, τα οποία αποτελούν αποτέλεσμα του νευρολογικού αυτοάνοσου νοσήματος Σκλήρυνση Κατά Πλάκας. Για τη συλλογή των δεδομένων ακολουθήθηκε πιστά το πρωτόκολλο καταγραφής της Ninapro ώστε να είναι συγκρίσιμες. Εφαρμόσαμε τα ίδια βήματα προ-επεξεργασίας με το προηγούμενο πείραμα και στον ταξινομητή SVM για την αναγνώριση των 5 κινήσεων που έχουν επιλεχθεί. 6 Έπειτα εφαρμόσαμε το μοντέλο TCN στη βάση δεδομένων Ninapro DB5, με σκοπό την αναγνώριση των 5 κινήσεων. Χρησιμοποιώντας τη μέθοδο των κυλιόμενων παραθύρων δημιουργήσαμε εισόδους με διαφορετικό μήκος στο μοντέλο μας, ώστε να πετύχουμε μεγαλύτερη ακρίβεια στην κατηγοριοποίηση των κινήσεων. Ακόμη, σημαντική σημασία για την αύξηση της ακρίβειας έχει και ο προσδιορισμός των βέλτιστων υπερ-παραμέτρων, το οποίο επιτεύχθηκε με τη με μέθοδο grid search. Συμπερασματικά, η προτεινόμενη προσέγγισή μας παρουσιάζει τη δυνατότητα αναγνώρισης των κινήσεων του χεριού με τον κλασικό ταξινομητή SVM όπως και τεχνικές Βαθιάς Μάθησης. Το νέο σύνολο δεδομένων που δημιουργήθηκε μπορεί να χρησιμοποιηθεί για περαιτέρω έρευνα και ανάπτυξη σε αυτόν τον τομέα. Μελλοντικές έρευνες θα μπορούσαν να επικεντρωθούν στη δημιουργία διαφορετικών αρχιτεκτονικών βαθιάς μάθησης και μεθόδων βελτιστοποίησης για περαιτέρω αύξηση της απόδοσης του συστήματος Machine learning is a rapidly developing field of artificial intelligence that has offered a variety of methods with promising results in several areas such as robotics and the control of prosthetic limbs, particularly after the advent of deep learning. In this thesis, we propose an approach for hand gesture recognition based on temporal convolutional neural networks (TCN) and support vector machines (SVM), which aims to develop a robust and accurate system for recognizing specific hand movements that can be used in applications such as prosthetics and human-computer interaction. In the first part of the paper, we apply an SVM classifier to the Ninapro DB5 database, which contains 52 hand movements divided into four categories. However, we isolated five movements that demonstrated greater accuracy in recognition. To preprocess the input signals, we applied passband filtering and normalization and extracted the necessary features for input to the classifier. We observed that the volunteers who participated in the creation of the Ninapro databases were mostly healthy and able-bodied. Therefore, we created a new database by recruiting volunteers with mobility problems in the upper limbs resulting from the neurological autoimmune disease Multiple Sclerosis. We strictly followed the Ninapro recording protocol for data collection to ensure comparability. We applied the same pre-processing steps as in the previous experiment and used the SVM classifier to recognize the selected five movements. Subsequently, we applied the TCN model to the Ninapro DB5 database to identify the five movements. We created inputs of varying lengths in our model using the rolling window method to achieve greater accuracy in movement categorization. The determination of the optimal hyper-parameters was also crucial for improving accuracy, which we achieved through the grid search method. In conclusion, our proposed approach offers the possibility of recognizing hand movements with both the classic SVM classifier and deep learning techniques. The new dataset we created can be used for further research and development in this field. Future research could focus on creating different deep learning architectures and optimization methods to further improve system performance. 2023-03-09T12:15:59Z 2023-03-09T12:15:59Z 2023-03-06 https://hdl.handle.net/10889/24769 el application/pdf |
