Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand
This thesis engages in a rapidly growing scientific topic - the modelling of a robotic arm that can be controlled by myoelectric signals from an individual’s muscles, which could be used as an interface for robot teleoperation or motion control of a prosthetic limb. The purpose of this thesis is...
Κύριος συγγραφέας: | |
---|---|
Άλλοι συγγραφείς: | |
Γλώσσα: | English |
Έκδοση: |
2022
|
Θέματα: | |
Διαθέσιμο Online: | http://hdl.handle.net/10889/16187 |
id |
nemertes-10889-16187 |
---|---|
record_format |
dspace |
institution |
UPatras |
collection |
Nemertes |
language |
English |
topic |
Electromyography (EMG) Surface electromyographic (SEMG) Feature extraction Real-time analysis Feature processing Onset detection Offset detection Shifted skew log Laplace Skew log Laplace Signal filtering Ηλεκτρομυογραφία Ηλεκτρομυογραφικά σήματα Ρομποτικοί βραχίονες |
spellingShingle |
Electromyography (EMG) Surface electromyographic (SEMG) Feature extraction Real-time analysis Feature processing Onset detection Offset detection Shifted skew log Laplace Skew log Laplace Signal filtering Ηλεκτρομυογραφία Ηλεκτρομυογραφικά σήματα Ρομποτικοί βραχίονες Νικολαΐδη, Βασιλική Θεοφίλη Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
description |
This thesis engages in a rapidly growing scientific topic - the modelling of a robotic arm
that can be controlled by myoelectric signals from an individual’s muscles, which could
be used as an interface for robot teleoperation or motion control of a prosthetic limb.
The purpose of this thesis is to achieve gesture recognition of finger gestures from sEMG
signals and do a feasibility study on the real-time control of a robotic hand, using low
cost off-the-shelf hardware.
Myoelectric signals were collected from four healthy subjects, by placing the MyoWare
boards on four muscles of the forearm to detect predetermined hand gestures. The
subjects were then instructed to do the predetermined gestures: moving each finger sep-
arately, making a fist, two finger pinching and grasping. These data were first processed
and then classified using different supervised learning classification algorithms.
Emphasis was given to achieve real time response for the robotic hand controlled by
the sEMG signals. For the acquisition, analysis and processing of the sEMG signals, as
well as the control of the robotic hand, a single Teensy 4.0 board was used.
A new family of Teager-Kaiser Operator (TKO) based algorithms is proposed that can
enhance the onset(the sEMG signal start indicating muscle contraction) and offset(the
sEMG signal end indicating muscle relaxation) detection. The tested algorithms are
modified versions of popular onset detection algorithms that achieved also offset detec-
tion using the proposed TKO based probability and likelihood estimation.
New features that can be used for the better real-time classification of sEMG signals
are also proposed. These features proved useful and outperformed commonly used fea-
tures in the literature.
The recognition accuracy achieved for the training set reached up to 100% in simula-
tions using a 500ms sample window. The recognition accuracy during the hardware tests
with novel signals, using a 150ms sample window, reached up to 70%.
The robotic hand implemented for the realisation of the thesis was taken from the In-
Moov open source project and was 3D printed using PLA filament. The hand is actuated
by five Tower Pro MG 946R digital servos.
ix
The developed code can be split in two main parts. The first part that deals with
the analysis, simulation and training of classification algorithms is developed mainly in
Python and a small part in Octave. The second part involves the robotic application of
moving a robotic hand in real time based on sEMG signals and was developed in C++ 11.
Finally using the csnake and MicroML Python libraries the aforementioned two parts
of the code were connected by using the first part to automatically generate C++ clas-
sifier modules to be used in the latter part. Up to five such modules can be seamlessly
included in the robotic application and be used in an ensemble (voting) classification
scheme. |
author2 |
Nikolaidi, Vasiliki Theofili |
author_facet |
Nikolaidi, Vasiliki Theofili Νικολαΐδη, Βασιλική Θεοφίλη |
author |
Νικολαΐδη, Βασιλική Θεοφίλη |
author_sort |
Νικολαΐδη, Βασιλική Θεοφίλη |
title |
Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
title_short |
Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
title_full |
Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
title_fullStr |
Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
title_full_unstemmed |
Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand |
title_sort |
surface electromyographic (semg) signal acquisition-analysis-classification for the real-time control of a robotic hand |
publishDate |
2022 |
url |
http://hdl.handle.net/10889/16187 |
work_keys_str_mv |
AT nikolaïdēbasilikētheophilē surfaceelectromyographicsemgsignalacquisitionanalysisclassificationfortherealtimecontrolofarobotichand AT nikolaïdēbasilikētheophilē syllogēanalysētaxinomēsēēlektromyographikōnsēmatōngiatonelenchoenosrompotikoucheriousepragmatikochrono |
_version_ |
1771297352184758272 |
spelling |
nemertes-10889-161872022-09-05T20:31:45Z Surface electromyographic (SEMG) signal acquisition-analysis-classification for the real-time control of a robotic hand Συλλογή-ανάλυση-ταξινόμηση ηλεκτρομυογραφικών σημάτων για τον έλεγχο ενός ρομποτικού χεριού σε πραγματικό χρόνο Νικολαΐδη, Βασιλική Θεοφίλη Nikolaidi, Vasiliki Theofili Electromyography (EMG) Surface electromyographic (SEMG) Feature extraction Real-time analysis Feature processing Onset detection Offset detection Shifted skew log Laplace Skew log Laplace Signal filtering Ηλεκτρομυογραφία Ηλεκτρομυογραφικά σήματα Ρομποτικοί βραχίονες This thesis engages in a rapidly growing scientific topic - the modelling of a robotic arm that can be controlled by myoelectric signals from an individual’s muscles, which could be used as an interface for robot teleoperation or motion control of a prosthetic limb. The purpose of this thesis is to achieve gesture recognition of finger gestures from sEMG signals and do a feasibility study on the real-time control of a robotic hand, using low cost off-the-shelf hardware. Myoelectric signals were collected from four healthy subjects, by placing the MyoWare boards on four muscles of the forearm to detect predetermined hand gestures. The subjects were then instructed to do the predetermined gestures: moving each finger sep- arately, making a fist, two finger pinching and grasping. These data were first processed and then classified using different supervised learning classification algorithms. Emphasis was given to achieve real time response for the robotic hand controlled by the sEMG signals. For the acquisition, analysis and processing of the sEMG signals, as well as the control of the robotic hand, a single Teensy 4.0 board was used. A new family of Teager-Kaiser Operator (TKO) based algorithms is proposed that can enhance the onset(the sEMG signal start indicating muscle contraction) and offset(the sEMG signal end indicating muscle relaxation) detection. The tested algorithms are modified versions of popular onset detection algorithms that achieved also offset detec- tion using the proposed TKO based probability and likelihood estimation. New features that can be used for the better real-time classification of sEMG signals are also proposed. These features proved useful and outperformed commonly used fea- tures in the literature. The recognition accuracy achieved for the training set reached up to 100% in simula- tions using a 500ms sample window. The recognition accuracy during the hardware tests with novel signals, using a 150ms sample window, reached up to 70%. The robotic hand implemented for the realisation of the thesis was taken from the In- Moov open source project and was 3D printed using PLA filament. The hand is actuated by five Tower Pro MG 946R digital servos. ix The developed code can be split in two main parts. The first part that deals with the analysis, simulation and training of classification algorithms is developed mainly in Python and a small part in Octave. The second part involves the robotic application of moving a robotic hand in real time based on sEMG signals and was developed in C++ 11. Finally using the csnake and MicroML Python libraries the aforementioned two parts of the code were connected by using the first part to automatically generate C++ clas- sifier modules to be used in the latter part. Up to five such modules can be seamlessly included in the robotic application and be used in an ensemble (voting) classification scheme. Το αντικείμενο αυτής της διπλωματικής ασχολείται με ένα ταχύτατα αναπτυσσόμενο θέμα - τη μοντελοποίηση ενός ρομποτικού βραχίονα χρησιμοποιώντας ηλεκτρομυογραφικά σήματα από του μυς ενός ατόμου, που θα μπορούσε να χρησιμοποιηθεί ως διεπαφή για ρομποτική τηλεχειρισμό ή έλεγχο κίνησης ενός προσθετικού άκρου. Ο σκοπός της διπλωματικής είναι η επίτευξη αναγνώρισης κινήσεων από επιφανειακά ηλεκτρομυογραφικά σήματα και η μελέτη εφικτότητας του ελέγχου ενός ρομποτικού χεριού σε πραγματικό χρόνο, χρησιμοποιώντας χαμηλού κόστους υλικά. Τα ηλεκτρομυογραφικά σήματα συλλέχθηκαν από τέσσερα υγιή άτομα ηλικίας 22-28 ετών, τοποθετώντας αισθητήρες MyoWare σε τέσσερις μυς του πήχη (Extensor Digitorum Communis, Flexor Digitorum Superficialis/Sublimis και Brachioradialis) με στόχο την ανίχνευση προκαθορισμένων κινήσεων του χεριού. Η ακριβής τοποθέτηση των ηλεκτροδίων έγινε πάνω στη γαστέρα του μυός, λόγω της μεγάλης πυκνότητας μυϊκών ινών. ́Επειτα, ζητήθηκε από τα άτομα που συμμετείχαν να κάνουν τις παρακάτω προκαθορισμένες κινήσεις: κίνηση κάθε δακτύλου ξεχωριστά, γροθιά, τσίμπημα με δύο δάχτυλα (τον αντίχειρα και τον δείκτη) και πιάσιμο ενός μπουκαλιού. Η δειγματοληψία έγινε με συχνότητα 1 KHz, και από κάθε άτομο και για κάθε κίνηση συλλέχθηκαν 8 σήματα, 256 στο σύνολό τους. Αφού πρώτα έγινε επεξεργασία και κανονικοποίηση των δεδομένων, ταξινομήθηκαν χρη- σιμοποιώντας διάφορους αλγόριθμους ταξινόμησης επιβλεπόμενης μάθησης. Οι αλγόριθμοι που χρησιμοποιήθηκαν είναι οι Random Forest, Support Vector Machine (SVM) και Rel- evance Vector Machine (RVM). Προτάθηκε μια καινούργια οικογένεια αλγορίθμων που βασίζεται στον τελεστή Teager – Kaiser Operator (TKO) και μπορεί να ενισχύσει την ανίχνευση της απαρχής (onset) και της απόληξης (offset) των σημάτων. Η απαρχή ορίζεται ως η χρονική στιγμή που το ηλεκτρο- μυογραφικό σήμα υποδεικνύει σύσπαση του μυός, ενώ η απόληξη ως η χρονική στιγμή όπου 103 Extended Abstract in Greek το ηλεκτρομυογραφικό σήμα υποδεικνύει χαλάρωση. Οι αλγόριθμοι που δοκιμάστηκαν, και είναι τροποποιημένες εκδόσεις γνωστών αλγορίθμων ανίχνευσης της απαρχής σήματος, ε- πιτυγχάνουν επίσης και αναγνώριση απόληξης χρησιμοποιώντας τη προτεινόμενη εκτίμηση πιθανότητας και πιθανοφάνειας βασισμένη στον ΤΚΟ. Υλοποιήθηκαν και χρησιμοποιήθηκαν χαρακτηριστικά του πεδίου χρόνου, λόγω του ευ- κολότερου και ταχύτερου υπολογισμού τους, αφού υπολογίζονται καθώς λαμβάνονται νέα δείγματα και εκμεταλλεύονται έτσι τον κενό χρόνο του επεξεργαστή κατά την δειγματολη- ψία. Επίσης προτάθηκαν νέα χαρακτηριστικά τα οποία μπορούν να χρησιμοποιηθούν για την καλύτερη ταξινόμηση πραγματικού χρόνου των ηλεκτρομυογραφικών σημάτων. Αυτά τα χαρακτηριστικά ξεπέρασαν σε επίδοση αρκετά από τα ήδη υπάρχοντα και συχνά χρησι- μοποιούμενα στη βιβλιογραφία. Αξιολογώντας όλα τα χαρακτηριστικά ανά συνδυασμούς τεσσάρων χαρακτηριστικών και για όλους τους ταξινομητές, βρέθηκε ότι τα χαρακτηριστικά Relative Amplitude (RA), Autoregressive Coefficients 5ης τάξης (AR5), Sample Entropy, και Approximate Entropy υπερτερούν όλων των άλλων χαρακτηριστικών που διερευνήθηκαν. Τα αποτελέσματα του Random Forest και του SVM ήταν παραπλήσια, ενώ διέφεραν αρκετά από αυτά του RVM. Ορισμένα χαρακτηριστικά που είχαν μέτρια επίδοση για τον Random Forest και τον SVM, για τον RVM είχαν υψηλή επίδοση. Για την επιλογή των καταλληλότερων χαρακτηριστικών, υλοποιήθηκαν διάφοροι αλ- γόριθμοι αυτόματης επιλογής, ο κύριος αλγόριθμος όμως που χρησιμοποιήθηκε είναι της γενετικής βελτιστοποίησης, λόγω του ότι εκτελεί κοινή βελτιστοποίηση των χαρακτηριστι- κών, του αριθμού των χαρακτηριστικών και των παραμέτρων των ταξινομητών. Δόθηκε έμφαση στην επίτευξη απόκρισης πραγματικού χρόνου για το, ελεγχόμενο από ηλεκτρομυογραφικά σήματα, ρομποτικό χέρι. Για την συλλογή, ανάλυση και επεξεργασία των σημάτων, καθώς και για τον έλεγχο του βραχίονα, χρησιμοποιήθηκε ένας μικροελεγ- κτής Teensy 4.0. Η ακρίβεια αναγνώρισης που επιτεύχθηκε για το σετ εκπαίδευσης έφτασε μέχρι και 100% στις προσομοιώσεις, χρησιμοποιώντας παράθυρο δειγμάτων 500 ms. Οι δοκιμές με άγνωστα σήματα πραγματοποιήθηκαν σε ένα άτομο, με 10 επαναλήψεις ανά κίνηση και για συνολικά 10 σετ επαναλήψεων. Χρησιμοποιήθηκαν τρεις ταξινομητές, ένας SVM και δύο Random Forest με διαφορετικά χαρακτηριστικά. Η ακρίβεια αναγνώρισης του ηαρδωαρε υλικού σε άγνωστα σήματα, χρησιμοποιώντας παράθυρο 150 ms και εποχή 75 ms, έφτασε μέχρι και το 70%, ενώ η μέση ακρίβεια στα 10 σετ επαναλήψεων ήταν 58%. Το μικρό αυτό ποσοστό μέσης ακρίβειας οφείλεται στο γεγονός ότι δύο κινήσεις, η γροθιά και το τσίμπημα, ανιχνεύονταν τις περισσότερες φορές ως κίνηση του μέσου και του δείκτη αντίστοιχα. Extended Abstract in Greek Βρέθηκε ότι η μέση ακρίβεια αναγνώρισης για συνδυασμούς οποιονδήποτε τεσσάρων χαρακτηριστικών δεν επηρεάζεται σημαντικά από το μήκος υπολογισμού των χαρακτηριστι- κών, ενώ ο αντίκτυπος της ελάττωσης διαστάσεων, χρησιμοποιώντας Principal Component Analysis (PCA), ήταν μέτριος και διέφερε μεταξύ των ταξινομητών. Ο Random Forest είχε τη μεγαλύτερη ακρίβεια και τη μεγαλύτερη εξάρτηση από την ελάττωση διαστάσεων, ο SVM είχε μέση ακρίβεια και μέση εξάρτηση, και ο RVM είχε την ελάχιστη ακρίβεια αλλά και την ελάχιστη εξάρτηση. Από τα αποτελέσματα εκτιμάται ότι ο RVM είναι ο ταξινομητής που υπο- φέρει λιγότερο από υπερμοντελοποίηση σε σχέση με του υπόλοιπους που χρησιμοποιήθηκαν. Η συνολική καθυστέρηση που επιτεύχθηκε ήταν μικρότερη των 160 ms, με τις δυνα- τότητες του λογισμικού να είναι μικρότερες των 60 ms. Ο χρόνος υπολογισμού των χα- ρακτηριστικών υπολογίστηκε από 0.1-2 ms, ενώ οι χρόνοι υπολογισμού των ταξινομητών διαφέρουν. Ο Random Forest είχε τυπική καθυστέρηση 3 ms, ο RVM είχε 5 ms, και ο SVM είχε 50 ms. Με δεδομένο από την βιβλιογραφία, ότι καθυστερήσεις από 100 έως και 175 ms είναι ιδανικές για τέτοιες εφαρμογές, ο σκοπός της διπλωματικής για λειτουργία σε πραγματικό χρόνο επιτεύχθηκε. Ο ρομποτικός βραχίονας που κατασκευάστηκε στα πλαίσια της διπλωματικής έχει παρ- θεί από το έργο ανοικτού κώδικα InMoov και έγινε η τρισδιάστατη εκτύπωση του με νήμα PLA. Τα δάκτυλα κινούνται μέσω πέντε TowerPro MG 946R ψηφιακών σερβομηχανισμών. Στην διάταξη του κυκλώματος χρησιμοποιήθηκε κι ένας αισθητήρας ρεύματος Hall, για την μέτρηση του ρεύματος που περνάει από τους σερβομηχανισμούς με σκοπό αφενός την προ- στασία τους και αφετέρου τον υπολογισμό ανάδρασης, που τελικά δεν υλοποιήθηκε. Ο κώδικας που αναπτύχθηκε μπορεί να χωριστεί σε δύο κατηγορίες. Η πρώτη κατηγορία ασχολείται με την ανάλυση, τη προσομοίωση και την εκπαίδευση των αλγορίθμων ταξινόμη- σης, και έχει αναπτυχθεί κυρίως σε Python και ένα μικρό κομμάτι σε Matlab. Η δεύτερη κατηγορία είναι ο ενσωματωμένος κώδικας που συμπεριλαμβάνει τον έλεγχο της κίνησης ενός ρομποτικού χεριού σε πραγματικό χρόνο βασισμένο σε ηλεκτρομυογραφικά σήματα, και αναπτύχθηκε σε C++11( περιβάλλον Arduino) για τη χρήση του στον μικροελεγκτή Teensy 4.0. Χρησιμοποιώντας τις βιβλιοθήκες csnake και MicroML της Python, οι δύο προαναφε- ρόμενες κατηγορίες κώδικα διασυνδέθηκαν, χρησιμοποιώντας κώδικα της πρώτης κατηγο- ρίας για την αυτόματη παραγωγή κώδικα C++ για τους ταξινομητές, που χρησιμοποιούνται στον ενσωματωμένο κώδικα. Μπορούν να συμπεριληφθούν μέχρι και πέντε τέτοιοι ταξι- νομητές στην ρομποτική εφαρμογή και να χρησιμοποιηθούν ως μία πλειοψηφική συστοιχία ταξινομητών. 2022-05-09T09:38:28Z 2022-05-09T09:38:28Z 2021-10-12 http://hdl.handle.net/10889/16187 en application/pdf |