Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
The aim of this study is the development and implementation of an advanced human and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU Systems. The aforementioned application is able to recognize hand gestures and depending on the characteristics of those, perform specif...
Κύριος συγγραφέας: | |
---|---|
Άλλοι συγγραφείς: | |
Μορφή: | Thesis |
Γλώσσα: | English |
Έκδοση: |
2018
|
Θέματα: | |
Διαθέσιμο Online: | http://hdl.handle.net/10889/11846 |
id |
nemertes-10889-11846 |
---|---|
record_format |
dspace |
institution |
UPatras |
collection |
Nemertes |
language |
English |
topic |
Internet of things Wireless sensor networks Movement sensors Neural networks Διαδίκτυο των αντικειμένων Ασύρματα δίκτυα αισθητήρων Αισθητήρες κίνησης Νευρωνικά δίκτυα 006.25 |
spellingShingle |
Internet of things Wireless sensor networks Movement sensors Neural networks Διαδίκτυο των αντικειμένων Ασύρματα δίκτυα αισθητήρων Αισθητήρες κίνησης Νευρωνικά δίκτυα 006.25 Παπαδόπουλος, Αλέξανδρος Ιωάννης Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
description |
The aim of this study is the development and implementation of an advanced human
and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU
Systems. The aforementioned application is able to recognize hand gestures and depending
on the characteristics of those, perform specific actions in an Ambient Assisted Living
Environment. This provides a service for people incapable of self-sufficiency in their place
of living, in a non invasive way. This topic has recently been receiving a lot of attention
because it provides support to patients and elderly people like no other domain and is of
a great technological interest.
During the development of this study we have used a single IMU sensor that transmits
its data with the use of BLE (Bluetooth Low Energy) technology and by taking advantage
of the MQTT, IoT communication protocol, we establish a fully remote and autonomous
application. By using the Python programming language and implementing Madgwick’s
filter for Quaternion-based rotational representation of our object, we have managed to
establish a really accurate and instantaneous three dimensional performance. Furthermore
we exploit the domain of Neural Networks and its various classification techniques while
decisively applying a Multilayer Perceptron to effectively recognize the specified gestures.
This thesis provides a detailed analysis of related scientific areas and aims to provide
the reader with the tools to fully comprehend the suggested solution. During this process
we have found that it is possible to use a low-power, low-cost sensor to develop a state-ofthe-art, accurate result. We also managed to combat overfitting problems while creating
our own dataset and engaging in data augmentation techniques. Finally, we were able to
create a platform that classifies between gestures in real time and provides the foundations
to act upon them.
We believe that this application can be the foundations for similar ones in the future
and aid in the development of more complex Internet of Things and Assisted Living
platforms. |
author2 |
Κουμπιάς, Σταύρος |
author_facet |
Κουμπιάς, Σταύρος Παπαδόπουλος, Αλέξανδρος Ιωάννης |
format |
Thesis |
author |
Παπαδόπουλος, Αλέξανδρος Ιωάννης |
author_sort |
Παπαδόπουλος, Αλέξανδρος Ιωάννης |
title |
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
title_short |
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
title_full |
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
title_fullStr |
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
title_full_unstemmed |
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems |
title_sort |
developing an advanced human and iot interaction platform based on wireless sensor networks and embedded imu systems |
publishDate |
2018 |
url |
http://hdl.handle.net/10889/11846 |
work_keys_str_mv |
AT papadopoulosalexandrosiōannēs developinganadvancedhumanandiotinteractionplatformbasedonwirelesssensornetworksandembeddedimusystems AT papadopoulosalexandrosiōannēs anaptyxēproēgmenēsepharmogēsallēlepidrasēsanthrōpoukaiiotplatphormasbasismenēseasyrmatadiktyaaisthētērōnkaiensōmatōmenasystēmataimu |
_version_ |
1771297165632602112 |
spelling |
nemertes-10889-118462022-09-05T06:58:03Z Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems Ανάπτυξη προηγμένης εφαρμογής αλληλεπίδρασης ανθρώπου και IoT πλατφόρμας βασισμένη σε ασύρματα δίκτυα αισθητήρων και ενσωματωμένα συστήματα IMU Παπαδόπουλος, Αλέξανδρος Ιωάννης Κουμπιάς, Σταύρος Κουμπιάς, Σταύρος Μπίρμπας, Μιχάλης Papadopoulos, Alexandros Ioannis Internet of things Wireless sensor networks Movement sensors Neural networks Διαδίκτυο των αντικειμένων Ασύρματα δίκτυα αισθητήρων Αισθητήρες κίνησης Νευρωνικά δίκτυα 006.25 The aim of this study is the development and implementation of an advanced human and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU Systems. The aforementioned application is able to recognize hand gestures and depending on the characteristics of those, perform specific actions in an Ambient Assisted Living Environment. This provides a service for people incapable of self-sufficiency in their place of living, in a non invasive way. This topic has recently been receiving a lot of attention because it provides support to patients and elderly people like no other domain and is of a great technological interest. During the development of this study we have used a single IMU sensor that transmits its data with the use of BLE (Bluetooth Low Energy) technology and by taking advantage of the MQTT, IoT communication protocol, we establish a fully remote and autonomous application. By using the Python programming language and implementing Madgwick’s filter for Quaternion-based rotational representation of our object, we have managed to establish a really accurate and instantaneous three dimensional performance. Furthermore we exploit the domain of Neural Networks and its various classification techniques while decisively applying a Multilayer Perceptron to effectively recognize the specified gestures. This thesis provides a detailed analysis of related scientific areas and aims to provide the reader with the tools to fully comprehend the suggested solution. During this process we have found that it is possible to use a low-power, low-cost sensor to develop a state-ofthe-art, accurate result. We also managed to combat overfitting problems while creating our own dataset and engaging in data augmentation techniques. Finally, we were able to create a platform that classifies between gestures in real time and provides the foundations to act upon them. We believe that this application can be the foundations for similar ones in the future and aid in the development of more complex Internet of Things and Assisted Living platforms. Ο στόχος της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η υλοποίηση μιας προηγμένης εφαρμογής αλληλεπίδρασης ανθρώπου και ΙοΤ πλατφόρμας, βασισμένη σε ασύρματα δίκτυα αισθητήρων και αδρανειακές μονάδες μέτρησης. Η εν λόγω εφαρμογή θα αναγνωρίζει κινήσεις χεριού και ανάλογα με τα χαρακτηριστικά αυτών θα πραγματοποιεί συγκεκριμένες ενέργειες σε περιβάλλοντα Υποβοηθούμενης Αυτόνομης Διαβίωσης AAL. Προσφέρεται έτσι μια σημαντική υπηρεσία για ανθρώπους που δεν δύνανται να καλύπτουν τις ανάγκες αυτάρκειάς τους στο περιβάλλον διαβίωσής τους και επιπλέον ο στόχος αυτός επιτυγχάνεται με μη παρεμβατικό τρόπο.. Το συγκεκριμένο θέμα είναι μεγάλου τεχνολογικού ενδιαφέροντος και αποκτά ολοένα και περισσότερη σημασία κάθως παρέχει βοήθεια σε ανθρώπους που την έχουν ανάγκη, με έναν πιο αποτελεσματικό τρόπο ενώ έχει και ιδιαίτερα σημαντικές επεκτάσεις. Κατά την ανάπτυξη της συγκεκριμένης διπλωματικής εργασίας έχουμε χρησιμοποιήσει έναν αισθήτηρα αδρειανειακών μονάδων μέτρησης ο οποίος μεταδίδει τα δεδομένα του με τη χρήση της τεχνολογίας BLE (Bluetooth Low Energy) και χρησιμοποιώντας το MQTT, IoT πρωτόκολλο επικοινωνίας, επιτυγχάνουμε την υλοποίηση μιας πλήρως αυτόνομης εφαρμογής. Αξιοποιώντας πλήρως τις δυνατότητες του αντικειμενοστραφή προγραμματισμού με τη χρήση της γλώσσας προγραμματισμού Python και αξιοποιώντας το φίλτρο του Madgwick για την περιστροφική αναπάρασταση του αισθητήρα μας με τη χρήση Quaternions, καταφέραμε τη δημιουργία μιάς εξαιρετικής ακρίβειας, τρισδιάστατη και πραγματικού χρόνου απόκρισης. Εν συνεχεία, εξερευνώντας τον τομέα των νευρικών δικτύων και της πληθώρας των μεθόδων αναγνώρισης αυτού, επίλεγουμε τη εφαρμογή ενός Multilayer Perceptron για την αξιόπιστη αναγνώριση των κινήσεων. Η συγκεκριμένη διπλωματική εργασία παρέχει μία ενδελεχή ανάλυση των σχετικών επιστημονικών τομέων και παρέχει στο χρήστη τα απαραίτητα εργαλεία για την πλήρη κατανόηση της προτεινόμενης λύσης. Κατά τη διάρκεια αυτής της διαδικασίας διαπιστώσαμε ότι δυνάται να χρησιμοποιηθεί ένας αισθητήρας χαμηλής κατανάλωσης και χαμηλών προδιαγραφών για την επίτευξη ενός σύγχρονου και ακριβούς αποτελέσματος. Καταφέραμε επίσης να ξεπεράσουμε σημαντικά προβλήματα όπως το Overfitting, ενώ δημιουργήσαμε το δικό μας Dataset και εφαρμόσαμε σύνθετες επεμβατικές τεχνικές επί αυτού. Τέλος, καταφέραμε να δημιουργήσουμε μια πλατφόρμα που διαφοροποίει μεταξύ διαφορετικών κινήσεων, σε πραγματικό χρόνο, και παρέχει τη δυνατότητα δράσης επί αυτών. Πιστεύουμε οτι η συγκεκριμένη εφαρμογή μπορεί να αποτελέσει τη βάση για μελλοντικές επεκτάσεις και να βοηθήσει στην ανάπτυξη ακόμα πιο σύνθετων πλατφόρμων που συνδυάζουν το Διαδίκτυο των Αντικειμένων και τα περιβάλλοντα Υποβοηθούμενης Αυτόνομης Διαβίωσης. 2018-12-30T11:45:37Z 2018-12-30T11:45:37Z 2018-12-21 Thesis http://hdl.handle.net/10889/11846 en 0 application/pdf |