Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems

The aim of this study is the development and implementation of an advanced human and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU Systems. The aforementioned application is able to recognize hand gestures and depending on the characteristics of those, perform specif...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Παπαδόπουλος, Αλέξανδρος Ιωάννης
Άλλοι συγγραφείς: Κουμπιάς, Σταύρος
Μορφή: Thesis
Γλώσσα:English
Έκδοση: 2018
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/11846
id nemertes-10889-11846
record_format dspace
institution UPatras
collection Nemertes
language English
topic Internet of things
Wireless sensor networks
Movement sensors
Neural networks
Διαδίκτυο των αντικειμένων
Ασύρματα δίκτυα αισθητήρων
Αισθητήρες κίνησης
Νευρωνικά δίκτυα
006.25
spellingShingle Internet of things
Wireless sensor networks
Movement sensors
Neural networks
Διαδίκτυο των αντικειμένων
Ασύρματα δίκτυα αισθητήρων
Αισθητήρες κίνησης
Νευρωνικά δίκτυα
006.25
Παπαδόπουλος, Αλέξανδρος Ιωάννης
Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
description The aim of this study is the development and implementation of an advanced human and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU Systems. The aforementioned application is able to recognize hand gestures and depending on the characteristics of those, perform specific actions in an Ambient Assisted Living Environment. This provides a service for people incapable of self-sufficiency in their place of living, in a non invasive way. This topic has recently been receiving a lot of attention because it provides support to patients and elderly people like no other domain and is of a great technological interest. During the development of this study we have used a single IMU sensor that transmits its data with the use of BLE (Bluetooth Low Energy) technology and by taking advantage of the MQTT, IoT communication protocol, we establish a fully remote and autonomous application. By using the Python programming language and implementing Madgwick’s filter for Quaternion-based rotational representation of our object, we have managed to establish a really accurate and instantaneous three dimensional performance. Furthermore we exploit the domain of Neural Networks and its various classification techniques while decisively applying a Multilayer Perceptron to effectively recognize the specified gestures. This thesis provides a detailed analysis of related scientific areas and aims to provide the reader with the tools to fully comprehend the suggested solution. During this process we have found that it is possible to use a low-power, low-cost sensor to develop a state-ofthe-art, accurate result. We also managed to combat overfitting problems while creating our own dataset and engaging in data augmentation techniques. Finally, we were able to create a platform that classifies between gestures in real time and provides the foundations to act upon them. We believe that this application can be the foundations for similar ones in the future and aid in the development of more complex Internet of Things and Assisted Living platforms.
author2 Κουμπιάς, Σταύρος
author_facet Κουμπιάς, Σταύρος
Παπαδόπουλος, Αλέξανδρος Ιωάννης
format Thesis
author Παπαδόπουλος, Αλέξανδρος Ιωάννης
author_sort Παπαδόπουλος, Αλέξανδρος Ιωάννης
title Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
title_short Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
title_full Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
title_fullStr Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
title_full_unstemmed Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems
title_sort developing an advanced human and iot interaction platform based on wireless sensor networks and embedded imu systems
publishDate 2018
url http://hdl.handle.net/10889/11846
work_keys_str_mv AT papadopoulosalexandrosiōannēs developinganadvancedhumanandiotinteractionplatformbasedonwirelesssensornetworksandembeddedimusystems
AT papadopoulosalexandrosiōannēs anaptyxēproēgmenēsepharmogēsallēlepidrasēsanthrōpoukaiiotplatphormasbasismenēseasyrmatadiktyaaisthētērōnkaiensōmatōmenasystēmataimu
_version_ 1771297165632602112
spelling nemertes-10889-118462022-09-05T06:58:03Z Developing an advanced human and IoT interaction platform based on wireless sensor networks and embedded IMU systems Ανάπτυξη προηγμένης εφαρμογής αλληλεπίδρασης ανθρώπου και IoT πλατφόρμας βασισμένη σε ασύρματα δίκτυα αισθητήρων και ενσωματωμένα συστήματα IMU Παπαδόπουλος, Αλέξανδρος Ιωάννης Κουμπιάς, Σταύρος Κουμπιάς, Σταύρος Μπίρμπας, Μιχάλης Papadopoulos, Alexandros Ioannis Internet of things Wireless sensor networks Movement sensors Neural networks Διαδίκτυο των αντικειμένων Ασύρματα δίκτυα αισθητήρων Αισθητήρες κίνησης Νευρωνικά δίκτυα 006.25 The aim of this study is the development and implementation of an advanced human and IoT interaction platform based on Wireless Sensor Networks and Embedded IMU Systems. The aforementioned application is able to recognize hand gestures and depending on the characteristics of those, perform specific actions in an Ambient Assisted Living Environment. This provides a service for people incapable of self-sufficiency in their place of living, in a non invasive way. This topic has recently been receiving a lot of attention because it provides support to patients and elderly people like no other domain and is of a great technological interest. During the development of this study we have used a single IMU sensor that transmits its data with the use of BLE (Bluetooth Low Energy) technology and by taking advantage of the MQTT, IoT communication protocol, we establish a fully remote and autonomous application. By using the Python programming language and implementing Madgwick’s filter for Quaternion-based rotational representation of our object, we have managed to establish a really accurate and instantaneous three dimensional performance. Furthermore we exploit the domain of Neural Networks and its various classification techniques while decisively applying a Multilayer Perceptron to effectively recognize the specified gestures. This thesis provides a detailed analysis of related scientific areas and aims to provide the reader with the tools to fully comprehend the suggested solution. During this process we have found that it is possible to use a low-power, low-cost sensor to develop a state-ofthe-art, accurate result. We also managed to combat overfitting problems while creating our own dataset and engaging in data augmentation techniques. Finally, we were able to create a platform that classifies between gestures in real time and provides the foundations to act upon them. We believe that this application can be the foundations for similar ones in the future and aid in the development of more complex Internet of Things and Assisted Living platforms. Ο στόχος της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η υλοποίηση μιας προηγμένης εφαρμογής αλληλεπίδρασης ανθρώπου και ΙοΤ πλατφόρμας, βασισμένη σε ασύρματα δίκτυα αισθητήρων και αδρανειακές μονάδες μέτρησης. Η εν λόγω εφαρμογή θα αναγνωρίζει κινήσεις χεριού και ανάλογα με τα χαρακτηριστικά αυτών θα πραγματοποιεί συγκεκριμένες ενέργειες σε περιβάλλοντα Υποβοηθούμενης Αυτόνομης Διαβίωσης AAL. Προσφέρεται έτσι μια σημαντική υπηρεσία για ανθρώπους που δεν δύνανται να καλύπτουν τις ανάγκες αυτάρκειάς τους στο περιβάλλον διαβίωσής τους και επιπλέον ο στόχος αυτός επιτυγχάνεται με μη παρεμβατικό τρόπο.. Το συγκεκριμένο θέμα είναι μεγάλου τεχνολογικού ενδιαφέροντος και αποκτά ολοένα και περισσότερη σημασία κάθως παρέχει βοήθεια σε ανθρώπους που την έχουν ανάγκη, με έναν πιο αποτελεσματικό τρόπο ενώ έχει και ιδιαίτερα σημαντικές επεκτάσεις. Κατά την ανάπτυξη της συγκεκριμένης διπλωματικής εργασίας έχουμε χρησιμοποιήσει έναν αισθήτηρα αδρειανειακών μονάδων μέτρησης ο οποίος μεταδίδει τα δεδομένα του με τη χρήση της τεχνολογίας BLE (Bluetooth Low Energy) και χρησιμοποιώντας το MQTT, IoT πρωτόκολλο επικοινωνίας, επιτυγχάνουμε την υλοποίηση μιας πλήρως αυτόνομης εφαρμογής. Αξιοποιώντας πλήρως τις δυνατότητες του αντικειμενοστραφή προγραμματισμού με τη χρήση της γλώσσας προγραμματισμού Python και αξιοποιώντας το φίλτρο του Madgwick για την περιστροφική αναπάρασταση του αισθητήρα μας με τη χρήση Quaternions, καταφέραμε τη δημιουργία μιάς εξαιρετικής ακρίβειας, τρισδιάστατη και πραγματικού χρόνου απόκρισης. Εν συνεχεία, εξερευνώντας τον τομέα των νευρικών δικτύων και της πληθώρας των μεθόδων αναγνώρισης αυτού, επίλεγουμε τη εφαρμογή ενός Multilayer Perceptron για την αξιόπιστη αναγνώριση των κινήσεων. Η συγκεκριμένη διπλωματική εργασία παρέχει μία ενδελεχή ανάλυση των σχετικών επιστημονικών τομέων και παρέχει στο χρήστη τα απαραίτητα εργαλεία για την πλήρη κατανόηση της προτεινόμενης λύσης. Κατά τη διάρκεια αυτής της διαδικασίας διαπιστώσαμε ότι δυνάται να χρησιμοποιηθεί ένας αισθητήρας χαμηλής κατανάλωσης και χαμηλών προδιαγραφών για την επίτευξη ενός σύγχρονου και ακριβούς αποτελέσματος. Καταφέραμε επίσης να ξεπεράσουμε σημαντικά προβλήματα όπως το Overfitting, ενώ δημιουργήσαμε το δικό μας Dataset και εφαρμόσαμε σύνθετες επεμβατικές τεχνικές επί αυτού. Τέλος, καταφέραμε να δημιουργήσουμε μια πλατφόρμα που διαφοροποίει μεταξύ διαφορετικών κινήσεων, σε πραγματικό χρόνο, και παρέχει τη δυνατότητα δράσης επί αυτών. Πιστεύουμε οτι η συγκεκριμένη εφαρμογή μπορεί να αποτελέσει τη βάση για μελλοντικές επεκτάσεις και να βοηθήσει στην ανάπτυξη ακόμα πιο σύνθετων πλατφόρμων που συνδυάζουν το Διαδίκτυο των Αντικειμένων και τα περιβάλλοντα Υποβοηθούμενης Αυτόνομης Διαβίωσης. 2018-12-30T11:45:37Z 2018-12-30T11:45:37Z 2018-12-21 Thesis http://hdl.handle.net/10889/11846 en 0 application/pdf