Σχεδίαση / ανάπτυξη γαντιού εικονικής πραγματικότητας και πιλοτικών εφαρμογών

• Main Authors: Αμπο Σάλεχ, Αλ Χουσεΐν Σάμι, Παπαευθυμίου, Ιωάννης Αλέξανδρος
• Other Authors: Κουμπιάς, Σταύρος
• Format: Thesis
• Language: Greek
• Published: 2017
• Subjects: Γάντι; Εικονική πραγματικότητα; Νοηματική γλώσσα; Βιντεοπαιχνίδια; Glove; Virtual reality; Sign language; Unity; Weka; Videogames; Arduino; 006.8

Η παρούσα διπλωματική εργασία ασχολείται με την ανάπτυξη εξ' αρχής ενός ολοκληρωμένου, φθηνού και φορητού συστήματος καταγραφής της κίνησης για έλεγχο και αλληλεπίδραση με τον υπολογιστή σε πραγματικό χρόνο, με χρήση προηγμένου ενσωματωμένου συστήματος ελέγχου, καθώς και η ανάπτυξη εφαρμογών που να επιδεικνύουν τις λειτουργίες του συστήματος αυτού. Ο σχεδιασμός του γαντιού, η κατασκευή του και ο προγραμματισμός του είναι το ένα μόνο μέρος της εργασίας. Στην συνέχεια αναπτύχθηκαν δυο εφαρμογές με εντελώς διαφορετικό σκοπό και τρόπο λειτουργίας. Η μια εφαρμογή είναι εφαρμογή εικονικής πραγματικότητας και ψυχαγωγίας, ενώ η άλλη είναι μια εφαρμογή διευκόλυνσης της επικοινωνίας για κωφούς. Για τους σκοπούς αυτής της εργασίας μελετήθηκαν οι τεχνικές καταγραφής της κίνησης και αναπτύχθηκε ένα σύστημα ανίχνευσης της κίνησης του χεριού που βασίζεται στη λογική της αδρανειακής εκτίμησης. Χρησιμοποιήθηκαν αισθητήρες αδρανειακής εκτίμησης (Inertia Measurement Units) 9 βαθμών ελευθερίας για την αναγνώριση του προσανατολισμού των αρθρώσεων, αισθητήρες καμπής (flex sensors) για την ανίχνευση της κίνησης των δακτύλων και ο μικροελεγκτής Arduino Mega 2560 για τη συλλογή των δεδομένων και τη διεπαφή με τον υπολογιστή.Στη συνέχεια αναπτύχθηκαν δύο εφαρμογές που να παρουσιάζουν τις δυνατότητες που προσφέρει αυτός ο ελεγκτής. Η πρώτη είναι ένα τρισδιάστατο ηλεκτρονικό παιχνίδι, στο οποίο το χέρι του χαρακτήρα ελέγχεται από το χρήστη, σε πραγματικό χρόνο, φορώντας το γάντι (αποτελούμενο απο τους flex sensors και IMU) που ακολουθεί την κίνηση της παλάμης, ένα IMU που ακολουθεί την κίνησης της ωλένης και ένα που ακολουθεί την κίνηση του μπράτσου. Το παιχνίδι αναπτύχθηκε με χρήση της μηχανής γραφικών Unity. Η δεύτερη εφαρμογή είναι ένα Έμπειρο Σύστημα, ικανό να προβλέψει ποιο γράμμα της Ελληνικής Νοηματικής Γλώσσας σχηματίζει ο χρήστης με το χέρι του. Για την υλοποίηση αυτού, έπρεπε να εφαρμοστεί η διαδικασία του machine learning μέσω του προγράμματος WEKA, δηλαδή να δημιουργηθεί ένα μοντέλο πρόβλεψης και τέλος να υλοποιηθεί ένας αλγόριθμος (C# στο Visual Studio), ο οποίος θα χρησιμοποιεί αυτό το μοντέλο και θα μεταφράζει σε κείμενο την κάθε χειρομορφή του δακτυλικού αλφαβήτου της Ελληνικής Νοηματικής Γλώσσας σε κείμενο.