Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής
Στην παρούσα διπλωματική εργασία παρουσιάζεται η υλοποίηση μιας εφαρμογής μικτής πραγματικότητας που έχει ως στόχο να βοηθήσει την επικοινωνία ατόμων με απώλεια ακοής με τους ανθρώπους γύρω τους. Για την ανάπτυξη της εφαρμογής χρησιμοποιούνται τα γυαλιά μικτής πραγματικότητας Microsoft Hololens 2. Α...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/25296 |
| id |
nemertes-10889-25296 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Απώλεια ακοής Ακουστική αναπηρία Εικονική πραγματικότητα Μικτή πραγματικότητα Μετατροπή λόγου σε κείμενο Hearing loss Hearing impairment Virtual reality Mixed reality Speech-to-text Microsoft Hololens 2 Unity Microsoft Visual Studio |
| spellingShingle |
Απώλεια ακοής Ακουστική αναπηρία Εικονική πραγματικότητα Μικτή πραγματικότητα Μετατροπή λόγου σε κείμενο Hearing loss Hearing impairment Virtual reality Mixed reality Speech-to-text Microsoft Hololens 2 Unity Microsoft Visual Studio Γκαγκά, Ευαγγελία Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| description |
Στην παρούσα διπλωματική εργασία παρουσιάζεται η υλοποίηση μιας εφαρμογής μικτής πραγματικότητας που έχει ως στόχο να βοηθήσει την επικοινωνία ατόμων με απώλεια ακοής με τους ανθρώπους γύρω τους. Για την ανάπτυξη της εφαρμογής χρησιμοποιούνται τα γυαλιά μικτής πραγματικότητας Microsoft Hololens 2.
Αρχικά, αναλύεται το θεωρητικό και τεχνολογικό υπόβαθρο. Σημαντικό είναι να εντοπιστούν οι υπάρχοντες τρόποι αντιμετώπισης του προβλήματος απώλειας ακοής, ώστε να είναι ακόμα πιο ξεκάθαρο γιατί είναι απαραίτητη μια νέα προσέγγιση στο πρόβλημα με νέες τεχνολογίες. Στη συνέχεια, γίνεται και μια έρευνα για τις λύσεις που υπάρχουν ήδη και προσεγγίζουν το πρόβλημα από τη σκοπιά της μικτής πραγματικότητας.
Επόμενο βήμα είναι ο σχεδιασμός του συστήματος και η υλοποίηση της εφαρμογής. Πιο συγκεκριμένα, για τη χρήση της εφαρμογής πρέπει το άτομο με απώλεια ακοής να φοράει τα γυαλιά μικτής πραγματικότητας στα οποία να τρέχει η εφαρμογή της διπλωματικής. Στη συνέχεια, μέσω της εφαρμογής παρουσιάζεται ένα παράθυρο και όταν κάποιος του μιλήσει θα μπορεί να δει γραμμένο μπροστά του στο παράθυρο αυτό ό,τι του είπαν. Με αυτόν τον τρόπο παρόλο που δεν θα έχει ακούσει τι του είπαν ουσιαστικά θα μπορεί να το διαβάσει και με αυτόν τον τρόπο να επιτευχθεί συνεννόηση χωρίς να είναι απαραίτητο κάποιος από τους δύο να προσαρμόσει τον τρόπο επικοινωνίας του στην κατάσταση. Η ανάπτυξη της εφαρμογής έγινε στο περιβάλλον της Unity και του Microsoft Visual Studio με τη χρήση του Microsoft Mixed Reality Toolkit 2 (MRTK 2). Σημειώνεται πως παρουσιάζονται κάποια διαφορετικά σχέδια της εφαρμογής, ώστε κάθε φορά να καλύπτονται διαφορετικές ανάγκες του ατόμου ή/και του συνομιλητή του.
Αφού υλοποιηθεί η εφαρμογή, πολύ σημαντικό στάδιο είναι αυτό της αξιολόγησης. Επειδή είναι μια εφαρμογή που έχει ως πρωταρχικό στόχο να διευκολύνει την ζωή των ανθρώπων με απώλεια ακοής, είναι πολύ σημαντικό να διασφαλιστεί πως θα είναι μια εύχρηστη προσθήκη στην καθημερινότητα όποιου αποφασίσει να τη χρησιμοποιήσει, και όχι να λειτουργεί κατασταλτικά στην αλληλοεπίδρασή του με τον κόσμο γύρω του. Γι’ αυτό πραγματοποιήθηκαν πειράματα στο Εργαστήριο Διαδραστικών Τεχνολογιών του Πανεπιστημίου Πατρών και δόθηκαν στου συμμετέχοντες ερωτηματολόγια με στόχο της αξιολόγηση της εφαρμογής.
Ύστερα, γίνεται μια αναφορά στο άρθρο στο οποίο συμμετείχε η ιδέα της διπλωματικής εργασίας, ως ένας τρόπος να βοηθηθούν άτομα με απώλεια ακοής στις επισκέψεις τους σε πολιτιστικούς χώρους, όπως τα μουσεία, που μέχρι τώρα δεν είχαν τη δυνατότητα να συμμετέχουν εύκολα σε ξεναγήσεις. Τέλος, αναφέρονται μερικά από τα προβλήματα που προέκυψαν κατά την εκπόνηση της διπλωματικής εργασίας καθώς επίσης και μερικές ιδέες για μελλοντικές επεκτάσεις. |
| author2 |
Gkagka, Evangelia |
| author_facet |
Gkagka, Evangelia Γκαγκά, Ευαγγελία |
| author |
Γκαγκά, Ευαγγελία |
| author_sort |
Γκαγκά, Ευαγγελία |
| title |
Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| title_short |
Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| title_full |
Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| title_fullStr |
Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| title_full_unstemmed |
Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| title_sort |
εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/25296 |
| work_keys_str_mv |
AT nkankaeuangelia epharmogēmiktēspragmatikotētasgiaatomameapōleiaakoēs AT nkankaeuangelia mixedrealityapplicationforpeoplewithhearingloss |
| _version_ |
1771297217139703808 |
| spelling |
nemertes-10889-252962023-07-04T03:55:57Z Εφαρμογή μικτής πραγματικότητας για άτομα με απώλεια ακοής Mixed reality application for people with hearing loss Γκαγκά, Ευαγγελία Gkagka, Evangelia Απώλεια ακοής Ακουστική αναπηρία Εικονική πραγματικότητα Μικτή πραγματικότητα Μετατροπή λόγου σε κείμενο Hearing loss Hearing impairment Virtual reality Mixed reality Speech-to-text Microsoft Hololens 2 Unity Microsoft Visual Studio Στην παρούσα διπλωματική εργασία παρουσιάζεται η υλοποίηση μιας εφαρμογής μικτής πραγματικότητας που έχει ως στόχο να βοηθήσει την επικοινωνία ατόμων με απώλεια ακοής με τους ανθρώπους γύρω τους. Για την ανάπτυξη της εφαρμογής χρησιμοποιούνται τα γυαλιά μικτής πραγματικότητας Microsoft Hololens 2. Αρχικά, αναλύεται το θεωρητικό και τεχνολογικό υπόβαθρο. Σημαντικό είναι να εντοπιστούν οι υπάρχοντες τρόποι αντιμετώπισης του προβλήματος απώλειας ακοής, ώστε να είναι ακόμα πιο ξεκάθαρο γιατί είναι απαραίτητη μια νέα προσέγγιση στο πρόβλημα με νέες τεχνολογίες. Στη συνέχεια, γίνεται και μια έρευνα για τις λύσεις που υπάρχουν ήδη και προσεγγίζουν το πρόβλημα από τη σκοπιά της μικτής πραγματικότητας. Επόμενο βήμα είναι ο σχεδιασμός του συστήματος και η υλοποίηση της εφαρμογής. Πιο συγκεκριμένα, για τη χρήση της εφαρμογής πρέπει το άτομο με απώλεια ακοής να φοράει τα γυαλιά μικτής πραγματικότητας στα οποία να τρέχει η εφαρμογή της διπλωματικής. Στη συνέχεια, μέσω της εφαρμογής παρουσιάζεται ένα παράθυρο και όταν κάποιος του μιλήσει θα μπορεί να δει γραμμένο μπροστά του στο παράθυρο αυτό ό,τι του είπαν. Με αυτόν τον τρόπο παρόλο που δεν θα έχει ακούσει τι του είπαν ουσιαστικά θα μπορεί να το διαβάσει και με αυτόν τον τρόπο να επιτευχθεί συνεννόηση χωρίς να είναι απαραίτητο κάποιος από τους δύο να προσαρμόσει τον τρόπο επικοινωνίας του στην κατάσταση. Η ανάπτυξη της εφαρμογής έγινε στο περιβάλλον της Unity και του Microsoft Visual Studio με τη χρήση του Microsoft Mixed Reality Toolkit 2 (MRTK 2). Σημειώνεται πως παρουσιάζονται κάποια διαφορετικά σχέδια της εφαρμογής, ώστε κάθε φορά να καλύπτονται διαφορετικές ανάγκες του ατόμου ή/και του συνομιλητή του. Αφού υλοποιηθεί η εφαρμογή, πολύ σημαντικό στάδιο είναι αυτό της αξιολόγησης. Επειδή είναι μια εφαρμογή που έχει ως πρωταρχικό στόχο να διευκολύνει την ζωή των ανθρώπων με απώλεια ακοής, είναι πολύ σημαντικό να διασφαλιστεί πως θα είναι μια εύχρηστη προσθήκη στην καθημερινότητα όποιου αποφασίσει να τη χρησιμοποιήσει, και όχι να λειτουργεί κατασταλτικά στην αλληλοεπίδρασή του με τον κόσμο γύρω του. Γι’ αυτό πραγματοποιήθηκαν πειράματα στο Εργαστήριο Διαδραστικών Τεχνολογιών του Πανεπιστημίου Πατρών και δόθηκαν στου συμμετέχοντες ερωτηματολόγια με στόχο της αξιολόγηση της εφαρμογής. Ύστερα, γίνεται μια αναφορά στο άρθρο στο οποίο συμμετείχε η ιδέα της διπλωματικής εργασίας, ως ένας τρόπος να βοηθηθούν άτομα με απώλεια ακοής στις επισκέψεις τους σε πολιτιστικούς χώρους, όπως τα μουσεία, που μέχρι τώρα δεν είχαν τη δυνατότητα να συμμετέχουν εύκολα σε ξεναγήσεις. Τέλος, αναφέρονται μερικά από τα προβλήματα που προέκυψαν κατά την εκπόνηση της διπλωματικής εργασίας καθώς επίσης και μερικές ιδέες για μελλοντικές επεκτάσεις. This thesis presents the development of a mixed reality application aiming to help people with hearing loss in communicating with people around them. The application is developed using Microsoft Hololens 2 mixed reality headset. First, the theoretical and technological background is analyzed. It is crucial to identify the existing ways of dealing with the problem of hearing loss, so that it even clearer why a new approach to the problem including the technology of mixed reality is necessary. Next step is the design of the system and the application development. More specifically, in order to use the application, the person with hearing loss has to wear the mixed reality headset in which the app is running. Then, through the application, a window is presented in front of the user and when someone speaks to him, he will be able to see written in front of him (on the window) what was said. This way, even though he will not have heard what was said to him, he will actually be able to read it, and thus communicate without it being necessary for either of them to adapt their communication style to the situation. The app was developed in Unity and Microsoft Visual Studio using the Microsoft Mixed Reality Toolkit 2 (MRTK 2). It is highlighted that there are different designs of the applications presented, so that in each one a different need of the person and/or the interlocutor are covered. After development, an essential step is the evaluation. Due to the fact that it is an application with a primary goal to make the lives of people with hearing loss easier, it must be ensured that it is a useful addition to the daily life of whoever decides to use it and does not act oppressively in their interaction with the world around them. Thus, experiments were carried out at the Human – Computer Interaction Lab of the University of Patras and questionnaires were handed out to the participants for the evaluation of the app. Then, there is a reference to the article in which the idea of the thesis was involved, as a way to assist people with hearing loss in their visits to cultural places, such as museums, which until now have not been friendly for people with hearing loss, as for example, they are excluded from participating in guided tours. Finally, some of the problems that arose during developing the idea are mentioned, as well as some ideas for future extensions. 2023-07-03T07:56:35Z 2023-07-03T07:56:35Z 2023-07 https://hdl.handle.net/10889/25296 el application/pdf |
