Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας

Οι Διαλογικοί Πράκτορες (Conversational Agents), μπορούν να οριστούν ως αυτόματα συστήματα, ικανά να προσομοιώσουν μια διαδικασία διαλόγου με έναν άνθρωπο, έτσι ώστε να ολοκληρωθεί κάποια διεργασία, όπως για παράδειγμα η παροχή πληροφοριών ή η εκτέλεση μιας ενέργειας. Το λογισμικό (Διαλογικοί Πράκτο...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Χατζηζήσης, Ιωάννης
Άλλοι συγγραφείς: Chatzizisis, Ioannis
Γλώσσα:Greek
Έκδοση: 2022
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/16576
id nemertes-10889-16576
record_format dspace
institution UPatras
collection Nemertes
language Greek
topic Διαλογικοί πράκτορες
Εικονική πραγματικότητα
Εικονικά περιβάλλοντα
Τεχνητή νοημοσύνη
Μηχανική μάθηση
Βαθιά μάθηση
Αλληλεπίδραση ανθρώπου-υπολογιστή
Διαλογική απάντηση ερωτημάτων
Εικονικοί κόσμοι
Conversational agents
Virtual reality
virtual environments
Artificial intelligence
Machine learning
Deep learning
Human-computer interaction
Conversational question answering
Virtual worlds
OpenSim
spellingShingle Διαλογικοί πράκτορες
Εικονική πραγματικότητα
Εικονικά περιβάλλοντα
Τεχνητή νοημοσύνη
Μηχανική μάθηση
Βαθιά μάθηση
Αλληλεπίδραση ανθρώπου-υπολογιστή
Διαλογική απάντηση ερωτημάτων
Εικονικοί κόσμοι
Conversational agents
Virtual reality
virtual environments
Artificial intelligence
Machine learning
Deep learning
Human-computer interaction
Conversational question answering
Virtual worlds
OpenSim
Χατζηζήσης, Ιωάννης
Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
description Οι Διαλογικοί Πράκτορες (Conversational Agents), μπορούν να οριστούν ως αυτόματα συστήματα, ικανά να προσομοιώσουν μια διαδικασία διαλόγου με έναν άνθρωπο, έτσι ώστε να ολοκληρωθεί κάποια διεργασία, όπως για παράδειγμα η παροχή πληροφοριών ή η εκτέλεση μιας ενέργειας. Το λογισμικό (Διαλογικοί Πράκτορες), δέχεται ως είσοδο προτάσεις φυσικής γλώσσας και «παράγει» ως έξοδο, επίσης, προτάσεις φυσικής γλώσσας, δημιουργώντας, έτσι, μια μορφή συζήτησης, με τη χρήση γραπτού ή προφορικού λόγου. Συνήθως, ένας Διαλογικός Πράκτορας συντίθεται από υποσυστήματα, τα οποία είναι υπεύθυνα για διάφορες λειτουργίες του Πράκτορα, όπως, για παράδειγμα η αναγνώριση της εισόδου, δηλαδή του γραπτού ή του προφορικού λόγου, η Επεξεργασία Φυσικής Γλώσσας, η διαχείριση του διαλόγου, η βάση γνώσης, η παραγωγή φυσικής γλώσσας (Natural Language Generation) και στην περίπτωση που υποστηρίζεται ομιλία, η μετατροπή του κειμένου σε προφορικό λόγο. Με τη σειρά τους, τα παραπάνω υποσυστήματα, αποτελούνται από μια σειρά άλλων σημαντικών διεργασιών, όπως, για παράδειγμα, η γνώση σχετικά με τη σημασιολογία και το συντακτικό του λόγου. Στην παρούσα Διπλωματική Εργασία, μελετώνται, αρχικά, συστήματα Διαλογικών Πρακτόρων, τα οποία στοχεύουν στη διατήρηση ενός φυσικού διαλόγου, ώστε να μπορεί να επιτευχθεί όσο το δυνατόν καλύτερη επικοινωνία μεταξύ ανθρώπου και υπολογιστή. Επομένως, είναι πολύ σημαντική η εστίαση στις τεχνικές που χρησιμοποιούνται, ώστε να επιτευχθεί η φυσικότητα και η αμεσότητα του διαλόγου, οι οποίες αφορούν μεθόδους Μηχανικής ή Βαθιάς Μάθησης. Ένας άλλος τρόπος επικοινωνίας ανθρώπου – μηχανής, είναι μέσω της αλληλεπίδρασης με συστήματα Εικονικής Πραγματικότητας. Η Εικονική Πραγματικότητα είναι μια τεχνολογική περιοχή με πάρα πολλές δυνατότητες και εφαρμογές, που αξιοποιούν τα εργαλεία που παρέχονται, τα οποία προσφέρουν καλύτερη εμπειρία στο χρήστη. Η αύξηση της χρήσης των εικονικών περιβαλλόντων και της Εικονικής Πραγματικότητας, επιτρέπει στο χρήστη να βιώσει εμπειρίες που δε θα βίωνε διαφορετικά στον πραγματικό κόσμο και μιας και είναι μια αλληλεπιδραστική τεχνολογία, η εμβύθιση σε ένα εικονικό περιβάλλον, στο οποίο υπάρχει η προηγούμενη μορφή αλληλεπιδραστικής τεχνολογίας (οι Διαλογικοί Πράκτορες), πρόκειται να προσφέρει στο χρήστη μια πιο πλήρη εμπειρία επικοινωνίας ανθρώπου – υπολογιστή, σε σχέση με καθεμία από τις δυο τεχνολογίες μεμονωμένα. Σε ένα εικονικό περιβάλλον, η παρουσία ενός Διαλογικού Πράκτορα συμβάλλει στην αληθοφάνεια του περιβάλλοντος, αλλά και στην επίτευξη μιας καλύτερης εμπειρίας για το χρήστη, καθώς μπορεί να συμμετέχει σε διαλόγους που θα βοηθήσουν στην απόκτηση μιας πιο πλήρους και πιο εποικοδομητικής εμπειρίας, ενώ ο στόχος της παρουσίας του στο εικονικό περιβάλλον θα επιτευχθεί πιο εύκολα. Έτσι, μια ακόμα πτυχή της Διπλωματικής Εργασίας είναι να μελετηθούν οι τρόποι και οι τεχνικές για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα και η επίτευξη όσο το δυνατόν καλύτερης αλληλεπίδρασης στα πλαίσια των περιβαλλόντων αυτών, αξιοποιώντας τη μελέτη που αφορά το πεδίο των Διαλογικών Πρακτόρων. Στο πλαίσιο αυτό, δημιουργήθηκαν δυο Διαλογικοί Πράκτορες, ένας με τη χρήση μιας ολοκληρωμένης, ισχυρής και δημοφιλούς πλατφόρμας δημιουργίας Διαλογικών Πρακτόρων (Dialogflow) και ένας με τη χρήση της γλώσσας προγραμματισμού Python και τεχνικών Επεξεργασίας Φυσικής Γλώσσας και Βαθιάς Μάθησης. Οι Διαλογικοί Πράκτορες αυτοί, στη συνέχεια, ενσωματώθηκαν σε ένα εικονικό περιβάλλον που δημιουργήθηκε με τη χρήση της πλατφόρμας ανοιχτού κώδικα OpenSimulator (OpenSim). Ο χρήστης, μπορεί να εισέλθει στο εικονικό περιβάλλον και να συνομιλήσει με οποιονδήποτε από τους Διαλογικούς Πράκτορες, με τη χρήση εικονικών χαρακτήρων, οι οποίοι αναπαριστούν τόσο τον ίδιο, όσο και τους Διαλογικούς Πράκτορες. Με την παρούσα μελέτη, γίνονται κατανοητά η λειτουργία και τα υποσυστήματα που συνθέτουν ένα Διαλογικό Πράκτορα, οι τεχνικές Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιούνται και η ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικό περιβάλλον, όπου οι Διαλογικοί Πράκτορες μπορούν να αλληλεπιδρούν με το χρήστη και να απαντούν στα ερωτήματά του. Επιπρόσθετα, παρουσιάζονται αναλυτικά οι διαδικασίες για τη δημιουργία και την ενσωμάτωση των Διαλογικών Πρακτόρων, έτσι ώστε να ξεπεραστούν εμπόδια που θέτει η έλλειψη διεπαφών για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα του OpenSim. Με τον τρόπο αυτό, γίνεται εύκολο και κατανοητό το να δημιουργηθεί ένας Διαλογικός Πράκτορας, σε οποιαδήποτε πλατφόρμα και με οποιεσδήποτε τεχνικές και το να ενσωματωθεί σε ένα εικονικό κόσμο του OpenSim, με τη χρήση της υπάρχουσας υποδομής.
author2 Chatzizisis, Ioannis
author_facet Chatzizisis, Ioannis
Χατζηζήσης, Ιωάννης
author Χατζηζήσης, Ιωάννης
author_sort Χατζηζήσης, Ιωάννης
title Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
title_short Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
title_full Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
title_fullStr Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
title_full_unstemmed Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
title_sort τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας
publishDate 2022
url http://hdl.handle.net/10889/16576
work_keys_str_mv AT chatzēzēsēsiōannēs technikesepexergasiasphysikēsglōssaskaiapantēsēserōtēmatōngiatēnepikoinōniamedialogikouspraktoresseperiballontaeikonikēspragmatikotētas
AT chatzēzēsēsiōannēs naturallanguageprocessingandquestionansweringtechniquesforcommunicationwithconversationalagentsinvirtualrealityenvironments
_version_ 1771297244613443584
spelling nemertes-10889-165762022-09-05T14:07:00Z Τεχνικές επεξεργασίας φυσικής γλώσσας και απάντησης ερωτημάτων για την επικοινωνία με διαλογικούς πράκτορες σε περιβάλλοντα εικονικής πραγματικότητας Natural language processing and question answering techniques for communication with conversational agents in virtual reality environments Χατζηζήσης, Ιωάννης Chatzizisis, Ioannis Διαλογικοί πράκτορες Εικονική πραγματικότητα Εικονικά περιβάλλοντα Τεχνητή νοημοσύνη Μηχανική μάθηση Βαθιά μάθηση Αλληλεπίδραση ανθρώπου-υπολογιστή Διαλογική απάντηση ερωτημάτων Εικονικοί κόσμοι Conversational agents Virtual reality virtual environments Artificial intelligence Machine learning Deep learning Human-computer interaction Conversational question answering Virtual worlds OpenSim Οι Διαλογικοί Πράκτορες (Conversational Agents), μπορούν να οριστούν ως αυτόματα συστήματα, ικανά να προσομοιώσουν μια διαδικασία διαλόγου με έναν άνθρωπο, έτσι ώστε να ολοκληρωθεί κάποια διεργασία, όπως για παράδειγμα η παροχή πληροφοριών ή η εκτέλεση μιας ενέργειας. Το λογισμικό (Διαλογικοί Πράκτορες), δέχεται ως είσοδο προτάσεις φυσικής γλώσσας και «παράγει» ως έξοδο, επίσης, προτάσεις φυσικής γλώσσας, δημιουργώντας, έτσι, μια μορφή συζήτησης, με τη χρήση γραπτού ή προφορικού λόγου. Συνήθως, ένας Διαλογικός Πράκτορας συντίθεται από υποσυστήματα, τα οποία είναι υπεύθυνα για διάφορες λειτουργίες του Πράκτορα, όπως, για παράδειγμα η αναγνώριση της εισόδου, δηλαδή του γραπτού ή του προφορικού λόγου, η Επεξεργασία Φυσικής Γλώσσας, η διαχείριση του διαλόγου, η βάση γνώσης, η παραγωγή φυσικής γλώσσας (Natural Language Generation) και στην περίπτωση που υποστηρίζεται ομιλία, η μετατροπή του κειμένου σε προφορικό λόγο. Με τη σειρά τους, τα παραπάνω υποσυστήματα, αποτελούνται από μια σειρά άλλων σημαντικών διεργασιών, όπως, για παράδειγμα, η γνώση σχετικά με τη σημασιολογία και το συντακτικό του λόγου. Στην παρούσα Διπλωματική Εργασία, μελετώνται, αρχικά, συστήματα Διαλογικών Πρακτόρων, τα οποία στοχεύουν στη διατήρηση ενός φυσικού διαλόγου, ώστε να μπορεί να επιτευχθεί όσο το δυνατόν καλύτερη επικοινωνία μεταξύ ανθρώπου και υπολογιστή. Επομένως, είναι πολύ σημαντική η εστίαση στις τεχνικές που χρησιμοποιούνται, ώστε να επιτευχθεί η φυσικότητα και η αμεσότητα του διαλόγου, οι οποίες αφορούν μεθόδους Μηχανικής ή Βαθιάς Μάθησης. Ένας άλλος τρόπος επικοινωνίας ανθρώπου – μηχανής, είναι μέσω της αλληλεπίδρασης με συστήματα Εικονικής Πραγματικότητας. Η Εικονική Πραγματικότητα είναι μια τεχνολογική περιοχή με πάρα πολλές δυνατότητες και εφαρμογές, που αξιοποιούν τα εργαλεία που παρέχονται, τα οποία προσφέρουν καλύτερη εμπειρία στο χρήστη. Η αύξηση της χρήσης των εικονικών περιβαλλόντων και της Εικονικής Πραγματικότητας, επιτρέπει στο χρήστη να βιώσει εμπειρίες που δε θα βίωνε διαφορετικά στον πραγματικό κόσμο και μιας και είναι μια αλληλεπιδραστική τεχνολογία, η εμβύθιση σε ένα εικονικό περιβάλλον, στο οποίο υπάρχει η προηγούμενη μορφή αλληλεπιδραστικής τεχνολογίας (οι Διαλογικοί Πράκτορες), πρόκειται να προσφέρει στο χρήστη μια πιο πλήρη εμπειρία επικοινωνίας ανθρώπου – υπολογιστή, σε σχέση με καθεμία από τις δυο τεχνολογίες μεμονωμένα. Σε ένα εικονικό περιβάλλον, η παρουσία ενός Διαλογικού Πράκτορα συμβάλλει στην αληθοφάνεια του περιβάλλοντος, αλλά και στην επίτευξη μιας καλύτερης εμπειρίας για το χρήστη, καθώς μπορεί να συμμετέχει σε διαλόγους που θα βοηθήσουν στην απόκτηση μιας πιο πλήρους και πιο εποικοδομητικής εμπειρίας, ενώ ο στόχος της παρουσίας του στο εικονικό περιβάλλον θα επιτευχθεί πιο εύκολα. Έτσι, μια ακόμα πτυχή της Διπλωματικής Εργασίας είναι να μελετηθούν οι τρόποι και οι τεχνικές για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα και η επίτευξη όσο το δυνατόν καλύτερης αλληλεπίδρασης στα πλαίσια των περιβαλλόντων αυτών, αξιοποιώντας τη μελέτη που αφορά το πεδίο των Διαλογικών Πρακτόρων. Στο πλαίσιο αυτό, δημιουργήθηκαν δυο Διαλογικοί Πράκτορες, ένας με τη χρήση μιας ολοκληρωμένης, ισχυρής και δημοφιλούς πλατφόρμας δημιουργίας Διαλογικών Πρακτόρων (Dialogflow) και ένας με τη χρήση της γλώσσας προγραμματισμού Python και τεχνικών Επεξεργασίας Φυσικής Γλώσσας και Βαθιάς Μάθησης. Οι Διαλογικοί Πράκτορες αυτοί, στη συνέχεια, ενσωματώθηκαν σε ένα εικονικό περιβάλλον που δημιουργήθηκε με τη χρήση της πλατφόρμας ανοιχτού κώδικα OpenSimulator (OpenSim). Ο χρήστης, μπορεί να εισέλθει στο εικονικό περιβάλλον και να συνομιλήσει με οποιονδήποτε από τους Διαλογικούς Πράκτορες, με τη χρήση εικονικών χαρακτήρων, οι οποίοι αναπαριστούν τόσο τον ίδιο, όσο και τους Διαλογικούς Πράκτορες. Με την παρούσα μελέτη, γίνονται κατανοητά η λειτουργία και τα υποσυστήματα που συνθέτουν ένα Διαλογικό Πράκτορα, οι τεχνικές Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιούνται και η ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικό περιβάλλον, όπου οι Διαλογικοί Πράκτορες μπορούν να αλληλεπιδρούν με το χρήστη και να απαντούν στα ερωτήματά του. Επιπρόσθετα, παρουσιάζονται αναλυτικά οι διαδικασίες για τη δημιουργία και την ενσωμάτωση των Διαλογικών Πρακτόρων, έτσι ώστε να ξεπεραστούν εμπόδια που θέτει η έλλειψη διεπαφών για την ενσωμάτωση Διαλογικών Πρακτόρων σε εικονικά περιβάλλοντα του OpenSim. Με τον τρόπο αυτό, γίνεται εύκολο και κατανοητό το να δημιουργηθεί ένας Διαλογικός Πράκτορας, σε οποιαδήποτε πλατφόρμα και με οποιεσδήποτε τεχνικές και το να ενσωματωθεί σε ένα εικονικό κόσμο του OpenSim, με τη χρήση της υπάρχουσας υποδομής. Conversational Agents can be defined as automatic systems, capable of simulating a dialogue process with a human, in order to complete a process, such as providing information or performing an action. The software (Conversational Agents) receives, as input, sentenced in natural language and outputs, also, natural language sentences, thus creating a form of conversation, using speech or text. Typically, a Conversational Agent is composed of modules, which are responsible for various functions, such as, input recognition, Natural Language Processing, dialog management, knowledge base, Natural Language Generation, or text-to-speech conversion. These modules consist of a series of other important processes, such as, knowledge about semantics and syntax. In this Thesis, Conversational Agent systems are studied, which aim to maintain a natural dialogue, so that, the best possible communication between human and computer can be achieved. Therefore, it is very important to focus on the techniques used, in order to achieve the naturalness and immediacy of the dialogue, which involve Machine Learning or Deep Learning methods. Another way of human – machine communication is through interaction with Virtual Reality systems. Virtual Reality is a technological area with many possibilities and applications, which takes advantage of the tools provided, offering a better user experience. The increase in the use of virtual environments and Virtual Reality allows the user to have experiences that could not be experienced, otherwise, in the real world and since it is an interactive technology, immersion in a virtual environment, in which the aforementioned form of interaction technology (the Conversational Agents) exists, is going to offer the user a more complete experience of human – computer communication, than using each of the two technologies individually. In a virtual environment, the presence of a Conversational Agent contributes to the verisimilitude of the environment, but also to achieving a better experience for the user, as they can participate in dialogues that will help to obtain a more complete and constructive experience, while the goal of his presence in the virtual environment will be more easily fulfilled. Thus, another aspect of this Thesis is to study the ways and the techniques for integrating a Conversational Agents in virtual environments and to achieve the best possible interaction in the context of these environments, using the study concerning the field of Conversational Agents. In this context, there were created two Conversational Agents: one using a comprehensive, robust and popular Conversational Agent platform (Google Dialogflow) and one using the Python programming language and Natural Language Processing and Deep Learning techniques. These Conversational Agents were, then, embedded in a virtual environment created using the open-source platform OpenSimulator (OpenSim). The user can enter the virtual environment and talk to any of the Conversational Agents, using virtual characters (avatars), which represent the user and the Conversational Agents. With the present study, the function and the subsystems that compose a Conversational Agent, the Natural Language Processing techniques used and the integration of Conversational Agents in a virtual environment, where the Conversational Agents can interact with the user and respond to their queries, are made clear. Furthermore, the procedures for the creation and integration of Conversational Agents are presented in detail, so as to overcome obstacles posed by the lack of interfaces for the integration of Conversational Agents into OpenSim virtual environments. In this way, the creation of a Conversational Agent, on any platform and with various techniques, and the integration of it into an OpenSim virtual world, using the existing infrastructure, become easy and understandable processes. 2022-08-01T08:21:24Z 2022-08-01T08:21:24Z 2022-07-29 http://hdl.handle.net/10889/16576 gr application/pdf