Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα
Η παρούσα διπλωματική εργασία πραγματεύεται την μελέτη της γλωσσικής ανάπτυξης σε πολυπρακτορικά συστήματα. Πιο συγκεκριμένα μελετώνται τα συστήματα ενισχυτικής μάθησης στα οποία οι πράκτορες οι οποίοι δρουν σε αυτά και αλληλεπιδρούν μεταξύ τους έχουν την δυνατότητα ανταλλαγής πληροφοριών κατά την ε...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/24608 |
| id |
nemertes-10889-24608 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Πολυπρακτορικά συστήματα Ενισχυτική μάθηση Επικοινωνία σε πολυπρακτορικά συστήματα Βαθιά μάθηση Multi-agent systems Reinforcement learning |
| spellingShingle |
Πολυπρακτορικά συστήματα Ενισχυτική μάθηση Επικοινωνία σε πολυπρακτορικά συστήματα Βαθιά μάθηση Multi-agent systems Reinforcement learning Μητακίδης, Ανέστης Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| description |
Η παρούσα διπλωματική εργασία πραγματεύεται την μελέτη της γλωσσικής ανάπτυξης σε πολυπρακτορικά συστήματα. Πιο συγκεκριμένα μελετώνται τα συστήματα ενισχυτικής μάθησης στα οποία οι πράκτορες οι οποίοι δρουν σε αυτά και αλληλεπιδρούν μεταξύ τους έχουν την δυνατότητα ανταλλαγής πληροφοριών κατά την επίλυση των προβλημάτων που τους έχουν τεθεί. Δίνεται έμφαση στην επικοινωνία που εδραιώνεται μεταξύ των πρακτόρων και στην μελέτη των μηνυμάτων που χρησιμοποιούν, τόσο όσον αφορά στην δομή τους όσο και στο περιεχόμενο τους. Αρχικά γίνεται περιγραφή του θεωρητικού υπόβαθρου το οποίο είναι απαραίτητο για την κατανόηση του θέματος και την εμβάθυνση σε αυτό. Πραγματοποιείται αναφορά στην επεξεργασία φυσικής γλώσσας αναλύοντας τους τομείς της κατανόησης και παραγωγής κειμενικών δεδομένων και τους τρόπους αξιολόγησής τους. Στην συνέχεια περιγράφονται οι βασικές έννοιες της μηχανικής και της βαθιάς μάθησης και πραγματοποιείται ανάλυση των αρχιτεκτονικών νευρωνικών δικτύων τα οποία χρησιμοποιούνται κυρίως στα προβλήματα με δεδομένα σε μορφή κειμένου. Έπειτα, γίνεται εισαγωγή στην ενισχυτική μάθηση και τους βασικούς αλγορίθμους οι οποίοι εφαρμόζονται σε αυτή, ενώ στην συνέχεια επεκτείνεται ο τομέας αυτός στα πολυπρακτορικά συστήματα ενισχυτικής μάθησης. Επίσης, αναλύεται η επικοινωνία που χρησιμοποιείται μεταξύ των πρακτόρων σε αυτά. Αφού ολοκληρωθεί η παρουσίαση των απαραίτητων θεωρητικών γνώσεων γίνεται ανασκόπηση της υπάρχουσας βιβλιογραφίας όσον αφορά στη χρήση ενισχυτικής μάθησης σε προβλήματα παραγωγής περιλήψεων και στην εφαρμογή επικοινωνίας σε πολυπρακτορικά συστήματα διαφόρων συνθέσεων. Έπειτα πραγματοποιείται μελέτη του προβλήματος δημιουργίας περίληψης μέσω διαλόγου σε συνεργατικό πολυπρακτορικό σύστημα. Αρχικά, ορίζεται η σύνθεση του προβλήματος και αναλύεται η προτεινόμενη αρχιτεκτονική. Το σύστημα αποτελείται από δύο πράκτορες οι οποίοι δεν έχουν την ίδια πρόσβαση στις πληροφορίες του περιβάλλοντος στο οποίο δρουν. Ο ένας πράκτορας μπορεί και έχει πλήρη πρόσβαση στο κείμενο για το οποίο θα εξαχθεί η περίληψη του, αλλά και στην περίληψη-στόχο και έχει την δυνατότητα να απαντάει σε ερωτήσεις βασιζόμενος στις πληροφορίες του κειμένου, αλλά και σε προηγούμενη γνώση που διαθέτει. Ο δεύτερος πράκτορας, ο οποίος δεν έχει πλήρη πρόσβαση στο κείμενο προσπαθεί κάνοντας ερωτήσεις στον πρώτο να εξάγει πληροφορίες σχετικά με αυτό έτσι ώστε να παράξει την περίληψή του. Οι δύο πράκτορες καλούνται να συνεργαστούν μεταξύ τους και να λειτουργήσουν ως ομάδα η οποία ανταμείβεται το ίδιο για τις ενέργειες όλων των μελών της. Για την εκπαίδευση του συστήματος χρησιμοποιείται επιβλεπόμενη μάθηση με τη χρήση δεδομένων τα οποία παράχθηκαν μερικώς με τρίτο μοντέλο σύγχρονης αρχιτεκτονικής νευρωνικών δικτύων. Επίσης, γίνεται χρήση ενισχυτικής μάθησης για επιπλέον εκπαίδευση και μελετάτε η επίδραση διαφορετικών συναρτήσεων ανταμοιβής στα μηνύματα τα οποία παράγουν οι πράκτορες μέσω πειραμάτων. Τα αποτελέσματα αυτών δείχνουν ότι το σύστημα αδυνατεί να παράξει περιλήψεις οι οποίες αντιπροσωπεύουν τα αντίστοιχα κείμενα, καθώς η συγκεκριμένη αρχιτεκτονική δεν επιτρέπει στους πράκτορες να εξάγουν την απαραίτητη πληροφορία από το κείμενο. Η χρήση διαλόγου ως μέσο επικοινωνίας μεταξύ των δύο πρακτόρων βελτιώνει τις περιλήψεις τόσο στην δομή τους όσο και σημασιολογικά στο περιεχόμενο τους. Παρόλα αυτά ακόμα και με τις βελτιώσεις μετά την εκπαίδευση των πρακτόρων με ενισχυτική μάθηση το σύστημα δεν μπορεί να θεωρηθεί κατάλληλο για την επίλυση του προβλήματος. Τέλος, γίνονται παρατηρήσεις σχετικά με την γλώσσα που παρήγαγαν οι πράκτορες στους διαλόγους που δημιουργούσαν αλλά και στις τεχνητές περιλήψεις. |
| author2 |
Mitakidis, Anestis |
| author_facet |
Mitakidis, Anestis Μητακίδης, Ανέστης |
| author |
Μητακίδης, Ανέστης |
| author_sort |
Μητακίδης, Ανέστης |
| title |
Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| title_short |
Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| title_full |
Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| title_fullStr |
Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| title_full_unstemmed |
Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| title_sort |
γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/24608 |
| work_keys_str_mv |
AT mētakidēsanestēs glōssikēanaptyxēsepolypraktorikasystēmata AT mētakidēsanestēs languagecreationinmultiagentsystems |
| _version_ |
1771297288923119616 |
| spelling |
nemertes-10889-246082023-03-01T04:37:33Z Γλωσσική ανάπτυξη σε πολυπρακτορικά συστήματα Language creation in multi-agent systems Μητακίδης, Ανέστης Mitakidis, Anestis Πολυπρακτορικά συστήματα Ενισχυτική μάθηση Επικοινωνία σε πολυπρακτορικά συστήματα Βαθιά μάθηση Multi-agent systems Reinforcement learning Η παρούσα διπλωματική εργασία πραγματεύεται την μελέτη της γλωσσικής ανάπτυξης σε πολυπρακτορικά συστήματα. Πιο συγκεκριμένα μελετώνται τα συστήματα ενισχυτικής μάθησης στα οποία οι πράκτορες οι οποίοι δρουν σε αυτά και αλληλεπιδρούν μεταξύ τους έχουν την δυνατότητα ανταλλαγής πληροφοριών κατά την επίλυση των προβλημάτων που τους έχουν τεθεί. Δίνεται έμφαση στην επικοινωνία που εδραιώνεται μεταξύ των πρακτόρων και στην μελέτη των μηνυμάτων που χρησιμοποιούν, τόσο όσον αφορά στην δομή τους όσο και στο περιεχόμενο τους. Αρχικά γίνεται περιγραφή του θεωρητικού υπόβαθρου το οποίο είναι απαραίτητο για την κατανόηση του θέματος και την εμβάθυνση σε αυτό. Πραγματοποιείται αναφορά στην επεξεργασία φυσικής γλώσσας αναλύοντας τους τομείς της κατανόησης και παραγωγής κειμενικών δεδομένων και τους τρόπους αξιολόγησής τους. Στην συνέχεια περιγράφονται οι βασικές έννοιες της μηχανικής και της βαθιάς μάθησης και πραγματοποιείται ανάλυση των αρχιτεκτονικών νευρωνικών δικτύων τα οποία χρησιμοποιούνται κυρίως στα προβλήματα με δεδομένα σε μορφή κειμένου. Έπειτα, γίνεται εισαγωγή στην ενισχυτική μάθηση και τους βασικούς αλγορίθμους οι οποίοι εφαρμόζονται σε αυτή, ενώ στην συνέχεια επεκτείνεται ο τομέας αυτός στα πολυπρακτορικά συστήματα ενισχυτικής μάθησης. Επίσης, αναλύεται η επικοινωνία που χρησιμοποιείται μεταξύ των πρακτόρων σε αυτά. Αφού ολοκληρωθεί η παρουσίαση των απαραίτητων θεωρητικών γνώσεων γίνεται ανασκόπηση της υπάρχουσας βιβλιογραφίας όσον αφορά στη χρήση ενισχυτικής μάθησης σε προβλήματα παραγωγής περιλήψεων και στην εφαρμογή επικοινωνίας σε πολυπρακτορικά συστήματα διαφόρων συνθέσεων. Έπειτα πραγματοποιείται μελέτη του προβλήματος δημιουργίας περίληψης μέσω διαλόγου σε συνεργατικό πολυπρακτορικό σύστημα. Αρχικά, ορίζεται η σύνθεση του προβλήματος και αναλύεται η προτεινόμενη αρχιτεκτονική. Το σύστημα αποτελείται από δύο πράκτορες οι οποίοι δεν έχουν την ίδια πρόσβαση στις πληροφορίες του περιβάλλοντος στο οποίο δρουν. Ο ένας πράκτορας μπορεί και έχει πλήρη πρόσβαση στο κείμενο για το οποίο θα εξαχθεί η περίληψη του, αλλά και στην περίληψη-στόχο και έχει την δυνατότητα να απαντάει σε ερωτήσεις βασιζόμενος στις πληροφορίες του κειμένου, αλλά και σε προηγούμενη γνώση που διαθέτει. Ο δεύτερος πράκτορας, ο οποίος δεν έχει πλήρη πρόσβαση στο κείμενο προσπαθεί κάνοντας ερωτήσεις στον πρώτο να εξάγει πληροφορίες σχετικά με αυτό έτσι ώστε να παράξει την περίληψή του. Οι δύο πράκτορες καλούνται να συνεργαστούν μεταξύ τους και να λειτουργήσουν ως ομάδα η οποία ανταμείβεται το ίδιο για τις ενέργειες όλων των μελών της. Για την εκπαίδευση του συστήματος χρησιμοποιείται επιβλεπόμενη μάθηση με τη χρήση δεδομένων τα οποία παράχθηκαν μερικώς με τρίτο μοντέλο σύγχρονης αρχιτεκτονικής νευρωνικών δικτύων. Επίσης, γίνεται χρήση ενισχυτικής μάθησης για επιπλέον εκπαίδευση και μελετάτε η επίδραση διαφορετικών συναρτήσεων ανταμοιβής στα μηνύματα τα οποία παράγουν οι πράκτορες μέσω πειραμάτων. Τα αποτελέσματα αυτών δείχνουν ότι το σύστημα αδυνατεί να παράξει περιλήψεις οι οποίες αντιπροσωπεύουν τα αντίστοιχα κείμενα, καθώς η συγκεκριμένη αρχιτεκτονική δεν επιτρέπει στους πράκτορες να εξάγουν την απαραίτητη πληροφορία από το κείμενο. Η χρήση διαλόγου ως μέσο επικοινωνίας μεταξύ των δύο πρακτόρων βελτιώνει τις περιλήψεις τόσο στην δομή τους όσο και σημασιολογικά στο περιεχόμενο τους. Παρόλα αυτά ακόμα και με τις βελτιώσεις μετά την εκπαίδευση των πρακτόρων με ενισχυτική μάθηση το σύστημα δεν μπορεί να θεωρηθεί κατάλληλο για την επίλυση του προβλήματος. Τέλος, γίνονται παρατηρήσεις σχετικά με την γλώσσα που παρήγαγαν οι πράκτορες στους διαλόγους που δημιουργούσαν αλλά και στις τεχνητές περιλήψεις. The present thesis studies the problem of language creation in multi-agent systems. More specifically, it studies the reinforcement learning systems in which the agents acting in them and interact with each other and have the ability to exchange information in order to solve the problems assigned to them. Emphasis is given to the communication that is conducted by the agents and the study of the messages used in terms of their structure and content. Initially, a description of the theoretical background is made, which is necessary for understanding the topic and diving deeper into it. Reference is made to the natural language processing by analyzing the fields of natural language understanding, natural language generation and the evaluation techniques applied to it. Next, the basic concepts of machine learning and deep learning are described and the architectures of neural networks that are used in problems with textual data are analyzed. Then, an introduction to reinforcement learning and the basics algorithms applied in it is made, while this topic is then extended to multi-agent reinforcement learning systems. Also, the communication used between agents in these systems is presented. After the presentation of the necessary theoretical background, a review of the related work in fields of usage of reinforcement learning in summarization problems and of communication learning in multi-agent systems of different settings is made. Moving on a study of the problem of summarization via dialogue in muli-agent system is made. First, the settings of the problem are defined and the suggested architecture is analyzed. The systems consists of two agents that do not have access to the same information of the environment in that they act. The first agent, called Abot, has full access to the document that is to be summarized and the target summary and has the ability of answering questions based on the document and previous knowledge it has. The second agent, called Qbot, does not have full access to the document and by questioning Abot tries to extract information about it in order to generate the summary of it. The agents have to cooperate with each other and work as a team that all members of it get the same rewards for the actions of the team as a whole. Supervised learning is used in order to train the system with data that are partially generated by a state-of-the-art deep learning model. Also, reinforcement learning is used for further training and the effects of different reward functions on the generated messages are studied by conducting experiments. The results show that the suggested system is unable to generate summaries that are semantically close to the referenced documents, because this architecture does not allow the agents to extract the necessary features from the document. The usage of dialogue as mean of communication between the two agents improves the summaries both in their structure and semantically in their content. However, the system is not suitable for the summarization task even with the improvements that further training of the agents with reinforcement learning have caused. Finally, observations are made about the language produced by the agents in the dialogues, they create, and also in the artificial summaries. 2023-02-28T11:54:18Z 2023-02-28T11:54:18Z 2023-02-17 https://hdl.handle.net/10889/24608 el Attribution-NonCommercial 3.0 United States http://creativecommons.org/licenses/by-nc/3.0/us/ application/pdf |
