Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari

Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης σε περιβάλλον παιχνιδιού. Στο πέρασμα των χρόνων, η τεχνολογική κοινότητα επιδιώκει να εντάξει τη συμπεριφορά των ζωντανών οργανισμών, η οποία μεταβάλλεται κατά τη διάρκεια της ζωής τους μέσω της εκπαίδευσ...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας:	Καραμπίνης, Ιωάννης
Άλλοι συγγραφείς:	Karampinis, Ioannis
Γλώσσα:	Greek
Έκδοση:	2020
Θέματα:	Μηχανική μάθηση Ενισχυτική μάθηση Νευρωνικά δίκτυα Βαθιά ενισχυτική μάθηση Παιχνίδια Machine learning Reinforcement learning Neural networks Deep reinforcement learning Games
Διαθέσιμο Online:	http://hdl.handle.net/10889/14032

id	nemertes-10889-14032
record_format	dspace
spelling	nemertes-10889-140322022-09-05T14:02:36Z Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari Development of deep reinforcement learning algorithm in Atari's game, MsPacman Καραμπίνης, Ιωάννης Karampinis, Ioannis Μηχανική μάθηση Ενισχυτική μάθηση Νευρωνικά δίκτυα Βαθιά ενισχυτική μάθηση Παιχνίδια Machine learning Reinforcement learning Neural networks Deep reinforcement learning Games Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης σε περιβάλλον παιχνιδιού. Στο πέρασμα των χρόνων, η τεχνολογική κοινότητα επιδιώκει να εντάξει τη συμπεριφορά των ζωντανών οργανισμών, η οποία μεταβάλλεται κατά τη διάρκεια της ζωής τους μέσω της εκπαίδευσης, στα διάφορα τεχνολογικά επιτεύγματα. Ο χώρος της μηχανικής μάθησης και ειδικότερα της ενισχυτικής μάθησης, βασιζόμενος στο παραπάνω δόγμα, δημιουργεί πράκτορες οι οποίοι δύναται να μαθαίνουν διαμέσου της συνεχούς αλληλεπίδρασης με το περιβάλλον. Ωστόσο, τα σύγχρονα προβλήματα εξαιτίας της μεγάλης πολυπλοκότητάς τους, έχουν θεσπίσει ορισμένους περιορισμούς ως προς την εφαρμογή των αλγορίθμων της ενισχυτικής μάθησης. Η λύση δίδεται μέσω της μίμησης ενός βιολογικού μηχανισμού, των νευρωνικών δικτύων. Η αποτελεσματική εφαρμογή τους σε προβλήματα μεγάλης διαστασιμότητας του ευρύτερου χώρου της τεχνητής νοημοσύνης οδήγησε στην ενσωμάτωσή τους στους αλγορίθμους ενισχυτικής μάθησης. Δημιουργήθηκε με αυτόν τον τρόπο ένα νέο επιστημονικό πεδίο, αυτό της βαθιάς ενισχυτικής μάθησης. Στα πλαίσια της εργασίας υλοποιήθηκαν παραλλαγές των αλγορίθμων βαθιάς ενισχυτικής μάθησης DQN, double DQN, duel DQN και noisy DQN, αναπτύσσοντας τους αντίστοιχους πράκτορες. Το περιβάλλον αλληλεπίδρασης που επιλέχθηκε ήταν κλασσικό παιχνίδι MsPacman της πλατφόρμας Atari 2600. Ο εκάστοτε πράκτορας σε μία ανθρωποκεντρική προσέγγιση, εκπαιδεύεται με τη βοήθεια οπτικών παρατηρήσεων και της ανταμοιβής που δέχεται από το περιβάλλον. Βασικός σκοπός είναι η εκμάθηση του μοντέλου του περιβάλλοντος, που συνοδεύεται με υψηλή συνολική ανταμοιβή στην ολοκλήρωση κάθε παιχνιδιού. Οι πράκτορες αφού εκπαιδεύτηκαν για ορισμένο χρονικό διάστημα, αξιολογήθηκαν ως προς την απόδοσή τους. Στο τέλος της εργασίας παρουσιάζονται τα πειραματικά αποτελέσματα της μελέτης, ενώ παρατίθενται προτάσεις για μελλοντικές βελτιώσεις. The present diploma thesis deals with the development of a deep reinforcement learning algorithm in game environment. Over the years, technology community has sought to integrate the behavior of living organisms, which can change during their lifetime through an endless process of training, into various technological creations. The field of machine learning and especially reinforcement learning, based on the above doctrine, creates agents who can learn through continuous interaction with the environment. However, modern problems have introduced some limitations in the application of reinforcing learning algorithms, due to their great complexity. The solution is given through the imitation of a biological mechanism, the neural networks. Their effective application in high-dimensional problems of the wider field of artificial intelligence led to their integration into reinforcing learning algorithms. In this way, a new scientific field was created, the deep reinforcement learning. In the current thesis, variants of the deep reinforcement learning algorithms DQN, double DQN, duel DQN and noisy DQN were implemented, developing the respective agents. The chosen interaction environment was the classic MsPacman game of the Atari 2600 platform. The agents were trained for a certain period of time and therefore were evaluated in terms of their performance. At the end of this thesis, some experimental results and future improvements are presented concerning the versatile subjects of this study. 2020-10-21T10:51:04Z 2020-10-21T10:51:04Z 2020-10-16 http://hdl.handle.net/10889/14032 gr application/pdf
institution	UPatras
collection	Nemertes
language	Greek
topic	Μηχανική μάθηση Ενισχυτική μάθηση Νευρωνικά δίκτυα Βαθιά ενισχυτική μάθηση Παιχνίδια Machine learning Reinforcement learning Neural networks Deep reinforcement learning Games
spellingShingle	Μηχανική μάθηση Ενισχυτική μάθηση Νευρωνικά δίκτυα Βαθιά ενισχυτική μάθηση Παιχνίδια Machine learning Reinforcement learning Neural networks Deep reinforcement learning Games Καραμπίνης, Ιωάννης Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
description	Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης σε περιβάλλον παιχνιδιού. Στο πέρασμα των χρόνων, η τεχνολογική κοινότητα επιδιώκει να εντάξει τη συμπεριφορά των ζωντανών οργανισμών, η οποία μεταβάλλεται κατά τη διάρκεια της ζωής τους μέσω της εκπαίδευσης, στα διάφορα τεχνολογικά επιτεύγματα. Ο χώρος της μηχανικής μάθησης και ειδικότερα της ενισχυτικής μάθησης, βασιζόμενος στο παραπάνω δόγμα, δημιουργεί πράκτορες οι οποίοι δύναται να μαθαίνουν διαμέσου της συνεχούς αλληλεπίδρασης με το περιβάλλον. Ωστόσο, τα σύγχρονα προβλήματα εξαιτίας της μεγάλης πολυπλοκότητάς τους, έχουν θεσπίσει ορισμένους περιορισμούς ως προς την εφαρμογή των αλγορίθμων της ενισχυτικής μάθησης. Η λύση δίδεται μέσω της μίμησης ενός βιολογικού μηχανισμού, των νευρωνικών δικτύων. Η αποτελεσματική εφαρμογή τους σε προβλήματα μεγάλης διαστασιμότητας του ευρύτερου χώρου της τεχνητής νοημοσύνης οδήγησε στην ενσωμάτωσή τους στους αλγορίθμους ενισχυτικής μάθησης. Δημιουργήθηκε με αυτόν τον τρόπο ένα νέο επιστημονικό πεδίο, αυτό της βαθιάς ενισχυτικής μάθησης. Στα πλαίσια της εργασίας υλοποιήθηκαν παραλλαγές των αλγορίθμων βαθιάς ενισχυτικής μάθησης DQN, double DQN, duel DQN και noisy DQN, αναπτύσσοντας τους αντίστοιχους πράκτορες. Το περιβάλλον αλληλεπίδρασης που επιλέχθηκε ήταν κλασσικό παιχνίδι MsPacman της πλατφόρμας Atari 2600. Ο εκάστοτε πράκτορας σε μία ανθρωποκεντρική προσέγγιση, εκπαιδεύεται με τη βοήθεια οπτικών παρατηρήσεων και της ανταμοιβής που δέχεται από το περιβάλλον. Βασικός σκοπός είναι η εκμάθηση του μοντέλου του περιβάλλοντος, που συνοδεύεται με υψηλή συνολική ανταμοιβή στην ολοκλήρωση κάθε παιχνιδιού. Οι πράκτορες αφού εκπαιδεύτηκαν για ορισμένο χρονικό διάστημα, αξιολογήθηκαν ως προς την απόδοσή τους. Στο τέλος της εργασίας παρουσιάζονται τα πειραματικά αποτελέσματα της μελέτης, ενώ παρατίθενται προτάσεις για μελλοντικές βελτιώσεις.
author2	Karampinis, Ioannis
author_facet	Karampinis, Ioannis Καραμπίνης, Ιωάννης
author	Καραμπίνης, Ιωάννης
author_sort	Καραμπίνης, Ιωάννης
title	Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
title_short	Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
title_full	Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
title_fullStr	Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
title_full_unstemmed	Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari
title_sort	ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι mspacman της πλατφόρμας atari
publishDate	2020
url	http://hdl.handle.net/10889/14032
work_keys_str_mv	AT karampinēsiōannēs anaptyxēalgorithmoubathiasenischytikēsmathēsēsstopaichnidimspacmantēsplatphormasatari AT karampinēsiōannēs developmentofdeepreinforcementlearningalgorithminatarisgamemspacman
_version_	1771297272089280512

Ανάπτυξη αλγορίθμου βαθιάς ενισχυτικής μάθησης στο παιχνίδι MsPacman της πλατφόρμας Atari

Παρόμοια τεκμήρια