Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής
Η παρούσα διπλωματική εργασία εντάσσεται στον χώρο της μηχανικής μάθησης και ιδιαίτερα στην περιοχή της ενισχυτικής μάθησης. Η ενισχυτική μάθηση αποτελεί μια βασική προσέγγιση εκπαίδευσης αυτόνομων πρακτόρων, οι οποίοι λαμβάνουν περιορισμένη πληροφορία για την εκπαίδευση τους από το περιβάλλον. Ο το...
| Main Author: | |
|---|---|
| Other Authors: | |
| Language: | Greek |
| Published: |
2022
|
| Subjects: | |
| Online Access: | https://hdl.handle.net/10889/23629 |
| id |
nemertes-10889-23629 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-236292022-11-03T04:35:05Z Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής Experimental comparison of reinforcement learning algorithms in robotics tasks Στεργιόπουλος, Δημοσθένης Stergiopoulos, Dimosthenis Ενισχυτική μάθηση Ρομποτικά συστήματα Νευρωνικά δίκτυα Reinforcement learning Robotics Neural networks Η παρούσα διπλωματική εργασία εντάσσεται στον χώρο της μηχανικής μάθησης και ιδιαίτερα στην περιοχή της ενισχυτικής μάθησης. Η ενισχυτική μάθηση αποτελεί μια βασική προσέγγιση εκπαίδευσης αυτόνομων πρακτόρων, οι οποίοι λαμβάνουν περιορισμένη πληροφορία για την εκπαίδευση τους από το περιβάλλον. Ο τομέας της ρομποτικής κατέχει σημαντική θέση στις εφαρμογές της τεχνητής νοημοσύνης. Η δημιουργία και η σωστή μετακίνηση ενός ρομποτικού συστήματος αποτελεί ένα δύσκολο και ενδιαφέρον πρόβλημα. Ο συνδυασμός αυτών των δύο τεχνικών (Ενισχυτική Μάθηση, Ρομποτική) αποτελεί την υλοποίηση της παρούσας εργασίας. Πιο αναλυτικά η εργασία αφορά την σύγκριση τεσσάρων αλγορίθμων ενισχυτικής μάθησης σε τέσσερα διαφορετικά ρομποτικά συστήματα. Η αξιολόγηση των αλγορίθμων γίνεται με βάση την πολιτική. Πολιτική είναι η στρατηγική που ακολουθεί ο πράκτορας για την απόφαση της επόμενης δράσης που θα εκτελέσει. Στην παρούσα εργασία δοκιμάστηκαν δυο on-policy αλγόριθμοι και δυο off-policy αλγόριθμοι. Τα κύρια εργαλεία που χρησιμοποιούνται για την ανάπτυξη του λογισμικού είναι, η γλώσσα προγραμματισμού python, η βιβλιοθήκη RobotDart για την προσομοίωση, η βιβλιοθήκη StableBaseline3 για την εκπαίδευση του ρομποτικού συστήματος και η βιβλιοθήκη Matplotlib για τον σχεδιασμό των γραφικών παραστάσεων. Κύρια αφορμή για την δημιουργία αυτής της εργασίας είναι η εύρεση του αποδοτικότερου αλγορίθμου σε κάθε ένα ρομποτικό σύστημα καθώς και η συλλογική απόδοση του κάθε αλγόριθμου σε όλα τα περιβάλλοντα. This thesis belongs to the field of machine learning and specifically to the one of reinforcement learning. Reinforcement learning is a basic approach that trains autonomous agents, which for their training receive limited information from their environment. Meanwhile, the field of robotics occupies an important place in the applications of artificial intelligence. The creation and proper movement of a robotic system is a challenging and interesting task. The combination of these two techniques (Reinforcement Learning and Robotics) constitutes the realisation of this work. More specifically, the present thesis is about comparing four reinforcement learning algorithms on four different robotic systems. The evaluation of the algorithms is based on their policy. Policy is the strategy followed by the agent to decide the next action to perform. In this thesis, two algorithms on-policy and two algorithms off-policy were tested. The main tools used to develop the software are the python programming language, the RobotDart library to create the simulator, the StableBaseline3 library to train the robotic system and the Matplotlib library to design the graphs. The main motivation for this work is to find the most efficient algorithm in each robotic system and the collective performance of each algorithm in all environments. 2022-11-02T12:06:02Z 2022-11-02T12:06:02Z 2022-10-26 https://hdl.handle.net/10889/23629 el Attribution-NonCommercial-NoDerivs 3.0 United States http://creativecommons.org/licenses/by-nc-nd/3.0/us/ application/pdf application/octet-stream |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ενισχυτική μάθηση Ρομποτικά συστήματα Νευρωνικά δίκτυα Reinforcement learning Robotics Neural networks |
| spellingShingle |
Ενισχυτική μάθηση Ρομποτικά συστήματα Νευρωνικά δίκτυα Reinforcement learning Robotics Neural networks Στεργιόπουλος, Δημοσθένης Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| description |
Η παρούσα διπλωματική εργασία εντάσσεται στον χώρο της μηχανικής μάθησης και ιδιαίτερα στην περιοχή της ενισχυτικής μάθησης. Η ενισχυτική μάθηση αποτελεί μια βασική προσέγγιση εκπαίδευσης αυτόνομων πρακτόρων, οι οποίοι λαμβάνουν περιορισμένη πληροφορία για την εκπαίδευση τους από το περιβάλλον. Ο τομέας της ρομποτικής κατέχει σημαντική θέση στις εφαρμογές της τεχνητής νοημοσύνης. Η δημιουργία και η σωστή μετακίνηση ενός ρομποτικού συστήματος αποτελεί ένα δύσκολο και ενδιαφέρον πρόβλημα. Ο συνδυασμός αυτών των δύο τεχνικών (Ενισχυτική Μάθηση, Ρομποτική) αποτελεί την υλοποίηση της παρούσας εργασίας. Πιο αναλυτικά η εργασία αφορά την σύγκριση τεσσάρων αλγορίθμων ενισχυτικής μάθησης σε τέσσερα διαφορετικά ρομποτικά συστήματα. Η αξιολόγηση των αλγορίθμων γίνεται με βάση την πολιτική. Πολιτική είναι η στρατηγική που ακολουθεί ο πράκτορας για την απόφαση της επόμενης δράσης που θα εκτελέσει. Στην παρούσα εργασία δοκιμάστηκαν δυο on-policy αλγόριθμοι και δυο off-policy αλγόριθμοι. Τα κύρια εργαλεία που χρησιμοποιούνται για την ανάπτυξη του λογισμικού είναι, η γλώσσα προγραμματισμού python, η βιβλιοθήκη RobotDart για την προσομοίωση, η βιβλιοθήκη StableBaseline3 για την εκπαίδευση του ρομποτικού συστήματος και η βιβλιοθήκη Matplotlib για τον σχεδιασμό των γραφικών παραστάσεων. Κύρια αφορμή για την δημιουργία αυτής της εργασίας είναι η εύρεση του αποδοτικότερου αλγορίθμου σε κάθε ένα ρομποτικό σύστημα καθώς και η συλλογική απόδοση του κάθε αλγόριθμου σε όλα τα περιβάλλοντα. |
| author2 |
Stergiopoulos, Dimosthenis |
| author_facet |
Stergiopoulos, Dimosthenis Στεργιόπουλος, Δημοσθένης |
| author |
Στεργιόπουλος, Δημοσθένης |
| author_sort |
Στεργιόπουλος, Δημοσθένης |
| title |
Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| title_short |
Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| title_full |
Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| title_fullStr |
Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| title_full_unstemmed |
Πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| title_sort |
πειραματική σύγκριση αλγορίθμων ενισχυτικής μάθησης σε προβλήματα ρομποτικής |
| publishDate |
2022 |
| url |
https://hdl.handle.net/10889/23629 |
| work_keys_str_mv |
AT stergiopoulosdēmosthenēs peiramatikēsynkrisēalgorithmōnenischytikēsmathēsēsseproblēmatarompotikēs AT stergiopoulosdēmosthenēs experimentalcomparisonofreinforcementlearningalgorithmsinroboticstasks |
| _version_ |
1771297179853389824 |
