Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
In this project, we first studied the fundamental Reinforcement Learning algorithms and implemented them to play games like CartPole and VizDoom. We then proceeded to solve the problem of obstacle avoidance in an un- known environment using the previously developed algorithms. The field of reinf...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | English |
| Έκδοση: |
2021
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/15279 |
| id |
nemertes-10889-15279 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-152792022-09-05T14:10:50Z Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning Αποφυγή εμποδίων σε αυτοκινούμενο όχημα πολλαπλών αισθητήρων με χρήση βαθιάς ενισχυτικής μάθησης Καραγεώργος-Γούδης, Κωνσταντίνος Karageorgos-Goudis, Konstantinos Reinforcement learning Obstacle avoidance Neural networks Mobile robots Ενισχυτική μάθηση Αποφυγή εμποδίων Νευρωνικά δίκτυα Αυτοκινούμενα ρομπότ In this project, we first studied the fundamental Reinforcement Learning algorithms and implemented them to play games like CartPole and VizDoom. We then proceeded to solve the problem of obstacle avoidance in an un- known environment using the previously developed algorithms. The field of reinforcement learning was inspired from biological systems and enables an agent to acquire knowledge through a trial and error process, interacting with an environment, based on the feedback returned from this environment. A multi- plicity of algorithms have been developed over the last years using this approach, with spectacular results in a plethora of fields, outperforming previous human attempts. In the current thesis we aim to implement the most fundamental of these RL methods, namely DQN, Double DQN, REINFORCE, Actor Critic and Proximal Policy Optimization. Then we create a custom Reinforcement Learning Environment consisted of a mobile robot with a camera, low range distance sensors and a collision detection sensor, moving in an unknown area with obstacles in random positions. We, finally, train an RL agent to explore the environment, avoiding any obstacles on the way. Στην παρούσα εργασία, αρχικά μελετήθηκαν οι πιο θεμελειώδεις αλγόριθμοι Ενισχυτικής Μάθησης και έγινε η υλοποίησή τους σε κώδικα για τα παιχνίδια CartPole και VizDoom. ΄Επειτα, προχωρήσαμε στην επίλυση ενός προβλήματος Αποφυγής Εμποδίων χρησιμοποιώντας τους παραπάνω αλγορίθμους. Το ε- ρευνητικό πεδίο της Ενισχυτικής Μάθησης είναι εμπνευσμένο από βιολογικούς οργανισμούς και επιτρέπει σε έναν πράκτορα να αποκτήσει γνώση του περιβάλ- λοντός του μέσω μιας επαναληπτικής διαδισκασίας αλληλεπίδρασης με αυτό (το περιβάλλον), μέσω σημάτων επιβράβευσης ή τιμωρίας από αυτό. ΄Ενας σημαντικός αριθμός αλγορίθμων έχει αναπτυχθεί τα τελευταία χρόνια χρησιμοποιώντας αυ- τήν την προσέγγιση, με θεαματικά αποτελέσματα σε πληθώρα εφαρμογών, ξεπερ- νώντας σε επιτυχία προηγούμενες μεθόδους. Στην παρούσα εργασία, στοχεύσαμε στην υλοποίηση των πιο θεμελιωδών από τους αλγορίθμους Ενισχυτικής Μάθη- σης, και συγκεκριμένα των Double DQN, REINFORCE, Actor Critic και PPO. ΄Επειτα κατασκευάσαμε ένα δικό μας περιβάλλον Ενισχυτικής Μάθησης σε προσο- μοίωση, αποτελούμενο από ένα κινητό ρομπότ εφοδιασμένο με κάμερα, αισθητήρες απόστασης μικρού εύρους και αισθητήρα συγκρούσεων, το οποίο κινείται σε άγνωστο χώρο με εμπόδια σε τυχαίες θέσεις. Στο τέλος, εκαιδεύουμε έναν πράκτορα ενισχυτικής μάθησης να εξερευνά το περιβάλλον, αποφεύγοντας τα εμπόδια που συναντά. 2021-10-08T09:05:49Z 2021-10-08T09:05:49Z 2021-09-30 http://hdl.handle.net/10889/15279 en application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
English |
| topic |
Reinforcement learning Obstacle avoidance Neural networks Mobile robots Ενισχυτική μάθηση Αποφυγή εμποδίων Νευρωνικά δίκτυα Αυτοκινούμενα ρομπότ |
| spellingShingle |
Reinforcement learning Obstacle avoidance Neural networks Mobile robots Ενισχυτική μάθηση Αποφυγή εμποδίων Νευρωνικά δίκτυα Αυτοκινούμενα ρομπότ Καραγεώργος-Γούδης, Κωνσταντίνος Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| description |
In this project, we first studied the fundamental Reinforcement Learning
algorithms and implemented them to play games like CartPole and VizDoom.
We then proceeded to solve the problem of obstacle avoidance in an un-
known environment using the previously developed algorithms. The field
of reinforcement learning was inspired from biological systems and enables an
agent to acquire knowledge through a trial and error process, interacting with an
environment, based on the feedback returned from this environment. A multi-
plicity of algorithms have been developed over the last years using this approach,
with spectacular results in a plethora of fields, outperforming previous human
attempts. In the current thesis we aim to implement the most fundamental
of these RL methods, namely DQN, Double DQN, REINFORCE, Actor Critic
and Proximal Policy Optimization. Then we create a custom Reinforcement
Learning Environment consisted of a mobile robot with a camera, low range
distance sensors and a collision detection sensor, moving in an unknown area
with obstacles in random positions. We, finally, train an RL agent to explore
the environment, avoiding any obstacles on the way. |
| author2 |
Karageorgos-Goudis, Konstantinos |
| author_facet |
Karageorgos-Goudis, Konstantinos Καραγεώργος-Γούδης, Κωνσταντίνος |
| author |
Καραγεώργος-Γούδης, Κωνσταντίνος |
| author_sort |
Καραγεώργος-Γούδης, Κωνσταντίνος |
| title |
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| title_short |
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| title_full |
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| title_fullStr |
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| title_full_unstemmed |
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| title_sort |
obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning |
| publishDate |
2021 |
| url |
http://hdl.handle.net/10889/15279 |
| work_keys_str_mv |
AT karageōrgosgoudēskōnstantinos obstacleavoidanceinmobilerobotwithmultiplesensorsusingdeepreinforcementlearning AT karageōrgosgoudēskōnstantinos apophygēempodiōnseautokinoumenoochēmapollaplōnaisthētērōnmechrēsēbathiasenischytikēsmathēsēs |
| _version_ |
1771297213674160128 |