Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning

In this project, we first studied the fundamental Reinforcement Learning algorithms and implemented them to play games like CartPole and VizDoom. We then proceeded to solve the problem of obstacle avoidance in an un- known environment using the previously developed algorithms. The field of reinf...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Καραγεώργος-Γούδης, Κωνσταντίνος
Άλλοι συγγραφείς: Karageorgos-Goudis, Konstantinos
Γλώσσα:English
Έκδοση: 2021
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/15279
id nemertes-10889-15279
record_format dspace
spelling nemertes-10889-152792022-09-05T14:10:50Z Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning Αποφυγή εμποδίων σε αυτοκινούμενο όχημα πολλαπλών αισθητήρων με χρήση βαθιάς ενισχυτικής μάθησης Καραγεώργος-Γούδης, Κωνσταντίνος Karageorgos-Goudis, Konstantinos Reinforcement learning Obstacle avoidance Neural networks Mobile robots Ενισχυτική μάθηση Αποφυγή εμποδίων Νευρωνικά δίκτυα Αυτοκινούμενα ρομπότ In this project, we first studied the fundamental Reinforcement Learning algorithms and implemented them to play games like CartPole and VizDoom. We then proceeded to solve the problem of obstacle avoidance in an un- known environment using the previously developed algorithms. The field of reinforcement learning was inspired from biological systems and enables an agent to acquire knowledge through a trial and error process, interacting with an environment, based on the feedback returned from this environment. A multi- plicity of algorithms have been developed over the last years using this approach, with spectacular results in a plethora of fields, outperforming previous human attempts. In the current thesis we aim to implement the most fundamental of these RL methods, namely DQN, Double DQN, REINFORCE, Actor Critic and Proximal Policy Optimization. Then we create a custom Reinforcement Learning Environment consisted of a mobile robot with a camera, low range distance sensors and a collision detection sensor, moving in an unknown area with obstacles in random positions. We, finally, train an RL agent to explore the environment, avoiding any obstacles on the way. Στην παρούσα εργασία, αρχικά μελετήθηκαν οι πιο θεμελειώδεις αλγόριθμοι Ενισχυτικής Μάθησης και έγινε η υλοποίησή τους σε κώδικα για τα παιχνίδια CartPole και VizDoom. ΄Επειτα, προχωρήσαμε στην επίλυση ενός προβλήματος Αποφυγής Εμποδίων χρησιμοποιώντας τους παραπάνω αλγορίθμους. Το ε- ρευνητικό πεδίο της Ενισχυτικής Μάθησης είναι εμπνευσμένο από βιολογικούς οργανισμούς και επιτρέπει σε έναν πράκτορα να αποκτήσει γνώση του περιβάλ- λοντός του μέσω μιας επαναληπτικής διαδισκασίας αλληλεπίδρασης με αυτό (το περιβάλλον), μέσω σημάτων επιβράβευσης ή τιμωρίας από αυτό. ΄Ενας σημαντικός αριθμός αλγορίθμων έχει αναπτυχθεί τα τελευταία χρόνια χρησιμοποιώντας αυ- τήν την προσέγγιση, με θεαματικά αποτελέσματα σε πληθώρα εφαρμογών, ξεπερ- νώντας σε επιτυχία προηγούμενες μεθόδους. Στην παρούσα εργασία, στοχεύσαμε στην υλοποίηση των πιο θεμελιωδών από τους αλγορίθμους Ενισχυτικής Μάθη- σης, και συγκεκριμένα των Double DQN, REINFORCE, Actor Critic και PPO. ΄Επειτα κατασκευάσαμε ένα δικό μας περιβάλλον Ενισχυτικής Μάθησης σε προσο- μοίωση, αποτελούμενο από ένα κινητό ρομπότ εφοδιασμένο με κάμερα, αισθητήρες απόστασης μικρού εύρους και αισθητήρα συγκρούσεων, το οποίο κινείται σε άγνωστο χώρο με εμπόδια σε τυχαίες θέσεις. Στο τέλος, εκαιδεύουμε έναν πράκτορα ενισχυτικής μάθησης να εξερευνά το περιβάλλον, αποφεύγοντας τα εμπόδια που συναντά. 2021-10-08T09:05:49Z 2021-10-08T09:05:49Z 2021-09-30 http://hdl.handle.net/10889/15279 en application/pdf
institution UPatras
collection Nemertes
language English
topic Reinforcement learning
Obstacle avoidance
Neural networks
Mobile robots
Ενισχυτική μάθηση
Αποφυγή εμποδίων
Νευρωνικά δίκτυα
Αυτοκινούμενα ρομπότ
spellingShingle Reinforcement learning
Obstacle avoidance
Neural networks
Mobile robots
Ενισχυτική μάθηση
Αποφυγή εμποδίων
Νευρωνικά δίκτυα
Αυτοκινούμενα ρομπότ
Καραγεώργος-Γούδης, Κωνσταντίνος
Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
description In this project, we first studied the fundamental Reinforcement Learning algorithms and implemented them to play games like CartPole and VizDoom. We then proceeded to solve the problem of obstacle avoidance in an un- known environment using the previously developed algorithms. The field of reinforcement learning was inspired from biological systems and enables an agent to acquire knowledge through a trial and error process, interacting with an environment, based on the feedback returned from this environment. A multi- plicity of algorithms have been developed over the last years using this approach, with spectacular results in a plethora of fields, outperforming previous human attempts. In the current thesis we aim to implement the most fundamental of these RL methods, namely DQN, Double DQN, REINFORCE, Actor Critic and Proximal Policy Optimization. Then we create a custom Reinforcement Learning Environment consisted of a mobile robot with a camera, low range distance sensors and a collision detection sensor, moving in an unknown area with obstacles in random positions. We, finally, train an RL agent to explore the environment, avoiding any obstacles on the way.
author2 Karageorgos-Goudis, Konstantinos
author_facet Karageorgos-Goudis, Konstantinos
Καραγεώργος-Γούδης, Κωνσταντίνος
author Καραγεώργος-Γούδης, Κωνσταντίνος
author_sort Καραγεώργος-Γούδης, Κωνσταντίνος
title Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
title_short Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
title_full Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
title_fullStr Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
title_full_unstemmed Obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
title_sort obstacle avoidance in mobile robot with multiple sensors using deep reinforcement learning
publishDate 2021
url http://hdl.handle.net/10889/15279
work_keys_str_mv AT karageōrgosgoudēskōnstantinos obstacleavoidanceinmobilerobotwithmultiplesensorsusingdeepreinforcementlearning
AT karageōrgosgoudēskōnstantinos apophygēempodiōnseautokinoumenoochēmapollaplōnaisthētērōnmechrēsēbathiasenischytikēsmathēsēs
_version_ 1771297213674160128