Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης
Έχουμε αναπτύξει ένα σύστημα, χρησιμοποιώντας το Parrot Bebop 2.0 [1], το οποίο πλοηγείται στον κόσμο της προσομοίωσης, εντοπίζοντας και αναγνωρίζοντας εμπόδια, που βρίσκονται σε αυτόν. Η διαδικασία πλοήγησης του drone περιγράφεται πλήρως, ο τρόπος που διαβάζει δεδομένα από τους αισθητήρες και η λή...
Κύριος συγγραφέας: | |
---|---|
Άλλοι συγγραφείς: | |
Γλώσσα: | Greek |
Έκδοση: |
2020
|
Θέματα: | |
Διαθέσιμο Online: | http://hdl.handle.net/10889/13540 |
id |
nemertes-10889-13540 |
---|---|
record_format |
dspace |
institution |
UPatras |
collection |
Nemertes |
language |
Greek |
topic |
Μηχανική μάθηση Ρομποτική Machine learning Robotics |
spellingShingle |
Μηχανική μάθηση Ρομποτική Machine learning Robotics Δαραμούσκας, Ιωάννης Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
description |
Έχουμε αναπτύξει ένα σύστημα, χρησιμοποιώντας το Parrot Bebop 2.0 [1], το οποίο πλοηγείται στον κόσμο της προσομοίωσης, εντοπίζοντας και αναγνωρίζοντας εμπόδια, που βρίσκονται σε αυτόν. Η διαδικασία πλοήγησης του drone περιγράφεται πλήρως, ο τρόπος που διαβάζει δεδομένα από τους αισθητήρες και η λήψη απόφασης για το πως θα κινηθεί προς τις συντεταγμένες που του έχει ζητηθεί να μεταβεί.
Το σύστημα βασίζεται στο Ρομποτικό Λειτουργικό Σύστημα ROS [2] και το Bebop_ autonomy [3] χειρίζεται την επικοινωνία με το drone. Ο κόσμος της προσομοίωσης θεωρείται γνωστός, δηλαδή έχουμε πλήρη γνώση για τις τοποθεσίες των αντικειμένων που βρίσκονται σε αυτόν και έχει χρησιμοποιηθεί η προσομοίωση του Ros [2] Gazebo Sphinx, που δίνει τη δυνατότητα να χρησιμοποιήσουμε εικονικά το πραγματικό μοντέλου του drone.
Παρουσιάζουμε ένα ολοκληρωμένο σύστημα πλοήγησης που εκμεταλλεύεται την πληροφορία του γνωστού κόσμου και οδηγεί το drone σε βέλτιστα και ασφαλή μονοπάτια για να εκτελέσει τις αποστολές του. Το σύστημα βασίζεται στον αλγόριθμο ευρετικής αναζήτησης A* και συνδυάζεται με κλειστού βρόγχου έλεγχο, όσο το drone επικοινωνεί με τον υπολογιστή μέσω του framework Ros. Από την πειραματική διαδικασία αποδείξαμε πως το σύστημα που υλοποιήσαμε μπορεί να πλοηγεί το drone με εξαιρετικό τρόπο μέσα στον κόσμο, δημιουργώντας ασφαλή μονοπάτια, αποφεύγοντας επιτυχώς όλα τα εμπόδια, πραγματοποιώντας βέλτιστες περιστροφές προς την κατεύθυνση του στόχου και τέλος διατηρώντας την ευθεία τροχιά του σε εξαιρετικό βαθμό.
Ο εντοπισμός και η αναγνώριση αντικειμένων πραγματοποιείται με δεδομένα του drone από την κάμερα που διαθέτει τα οποία χρησιμοποιήθηκαν για την εκπαίδευση παραλλαγής του state of the art αλγόριθμου Yolo. Δημιουργήσαμε δύο μοντέλα για δύο διαφορετικά σύνολα δεδομένων, το ένα απλά για τον εντοπισμό αντικειμένων της ίδιας κλάσης, πρακτικά πρόβλεψη των bounding box, όπου το μοντέλο πετύχαινε μέση IoU ακρίβεια 0.85, γεγονός που αποδεικνύει την αποτελεσματικότητα αυτής της τεχνικής, και το δεύτερο μοντέλο για δεδομένα από το κόσμο της προσομοίωσης όπου είχαμε τοποθετήσει πέντε διαφορετικά είδη εμποδίων, και ζητούσαμε από το drone να εντοπίσει τα bounding boxes των εμποδίων ενώ παράλληλα να μπορεί να τα κατηγοριοποιήσει σωστά στις αντίστοιχες κλάσεις. |
author2 |
Daramouskas, Ioannis |
author_facet |
Daramouskas, Ioannis Δαραμούσκας, Ιωάννης |
author |
Δαραμούσκας, Ιωάννης |
author_sort |
Δαραμούσκας, Ιωάννης |
title |
Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
title_short |
Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
title_full |
Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
title_fullStr |
Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
title_full_unstemmed |
Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
title_sort |
αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης |
publishDate |
2020 |
url |
http://hdl.handle.net/10889/13540 |
work_keys_str_mv |
AT daramouskasiōannēs anagnōrisēantikeimenōnkaiploēgēsēmēepandrōmenouochēmatosdronemetechnikesbathiasmathēsēs AT daramouskasiōannēs objectrecognitionandnavigationofunmannedvehicledroneusingdeeplearning |
_version_ |
1771297306756251648 |
spelling |
nemertes-10889-135402022-09-05T20:33:19Z Αναγνώριση αντικειμένων και πλοήγηση μη επανδρωμένου οχήματος (drone) με τεχνικές βαθιάς μάθησης Object recognition and navigation of unmanned vehicle (drone) using deep learning Δαραμούσκας, Ιωάννης Daramouskas, Ioannis Μηχανική μάθηση Ρομποτική Machine learning Robotics Έχουμε αναπτύξει ένα σύστημα, χρησιμοποιώντας το Parrot Bebop 2.0 [1], το οποίο πλοηγείται στον κόσμο της προσομοίωσης, εντοπίζοντας και αναγνωρίζοντας εμπόδια, που βρίσκονται σε αυτόν. Η διαδικασία πλοήγησης του drone περιγράφεται πλήρως, ο τρόπος που διαβάζει δεδομένα από τους αισθητήρες και η λήψη απόφασης για το πως θα κινηθεί προς τις συντεταγμένες που του έχει ζητηθεί να μεταβεί. Το σύστημα βασίζεται στο Ρομποτικό Λειτουργικό Σύστημα ROS [2] και το Bebop_ autonomy [3] χειρίζεται την επικοινωνία με το drone. Ο κόσμος της προσομοίωσης θεωρείται γνωστός, δηλαδή έχουμε πλήρη γνώση για τις τοποθεσίες των αντικειμένων που βρίσκονται σε αυτόν και έχει χρησιμοποιηθεί η προσομοίωση του Ros [2] Gazebo Sphinx, που δίνει τη δυνατότητα να χρησιμοποιήσουμε εικονικά το πραγματικό μοντέλου του drone. Παρουσιάζουμε ένα ολοκληρωμένο σύστημα πλοήγησης που εκμεταλλεύεται την πληροφορία του γνωστού κόσμου και οδηγεί το drone σε βέλτιστα και ασφαλή μονοπάτια για να εκτελέσει τις αποστολές του. Το σύστημα βασίζεται στον αλγόριθμο ευρετικής αναζήτησης A* και συνδυάζεται με κλειστού βρόγχου έλεγχο, όσο το drone επικοινωνεί με τον υπολογιστή μέσω του framework Ros. Από την πειραματική διαδικασία αποδείξαμε πως το σύστημα που υλοποιήσαμε μπορεί να πλοηγεί το drone με εξαιρετικό τρόπο μέσα στον κόσμο, δημιουργώντας ασφαλή μονοπάτια, αποφεύγοντας επιτυχώς όλα τα εμπόδια, πραγματοποιώντας βέλτιστες περιστροφές προς την κατεύθυνση του στόχου και τέλος διατηρώντας την ευθεία τροχιά του σε εξαιρετικό βαθμό. Ο εντοπισμός και η αναγνώριση αντικειμένων πραγματοποιείται με δεδομένα του drone από την κάμερα που διαθέτει τα οποία χρησιμοποιήθηκαν για την εκπαίδευση παραλλαγής του state of the art αλγόριθμου Yolo. Δημιουργήσαμε δύο μοντέλα για δύο διαφορετικά σύνολα δεδομένων, το ένα απλά για τον εντοπισμό αντικειμένων της ίδιας κλάσης, πρακτικά πρόβλεψη των bounding box, όπου το μοντέλο πετύχαινε μέση IoU ακρίβεια 0.85, γεγονός που αποδεικνύει την αποτελεσματικότητα αυτής της τεχνικής, και το δεύτερο μοντέλο για δεδομένα από το κόσμο της προσομοίωσης όπου είχαμε τοποθετήσει πέντε διαφορετικά είδη εμποδίων, και ζητούσαμε από το drone να εντοπίσει τα bounding boxes των εμποδίων ενώ παράλληλα να μπορεί να τα κατηγοριοποιήσει σωστά στις αντίστοιχες κλάσεις. We have developed a system using Parrot Bebop 2.0 drone, which is capable of autonomously navigating by detecting and recognizing obstacles. The mission of the drone is to navigate in the simulation world, avoiding the risk of collision with any obstacles that lie within it. The process of navigating the drone is fully described, the way it reads data from the sensors and decides how to move to the waypoints requested. The basic system handles the Robotic Operating System ROS and with Bebop_ autonomy and together they handle the communication between our drone and our tool. The world of simulation is well known, in the mean that we are fully aware of the locations of the objects in it and the simulation of the Ros Gazebo Sphinx has been used, enabling us to use the actual drone model virtually. We present an integrated navigation system that exploits the information of the known world and drives the drone on optimal and safe paths to perform its tasks. The system is based on the A * heuristic search algorithm and is combined with closed loop control as long as the drone communicates with the computer via the Ros framework. From the experimental process we have shown that the system we have implemented can navigate the drone in an extraordinary way in the world, creating safe paths, successfully avoiding all obstacles, optimally rotating in the direction of the target, and ultimately maintaining its excellent trajectory. . Object detection and identification is performed with the camera's drone data used to train the variant of the Yolo state of the art algorithm. We created two models for two different datasets, one simply for locating objects of the same class, practically predicting bounding boxes, where the model achieved an average IoU accuracy of 0.85, demonstrating the effectiveness of this technique, and the second model for data from the world of simulation where we had placed five different kinds of obstacles, and we asked the drone to identify the bounding boxes of the obstacles while at the same time being able to categorize them correctly in the respective classes 2020-07-12T13:17:34Z 2020-07-12T13:17:34Z 2020-06-11 http://hdl.handle.net/10889/13540 gr application/pdf |