Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα
Η αυτόνομη οδήγηση εξελίσσεται πολύ γρήγορα τα τελευταία χρόνια, υποσχόμενη περισσότερη ασφάλεια στους δρόμους, άνεση και επιτάχυνση των μετακινήσεων. Βασικός παράγοντας για να φτάσει ο συγκεκριμένος τομέας στο επίπεδο αυτό είναι η ακριβής αναγνώριση και κατανόηση του εξωτερικού περιβάλλοντος του οχ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/25444 |
| id |
nemertes-10889-25444 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Εντοπισμός αντικειμένων Ροή σκηνής Object detection Scene flow Transformers |
| spellingShingle |
Εντοπισμός αντικειμένων Ροή σκηνής Object detection Scene flow Transformers Κεφαλλωνίτης, Αντώνιος Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| description |
Η αυτόνομη οδήγηση εξελίσσεται πολύ γρήγορα τα τελευταία χρόνια, υποσχόμενη περισσότερη ασφάλεια στους δρόμους, άνεση και επιτάχυνση των μετακινήσεων. Βασικός παράγοντας για να φτάσει ο συγκεκριμένος τομέας στο επίπεδο αυτό είναι η ακριβής αναγνώριση και κατανόηση του εξωτερικού περιβάλλοντος του οχήματος. Αυτό σημαίνει ότι το αυτόνομο όχημα είναι σε θέση να εντοπίζει και να κατηγοριοποιεί τα αντικείμενα που βρίσκονται γύρω του, με στόχο την προσαρμογή των ενεργειών του. Υπάρχει πληθώρα αλγορίθμων που εξάγει τα παραπάνω αποτελέσματα με ικανοποιητική ακρίβεια έχοντας ως είσοδο εικόνες ή τρισδιάστατα νέφη σημείων. Στην εργασία αυτή δίνεται βάση στη δεύτερη κατηγορία αλγορίθμων.
Το νέφος σημείων προκύπτει από έναν LiDAR αισθητήρα και πιο διαδεδομένος τρόπος επεξεργασίας αυτών είναι με τη χρήση συνελικτικών νευρωνικών δικτύων. Παρ’ όλα αυτά, τελευταία έχουν αρχίσει να αναπτύσσονται αρχιτεκτονικές που βασίζονται στους Transformers. Αυτοί αρχικά χρησιμοποιήθηκαν σε προβλήματα επεξεργασίας φυσικής γλώσσας, αλλά στην πορεία, λόγω της απόδοσης τους, δοκιμάστηκαν και σε άλλους τομείς. Οι πρώτες προσπάθειες στον εντοπισμό αντικειμένων έγιναν με δεδομένα εισόδου εικόνες, ενώ στη συνέχεια έγινε επέκταση της ίδιας λογικής και σε σημεία.
Στόχος της συγκεκριμένης διπλωματικής είναι η βελτίωση της απόδοσης της δημοσίευσης “TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers” που στηρίζεται σε Transformers για τον εντοπισμό αντικειμένων. Ο τρόπος για να συμβεί αυτό είναι με προεκπαίδευση του δικτύου, όπως παρουσιάζεται στη δημοσίευση “3D Object Detection with a Self-supervised Lidar Scene Flow Backbone”. Πιο συγκεκριμένα με self-supervised μάθηση και pretext task το scene flow, αρχικοποιούνται οι παράμετροι του δικτύου κορμού της αρχιτεκτονικής TransFusion. Για να είναι εφικτό αυτό, γίνονται τροποποιήσεις στους αλγορίθμους και των δύο δημοσιεύσεων, ενώ παράλληλα επιλέγεται μεικτή ακρίβεια για τους υπολογισμούς λόγω περιορισμών στη διαθέσιμη μνήμη της κάρτας γραφικών. Για την εκπαίδευση και δοκιμή των δικτύων χρησιμοποιήθηκε το Nuscenes σετ δεδομένων. Οι παραπάνω ενέργειες οδήγησαν σε βελτίωση της απόδοσης με βάση τις μετρικές mAP και NDS. Εκτός από αυτό, έγινε μια δεύτερη απόπειρα στην οποία χρησιμοποιήθηκε διαφορετικός scheduler για τον ρυθμό μάθησης και στην οποία υπήρξε μικρή περαιτέρω αύξηση των μετρικών. |
| author2 |
Kefallonitis, Antonios |
| author_facet |
Kefallonitis, Antonios Κεφαλλωνίτης, Αντώνιος |
| author |
Κεφαλλωνίτης, Αντώνιος |
| author_sort |
Κεφαλλωνίτης, Αντώνιος |
| title |
Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| title_short |
Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| title_full |
Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| title_fullStr |
Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| title_full_unstemmed |
Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| title_sort |
σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/25444 |
| work_keys_str_mv |
AT kephallōnitēsantōnios synchronestechnikesepexergasiasgeōmetriasseexōterikaperiballonta AT kephallōnitēsantōnios moderntechniquesofgeometryprocessinginoutdoorenvironments |
| _version_ |
1771297150047617024 |
| spelling |
nemertes-10889-254442023-07-08T03:53:17Z Σύγχρονες τεχνικές επεξεργασίας γεωμετρίας σε εξωτερικά περιβάλλοντα Modern techniques of geometry processing in outdoor environments Κεφαλλωνίτης, Αντώνιος Kefallonitis, Antonios Εντοπισμός αντικειμένων Ροή σκηνής Object detection Scene flow Transformers Η αυτόνομη οδήγηση εξελίσσεται πολύ γρήγορα τα τελευταία χρόνια, υποσχόμενη περισσότερη ασφάλεια στους δρόμους, άνεση και επιτάχυνση των μετακινήσεων. Βασικός παράγοντας για να φτάσει ο συγκεκριμένος τομέας στο επίπεδο αυτό είναι η ακριβής αναγνώριση και κατανόηση του εξωτερικού περιβάλλοντος του οχήματος. Αυτό σημαίνει ότι το αυτόνομο όχημα είναι σε θέση να εντοπίζει και να κατηγοριοποιεί τα αντικείμενα που βρίσκονται γύρω του, με στόχο την προσαρμογή των ενεργειών του. Υπάρχει πληθώρα αλγορίθμων που εξάγει τα παραπάνω αποτελέσματα με ικανοποιητική ακρίβεια έχοντας ως είσοδο εικόνες ή τρισδιάστατα νέφη σημείων. Στην εργασία αυτή δίνεται βάση στη δεύτερη κατηγορία αλγορίθμων. Το νέφος σημείων προκύπτει από έναν LiDAR αισθητήρα και πιο διαδεδομένος τρόπος επεξεργασίας αυτών είναι με τη χρήση συνελικτικών νευρωνικών δικτύων. Παρ’ όλα αυτά, τελευταία έχουν αρχίσει να αναπτύσσονται αρχιτεκτονικές που βασίζονται στους Transformers. Αυτοί αρχικά χρησιμοποιήθηκαν σε προβλήματα επεξεργασίας φυσικής γλώσσας, αλλά στην πορεία, λόγω της απόδοσης τους, δοκιμάστηκαν και σε άλλους τομείς. Οι πρώτες προσπάθειες στον εντοπισμό αντικειμένων έγιναν με δεδομένα εισόδου εικόνες, ενώ στη συνέχεια έγινε επέκταση της ίδιας λογικής και σε σημεία. Στόχος της συγκεκριμένης διπλωματικής είναι η βελτίωση της απόδοσης της δημοσίευσης “TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers” που στηρίζεται σε Transformers για τον εντοπισμό αντικειμένων. Ο τρόπος για να συμβεί αυτό είναι με προεκπαίδευση του δικτύου, όπως παρουσιάζεται στη δημοσίευση “3D Object Detection with a Self-supervised Lidar Scene Flow Backbone”. Πιο συγκεκριμένα με self-supervised μάθηση και pretext task το scene flow, αρχικοποιούνται οι παράμετροι του δικτύου κορμού της αρχιτεκτονικής TransFusion. Για να είναι εφικτό αυτό, γίνονται τροποποιήσεις στους αλγορίθμους και των δύο δημοσιεύσεων, ενώ παράλληλα επιλέγεται μεικτή ακρίβεια για τους υπολογισμούς λόγω περιορισμών στη διαθέσιμη μνήμη της κάρτας γραφικών. Για την εκπαίδευση και δοκιμή των δικτύων χρησιμοποιήθηκε το Nuscenes σετ δεδομένων. Οι παραπάνω ενέργειες οδήγησαν σε βελτίωση της απόδοσης με βάση τις μετρικές mAP και NDS. Εκτός από αυτό, έγινε μια δεύτερη απόπειρα στην οποία χρησιμοποιήθηκε διαφορετικός scheduler για τον ρυθμό μάθησης και στην οποία υπήρξε μικρή περαιτέρω αύξηση των μετρικών. Autonomous driving has evolved very rapidly in recent years, promising more road safety, comfort and faster journeys. A key factor for this sector to reach this level is the accurate recognition and understanding of the vehicle's external environment. This means that the autonomous vehicle can detect and categorize the objects around it, with a view to adapting its actions. There is a plethora of algorithms that extract the above results with reasonable accuracy having as input images or 3D point clouds. In this paper we focus on the second class of algorithms. The point cloud is derived from a LiDAR sensor and the most common way to process them is by using convolutional neural networks. However, recently architectures based on Transformers have started to be developed. These were initially used in natural language processing problems, but in the course of time, due to their performance, they have been tested in other areas. The first attempts in object detection were made with input data of images, and then the same logic was extended to points. The goal of this thesis is to improve the performance of the publication "TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers" which relies on Transformers for object detection. The way to do this is by pre-training the network, as presented in the paper "3D Object Detection with a Self-supervised Lidar Scene Flow Backbone". More specifically, with self-supervised learning and pretext task the scene flow, the parameters of the TransFusion backbone network are initialized. To make this possible, modifications are made to the algorithms in both publications, while mixed precision is chosen for the computations due to limitations in the available graphics card memory. The Nuscenes dataset was used to train and test the networks. The above actions led to improved performance based on the mAP and NDS metrics. Additionally, a second attempt was made using a different learning rate scheduler and led to a slight further increase in the metrics. 2023-07-07T18:35:42Z 2023-07-07T18:35:42Z 2023-07-06 https://hdl.handle.net/10889/25444 el CC0 1.0 Universal http://creativecommons.org/publicdomain/zero/1.0/ application/pdf |
