Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων
Η παρούσα διπλωματική εργασία μπορεί να χωριστεί σε δύο κομμάτια. Tο πρώτο κομμάτι ασχολείται με την ανίχνευση αντικειμένων στον δυσδιάστατο και τρισδιάστατο χώρο αξιοποιώντας τη συνένωση δεδομένων από πολλαπλούς αισθητήρες σε εφαρμογές αυτόνομης οδήγησης οχημάτων. Περιγράφεται μία καινοτόμα μεγάλης...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/25418 |
| id |
nemertes-10889-25418 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Παραπλανητικές επιθέσεις Τρισδιάστατη ανίχνευση αντικειμένων Αυτόνομη οδήγηση Παραπλανητικά παραδείγματα Τεχνικές άμυνας Adversarial attacks three dimensional object detection Autonomous driving Adversarial examples Defense techniques |
| spellingShingle |
Παραπλανητικές επιθέσεις Τρισδιάστατη ανίχνευση αντικειμένων Αυτόνομη οδήγηση Παραπλανητικά παραδείγματα Τεχνικές άμυνας Adversarial attacks three dimensional object detection Autonomous driving Adversarial examples Defense techniques Τσακτάνης, Γεώργιος Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| description |
Η παρούσα διπλωματική εργασία μπορεί να χωριστεί σε δύο κομμάτια. Tο πρώτο κομμάτι ασχολείται με την ανίχνευση αντικειμένων στον δυσδιάστατο και τρισδιάστατο χώρο αξιοποιώντας τη συνένωση δεδομένων από πολλαπλούς αισθητήρες σε εφαρμογές αυτόνομης οδήγησης οχημάτων. Περιγράφεται μία καινοτόμα μεγάλης ακρίβειας έρευνα που προτείνει την χρήση μίας σύνθετης αρχιτεκτονικής πολλών διαφορετικών δικτύων, τα οποία αξιοποιούν εικόνες ως δυσδιάστατα δεδομένα, καθώς και το βάθος των εικονοστοιχείων ως τρισδιάστατη πληροφορία. Στο δεύτερο κομμάτι της εργασίας επιδιώκεται να γίνει αναφορά και υλοποίηση σε μεθόδους παραπλάνησης δικτύων μηχανικής μάθησης και συγκεκριμένα αυτών της βαθιάς μάθησης. Οι επιθέσεις αυτές επικεντρώνονται στην αλλοίωση των εικόνων και στην εξαγωγή συμπερασμάτων ως προς τα επίπεδα ανθεκτικότητας του συγκεκριμένου συστήματος.
Αναλυτικότερα στο κεφάλαιο 1 , γίνεται μία ιστορική αναδρομή στον χώρο της αυτόνομης οδήγησης, του συστήματος αισθητήρων που παρέχει την δυνατότητα αυτή, ενώ επιπλέον αναφέρονται βασικές έννοιες και εφαρμογές που χρησιμοποιούνται στον κλάδο της υπολογιστικής όρασης γενικότερα.
Στο κεφάλαιο 2 αναπτύσσονται υπάρχουσες μέθοδοι για την ανίχνευση αντικειμένων ,αρχιτεκτονικές που χρησιμοποιούνται καθώς και η εξέλιξη τους από την περίοδο που εμφανίστηκαν έως και το σήμερα. Εμπεριέχεται επίσης μία πιο ενδελεχής περιγραφή των αρχιτεκτονικών βαθιάς μάθησης που συναντώνται στο επιστημονικό πεδίο με έμφαση σε αυτές όπου στηρίχθηκε η παρούσα έρευνα και διπλωματική.
Στο κεφάλαιο 3 εισάγεται η έννοια των παραπλανητικών επιθέσεων και παραδειγμάτων ανοίγοντας έτσι την συζήτηση για θέματα ασφαλείας πάνω σε συστήματα ή αρχιτεκτονικές βαθιάς μάθησης. Γίνονται κατανοητοί οι κίνδυνοι που επιφέρουν οι επιθέσεις, καταλήγοντας σε τεχνικές άμυνας που επικρατούν στον τομέα και επιφέρουν την δυνατότητα στα συστήματα αυτά να παραμένουν σε μεγάλα ποσοστά άτρωτα στις επιθέσεις αυτές. Το κεφάλαιο αυτό κλείνει με τα πιο δημοφιλή παραδείγματα επιθέσεων αλλά και αμυνών, δίνοντας παράλληλα έμφαση στις επιθέσεις που επιλέχθηκαν στην παρούσα εργασία ενώ οι άμυνες σχολιάζονται σε μία περισσότερο θεωρητική βάση.
Το κεφάλαιο 4 όπως και το κεφάλαιο 5 εμπεριέχουν ολόκληρη την πειραματική διαδικασία ξεκινώντας από το κομμάτι της τυπικής ανίχνευσης σε αναλλοίωτα παραδείγματα, συνοδευόμενα με το σύνολο δεδομένων που χρησιμοποιήθηκαν, την πηγή προέλευσης τους και μετρικές – διαγράμματα της διαδικασίας αυτής. Στην συνέχεια αφού ολοκληρωθεί η τυπική τρισδιάστατη ανίχνευση και ταξινόμηση των αντικειμένων, επαναλαμβάνεται η διαδικασία με την μοναδική διαφορά ότι πλέον τα παραδείγματα έχουν προκύψει από παραπλανητικές επιθέσεις. Επεξηγούνται τεχνικά τα βήματα που ακολουθήθηκαν για την δημιουργία - εξαγωγή των παραπλανητικών παραδειγμάτων όπως και λαμβάνει χώρα μια λεπτομερής αναφορά στις επιθέσεις αυτές.
Το κεφάλαιο 6 παραθέτει συμπεράσματα, μελλοντικούς στόχους, ιδέες για εμπλουτισμό και βελτίωση της παρούσας εργασίας. Ταυτόχρονα εμπεριέχει και κάποιες πιο συγκεκριμένες τεχνικές άμυνας κατά των παραπλανητικών παραδειγμάτων που αναπτύχθηκαν πρακτικά. Κλείνοντας η εργασία συνοδεύεται με την πλούσια βιβλιογραφία που αξιοποιήθηκε είτε άμεσα είτε πιο έμμεσα προσφέροντας το απαραίτητο θεωρητικό υπόβαθρο που απαιτήθηκε. |
| author2 |
Tsaktanis, Georgios |
| author_facet |
Tsaktanis, Georgios Τσακτάνης, Γεώργιος |
| author |
Τσακτάνης, Γεώργιος |
| author_sort |
Τσακτάνης, Γεώργιος |
| title |
Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| title_short |
Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| title_full |
Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| title_fullStr |
Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| title_full_unstemmed |
Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| title_sort |
μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/25418 |
| work_keys_str_mv |
AT tsaktanēsgeōrgios meletēkaiylopoiēsētechnikōnbathiasmathēsēsgiaamynaseepitheseisparaplanēsēstōnsystēmatōnorasēsautonomōnochēmatōn AT tsaktanēsgeōrgios studyingandimplementationofdeeplearningtechniquesasdefensemechanismfortheadversarialattacksontheautonomousvehiclesfield |
| _version_ |
1771297293879738368 |
| spelling |
nemertes-10889-254182023-07-08T03:58:51Z Μελέτη και υλοποίηση τεχνικών βαθιάς μάθησης για άμυνα σε επιθέσεις παραπλάνησης των συστημάτων όρασης αυτόνομων οχημάτων Studying and implementation of deep learning techniques as defense mechanism for the adversarial attacks on the autonomous vehicles’ field Τσακτάνης, Γεώργιος Tsaktanis, Georgios Παραπλανητικές επιθέσεις Τρισδιάστατη ανίχνευση αντικειμένων Αυτόνομη οδήγηση Παραπλανητικά παραδείγματα Τεχνικές άμυνας Adversarial attacks three dimensional object detection Autonomous driving Adversarial examples Defense techniques Η παρούσα διπλωματική εργασία μπορεί να χωριστεί σε δύο κομμάτια. Tο πρώτο κομμάτι ασχολείται με την ανίχνευση αντικειμένων στον δυσδιάστατο και τρισδιάστατο χώρο αξιοποιώντας τη συνένωση δεδομένων από πολλαπλούς αισθητήρες σε εφαρμογές αυτόνομης οδήγησης οχημάτων. Περιγράφεται μία καινοτόμα μεγάλης ακρίβειας έρευνα που προτείνει την χρήση μίας σύνθετης αρχιτεκτονικής πολλών διαφορετικών δικτύων, τα οποία αξιοποιούν εικόνες ως δυσδιάστατα δεδομένα, καθώς και το βάθος των εικονοστοιχείων ως τρισδιάστατη πληροφορία. Στο δεύτερο κομμάτι της εργασίας επιδιώκεται να γίνει αναφορά και υλοποίηση σε μεθόδους παραπλάνησης δικτύων μηχανικής μάθησης και συγκεκριμένα αυτών της βαθιάς μάθησης. Οι επιθέσεις αυτές επικεντρώνονται στην αλλοίωση των εικόνων και στην εξαγωγή συμπερασμάτων ως προς τα επίπεδα ανθεκτικότητας του συγκεκριμένου συστήματος. Αναλυτικότερα στο κεφάλαιο 1 , γίνεται μία ιστορική αναδρομή στον χώρο της αυτόνομης οδήγησης, του συστήματος αισθητήρων που παρέχει την δυνατότητα αυτή, ενώ επιπλέον αναφέρονται βασικές έννοιες και εφαρμογές που χρησιμοποιούνται στον κλάδο της υπολογιστικής όρασης γενικότερα. Στο κεφάλαιο 2 αναπτύσσονται υπάρχουσες μέθοδοι για την ανίχνευση αντικειμένων ,αρχιτεκτονικές που χρησιμοποιούνται καθώς και η εξέλιξη τους από την περίοδο που εμφανίστηκαν έως και το σήμερα. Εμπεριέχεται επίσης μία πιο ενδελεχής περιγραφή των αρχιτεκτονικών βαθιάς μάθησης που συναντώνται στο επιστημονικό πεδίο με έμφαση σε αυτές όπου στηρίχθηκε η παρούσα έρευνα και διπλωματική. Στο κεφάλαιο 3 εισάγεται η έννοια των παραπλανητικών επιθέσεων και παραδειγμάτων ανοίγοντας έτσι την συζήτηση για θέματα ασφαλείας πάνω σε συστήματα ή αρχιτεκτονικές βαθιάς μάθησης. Γίνονται κατανοητοί οι κίνδυνοι που επιφέρουν οι επιθέσεις, καταλήγοντας σε τεχνικές άμυνας που επικρατούν στον τομέα και επιφέρουν την δυνατότητα στα συστήματα αυτά να παραμένουν σε μεγάλα ποσοστά άτρωτα στις επιθέσεις αυτές. Το κεφάλαιο αυτό κλείνει με τα πιο δημοφιλή παραδείγματα επιθέσεων αλλά και αμυνών, δίνοντας παράλληλα έμφαση στις επιθέσεις που επιλέχθηκαν στην παρούσα εργασία ενώ οι άμυνες σχολιάζονται σε μία περισσότερο θεωρητική βάση. Το κεφάλαιο 4 όπως και το κεφάλαιο 5 εμπεριέχουν ολόκληρη την πειραματική διαδικασία ξεκινώντας από το κομμάτι της τυπικής ανίχνευσης σε αναλλοίωτα παραδείγματα, συνοδευόμενα με το σύνολο δεδομένων που χρησιμοποιήθηκαν, την πηγή προέλευσης τους και μετρικές – διαγράμματα της διαδικασίας αυτής. Στην συνέχεια αφού ολοκληρωθεί η τυπική τρισδιάστατη ανίχνευση και ταξινόμηση των αντικειμένων, επαναλαμβάνεται η διαδικασία με την μοναδική διαφορά ότι πλέον τα παραδείγματα έχουν προκύψει από παραπλανητικές επιθέσεις. Επεξηγούνται τεχνικά τα βήματα που ακολουθήθηκαν για την δημιουργία - εξαγωγή των παραπλανητικών παραδειγμάτων όπως και λαμβάνει χώρα μια λεπτομερής αναφορά στις επιθέσεις αυτές. Το κεφάλαιο 6 παραθέτει συμπεράσματα, μελλοντικούς στόχους, ιδέες για εμπλουτισμό και βελτίωση της παρούσας εργασίας. Ταυτόχρονα εμπεριέχει και κάποιες πιο συγκεκριμένες τεχνικές άμυνας κατά των παραπλανητικών παραδειγμάτων που αναπτύχθηκαν πρακτικά. Κλείνοντας η εργασία συνοδεύεται με την πλούσια βιβλιογραφία που αξιοποιήθηκε είτε άμεσα είτε πιο έμμεσα προσφέροντας το απαραίτητο θεωρητικό υπόβαθρο που απαιτήθηκε. This thesis is divided into two parts, focusing on object detection in both two-dimensional (2D) and three-dimensional (3D) space using data fusion from multiple sensors in autonomous driving applications. The first part introduces an innovative and high-precision research approach that utilizes a complex architecture consisting of various networks to achieve accurate 3D object detection. This method leverages 2D images and 3D pixel depth information for improved detection accuracy. The second part of the thesis explores the topic of adversarial attacks on machine learning networks, particularly deep learning models. These attacks involve manipulating images to assess the vulnerability of specific systems. At the first chapter the thesis provides a historical overview of autonomous driving, discusses the sensor systems involved, and introduces fundamental concepts and applications in the field of computer vision. Chapter 2 delves into existing methods and architectures for object detection, tracing their evolution from their initial introduction to the present day. The chapter also provides a detailed description of deep learning architectures that are relevant to the research conducted in this thesis. Chapter 3 introduces the concept of adversarial attacks, providing examples and highlighting the security risks they pose to deep learning systems and architectures. It explores defense techniques that aim to protect these systems from such attacks. The chapter concludes with popular examples of attacks and theoretical discussions on defense techniques. Chapters 4 and 5 cover the experimental process, starting with standard detection on the original examples. It includes details about the dataset used, its source, and the metrics and diagrams employed in the process. The 3D detection and classification of objects is then performed, followed by a repetition of the process using adversarial examples this time, created through attack methods. The steps taken to create and export these adversarial examples are explained, and a detailed analysis of the attacks is presented. Chapter 6 summarizes the findings of the thesis, discusses future goals, and suggests ideas for further enrichment and improvement of the work. It also presents specific defense techniques developed practically to mitigate the impact of adversarial examples. The thesis is supported by an extensive bibliography that was referenced for theoretical background and practical implementation. 2023-07-07T06:02:39Z 2023-07-07T06:02:39Z 2023-07-06 https://hdl.handle.net/10889/25418 el CC0 1.0 Universal http://creativecommons.org/publicdomain/zero/1.0/ application/pdf |
