Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks

Self-driving is a very important topic that is being researched both by large automotive organizations and the academic world. The creation and deployment of self-driving vehicles is expected to dramatically reduce road accidents and improve the quality of life of millions of people. However, despit...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Λαγουτάρης, Βασίλειος
Άλλοι συγγραφείς: Lagoutaris, Vasileios
Γλώσσα:English
Έκδοση: 2022
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/16194
id nemertes-10889-16194
record_format dspace
institution UPatras
collection Nemertes
language English
topic Self-driving
Motion prediction
Neural networks
Αυτόνομη οδήγηση
Πρόβλεψη κίνησης
Νευρωνικά δίκτυα
spellingShingle Self-driving
Motion prediction
Neural networks
Αυτόνομη οδήγηση
Πρόβλεψη κίνησης
Νευρωνικά δίκτυα
Λαγουτάρης, Βασίλειος
Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
description Self-driving is a very important topic that is being researched both by large automotive organizations and the academic world. The creation and deployment of self-driving vehicles is expected to dramatically reduce road accidents and improve the quality of life of millions of people. However, despite all the attention self-driving vehicles have been getting, they still have a long way to go before matching the performance of the best human drivers. That is because the problem of successfully creating a self-driving vehicle is very complex and consists of multiple subproblems. An essential prerequisite for self-driving to become a reality, is the ability of the self-driving vehicle to be able to anticipate the behavior of other moving agents in its environment. If the self-driving vehicle is able to successfully predict the movement of the agents around it, then it would have an easier time generating the trajectory that it will itself follow, while maximizing safety for everyone. As has happened in many scientific areas within the last few years, deep learning-based methods have dominated this field. These methods are based on Neural Networks which can be Recurrent Neural Networks (RNNs) or Convolutional Neural Networks (CNNs), among others. In this work a few different approaches from each category are presented and compared between each other. The first approaches to tackle the problem of motion prediction that will be presented, are based on Recurrent Neural Networks and more specifically in the encoder-decoder architecture, which has shown great results in time-series applications. In addition, a method from a recent paper based on Convolutional Neural Networks is presented, as CNNs are able to model spatial interactions in images, which often appear in self-driving applications. Finally, two variations of a novel hybrid method that combines Recurrent and Convolutional Neural Networks are presented. This method takes as input a Bird’s Eye View image, which is a representation of the driving scene as it would be viewed from the sky. From this image a Convolutional Neural Network can model the spatial interactions between moving agents. The features it extracts from the image are used in the decoder of a sequence to sequence model to aid with the prediction of the moving agent’s future trajectories. All the examined models were trained and evaluated on the Lyft Level 5 Motion Prediction Dataset, which is the largest and most detailed publicly available self-driving dataset for motion prediction. Moreover, all methods were compared with the results achieved by researchers and professionals in the Kaggle competition titled “Lyft Motion Prediction for Autonomous Vehicles”, that took place in late 2020.
author2 Lagoutaris, Vasileios
author_facet Lagoutaris, Vasileios
Λαγουτάρης, Βασίλειος
author Λαγουτάρης, Βασίλειος
author_sort Λαγουτάρης, Βασίλειος
title Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
title_short Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
title_full Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
title_fullStr Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
title_full_unstemmed Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
title_sort motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks
publishDate 2022
url http://hdl.handle.net/10889/16194
work_keys_str_mv AT lagoutarēsbasileios motionpredictionfortrafficscenarioswithhybridrecurrentconvolutionalneuralnetworks
AT lagoutarēsbasileios problepsēkinēsēssesenariakyklophoriasmeybridikaanatrophodotoumenasyneliktikaneurōnikadiktya
_version_ 1771297259194941440
spelling nemertes-10889-161942022-09-05T13:58:58Z Motion prediction for traffic scenarios with hybrid recurrent-convolutional neural networks Πρόβλεψη κίνησης σε σενάρια κυκλοφορίας με υβριδικά ανατροφοδοτούμενα-συνελικτικά νευρωνικά δίκτυα Λαγουτάρης, Βασίλειος Lagoutaris, Vasileios Self-driving Motion prediction Neural networks Αυτόνομη οδήγηση Πρόβλεψη κίνησης Νευρωνικά δίκτυα Self-driving is a very important topic that is being researched both by large automotive organizations and the academic world. The creation and deployment of self-driving vehicles is expected to dramatically reduce road accidents and improve the quality of life of millions of people. However, despite all the attention self-driving vehicles have been getting, they still have a long way to go before matching the performance of the best human drivers. That is because the problem of successfully creating a self-driving vehicle is very complex and consists of multiple subproblems. An essential prerequisite for self-driving to become a reality, is the ability of the self-driving vehicle to be able to anticipate the behavior of other moving agents in its environment. If the self-driving vehicle is able to successfully predict the movement of the agents around it, then it would have an easier time generating the trajectory that it will itself follow, while maximizing safety for everyone. As has happened in many scientific areas within the last few years, deep learning-based methods have dominated this field. These methods are based on Neural Networks which can be Recurrent Neural Networks (RNNs) or Convolutional Neural Networks (CNNs), among others. In this work a few different approaches from each category are presented and compared between each other. The first approaches to tackle the problem of motion prediction that will be presented, are based on Recurrent Neural Networks and more specifically in the encoder-decoder architecture, which has shown great results in time-series applications. In addition, a method from a recent paper based on Convolutional Neural Networks is presented, as CNNs are able to model spatial interactions in images, which often appear in self-driving applications. Finally, two variations of a novel hybrid method that combines Recurrent and Convolutional Neural Networks are presented. This method takes as input a Bird’s Eye View image, which is a representation of the driving scene as it would be viewed from the sky. From this image a Convolutional Neural Network can model the spatial interactions between moving agents. The features it extracts from the image are used in the decoder of a sequence to sequence model to aid with the prediction of the moving agent’s future trajectories. All the examined models were trained and evaluated on the Lyft Level 5 Motion Prediction Dataset, which is the largest and most detailed publicly available self-driving dataset for motion prediction. Moreover, all methods were compared with the results achieved by researchers and professionals in the Kaggle competition titled “Lyft Motion Prediction for Autonomous Vehicles”, that took place in late 2020. Η αυτόνομη οδήγηση είναι ένα πολύ σημαντικό θέμα, το οποίο μελετάται τόσο από μεγάλες αυτοκινητοβιομηχανίες όσο και από τον ακαδημαϊκό κόσμο. Εκτιμάται ότι η δημιουργία και η ανάπτυξη αυτοκινούμενων οχημάτων θα μειώσει δραματικά τα οδικά ατυχήματα και θα βελτιώσει την ποιότητα ζωής εκατομμυρίων ανθρώπων. ΄Ομως, παρόλη την προσοχή που έχουν τραβήξει τα αυτοκινούμενα οχήματα, έχουν πολύ δρόμο ακόμα μπροστά τους πριν φτάσουν την απόδοση των καλύτερων ανθρώπων οδηγών. Αυτό συμβαίνει διότι το πρόβλημα της επιτυχούς δημιουργίας ενός αυτοκινούμενου οχήματος είναι ιδιαίτερα περίπλοκο και αποτελείται από πληθώρα υποπροβλημάτων. Μια βασική προϋπόθεση για να γίνει η αυτόνομη οδήγηση πραγματικότητα, είναι το αυτοκινούμενο όχημα να έχει την δυνατότητα να αναμένει την συμπεριφορά των υπολοίπων κινούμενων πρακτόρων στο περιβάλλον του. Αν το αυτοκινούμενο όχημα είναι σε θέση να προβλέπει επιτυχώς την τροχιά των πρακτόρων που βρίσκονται γύρω του, τότε θα μπορεί ευκολότερα να παράγει την τροχιά που το ίδιο θα ακολουθήσει, μεγιστοποιώντας την ασφάλεια για όλους. ΄Οπως έχει συμβεί σε πολλές επιστημονικές περιοχές τα τελευταία χρόνια, οι μέθοδοι που βασίζονται στην βαθιά μάθηση έχουν επικρατήσει σε αυτόν τον τομέα. Αυτές οι μέθοδοι βασίζονται στα νευρωνικά δίκτυα, τα οποία μπορεί να είναι ανατροφοδοτούμενα νευρωνικά δίκτυα ή συνελικτικά νευρωνικά δίκτυα μεταξύ άλλων. Σε αυτήν την δουλειά θα παρουσιαστούν μερικές μέθοδοι από κάθε κατηγορία και θα γίνουν συγκρίσεις μεταξύ τους. Οι πρώτες προσεγγίσεις για την λύση του προβλήματος της πρόβλεψης κίνησης που θα παρουσιαστούν, βασίζονται στα ανατροφοδοτούμενα νευρωνικά δίκτυα και πιο συγκεκριμένα στην αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή, που έχει παράγει σπουδαία αποτελέσματα σε εφαρμογές χρονοσειρών. Επιπλέον, θα παρουσιαστεί μια μέθοδος από μία πρόσφατη δημοσίευση η οποία βασίζεται στα συνελικτικά νευρωνικά δίκτυα, καθώς αυτά έχουν την δυνατότητα να μοντελοποιήσουν χωρικές αλληλεπιδράσεις σε εικόνες, οι οποίες εμφανίζονται συχνά σε εφαρμογές αυτόνομης οδήγησης. Τέλος, θα παρουσιαστούν δύο παραλλαγές μίας καινοτόμου υβριδικής μεθόδου, η οποία συνδυάζει ανατροφοδοτούμενα και συνελικτικά νευρωνικά δίκτυα. Αυτή η μέθοδος λαμβάνει ως είσοδο μια πανοραμική εικόνα της οδηγικής σκηνής όπως θα φαινόταν από ψηλά. Από αυτήν την εικόνα ένα συνελικτικό νευρωνικό δίκτυο μπορεί να μοντελοποιήσει της χωρικές αλληλεπιδράσεις μεταξύ των κινούμενων πρακτόρων. Τα χαρακτηριστικά που εξάγει από την εικόνα χρησιμοποιούνται στον αποκωδικοποιητή ενός μοντέλου ακολουθίας σε ακολουθία για να συμβάλουν στην πρόβλεψη των τροχιών των κινούμενων πρακτόρων. ΄Ολα τα μοντέλα που θα εξεταστούν, εκπαιδεύτηκαν και αξιολογήθηκαν στο σετ δεδομένων για πρόβλεψη κίνησης της Lyft Level 5, το οποίο είναι το μεγαλύτερο και πιο λεπτομερές, δημοσίως διαθέσιμο σετ δεδομένων για πρόβλεψη κίνησης. Επιπλέον, όλες οι μέθοδοι συγκρίθηκαν με τα αποτελέσματα που πέτυχαν ερευνητές και επαγγελματίες στον διαγωνισμό Kaggle με τίτλο “Lyft Motion Prediction for Autonomous Vehicles”, που έλαβε χώρα στα τέλη του 2020. 2022-05-17T05:34:09Z 2022-05-17T05:34:09Z 2022-05-16 http://hdl.handle.net/10889/16194 en application/pdf