Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες
Η ιχνηλάτηση χαρακτηριστικών (feature tracking) υπήρξε πάντα πρόκληση για την επιστήμη της υπολογιστικής όρασης. Ο πιο συνηθισμένος τρόπος προσέγγισης της λύσης είναι να θεωρηθεί η ιχνηλάτηση ως ένα πρόβλημα στοίχισης εικόνων μεταξύ διαδοχικών καρέ μίας κάμερας. Το αποτέλεσμα που θα εξαχθεί, περιλαμ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/25481 |
| id |
nemertes-10889-25481 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ιχνηλάτηση αντικειμένων Νευρομορφικοί αισθητήρες Feature tracking ECC Event cameras HasteCorrelation HasteDifference |
| spellingShingle |
Ιχνηλάτηση αντικειμένων Νευρομορφικοί αισθητήρες Feature tracking ECC Event cameras HasteCorrelation HasteDifference Ζαφείρη, Μαρία Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| description |
Η ιχνηλάτηση χαρακτηριστικών (feature tracking) υπήρξε πάντα πρόκληση για την επιστήμη της υπολογιστικής όρασης. Ο πιο συνηθισμένος τρόπος προσέγγισης της λύσης είναι να θεωρηθεί η ιχνηλάτηση ως ένα πρόβλημα στοίχισης εικόνων μεταξύ διαδοχικών καρέ μίας κάμερας. Το αποτέλεσμα που θα εξαχθεί, περιλαμβάνει έναν γεωμετρικό μετασχηματισμό, δηλαδή τη μετατόπιση και την περιστροφή, που μπορεί να χρησιμοποιηθεί για τον ορισμό της κίνησης του τρέχοντος αντικειμένου. Ωστόσο, ιδιαίτερα σημαντικοί περιορισμοί επιβάλλονται όταν τα δεδομένα προέρχονται από την χρήση παραδοσιακών καμερών σε απαιτητικά σενάρια που περιλαμβάνουν υψηλή ταχύτητα και υψηλή δυναμική περιοχή. Οι κλασικές κάμερες αποθανατίζουν τα καρέ με σταθερό ρυθμό και επομένως, όποια πληροφορία για την κίνηση προκύπτει στον χρόνο μεταξύ δύο διαδοχικών καρέ χάνεται. Επιπροσθέτως, κάθε καρέ αποτελείται από τιμές της φωτεινότητας όλων των εικονοστοιχείων της σκηνής συνεχώς ακόμα και όταν δεν προκύπτουν αλλαγές, και συνεπώς, οι παραδοσιακές κάμερες πάσχουν λόγω υποδειγματοληψίας των πιο δυναμικών περιοχών της εικόνας.
Με στόχο να αντιμετωπιστούν οι παραπάνω περιορισμοί, έχουν δημιουργηθεί οι νευρομορφικοί αισθητήρες. Σε αντίθεση με το παραδοσιακό δομικό πλαίσιο, οι κάμερες συμβάντων μεταφέρουν πληροφορία για τις αλλαγές της φωτεινότητας (συμβάντα) του κάθε εικονοστοιχείου. ́Ετσι, όλη η αποκτηθείσα πληροφορία αποθηκεύεται σε μία ασύγχρονη ροή συμβάντων αγνοώντας οποιαδήποτε γνώση σχετικά με τις απόλυτες τιμές τις φωτεινότητας. Παρ’ όλα αυτά, επειδή οι αισθητήρες συμβάντων λειτουργούν δομικά εντελώς διαφορετικά από τις παραδοσιακές κάμερες, χρειάζεται να επανεξεταστούν οι καθιερωμένοι αλγόριθμοι στον τομέα της υπολογιστικής όρασης με σκοπό να παραχθούν αλγόριθμοι «οδηγούμενοι από συμβάντα» που θα ξεκλειδώνουν πλήρως την δυναμική των νευρομορφικών αισθητήρων.
Στην παρούσα διπλωματική εργασία, εμπνευσμένοι από την ιχνηλάτηση πολλαπλών υποθέσεων (HasteCorrelation), επανεξετάζουμε τον αλγόριθμο στοίχισης εικόνων Enhanced Correlation Coefficient (ECC) και δημιουργούμε έναν βελτιωμένο αλγόριθμο ιχνηλάτησης χαρακτηριστικών με μεγαλύτερη ακρίβεια, ως προς το σφάλμα επαναπροβολής (reprojection error), επεξεργάζοντας ακατέργαστα δεδομένα συμβάντων. |
| author2 |
Zafeiri, Maria |
| author_facet |
Zafeiri, Maria Ζαφείρη, Μαρία |
| author |
Ζαφείρη, Μαρία |
| author_sort |
Ζαφείρη, Μαρία |
| title |
Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| title_short |
Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| title_full |
Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| title_fullStr |
Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| title_full_unstemmed |
Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| title_sort |
ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/25481 |
| work_keys_str_mv |
AT zapheirēmaria ichnēlatēsēantikeimenōnmededomenaaponeuromorphikousaisthētētes AT zapheirēmaria featuretrackingwithdatafromneuromorphicsensors |
| _version_ |
1771297127359578112 |
| spelling |
nemertes-10889-254812023-07-12T03:55:37Z Ιχνηλάτηση αντικειμένων με δεδομένα από νευρομορφικούς αισθητήτες Feature tracking with data from neuromorphic sensors Ζαφείρη, Μαρία Zafeiri, Maria Ιχνηλάτηση αντικειμένων Νευρομορφικοί αισθητήρες Feature tracking ECC Event cameras HasteCorrelation HasteDifference Η ιχνηλάτηση χαρακτηριστικών (feature tracking) υπήρξε πάντα πρόκληση για την επιστήμη της υπολογιστικής όρασης. Ο πιο συνηθισμένος τρόπος προσέγγισης της λύσης είναι να θεωρηθεί η ιχνηλάτηση ως ένα πρόβλημα στοίχισης εικόνων μεταξύ διαδοχικών καρέ μίας κάμερας. Το αποτέλεσμα που θα εξαχθεί, περιλαμβάνει έναν γεωμετρικό μετασχηματισμό, δηλαδή τη μετατόπιση και την περιστροφή, που μπορεί να χρησιμοποιηθεί για τον ορισμό της κίνησης του τρέχοντος αντικειμένου. Ωστόσο, ιδιαίτερα σημαντικοί περιορισμοί επιβάλλονται όταν τα δεδομένα προέρχονται από την χρήση παραδοσιακών καμερών σε απαιτητικά σενάρια που περιλαμβάνουν υψηλή ταχύτητα και υψηλή δυναμική περιοχή. Οι κλασικές κάμερες αποθανατίζουν τα καρέ με σταθερό ρυθμό και επομένως, όποια πληροφορία για την κίνηση προκύπτει στον χρόνο μεταξύ δύο διαδοχικών καρέ χάνεται. Επιπροσθέτως, κάθε καρέ αποτελείται από τιμές της φωτεινότητας όλων των εικονοστοιχείων της σκηνής συνεχώς ακόμα και όταν δεν προκύπτουν αλλαγές, και συνεπώς, οι παραδοσιακές κάμερες πάσχουν λόγω υποδειγματοληψίας των πιο δυναμικών περιοχών της εικόνας. Με στόχο να αντιμετωπιστούν οι παραπάνω περιορισμοί, έχουν δημιουργηθεί οι νευρομορφικοί αισθητήρες. Σε αντίθεση με το παραδοσιακό δομικό πλαίσιο, οι κάμερες συμβάντων μεταφέρουν πληροφορία για τις αλλαγές της φωτεινότητας (συμβάντα) του κάθε εικονοστοιχείου. ́Ετσι, όλη η αποκτηθείσα πληροφορία αποθηκεύεται σε μία ασύγχρονη ροή συμβάντων αγνοώντας οποιαδήποτε γνώση σχετικά με τις απόλυτες τιμές τις φωτεινότητας. Παρ’ όλα αυτά, επειδή οι αισθητήρες συμβάντων λειτουργούν δομικά εντελώς διαφορετικά από τις παραδοσιακές κάμερες, χρειάζεται να επανεξεταστούν οι καθιερωμένοι αλγόριθμοι στον τομέα της υπολογιστικής όρασης με σκοπό να παραχθούν αλγόριθμοι «οδηγούμενοι από συμβάντα» που θα ξεκλειδώνουν πλήρως την δυναμική των νευρομορφικών αισθητήρων. Στην παρούσα διπλωματική εργασία, εμπνευσμένοι από την ιχνηλάτηση πολλαπλών υποθέσεων (HasteCorrelation), επανεξετάζουμε τον αλγόριθμο στοίχισης εικόνων Enhanced Correlation Coefficient (ECC) και δημιουργούμε έναν βελτιωμένο αλγόριθμο ιχνηλάτησης χαρακτηριστικών με μεγαλύτερη ακρίβεια, ως προς το σφάλμα επαναπροβολής (reprojection error), επεξεργάζοντας ακατέργαστα δεδομένα συμβάντων. Feature tracking has always been a challenge in computer vision. The most common way to unravel its solution is to consider tracking as an image registration problem applied between continuous frames. The outcome of the above includes a spatial transformation, i.e., translation and rotation, which can be used to define the motion of the current object. However, significant constraints are enforced when data derive from using traditional cameras in demanding scenarios that involve high speed and high dynamic range. Standard cameras capture each scene at a constant rate and thus, any information about motion in the time between consecutive frames is missed. Furthermore, each frame consists of brightness measurements for all pixels continuously even if no change is occurred, and as a result, traditional cameras can suffer from under sampling the most dynamic parts of an image. In order to handle the aforementioned limitations, event sensors have been introduced. In contrast with traditional frameworks, event cameras carry information about changes of brightness (events) for each pixel. Consequently, all information is acquired in an asynchronous stream of events discarding knowledge about absolute intensity values. Nevertheless, as event sensors function in a structurally different way compared to traditional cameras, the state-of-the-art algorithms in computer vision need to be revisited in order to proceed to “event-driven” algorithms and fully unlock event cameras potential. In this work, inspired by the multi-hypotheses tracking introduced as HasteCorrelation, we revisit image alignment using Enhanced Correlation Coefficient (ECC) and construct an improved algorithm that tracks features in a higher accuracy, as measured by reprojection error, processing only raw events data. 2023-07-11T10:30:30Z 2023-07-11T10:30:30Z 2023-07-10 https://hdl.handle.net/10889/25481 el Attribution-NonCommercial-NoDerivs 3.0 United States http://creativecommons.org/licenses/by-nc-nd/3.0/us/ application/pdf |
