Vehicle and license plate recognition from video in real time on embedded systems

Object detection is a computer technology field related to image processing and computer vision. Object detection deals with locating and identifying an object belonging to a specific class in an image or a video. In recent years, object detection in real time has been part of many research and indu...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας: Δενάζη, Ειρήνη
Άλλοι συγγραφείς: Σκόδρας, Αθανάσιος
Μορφή: Thesis
Γλώσσα:English
Έκδοση: 2020
Θέματα:
Διαθέσιμο Online:http://hdl.handle.net/10889/13861
id nemertes-10889-13861
record_format dspace
institution UPatras
collection Nemertes
language English
topic Video processing
Deep learning
Επεξεργασία βίντεο
Βαθιά μάθηση
spellingShingle Video processing
Deep learning
Επεξεργασία βίντεο
Βαθιά μάθηση
Δενάζη, Ειρήνη
Vehicle and license plate recognition from video in real time on embedded systems
description Object detection is a computer technology field related to image processing and computer vision. Object detection deals with locating and identifying an object belonging to a specific class in an image or a video. In recent years, object detection in real time has been part of many research and industrial applications, especially after the breakout popularity of Convolutional Neural Networks. Some of those applications are self-driving cars, medical imaging interpretation, anomaly detection in scenes, face detection etc. In this thesis, we use and compare many different methods and approaches, in order to detect vehicles from a given video in real time. After a vehicle is detected, we extract the license plate number. The above methods are used on an embedded system. We train object detection and OCR models offline and the use them on the embedded system of choice: The Raspberry Pi. For the car detection portion of this thesis, several different Convolutional Neural Networks have been used. Training data is a mosaic of different datasets, in order to create a better model. Some pre-trained models are also used. All methods have one thing in common: they not only detect the vehicle, but its coordinates in the image. After a vehicle is detected, an edge detection algorithm is used to detect the position of the license plate and crop the image. Lastly, the cropped image is used as input to an OCR algorithm, which extracts the license plate number. All the above is applied in each frame of a video. We encounter each frame as an independent image, for simplicity.
author2 Σκόδρας, Αθανάσιος
author_facet Σκόδρας, Αθανάσιος
Δενάζη, Ειρήνη
format Thesis
author Δενάζη, Ειρήνη
author_sort Δενάζη, Ειρήνη
title Vehicle and license plate recognition from video in real time on embedded systems
title_short Vehicle and license plate recognition from video in real time on embedded systems
title_full Vehicle and license plate recognition from video in real time on embedded systems
title_fullStr Vehicle and license plate recognition from video in real time on embedded systems
title_full_unstemmed Vehicle and license plate recognition from video in real time on embedded systems
title_sort vehicle and license plate recognition from video in real time on embedded systems
publishDate 2020
url http://hdl.handle.net/10889/13861
work_keys_str_mv AT denazēeirēnē vehicleandlicenseplaterecognitionfromvideoinrealtimeonembeddedsystems
AT denazēeirēnē anagnōrisēochēmatōnkaipinakidōnapobinteosepragmatikochronoseensōmatōmenasystēmata
_version_ 1771297267490226176
spelling nemertes-10889-138612022-09-05T14:07:16Z Vehicle and license plate recognition from video in real time on embedded systems Αναγνώριση οχημάτων και πινακίδων από βίντεο σε πραγματικό χρόνο σε ενσωματωμένα συστήματα Δενάζη, Ειρήνη Σκόδρας, Αθανάσιος Δερματάς, Ευάγγελος Denazi, Eirini Video processing Deep learning Επεξεργασία βίντεο Βαθιά μάθηση Object detection is a computer technology field related to image processing and computer vision. Object detection deals with locating and identifying an object belonging to a specific class in an image or a video. In recent years, object detection in real time has been part of many research and industrial applications, especially after the breakout popularity of Convolutional Neural Networks. Some of those applications are self-driving cars, medical imaging interpretation, anomaly detection in scenes, face detection etc. In this thesis, we use and compare many different methods and approaches, in order to detect vehicles from a given video in real time. After a vehicle is detected, we extract the license plate number. The above methods are used on an embedded system. We train object detection and OCR models offline and the use them on the embedded system of choice: The Raspberry Pi. For the car detection portion of this thesis, several different Convolutional Neural Networks have been used. Training data is a mosaic of different datasets, in order to create a better model. Some pre-trained models are also used. All methods have one thing in common: they not only detect the vehicle, but its coordinates in the image. After a vehicle is detected, an edge detection algorithm is used to detect the position of the license plate and crop the image. Lastly, the cropped image is used as input to an OCR algorithm, which extracts the license plate number. All the above is applied in each frame of a video. We encounter each frame as an independent image, for simplicity. Ανίχνευση αντικειμένων είναι ένα πεδίο της τεχνολογίας υπολογιστών που σχετίζεται με την επεξεργασία εικόνας και την υπολογιστική. Η ανίχνευση αντικειμένων ασχολείται με τον εντοπισμό και την αναγνώριση ενός αντικειμένου που ανήκει σε μια συγκεκριμένη κατηγορία από μια εικόνα ή ένα βίντεο. Τα τελευταία χρόνια, η ανίχνευση αντικειμένων σε πραγματικό χρόνο αποτελεί μέρος πολλών ερευνητικών και βιομηχανικών εφαρμογών, ειδικά μετά τη δημοτικότητα των συνελικτικών νευρωνικών δικτύων. Ορισμένες από αυτές τις εφαρμογές είναι τα αυτό-οδηγούμενα αυτοκίνητα, η απεικόνιση και ερμηνεία ιατρικών εικόνων, η ανίχνευση ανωμαλιών σε φυσικές σκηνές, η ανίχνευση προσώπου κα. Σε αυτή τη διπλωματική, χρησιμοποιούμε και συγκρίνουμε διάφορες μεθόδους, προκειμένου να ανιχνεύσουμε οχήματα από ένα δεδομένο βίντεο σε πραγματικό χρόνο. Μετά την ανίχνευση ενός οχήματος, εξάγουμε τον αριθμό της πινακίδας κυκλοφορίας. Οι παραπάνω μέθοδοι θα χρησιμοποιηθούν σε ενσωματωμένο σύστημα. Εκπαιδεύουμε τα μοντέλα ανίχνευσης αντικειμένων και οπτικής αναγνώρισης χαρακτήρων και τα χρησιμοποιούμε προ-εκπαιδευμένα σε ενσωματωμένο σύστημα επιλογής, στην συγκριμένη περίπτωση ένα Raspberry Pi. Για το κομμάτι της ανίχνευσης αυτοκινήτων αυτής της εργασίας, έχουν χρησιμοποιηθεί αρκετά διαφορετικά μοντέλα συνελικτικών νευρωνικών δικτύων. Τα δεδομένα εκπαίδευσης είναι ένα μωσαϊκό διαφορετικών συνόλων δεδομένων, προκειμένου να δημιουργηθεί ένα καλύτερο μοντέλο. Χρησιμοποιούνται επίσης ορισμένα προ-εκπαιδευμένα μοντέλα. Όλες οι μέθοδοι έχουν ένα κοινό χαρακτηριστικό: όχι μόνο ανιχνεύουν το όχημα, αλλά και τις συντεταγμένες του στην εικόνα. Μετά την ανίχνευση ενός οχήματος, χρησιμοποιείται ένας αλγόριθμος ανίχνευσης ακμών για την ανίχνευση της θέσης της πινακίδας και την περικοπή της πινακίδας. Τέλος, η περικομμένη εικόνα χρησιμοποιείται ως είσοδος σε έναν αλγόριθμο οπτικής αναγνώρισης χαρακτήρων, ο οποίος εξάγει τον αριθμό της πινακίδας κυκλοφορίας. Όλα τα παραπάνω εφαρμόζονται σε κάθε πλαίσιο ενός βίντεο. Αντιμετωπίζουμε κάθε στιγμιότυπο ως ανεξάρτητη εικόνα, για απλότητα. 2020-10-02T09:27:10Z 2020-10-02T09:27:10Z 2020-02-28 Thesis http://hdl.handle.net/10889/13861 en 6 application/pdf