Stereo vision of dual view msg satellite images
Η στερεοσκοπική όραση είναι ένα πεδίο έρευνας στον ευρύτερο τομέα της υπολογιστικής όρασης, με βάση το οποίο προσπαθεί κανείς να εξάγει τρισδιάστατη (3Δ) πληροφορία μιας σκηνής ή ενός αντικειμένου χρησιμοποιώντας δύο όψεις αυτών, κάθε μία από τις οποίες έχει ληφθεί υπό διαφορετική οπτική γωνία. Δ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | English |
| Έκδοση: |
2019
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/12585 |
| id |
nemertes-10889-12585 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
English |
| topic |
Δορυφόροι Σύννεφα Stereo vision Satellite Clouds 006.37 |
| spellingShingle |
Δορυφόροι Σύννεφα Stereo vision Satellite Clouds 006.37 Τσικνάκης, Νικόλαος Stereo vision of dual view msg satellite images |
| description |
Η στερεοσκοπική όραση είναι ένα πεδίο έρευνας στον ευρύτερο τομέα της υπολογιστικής όρασης,
με βάση το οποίο προσπαθεί κανείς να εξάγει τρισδιάστατη (3Δ) πληροφορία μιας σκηνής ή ενός
αντικειμένου χρησιμοποιώντας δύο όψεις αυτών, κάθε μία από τις οποίες έχει ληφθεί υπό διαφορετική
οπτική γωνία. Διάφορες βιομηχανικές και ακαδημαϊκές ερευνητικές εφαρμογές χρησιμοποιούν τεχνικές
στερεοσκοπικής όρασης, όπως το σύστημα πλοήγησης των αυτόνομων οχημάτων, η 3Δ ανακατασκευή
ιστορικών χώρων και άλλα.
Σε αυτή τη διπλωματική εργασία, χρησιμοποιούμε την δυνατότητα που μας προσφέρουν οι
δορυφόροι Meteosat Second Generation (MSG3 και MSG1 οι οποίοι είναι γεωστατικοί δορυφόροι)
για να παρατηρήσουμε την ίδια περιοχή στην Ευρώπη από δύο διαφορετικά γεωγραφικά μήκη, 0°
και 41.5° πάνω από τον Ισημερινό αντίστοιχα για κάθε δορυφόρο. Ο στόχος της διπλωματικής
εργασίας αφορά στην εξαγωγή 3Δ πληροφορίας σχετικά με το ύψος των νέφων πάνω από το Βέλγιο,
εφαρμόζοντας τεχνικές στερεοσκοπικής όρασης. Η πληροφορία αυτή μπορεί να αποδειχθεί πολύ
χρήσιμη για την μετεωρολογική ερευνητική κοινότητα.
Τα δεδομένα που μας δόθηκαν είχαν ήδη υποβληθεί σε κάποια προεπεξεργασία και ειδικότερα
οι εικόνες που αφορούν στον δορυφόρο MSG1 διορθώθηκαν προκειμένου να ταιριάξουν με την
προοπτική των αντίστοιχων εικόνων του δορυφόρου MSG3. Ωστόσο, επειδή παρατηρείται μια σχετική
μετατόπιση μεταξύ των εικόνων του MSG3 και MSG1 σε σχέση με το γεωγραφικό μήκος και πλάτος,
περικόπτουμε τις εικόνες γύρω από μια συγκεκριμένη περιοχή ενδιαφέροντος, πάνω από το Βέλγιο,
προκειμένου να ελαχιστοποιήσουμε την επίδραση αυτής της σχετικής μετατόπισης. Στη συνέχεια,
για να βελτιώσουμε την διόρθωση προσπαθούμε να ευθυγραμμίσουμε δύο εικόνες καθαρού ουρανού
και έπειτα εφαρμόζουμε τον υπολογισμένο μετασχηματισμό σε κάθε ζεύγος περικομμένων εικόνων.
Συγκεκριμένα για την ευθυγράμμιση, συγκρίνουμε δύο μεθόδους. Η πρώτη βασίζεται στη μεγιστοποίηση της αμοιβαίας πληροφορίας (Mutual Information) του ζεύγους εικόνων καθαρού ουρανού με
χρήση του Gradient Descent βελτιστοποιητή και με Powerll βελτιστοποιητή. Η δεύτερη μέθοδος
ευθυγράμμισης βασίζεται στα χαρακτηριστικά των εικόνων. Eιδικότερα για την εξαγωγή και την
περιγραφή αυτών των χαρακτηριστικών συγκρίνουμε τους αλγορίθμους SIFT/SURF και κάνουμε
χρήση του αλγορίθμου RANSAC για να υπολογίσουμε το μετασχηματισμό που απαιτείται για την
ευθυγράμμισή των εικόνων.
Στη συνέχεια, προκειμένου να υπολογιστεί ο χάρτης βάθους και το ύψος των νέφων, συγκρίνουμε δύο μεθόδους στερεοσκοπικής αντιστοίχισης με βάση τα Markov Random Fields. Συγκεκριμένα,
προσπαθούμε να ελαχιστοποιήσουμε μια συνάρτηση ενέργειας χρησιμοποιώντας δύο αλγορίθμους
βασισμένους σε graph cuts, και συγκεκριμένα τους α-Expansion Move και α − β Swap Move αλγορίθμους. Για να επιβεβαιώσουμε την αποτελεσματικότητα της προτεινόμενης λύσης, συγκρίνουμε τα
αποτελέσματα με τα αντίστοιχα δεδομένα LIDAR που μας δόθηκαν. |
| author2 |
Σκόδρας, Αθανάσιος |
| author_facet |
Σκόδρας, Αθανάσιος Τσικνάκης, Νικόλαος |
| format |
Thesis |
| author |
Τσικνάκης, Νικόλαος |
| author_sort |
Τσικνάκης, Νικόλαος |
| title |
Stereo vision of dual view msg satellite images |
| title_short |
Stereo vision of dual view msg satellite images |
| title_full |
Stereo vision of dual view msg satellite images |
| title_fullStr |
Stereo vision of dual view msg satellite images |
| title_full_unstemmed |
Stereo vision of dual view msg satellite images |
| title_sort |
stereo vision of dual view msg satellite images |
| publishDate |
2019 |
| url |
http://hdl.handle.net/10889/12585 |
| work_keys_str_mv |
AT tsiknakēsnikolaos stereovisionofdualviewmsgsatelliteimages AT tsiknakēsnikolaos stereoskopikēorasēgiazeugēeikonōnapodoryphorousmsg |
| _version_ |
1771297263822307328 |
| spelling |
nemertes-10889-125852022-09-05T13:56:25Z Stereo vision of dual view msg satellite images Στερεοσκοπική όραση για ζεύγη εικόνων από δορυφόρους msg Τσικνάκης, Νικόλαος Σκόδρας, Αθανάσιος Σκόδρας, Αθανάσιος Μουστάκας, Κωνσταντίνος Tsiknakis, Nikolaos Δορυφόροι Σύννεφα Stereo vision Satellite Clouds 006.37 Η στερεοσκοπική όραση είναι ένα πεδίο έρευνας στον ευρύτερο τομέα της υπολογιστικής όρασης, με βάση το οποίο προσπαθεί κανείς να εξάγει τρισδιάστατη (3Δ) πληροφορία μιας σκηνής ή ενός αντικειμένου χρησιμοποιώντας δύο όψεις αυτών, κάθε μία από τις οποίες έχει ληφθεί υπό διαφορετική οπτική γωνία. Διάφορες βιομηχανικές και ακαδημαϊκές ερευνητικές εφαρμογές χρησιμοποιούν τεχνικές στερεοσκοπικής όρασης, όπως το σύστημα πλοήγησης των αυτόνομων οχημάτων, η 3Δ ανακατασκευή ιστορικών χώρων και άλλα. Σε αυτή τη διπλωματική εργασία, χρησιμοποιούμε την δυνατότητα που μας προσφέρουν οι δορυφόροι Meteosat Second Generation (MSG3 και MSG1 οι οποίοι είναι γεωστατικοί δορυφόροι) για να παρατηρήσουμε την ίδια περιοχή στην Ευρώπη από δύο διαφορετικά γεωγραφικά μήκη, 0° και 41.5° πάνω από τον Ισημερινό αντίστοιχα για κάθε δορυφόρο. Ο στόχος της διπλωματικής εργασίας αφορά στην εξαγωγή 3Δ πληροφορίας σχετικά με το ύψος των νέφων πάνω από το Βέλγιο, εφαρμόζοντας τεχνικές στερεοσκοπικής όρασης. Η πληροφορία αυτή μπορεί να αποδειχθεί πολύ χρήσιμη για την μετεωρολογική ερευνητική κοινότητα. Τα δεδομένα που μας δόθηκαν είχαν ήδη υποβληθεί σε κάποια προεπεξεργασία και ειδικότερα οι εικόνες που αφορούν στον δορυφόρο MSG1 διορθώθηκαν προκειμένου να ταιριάξουν με την προοπτική των αντίστοιχων εικόνων του δορυφόρου MSG3. Ωστόσο, επειδή παρατηρείται μια σχετική μετατόπιση μεταξύ των εικόνων του MSG3 και MSG1 σε σχέση με το γεωγραφικό μήκος και πλάτος, περικόπτουμε τις εικόνες γύρω από μια συγκεκριμένη περιοχή ενδιαφέροντος, πάνω από το Βέλγιο, προκειμένου να ελαχιστοποιήσουμε την επίδραση αυτής της σχετικής μετατόπισης. Στη συνέχεια, για να βελτιώσουμε την διόρθωση προσπαθούμε να ευθυγραμμίσουμε δύο εικόνες καθαρού ουρανού και έπειτα εφαρμόζουμε τον υπολογισμένο μετασχηματισμό σε κάθε ζεύγος περικομμένων εικόνων. Συγκεκριμένα για την ευθυγράμμιση, συγκρίνουμε δύο μεθόδους. Η πρώτη βασίζεται στη μεγιστοποίηση της αμοιβαίας πληροφορίας (Mutual Information) του ζεύγους εικόνων καθαρού ουρανού με χρήση του Gradient Descent βελτιστοποιητή και με Powerll βελτιστοποιητή. Η δεύτερη μέθοδος ευθυγράμμισης βασίζεται στα χαρακτηριστικά των εικόνων. Eιδικότερα για την εξαγωγή και την περιγραφή αυτών των χαρακτηριστικών συγκρίνουμε τους αλγορίθμους SIFT/SURF και κάνουμε χρήση του αλγορίθμου RANSAC για να υπολογίσουμε το μετασχηματισμό που απαιτείται για την ευθυγράμμισή των εικόνων. Στη συνέχεια, προκειμένου να υπολογιστεί ο χάρτης βάθους και το ύψος των νέφων, συγκρίνουμε δύο μεθόδους στερεοσκοπικής αντιστοίχισης με βάση τα Markov Random Fields. Συγκεκριμένα, προσπαθούμε να ελαχιστοποιήσουμε μια συνάρτηση ενέργειας χρησιμοποιώντας δύο αλγορίθμους βασισμένους σε graph cuts, και συγκεκριμένα τους α-Expansion Move και α − β Swap Move αλγορίθμους. Για να επιβεβαιώσουμε την αποτελεσματικότητα της προτεινόμενης λύσης, συγκρίνουμε τα αποτελέσματα με τα αντίστοιχα δεδομένα LIDAR που μας δόθηκαν. Stereo vision is a field of computer vision research area, which focuses on extracting 3D inform- ation of a scene or an object in a scene using two views of that scene or object, each taken from a different perspective or angle of view. Several industrial and academic research applications use some stereo vision techniques, such as autonomous vehicles’ navigation system, 3D reconstruction of historical sites and many more. In this thesis, we utilize the Meteosat Second Generation Satellites’ capability (MSG3 and MSG1 which are geostationary satellites) to observe the same region over Europe from two different lon- gitudes, specifically 0° and 41.5° over the equator respectively for each satellite. The ultimate ob- jective is to extract 3D information about the clouds’ height over Belgium, by applying stereo vision techniques to the the retrieved images, which can be proved to be very useful for the meteorological research community. The data which the current thesis will rely on were provided by KMI (Royal Meteorological In- stitute of Belgium) and had already undergone some preprocessing. In particular the MSG1 images were rectified in order for them to match the perspective of the corresponding MSG3 images. How- ever, because a relative displacement between the MSG3 and MSG1 images depending on the longit- ude and latitude was observed, we crop the images around a specific region of interest (Belgium) in order to minimize the effect of that relative displacement. Then, in order to refine the rectification we register two clear-sky images and apply the computed transformation to each cropped image pair. We compare two registration methods, one based on maximizing the Mutual Information of the clear-sky image pair using either Gradient Descent or Powerll Optimizers. The second registration method is based on the low level features of the images, and in particular we compare the SIFT/SURF algorithms to extract and describe the features and RANSAC algorithm to estimate the transformation needed in order for them to be registered. Finally, in order to compute the disparity map and estimate the clouds’ height two stereo matching methods based on Markov Random Fields are compared. In particular, we attempt to minimize an energy function using two graph-cut based algorithms, α-Expansion Move and α − β Swap Move. To validate the proposed solution, the results are compared with the corresponding LIDAR data which was made available to us. 2019-10-10T20:43:20Z 2019-10-10T20:43:20Z 2019-07-03 Thesis http://hdl.handle.net/10889/12585 en 0 An error occurred getting the license - uri. application/pdf |
