Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα
Τα 3D point cloud, λόγω της απλότητας και ευελιξίας που διαθέτουν, αποτελούν συχνή επιλογή αναπαράστασης για πολλές εφαρμογές υπολογιστικής όρασης και γραφικών, και έτσι η δυνατότητα υψηλής ποιότητας ανακατασκευής τους καθίσταται ζωτικής σημασίας. Καθώς οι λύσεις τρισδιάστατης σάρωσης γίνονται ολοέν...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2020
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/13382 |
| id |
nemertes-10889-13382 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ολοκλήρωση point cloud Αυτοκωδικοποιητής Συνέλιξη 3D σημείων Γεωμετρική βαθιά μάθηση Υπολογιστική όραση Point cloud completion Autoencoder 3D point convolution Geometric deep learning Computer vision |
| spellingShingle |
Ολοκλήρωση point cloud Αυτοκωδικοποιητής Συνέλιξη 3D σημείων Γεωμετρική βαθιά μάθηση Υπολογιστική όραση Point cloud completion Autoencoder 3D point convolution Geometric deep learning Computer vision Κουγιανός, Γεράσιμος Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| description |
Τα 3D point cloud, λόγω της απλότητας και ευελιξίας που διαθέτουν, αποτελούν συχνή επιλογή αναπαράστασης για πολλές εφαρμογές υπολογιστικής όρασης και γραφικών, και έτσι η δυνατότητα υψηλής ποιότητας ανακατασκευής τους καθίσταται ζωτικής σημασίας. Καθώς οι λύσεις τρισδιάστατης σάρωσης γίνονται ολοένα και πιο δημοφιλείς, έχουν αναπτυχθεί αρ- κετές αρχιτεκτονικές βαθιάς μάθησης με σκοπό την ολοκλήρωση ημιτελών σαρώσεων. Το σύστημα που αναπτύχθηκε στα πλαίσια αυτής της διπλωματικής εργασίας αποτελείται από ένα νευρωνικό δίκτυο δομής αυτοκωδικοποιητή και είναι ένα πλήρες σύστημα ολοκλήρωσης υψηλής ανάλυσης αραιών και ημιτελών point cloud, το οποίο παρέχει καλύτερα αποτελέσμα- τα από ογκομετρικές μεθόδους ολοκλήρωσης, έχοντας λιγότερες παραμέτρους δικτύου. Ο κωδικοποιητής χρησιμοποιεί έναν τελεστή τοπικής συνέλιξης 3D σημείων ο οποίος δέχεται μια γειτονιά σφαίρας και την επεξεργάζεται με βάρη που έχουν χωρικά τοποθετηθεί ως ένα μικρό σύνολο σημείων πυρήνα. Με τον τρόπο αυτό λαμβάνονται υπ ́ όψιν και κωδικοποιούνται αποδοτικά τοπικές χωρικές σχέσεις των δεδομένων, σε αντίθεση με ήδη υπάρχουσες δομές κωδικοποιητών για ολοκλήρωση σχημάτων, οι οποίες χρησιμοποιούν καθολική εμβέλεια κατά την εξαγωγή χαρακτηριστικών. Ο συγκεκριμένος τελεστής συνέλιξης διαθέτει δύο παραλλα- γές, την άκαμπτη και την παραμορφώσιμη, από τις οποίες η παραμορφώσιμη είναι ικανή στο να προσαρμόζεται στην τοπική γεωμετρία του σχήματος με εκπαιδεύσιμες μετατοπίσεις των σημείων πυρήνα. Επιπλέον χρησιμοποιείται μια μέθοδος τακτικής υποδειγματοληψίας σημείων εισόδου ανά επίπεδο η οποία σε συνδυασμό με την γειτονιά σφαίρας παρέχεται στο σύστη- μα ευρωστία σε θόρυβο και διαφορές πυκνότητας. Ο αποκωδικοποιητής του υλοποιημένου συστήματος αποτελεί υβριδική δομή που συνδυάζει τα πλεονεκτήματα πλήρως συνδεδεμένων επιπέδων και τελεστών αναδίπλωσης, παράγοντας έξοδο πολλαπλών επιπέδων ανάλυσης.
Το υλοποιημένο μοντέλο εκπαιδεύτηκε σε οχτώ κατηγορίες αντικειμένων του συνόλου δεδομένων ShapeNet2048 και αξιολογήθηκε εκτενώς σε συνθετικά μοντέλα καθώς και σε δε- δομένα σάρωσης αισθητήρων, και καθίσταται υποψήφιο για ταχύτατη ολοκλήρωση εξαιρετικά αραιών, πραγματικών δεδομένων αισθητήρα. Επιπλέον το μοντέλο ως ενσωματωμένη μονάδα σε ευρύτερο σύστημα, εκτιμήθηκε ικανό στο να βελτιώσει τα αποτελέσματα εφαρμογών, στις οποίες υπάρχει ανάγκη για πιο ολοκληρωμένες εισόδους. Στην συγκεκριμένη εργασία η μέθο- δος εφαρμόστηκε για επίλυση προβλημάτων στοίχισης point cloud και ανάκτησης όμοιου μοντέλου. |
| author2 |
Μουστάκας, Κωνσταντίνος |
| author_facet |
Μουστάκας, Κωνσταντίνος Κουγιανός, Γεράσιμος |
| format |
Thesis |
| author |
Κουγιανός, Γεράσιμος |
| author_sort |
Κουγιανός, Γεράσιμος |
| title |
Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| title_short |
Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| title_full |
Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| title_fullStr |
Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| title_full_unstemmed |
Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| title_sort |
ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα |
| publishDate |
2020 |
| url |
http://hdl.handle.net/10889/13382 |
| work_keys_str_mv |
AT kougianosgerasimos oloklērōsēēmitelōnpointcloudmechrēsēsyneliktikouneurōnikoudiktyousēmeiōnpyrēna AT kougianosgerasimos partialpointcloudcompletionusingneuralnetworkswithkernelpointconvolution |
| _version_ |
1771297355656593408 |
| spelling |
nemertes-10889-133822022-09-05T20:48:17Z Ολοκλήρωση ημιτελών point cloud με χρήση συνελικτικού νευρωνικού δικτύου σημείων πυρήνα Partial point cloud completion using neural networks with kernel point convolution Κουγιανός, Γεράσιμος Μουστάκας, Κωνσταντίνος Μπερμπερίδης, Κωνσταντίνος Μουστάκας, Κωνσταντίνος Δερματάς, Ευάγγελος Μπερμπερίδης, Κωνσταντίνος Kougianos, Gerasimos Ολοκλήρωση point cloud Αυτοκωδικοποιητής Συνέλιξη 3D σημείων Γεωμετρική βαθιά μάθηση Υπολογιστική όραση Point cloud completion Autoencoder 3D point convolution Geometric deep learning Computer vision Τα 3D point cloud, λόγω της απλότητας και ευελιξίας που διαθέτουν, αποτελούν συχνή επιλογή αναπαράστασης για πολλές εφαρμογές υπολογιστικής όρασης και γραφικών, και έτσι η δυνατότητα υψηλής ποιότητας ανακατασκευής τους καθίσταται ζωτικής σημασίας. Καθώς οι λύσεις τρισδιάστατης σάρωσης γίνονται ολοένα και πιο δημοφιλείς, έχουν αναπτυχθεί αρ- κετές αρχιτεκτονικές βαθιάς μάθησης με σκοπό την ολοκλήρωση ημιτελών σαρώσεων. Το σύστημα που αναπτύχθηκε στα πλαίσια αυτής της διπλωματικής εργασίας αποτελείται από ένα νευρωνικό δίκτυο δομής αυτοκωδικοποιητή και είναι ένα πλήρες σύστημα ολοκλήρωσης υψηλής ανάλυσης αραιών και ημιτελών point cloud, το οποίο παρέχει καλύτερα αποτελέσμα- τα από ογκομετρικές μεθόδους ολοκλήρωσης, έχοντας λιγότερες παραμέτρους δικτύου. Ο κωδικοποιητής χρησιμοποιεί έναν τελεστή τοπικής συνέλιξης 3D σημείων ο οποίος δέχεται μια γειτονιά σφαίρας και την επεξεργάζεται με βάρη που έχουν χωρικά τοποθετηθεί ως ένα μικρό σύνολο σημείων πυρήνα. Με τον τρόπο αυτό λαμβάνονται υπ ́ όψιν και κωδικοποιούνται αποδοτικά τοπικές χωρικές σχέσεις των δεδομένων, σε αντίθεση με ήδη υπάρχουσες δομές κωδικοποιητών για ολοκλήρωση σχημάτων, οι οποίες χρησιμοποιούν καθολική εμβέλεια κατά την εξαγωγή χαρακτηριστικών. Ο συγκεκριμένος τελεστής συνέλιξης διαθέτει δύο παραλλα- γές, την άκαμπτη και την παραμορφώσιμη, από τις οποίες η παραμορφώσιμη είναι ικανή στο να προσαρμόζεται στην τοπική γεωμετρία του σχήματος με εκπαιδεύσιμες μετατοπίσεις των σημείων πυρήνα. Επιπλέον χρησιμοποιείται μια μέθοδος τακτικής υποδειγματοληψίας σημείων εισόδου ανά επίπεδο η οποία σε συνδυασμό με την γειτονιά σφαίρας παρέχεται στο σύστη- μα ευρωστία σε θόρυβο και διαφορές πυκνότητας. Ο αποκωδικοποιητής του υλοποιημένου συστήματος αποτελεί υβριδική δομή που συνδυάζει τα πλεονεκτήματα πλήρως συνδεδεμένων επιπέδων και τελεστών αναδίπλωσης, παράγοντας έξοδο πολλαπλών επιπέδων ανάλυσης. Το υλοποιημένο μοντέλο εκπαιδεύτηκε σε οχτώ κατηγορίες αντικειμένων του συνόλου δεδομένων ShapeNet2048 και αξιολογήθηκε εκτενώς σε συνθετικά μοντέλα καθώς και σε δε- δομένα σάρωσης αισθητήρων, και καθίσταται υποψήφιο για ταχύτατη ολοκλήρωση εξαιρετικά αραιών, πραγματικών δεδομένων αισθητήρα. Επιπλέον το μοντέλο ως ενσωματωμένη μονάδα σε ευρύτερο σύστημα, εκτιμήθηκε ικανό στο να βελτιώσει τα αποτελέσματα εφαρμογών, στις οποίες υπάρχει ανάγκη για πιο ολοκληρωμένες εισόδους. Στην συγκεκριμένη εργασία η μέθο- δος εφαρμόστηκε για επίλυση προβλημάτων στοίχισης point cloud και ανάκτησης όμοιου μοντέλου. 3D point clouds have become the representation of choice for multiple computer vision and graphics applications due to their simplicity and flexibility, and thus the ability to reconstruct high-fidelity point clouds has become crucial. As 3D scanning solutions be- come increasingly popular, several deep learning architectures have been developed for the task of completing partial scans. The system that was developed in the context of this thesis is composed of an autoencoder structured neural network and is a high-resolution partial and sparse point cloud completion system, which performs better than volumetric- based methods while containing less model parameters. The encoder uses a local 3D point convolution operator which takes sphere neighborhoods as input and processes them with weights spatially located by a small set of kernel points. In this way, local spatial relationships of the data are considered and encoded efficiently, contrarily to previous shape completion encoder structures which use a global scope during feature extraction. Aside from the rigid version, the convolution operator used also provides a deformable version, that learns local shifts effectively deforming the convolution kernels to make them fit the point cloud geometry. In addition, a regular subsampling per layer method is adapted which in combination with the radius neighbourhoods provides robustness to noise and varying densities. The decoder of the implemented system is a hybrid structure which combines the advantages of fully-connected layers and folding operators, producing a multi-resolution output. The implemented model was trained in eight object categories from the ShapeNet2048 dataset, was evaluated extensively on synthetic models as well as sensor scanning data and is a canditate for fast completion of extremely sparse real-world sensor data. Additionaly, the model as an integrated module of a wider system was found to be able to improve application results, of which there is need of more complete inputs. In this particular thesis the method was used to solve the problems point cloud registration and similar model retrieval. 2020-03-25T20:45:25Z 2020-03-25T20:45:25Z 2020-03-12 Thesis http://hdl.handle.net/10889/13382 gr 0 application/pdf |
