Βαθιά αραιή κωδικοποίηση
Η έννοια της αραιότητας (sparsity ή parsimony) έγκειται στην αναπαράσταση ενός φαινομένου με όσο το δυνατόν λιγότερες μεταβλητές. Στον τομέα της Μηχανική Μάθησης, η αραιή αναπαράσταση (Sparse Representation) αποτελεί μία μέθοδο μη-εποπτευόμενης μάθησης (unsupervised learning), όπου επιχειρείται η ελ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2018
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/11238 |
| id |
nemertes-10889-11238 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Μηχανική εκμάθηση Αραιή αναπαράσταση Βαθιά εκμάθηση Αραιή κωδικοποίηση Machine learning Sparse representation Deep learning Sparse coding 006.31 |
| spellingShingle |
Μηχανική εκμάθηση Αραιή αναπαράσταση Βαθιά εκμάθηση Αραιή κωδικοποίηση Machine learning Sparse representation Deep learning Sparse coding 006.31 Τσουρούνης, Δημήτριος Βαθιά αραιή κωδικοποίηση |
| description |
Η έννοια της αραιότητας (sparsity ή parsimony) έγκειται στην αναπαράσταση ενός φαινομένου με όσο το δυνατόν λιγότερες μεταβλητές. Στον τομέα της Μηχανική Μάθησης, η αραιή αναπαράσταση (Sparse Representation) αποτελεί μία μέθοδο μη-εποπτευόμενης μάθησης (unsupervised learning), όπου επιχειρείται η ελαχιστοποίησης του σφάλματος αναπαράστασης του σήματος με έναν περιορισμό αραιότητας. Έτσι, κάθε σήμα αναπαρίσταται σαν γραμμικός συνδυασμός ενός περιορισμένου αριθμού σημάτων ενός υπερπλήρους λεξικού, που ονομάζονται άτομα. Η επέκταση της αραιής αναπαράστασης σε μία αποδοτική πολλαπλών επιπέδων αρχιτεκτονική επιτυγχάνεται μέσα από τη σύνθεση της αρχιτεκτονικής Bag-of-Visual-words και της αρχιτεκτονικής deep Learning (βαθιά Μάθηση) για την ανάπτυξη μίας αρχιτεκτονικής μη-εποπτευόμενης μάθησης χαρακτηριστικών, που ονομάζεται Deep Sparse Coding (Βαθιά Αραιή Κωδικοποίηση). Η βασική πρωτοτυπία της τοπολογίας Deep Sparse Coding είναι η μονάδα σύνδεσης που τοποθετείται μεταξύ των επιπέδων αραιής αναπαράστασης. Η μονάδα σύνδεσης συγκροτείται από μία διαδικασία τοπικής χωρικής συγκέντρωσης (local spatial pooling) των αραιών αναπαραστάσεων που έχουν υπολογιστεί στο προηγούμενο επίπεδο και από μία διαδικασία ελάττωσης διάστασης (dimensionality reduction) για την παραγωγή των πυκνών αναπαραστάσεων που θα διαδοθούν στο επόμενο επίπεδο. Η τοπική χωρική συγκέντρωση εξασφαλίζει ότι τα σύνθετα χαρακτηριστικά υψηλότερου επιπέδου προκύπτουν σαν αποτέλεσμα εκμάθησης από τη σύνθεση γειτονικών απλούστερων χαρακτηριστικών χαμηλότερου επιπέδου και ως εκ τούτου ότι καλύπτονται μεγαλύτερες περιοχές της εικόνας καθώς η τοπολογία γίνεται βαθύτερη ενώ η μέθοδος ελάττωσης διάστασης εκτελείται λαμβάνοντας υπόψη τις χωρικές σχέσεις μεταξύ των γειτονικών patches της εικόνας έτσι ώστε να διατηρείται η χωρική πληροφορία ομαλότητας των patches κατά τη διαδικασία ελάττωσης διάστασης. Με αυτό τον τρόπο, η τοπολογία Deep Sparse Coding εξάγει ιεραρχικά χαρακτηριστικά από διαφορετικές βαθμίδες της όλης διαδικασίας εκμάθησης που αντιστοιχούν σε διαφορετικές χωρικές περιοχές της εικόνας. Άρα, δομούνται ιεραρχικές αναπαραστάσεις των δεδομένων και υπολογίζονται χαρακτηριστικά υψηλής τάξης (high-level) από τα βαθύτερα (υψηλότερα) επίπεδα (layers) μέσω της σύνθεσης των απλούστερων χαρακτηριστικών από τα χαμηλότερα (αρχικά) επίπεδα της τοπολογίας. Η τοπολογία Deep Sparse Coding εφαρμόζεται σε δύο σημαντικά προβλήματα υπολογιστικής όρασης, που είναι η αναγνώριση φυσικών εικόνων και η αναγνώριση χειρόγραφων υπογραφών (αναγνώριση βιομετρικών χαρακτηριστικών). Το αποτέλεσμα και στις δύο περιπτώσεις είναι ότι η χρήση πολλαπλών επιπέδων αραιής αναπαράστασης μέσω της μεθόδου Deep Sparse Coding οδηγεί στη βελτίωση της απόδοσης αναγνώρισης. |
| author2 |
Οικονόμου, Γεώργιος |
| author_facet |
Οικονόμου, Γεώργιος Τσουρούνης, Δημήτριος |
| format |
Thesis |
| author |
Τσουρούνης, Δημήτριος |
| author_sort |
Τσουρούνης, Δημήτριος |
| title |
Βαθιά αραιή κωδικοποίηση |
| title_short |
Βαθιά αραιή κωδικοποίηση |
| title_full |
Βαθιά αραιή κωδικοποίηση |
| title_fullStr |
Βαθιά αραιή κωδικοποίηση |
| title_full_unstemmed |
Βαθιά αραιή κωδικοποίηση |
| title_sort |
βαθιά αραιή κωδικοποίηση |
| publishDate |
2018 |
| url |
http://hdl.handle.net/10889/11238 |
| work_keys_str_mv |
AT tsourounēsdēmētrios bathiaaraiēkōdikopoiēsē AT tsourounēsdēmētrios deepsparsecoding |
| _version_ |
1771297325058097152 |
| spelling |
nemertes-10889-112382022-09-05T20:24:30Z Βαθιά αραιή κωδικοποίηση Deep sparse coding Τσουρούνης, Δημήτριος Οικονόμου, Γεώργιος Οικονόμου, Γεώργιος Φωτόπουλος, Σπύρος Αναστασόπουλος, Βασίλειος Tsourounis, Dimitrios Μηχανική εκμάθηση Αραιή αναπαράσταση Βαθιά εκμάθηση Αραιή κωδικοποίηση Machine learning Sparse representation Deep learning Sparse coding 006.31 Η έννοια της αραιότητας (sparsity ή parsimony) έγκειται στην αναπαράσταση ενός φαινομένου με όσο το δυνατόν λιγότερες μεταβλητές. Στον τομέα της Μηχανική Μάθησης, η αραιή αναπαράσταση (Sparse Representation) αποτελεί μία μέθοδο μη-εποπτευόμενης μάθησης (unsupervised learning), όπου επιχειρείται η ελαχιστοποίησης του σφάλματος αναπαράστασης του σήματος με έναν περιορισμό αραιότητας. Έτσι, κάθε σήμα αναπαρίσταται σαν γραμμικός συνδυασμός ενός περιορισμένου αριθμού σημάτων ενός υπερπλήρους λεξικού, που ονομάζονται άτομα. Η επέκταση της αραιής αναπαράστασης σε μία αποδοτική πολλαπλών επιπέδων αρχιτεκτονική επιτυγχάνεται μέσα από τη σύνθεση της αρχιτεκτονικής Bag-of-Visual-words και της αρχιτεκτονικής deep Learning (βαθιά Μάθηση) για την ανάπτυξη μίας αρχιτεκτονικής μη-εποπτευόμενης μάθησης χαρακτηριστικών, που ονομάζεται Deep Sparse Coding (Βαθιά Αραιή Κωδικοποίηση). Η βασική πρωτοτυπία της τοπολογίας Deep Sparse Coding είναι η μονάδα σύνδεσης που τοποθετείται μεταξύ των επιπέδων αραιής αναπαράστασης. Η μονάδα σύνδεσης συγκροτείται από μία διαδικασία τοπικής χωρικής συγκέντρωσης (local spatial pooling) των αραιών αναπαραστάσεων που έχουν υπολογιστεί στο προηγούμενο επίπεδο και από μία διαδικασία ελάττωσης διάστασης (dimensionality reduction) για την παραγωγή των πυκνών αναπαραστάσεων που θα διαδοθούν στο επόμενο επίπεδο. Η τοπική χωρική συγκέντρωση εξασφαλίζει ότι τα σύνθετα χαρακτηριστικά υψηλότερου επιπέδου προκύπτουν σαν αποτέλεσμα εκμάθησης από τη σύνθεση γειτονικών απλούστερων χαρακτηριστικών χαμηλότερου επιπέδου και ως εκ τούτου ότι καλύπτονται μεγαλύτερες περιοχές της εικόνας καθώς η τοπολογία γίνεται βαθύτερη ενώ η μέθοδος ελάττωσης διάστασης εκτελείται λαμβάνοντας υπόψη τις χωρικές σχέσεις μεταξύ των γειτονικών patches της εικόνας έτσι ώστε να διατηρείται η χωρική πληροφορία ομαλότητας των patches κατά τη διαδικασία ελάττωσης διάστασης. Με αυτό τον τρόπο, η τοπολογία Deep Sparse Coding εξάγει ιεραρχικά χαρακτηριστικά από διαφορετικές βαθμίδες της όλης διαδικασίας εκμάθησης που αντιστοιχούν σε διαφορετικές χωρικές περιοχές της εικόνας. Άρα, δομούνται ιεραρχικές αναπαραστάσεις των δεδομένων και υπολογίζονται χαρακτηριστικά υψηλής τάξης (high-level) από τα βαθύτερα (υψηλότερα) επίπεδα (layers) μέσω της σύνθεσης των απλούστερων χαρακτηριστικών από τα χαμηλότερα (αρχικά) επίπεδα της τοπολογίας. Η τοπολογία Deep Sparse Coding εφαρμόζεται σε δύο σημαντικά προβλήματα υπολογιστικής όρασης, που είναι η αναγνώριση φυσικών εικόνων και η αναγνώριση χειρόγραφων υπογραφών (αναγνώριση βιομετρικών χαρακτηριστικών). Το αποτέλεσμα και στις δύο περιπτώσεις είναι ότι η χρήση πολλαπλών επιπέδων αραιής αναπαράστασης μέσω της μεθόδου Deep Sparse Coding οδηγεί στη βελτίωση της απόδοσης αναγνώρισης. The principle of sparsity (or parsimony) consists of representing some phenomenon with as few variables as possible. In Machine Learning, Sparse Representation is an unsupervised learning method that attempts to minimize the feature reconstruction error, along with a prior regularization that encourages sparse solutions. So, every input signal is representing as a linear combination of a few element of an overcomplete dictionary, which called atoms. The combination of deep Learning and the sparse coding Bag-of-Visual-words pipeline is an unsupervised feature learning framework, namely Deep Sparse Coding, that extends sparse coding to an efficient multi-layer architecture. The main innovation of the Deep Sparse Coding framework is the connection unit between layers that connects the sparse-encoders from different layers by a sparse-to-dense module. The connection unit consists of a local spatial pooling step, which applies the pooling operation to the subsets of sparse codes from the last layer, and a dimensionality reduction step, which converts the sparse codes to dense codes for the next layer. On one hand, the local spatial pooling step ensures the higher-level features are learned from a collection of nearby lower-level features and hence cover larger scopes. On the other hand, the low-dimensional embedding process is designed to take into account the spatial affinities between neighboring image patches such that the spatial smoothness information is preserved during the dimension reduction process. The Deep Sparse Coding method is able to learn sparse representations of the images at different levels of abstraction and of different spatial scopes. The method builds feature hierarchies from bottom-level features, such that the higher-level features (from deeper layers) are compositions of lower-level features (from first layers). The Deep Sparse Coding framework is testing for image classification (natural images recognition) and handwritten signature verification (biometrics recognition). In both cases, the multi-layer framework improves performance. 2018-05-14T14:55:01Z 2018-05-14T14:55:01Z 2017-10-18 Thesis http://hdl.handle.net/10889/11238 gr 6 application/pdf |
