Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα

Αυτή η διπλωματική εργασία επικεντρώνεται σε πολυεπίπεδα (βαθιά) συνελικτικά νευρωνικά δίκτυα. Στο πρώτο κεφάλαιο, αρχίζουμε από τον ορισμό ενός νευρωνικού δικτύου, περιγράφουμε τον τρόπο εκπαίδευσής του και κοινούς τύπους επιπέδων που χρησιμοποιούνται μαζί με συνηθισμένες...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας:	Ντάκουρης, Θεόδωρος
Άλλοι συγγραφείς:	Ntakouris, Theodoros
Γλώσσα:	Greek
Έκδοση:	2021
Θέματα:	Συνελιντικά νευρωνικά δίκτυα Κβαντισμός Convolutional neural networks Quantization
Διαθέσιμο Online:	http://hdl.handle.net/10889/14900

id	nemertes-10889-14900
record_format	dspace
spelling	nemertes-10889-149002022-09-05T05:37:47Z Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα Quantization and sparsity in convolutional neural networks Ντάκουρης, Θεόδωρος Ntakouris, Theodoros Συνελιντικά νευρωνικά δίκτυα Κβαντισμός Convolutional neural networks Quantization Αυτή η διπλωματική εργασία επικεντρώνεται σε πολυεπίπεδα (βαθιά) συνελικτικά νευρωνικά δίκτυα. Στο πρώτο κεφάλαιο, αρχίζουμε από τον ορισμό ενός νευρωνικού δικτύου, περιγράφουμε τον τρόπο εκπαίδευσής του και κοινούς τύπους επιπέδων που χρησιμοποιούνται μαζί με συνηθισμένες τεχνικές αξιολόγησης της ποιότητάς του. Στη συνέχεια, εμβαθύνουμε στα συνελικτικά νευρωνικά δίκτυα, τα οποία χρησιμοποιούν- ται εκτεταμένα για προβλήματα υπολογιστικής όρασης. Η ανάλυση των συνελικτι- κών δικτύων συνοδεύεται από παρουσίαση σημαντικών αρχιτεκτονικών των δικτύων οι οποίες χαρακτηρίζονται ως ορόσημα της ικανότητας αυτού του τύπου των δικτύων, την τελευταία δεκαετία. Έπειτα, αναλύονται τεχνικές συμπίεσης και αύξησης αποδο- τικότητας νευρωνικών δικτύων. Έχοντας ως αφετηρία την αναζήτηση υπερπαραμέ- τρων, εμβαθύνουμε σε αποδοτικότερες αλλά υπολογιστικά υποδυέστερες παραλλαγές των συνελικτικών επιπέδων. Σημαντική επιρροή στην συμπίεση των δικτύων έχουν και οι τεχνικές επαναχρησιμοποίησης βαρών καθώς και κλαδέματος νευρώνων. Το κεφά- λαιο κλείνει παραθέτοντας τις βασικές γραμμές αναπαράστασης των παραμέτρων των δικτύων με αριθμητική λιγότερης ακρίβειας (κβαντισμός). Στο κεφάλαιο των πειραμά- των, αναλύονται εις βάθος οι δύο τύποι των συνελικτικών νευρωνικών δικτύων στα οποία πραγματοποιούμε μια σειρά πειραμάτων. Τα δίκτυα αυτά είναι τα κβαντίσιμα δίκτυα (Quantizable DNNs) και τα δίκτυα εκπαιδεύσιμων κβαντιστών (LQ Nets). Οι αρ- χιτεκτονικές και ο τρόπος εκπαίδευσής τους έχουν σχεδιαστεί ώστε να υποβοηθείται η διαδικασία της κβάντισης. Τέλος, παρουσιάζονται και σχολιάζονται τα αποτελέσματα των πειραμάτων. This dissertation study is focused on deep convolutional neural networks. In the first chapter, the structure of a neural network and the way to train a neural network is defined. Common layer types are presented along with ways of evaluating the perfor- mance of it. Moving on, we focus at convolutional neural networks and proven network architectures that are performance landmarks of such network types for the last ten years. In the next chapter, common neural network compression and efficiency increas- ing techniques are analysed. We look at techniques such as hyper-parameter search, special convolution variants that require less parameters than classic convolutions as well as weight sharing, connection pruning and network sparsity. Lastly, techniques such as representing weights with arithmetic representations that require fewer than 32 bits and quantization are investigated. The last chapter contains extensive analysis of two methods of quantizing neural networks: learnable quantizer networks (LQ Nets) and Quantizable Deep Neural Networks. Both act on the popular ResNet-18 architecture. Experimental results are discussed in the end. 2021-07-05T06:19:46Z 2021-07-05T06:19:46Z 2021-07-02 http://hdl.handle.net/10889/14900 gr application/pdf
institution	UPatras
collection	Nemertes
language	Greek
topic	Συνελιντικά νευρωνικά δίκτυα Κβαντισμός Convolutional neural networks Quantization
spellingShingle	Συνελιντικά νευρωνικά δίκτυα Κβαντισμός Convolutional neural networks Quantization Ντάκουρης, Θεόδωρος Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
description	Αυτή η διπλωματική εργασία επικεντρώνεται σε πολυεπίπεδα (βαθιά) συνελικτικά νευρωνικά δίκτυα. Στο πρώτο κεφάλαιο, αρχίζουμε από τον ορισμό ενός νευρωνικού δικτύου, περιγράφουμε τον τρόπο εκπαίδευσής του και κοινούς τύπους επιπέδων που χρησιμοποιούνται μαζί με συνηθισμένες τεχνικές αξιολόγησης της ποιότητάς του. Στη συνέχεια, εμβαθύνουμε στα συνελικτικά νευρωνικά δίκτυα, τα οποία χρησιμοποιούν- ται εκτεταμένα για προβλήματα υπολογιστικής όρασης. Η ανάλυση των συνελικτι- κών δικτύων συνοδεύεται από παρουσίαση σημαντικών αρχιτεκτονικών των δικτύων οι οποίες χαρακτηρίζονται ως ορόσημα της ικανότητας αυτού του τύπου των δικτύων, την τελευταία δεκαετία. Έπειτα, αναλύονται τεχνικές συμπίεσης και αύξησης αποδο- τικότητας νευρωνικών δικτύων. Έχοντας ως αφετηρία την αναζήτηση υπερπαραμέ- τρων, εμβαθύνουμε σε αποδοτικότερες αλλά υπολογιστικά υποδυέστερες παραλλαγές των συνελικτικών επιπέδων. Σημαντική επιρροή στην συμπίεση των δικτύων έχουν και οι τεχνικές επαναχρησιμοποίησης βαρών καθώς και κλαδέματος νευρώνων. Το κεφά- λαιο κλείνει παραθέτοντας τις βασικές γραμμές αναπαράστασης των παραμέτρων των δικτύων με αριθμητική λιγότερης ακρίβειας (κβαντισμός). Στο κεφάλαιο των πειραμά- των, αναλύονται εις βάθος οι δύο τύποι των συνελικτικών νευρωνικών δικτύων στα οποία πραγματοποιούμε μια σειρά πειραμάτων. Τα δίκτυα αυτά είναι τα κβαντίσιμα δίκτυα (Quantizable DNNs) και τα δίκτυα εκπαιδεύσιμων κβαντιστών (LQ Nets). Οι αρ- χιτεκτονικές και ο τρόπος εκπαίδευσής τους έχουν σχεδιαστεί ώστε να υποβοηθείται η διαδικασία της κβάντισης. Τέλος, παρουσιάζονται και σχολιάζονται τα αποτελέσματα των πειραμάτων.
author2	Ntakouris, Theodoros
author_facet	Ntakouris, Theodoros Ντάκουρης, Θεόδωρος
author	Ντάκουρης, Θεόδωρος
author_sort	Ντάκουρης, Θεόδωρος
title	Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
title_short	Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
title_full	Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
title_fullStr	Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
title_full_unstemmed	Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
title_sort	κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα
publishDate	2021
url	http://hdl.handle.net/10889/14900
work_keys_str_mv	AT ntakourēstheodōros kbantismoskaiaraiotētasesyneliktikaneurōnikadiktya AT ntakourēstheodōros quantizationandsparsityinconvolutionalneuralnetworks
_version_	1771297150056005632

Κβαντισμός και αραιότητα σε συνελικτικά νευρωνικά δίκτυα

Παρόμοια τεκμήρια