Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων

Ο αποτελεσματικός σχεδιασμός ενός νευρωνικού δικτύου αποτελεί μια διαδικασία ιδιαίτερα απαιτητική η οποία μέχρι σήμερα έχει αντιμετωπιστεί κυρίως ως μια "τέχνη" όπου η εμπειρία και η ικανότητα του σχεδιαστή τους παίζει σημαντικότατο ρόλο. Δεν υπάρχει δηλαδή κάποια καθιερωμένη τυποποιημέν...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας:	Γιαννάκης, Νικόλας
Άλλοι συγγραφείς:	Giannakis, Nikolas
Γλώσσα:	Greek
Έκδοση:	2021
Θέματα:	Μπαγεσιανή βελτιστοποίηση Νευρωνικά δίκτυα Βέλτιστες υπερπαράμετροι Bayesian optimisation Neural networks
Διαθέσιμο Online:	http://hdl.handle.net/10889/14874

id	nemertes-10889-14874
record_format	dspace
spelling	nemertes-10889-148742022-09-05T05:00:21Z Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων Bayesian optimization for the design of deep neural networks Γιαννάκης, Νικόλας Giannakis, Nikolas Μπαγεσιανή βελτιστοποίηση Νευρωνικά δίκτυα Βέλτιστες υπερπαράμετροι Bayesian optimisation Neural networks Ο αποτελεσματικός σχεδιασμός ενός νευρωνικού δικτύου αποτελεί μια διαδικασία ιδιαίτερα απαιτητική η οποία μέχρι σήμερα έχει αντιμετωπιστεί κυρίως ως μια "τέχνη" όπου η εμπειρία και η ικανότητα του σχεδιαστή τους παίζει σημαντικότατο ρόλο. Δεν υπάρχει δηλαδή κάποια καθιερωμένη τυποποιημένη διαδικασία που να επιτρέπει τον σχεδιασμό ενός νευρωνικού δικτύου χωρίς την επέμβαση του ανθρώπινου παράγοντα. Ο σχεδιασμός ενός νευρωνικού δικτύου έγκειται ουσιαστικά στην επιλογή υπερπαραμέτρων. Λόγω του ιδιαίτερα μεγάλου όμως αριθμού συνδυασμών των υπερπαραμέτρων αυτών η επιλογή ενός συνδυασμού που να αποδίδει ένα αποδοτικό νευρωνικό δίκτυο καθίσταται πολύ δύσκολη, εξ΄ ου και η προσέγγιση της ως τέχνη. Στην παρούσα εργασία επιχειρείται να προσεγγιστεί το πρόβλημα αυτό. Ο τρόπος που γίνεται αυτό είναι μέσω της θεώρησης της όλης διαδικασίας ως μιας κοστοβόρας και άγνωστης συνάρτησης. Ως είσοδο η συνάρτηση αυτή δέχεται συνδυασμούς υπερπαραμέτρων. Ως έξοδο αποδίδει μια μοναδική τιμή η οποία αποτελεί την εκτίμηση της αποδοτικότητας του δικτύου. Ο μόνος τρόπος που μπορεί να επηρεαστεί η συνάρτηση είναι μέσω της αλλαγής της εισόδου της. Σκοπός μας είναι ως εκ τούτου η βελτιστοποίηση της συνάρτησης αυτής. ΄Ενα μαθηματικό εργαλείο που προσφέρεται για την βελτιστοποίηση τέτοιου είδους συναρτήσεων είναι η μπαγεσιανή βελτιστοποίηση. Με την χρήση της και την προσαρμογή της στα πλαίσια του σχεδιασμού νευρωνικών δικτύων επιχειρείται να τεθεί η διαδικασία αυτή σε ένα τυποποιημένο πλαίσιο όπου με ελάχιστη προσπάθεια θα παίρνουμε το καλύτερο δυνατό νευρωνικό δίκτυο για συγκεκριμένες υπερπαραμέτρους. ΄Οπως φαίνεται και στην πειραματική διαδικασία η χρήση της μπαγεσιανής βελτιστοποίησης είναι μια πολλά υποσχόμενη επιλογή για τον σχεδιασμό αποδοτικών νευρωνικών δικτύων αλλά και ένας τρόπος να σταματήσει ο σχεδιασμός τους να είναι μια μορφή τέχνης και να γίνει μια ελεγχόμενη και επαναλαμβανόμενη διαδικασία. The effective design of a neural network is a very demanding process that up to this point has been considered more a form of art, where the experience and skill of the designer plays a crucial role, than a scientifc and standardized process. That design process comes down to, effectively, choosing a set of hyperparameters that describe different aspects of the neural network. But because of the very big number of possible combinations of said hyperparameters, the task of choosing a specific combination that produces an efficient neural network proves very difficult, thus the approach of that task as an "art form". The aim of this thesis is to approach this problem and offer a solution. That solution is based on the consideration of the whole process of choosing a set of hyperparameters, applying them to produce a neural network and then assessing the efficiency of the produced network as costly, black box function. This function can only be infuenced by changing its inputs and gives as a result just a single value that expresses the efficiency of the produced neural network. Following the above assumptions it is clear that a mathemtaical tool o ers itself ideally as a solution. That tool is Bayesian optimisation of functions. Using Bayesian optimisation in context of designing neural networks attempts to approach that process methodically and eliminate the opinion based design as much as possible. That way it becomes possible to always have the best possible neural network given a set of constraints. As can be seen in this thesis' experiments, using Bayesian optimisation is a very promising methodology to design neural networks but also a way to make the whole process controlled and repeatable. 2021-06-29T08:51:04Z 2021-06-29T08:51:04Z 2021-03-22 http://hdl.handle.net/10889/14874 gr application/pdf
institution	UPatras
collection	Nemertes
language	Greek
topic	Μπαγεσιανή βελτιστοποίηση Νευρωνικά δίκτυα Βέλτιστες υπερπαράμετροι Bayesian optimisation Neural networks
spellingShingle	Μπαγεσιανή βελτιστοποίηση Νευρωνικά δίκτυα Βέλτιστες υπερπαράμετροι Bayesian optimisation Neural networks Γιαννάκης, Νικόλας Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
description	Ο αποτελεσματικός σχεδιασμός ενός νευρωνικού δικτύου αποτελεί μια διαδικασία ιδιαίτερα απαιτητική η οποία μέχρι σήμερα έχει αντιμετωπιστεί κυρίως ως μια "τέχνη" όπου η εμπειρία και η ικανότητα του σχεδιαστή τους παίζει σημαντικότατο ρόλο. Δεν υπάρχει δηλαδή κάποια καθιερωμένη τυποποιημένη διαδικασία που να επιτρέπει τον σχεδιασμό ενός νευρωνικού δικτύου χωρίς την επέμβαση του ανθρώπινου παράγοντα. Ο σχεδιασμός ενός νευρωνικού δικτύου έγκειται ουσιαστικά στην επιλογή υπερπαραμέτρων. Λόγω του ιδιαίτερα μεγάλου όμως αριθμού συνδυασμών των υπερπαραμέτρων αυτών η επιλογή ενός συνδυασμού που να αποδίδει ένα αποδοτικό νευρωνικό δίκτυο καθίσταται πολύ δύσκολη, εξ΄ ου και η προσέγγιση της ως τέχνη. Στην παρούσα εργασία επιχειρείται να προσεγγιστεί το πρόβλημα αυτό. Ο τρόπος που γίνεται αυτό είναι μέσω της θεώρησης της όλης διαδικασίας ως μιας κοστοβόρας και άγνωστης συνάρτησης. Ως είσοδο η συνάρτηση αυτή δέχεται συνδυασμούς υπερπαραμέτρων. Ως έξοδο αποδίδει μια μοναδική τιμή η οποία αποτελεί την εκτίμηση της αποδοτικότητας του δικτύου. Ο μόνος τρόπος που μπορεί να επηρεαστεί η συνάρτηση είναι μέσω της αλλαγής της εισόδου της. Σκοπός μας είναι ως εκ τούτου η βελτιστοποίηση της συνάρτησης αυτής. ΄Ενα μαθηματικό εργαλείο που προσφέρεται για την βελτιστοποίηση τέτοιου είδους συναρτήσεων είναι η μπαγεσιανή βελτιστοποίηση. Με την χρήση της και την προσαρμογή της στα πλαίσια του σχεδιασμού νευρωνικών δικτύων επιχειρείται να τεθεί η διαδικασία αυτή σε ένα τυποποιημένο πλαίσιο όπου με ελάχιστη προσπάθεια θα παίρνουμε το καλύτερο δυνατό νευρωνικό δίκτυο για συγκεκριμένες υπερπαραμέτρους. ΄Οπως φαίνεται και στην πειραματική διαδικασία η χρήση της μπαγεσιανής βελτιστοποίησης είναι μια πολλά υποσχόμενη επιλογή για τον σχεδιασμό αποδοτικών νευρωνικών δικτύων αλλά και ένας τρόπος να σταματήσει ο σχεδιασμός τους να είναι μια μορφή τέχνης και να γίνει μια ελεγχόμενη και επαναλαμβανόμενη διαδικασία.
author2	Giannakis, Nikolas
author_facet	Giannakis, Nikolas Γιαννάκης, Νικόλας
author	Γιαννάκης, Νικόλας
author_sort	Γιαννάκης, Νικόλας
title	Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
title_short	Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
title_full	Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
title_fullStr	Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
title_full_unstemmed	Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
title_sort	bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων
publishDate	2021
url	http://hdl.handle.net/10889/14874
work_keys_str_mv	AT giannakēsnikolas bayesianbeltistopoiēsēyperparametrōnneurōnikōndiktyōn AT giannakēsnikolas bayesianoptimizationforthedesignofdeepneuralnetworks
_version_	1771297128266596352

Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων

Παρόμοια τεκμήρια