Bayesian βελτιστοποίηση υπερπαραμέτρων νευρωνικών δικτύων

• Κύριος συγγραφέας: Γιαννάκης, Νικόλας
• Άλλοι συγγραφείς: Giannakis, Nikolas
• Γλώσσα: Greek
• Έκδοση: 2021
• Θέματα: Μπαγεσιανή βελτιστοποίηση; Νευρωνικά δίκτυα; Βέλτιστες υπερπαράμετροι; Bayesian optimisation; Neural networks

Ο αποτελεσματικός σχεδιασμός ενός νευρωνικού δικτύου αποτελεί μια διαδικασία ιδιαίτερα απαιτητική η οποία μέχρι σήμερα έχει αντιμετωπιστεί κυρίως ως μια "τέχνη" όπου η εμπειρία και η ικανότητα του σχεδιαστή τους παίζει σημαντικότατο ρόλο. Δεν υπάρχει δηλαδή κάποια καθιερωμένη τυποποιημένη διαδικασία που να επιτρέπει τον σχεδιασμό ενός νευρωνικού δικτύου χωρίς την επέμβαση του ανθρώπινου παράγοντα. Ο σχεδιασμός ενός νευρωνικού δικτύου έγκειται ουσιαστικά στην επιλογή υπερπαραμέτρων. Λόγω του ιδιαίτερα μεγάλου όμως αριθμού συνδυασμών των υπερπαραμέτρων αυτών η επιλογή ενός συνδυασμού που να αποδίδει ένα αποδοτικό νευρωνικό δίκτυο καθίσταται πολύ δύσκολη, εξ΄ ου και η προσέγγιση της ως τέχνη. Στην παρούσα εργασία επιχειρείται να προσεγγιστεί το πρόβλημα αυτό. Ο τρόπος που γίνεται αυτό είναι μέσω της θεώρησης της όλης διαδικασίας ως μιας κοστοβόρας και άγνωστης συνάρτησης. Ως είσοδο η συνάρτηση αυτή δέχεται συνδυασμούς υπερπαραμέτρων. Ως έξοδο αποδίδει μια μοναδική τιμή η οποία αποτελεί την εκτίμηση της αποδοτικότητας του δικτύου. Ο μόνος τρόπος που μπορεί να επηρεαστεί η συνάρτηση είναι μέσω της αλλαγής της εισόδου της. Σκοπός μας είναι ως εκ τούτου η βελτιστοποίηση της συνάρτησης αυτής. ΄Ενα μαθηματικό εργαλείο που προσφέρεται για την βελτιστοποίηση τέτοιου είδους συναρτήσεων είναι η μπαγεσιανή βελτιστοποίηση. Με την χρήση της και την προσαρμογή της στα πλαίσια του σχεδιασμού νευρωνικών δικτύων επιχειρείται να τεθεί η διαδικασία αυτή σε ένα τυποποιημένο πλαίσιο όπου με ελάχιστη προσπάθεια θα παίρνουμε το καλύτερο δυνατό νευρωνικό δίκτυο για συγκεκριμένες υπερπαραμέτρους. ΄Οπως φαίνεται και στην πειραματική διαδικασία η χρήση της μπαγεσιανής βελτιστοποίησης είναι μια πολλά υποσχόμενη επιλογή για τον σχεδιασμό αποδοτικών νευρωνικών δικτύων αλλά και ένας τρόπος να σταματήσει ο σχεδιασμός τους να είναι μια μορφή τέχνης και να γίνει μια ελεγχόμενη και επαναλαμβανόμενη διαδικασία.