Μελέτη και συγκριτική αξιολόγηση μεθόδων και υλοποιήσεων για τη συνάρτηση softmax

• Κύριος συγγραφέας: Βελώνης, Κωνσταντίνος
• Άλλοι συγγραφείς: Velonis, Konstantinos
• Γλώσσα: Greek
• Έκδοση: 2022
• Θέματα: Νευρωνικά δίκτυα; Συνάρτηση softmax; Σχεδίαση υλικού; Ψηφιακός σχεδιασμός κυκλωμάτων; Neural networks; Softmax function

Η συνάρτηση Softmax είναι μία πολύ δημοφιλής συνάρτηση η οποία χρησιμοποιείται εκτενώς σε εφαρμογές νευρωνικών δικτύων. Ο σκοπός αυτής της διπλωματικής εργασίας είναι να παρουσιάσει τις μεθόδους υλοποίησης της συνάρτησης που υπάρχουν στη βιβλιογραφία, να αναλύσει τους πόρους που απαιτούν και να τις συγκρίνει πειραματικά μέσω υλοποιήσεων σε υλικό. Αρχικά παρουσιάζονται πέντε μέθοδοι αποδοτικής υλοποίησης σε υλικό, βασισμένοι στις πλέον ανταγωνιστικές ερευνητικές εργασίες τη στιγμή της συγγραφής της παρούσας εργασίας. Αναλύονται οι τεχνικές που χρησιμοποιούνται για τη μείωση του κόστους σε υλικό και υπολογίζεται το σφάλμα για τις μεθόδους που χρησιμοποιούν προσέγγιση της αρχικής συνάρτησης. Έπειτα σχεδιάζονται και συνθέτονται πέντε αρχιτεκτονικές βασισμένες σε αυτές τις μεθόδους και συγκρίνονται μεταξύ τους. Για να επιτευχθεί όσο το δυνατόν δικαιότερη σύγκριση, τίθενται κάποιες παράμετροι και παραδοχές που ισχύουν για όλες τις αρχιτεκτονικές, όπως το μήκος των εισόδων και η αριθμητική αναπαράσταση που χρησιμοποιείται. Τέλος, τα παραγόμενα κυκλώματα εξετάζονται ως προς το κόστος σε εμβαδό, καθυστέρηση και ενέργεια. Επίσης παρουσιάζονται μετρήσεις για το ολικό σφάλμα σε σχέση με την αρχική συνάρτηση μέσω εξομοίωσης της απόκρισης για διαφορετικά διανύσματα δοκιμής. Με τον τρόπο αυτό, η παρούσα εργασία επιχειρεί να κάνει δυνατή την άμεση σύγκριση των διαθέσιμων τεχνικών που προσφέρονται, και κατ’επέκταση να διευκολύνει την επιλογή της κατάλληλης, πάντα με βάση τις ανάγκες της εφαρμογής για την οποία θα χρησιμοποιηθεί