Επιτάχυνση αναδρομικών νευρωνικών δικτύων LSTM με τη βοήθεια υλικού

• Κύριος συγγραφέας: Δημητρίου, Αναστάσιος
• Άλλοι συγγραφείς: Dimitriou, Anastasios
• Γλώσσα: Greek
• Έκδοση: 2020
• Θέματα: Επαναλαμβανόμενα νευρωνικά δίκτυα; Very large-scale integration (VLSI); Neural networks

Τα επαναλαμβανόμενα νευρωνικά δίκτυα (RNN) έχουν επιτύχει μια υψηλή απόδοση επίλυσης διαφόρων προβλημάτων μάθησης ακολουθιών λόγω της ισχυρής ικανότητάς τους στη μοντελοποίηση των τελευταίων. O Long Short-Term Memory είναι ένας ισχυρός αλγόριθμος νευρωνικού δικτύου που έχει αποδειχθεί ότι παρέχει υπερσύγχρονη απόδοση σε διάφορα προβλήματα μάθησης ακολουθιών, συμπεριλαμβανομένης της επεξεργασίας φυσικής γλώσσας, της ταξινόμησης βίντεο και της αναγνώρισης ομιλίας. Παρόλα αυτά συνήθως απαιτούν τη χρήση μεγάλου αριθμού παραμέτρων και υψηλή υπολογιστική πολυπλοκότητα. Ως εκ τούτου είναι αρκετά δύσκολη η εφαρμογή τέτοιων δικτύων σε συσκευές με περιορισμένη μνήμη και υπολογιστική ισχύ, όπως ενσωματωμένα συστήματα, IoT συσκευές κτλ. Η παρούσα διπλωματική εργασία αφορά την περιγραφή ενός Long-Short Term Memory RNN δικτύου σε γλώσσα VHDL εφαρμόζοντας μεθόδους επιτάχυνσης για την αντιμετώπιση αυτών των προκλήσεων. Μελετάται το κομμάτι της λήψης αποφάσεων από ένα νευρωνικό δίκτυο και όχι η εκπαίδευσή του. Προτείνεται μια σχεδίαση με διακριτές και με πολύ μικρή εξάρτηση καταστάσεις λειτουργίας, μια προσαρμοσμένη υλοποίηση για τον υπολογισμό του γινομένου πίνακα-διανύσματος, κάτι που οδηγεί και σε έναν διαφορετικό τρόπο φόρτωσες και διαχείρισης των παραμέτρων του δικτύου εντός του συστήματος. Επίσης παρουσιάζεται ένας διαφορετικός τρόπος υπολογισμού των πράξεων της πρόσθεσης και του πολλαπλασιασμού, που προσαρμόζεται στους αριθμούς με σταθερό σημείο υποδιαστολής και παρουσιάζει ιδιαίτερη στιβαρότητα στην διατήρηση του πρόσημου τους. H σχεδίαση υλοποιήθηκε και ελέγχθηκε σε ένα kit αξιολόγησης Zynq UltraScale+ MPSoC ZCU104, όπου παρατηρήθηκε μείωση του χρόνου έκδοσης αποτελεσμάτων έως και 2200 φορές γρηγορότερα με ταχύτητα ρολογιού τα 100MHz.