Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs
Με την αυξανόμενη διαθεσιμότητα σε υπολογιστικούς πόρους, η δημοσιότητα της μηχανικής μάθησης αυξάνεται ραγδαία όσον αφορά την ανάλυση και επεξεργασία δεδομένων, παρέχοντας λύσεις σε προβλήματα διαφόρων επιστημονικών πεδίων. Τα νευρωνικά δίκτυα αποτελούν έναν από τους πιο μελετημένους και χρησιμοποι...
| Κύριοι συγγραφείς: | , |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2020
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/13686 |
| id |
nemertes-10889-13686 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Μηχανική μάθηση Νευρωνικά δίκτυα Αναγνώριση εικόνων Σύνθεση υψηλού επιπέδου Επιτάχυνση υλικού Σχεδίαση FPGA Machine learning Neural networks LeNet-5 Image recognition High-Level synthesis Hardware acceleration FPGA design |
| spellingShingle |
Μηχανική μάθηση Νευρωνικά δίκτυα Αναγνώριση εικόνων Σύνθεση υψηλού επιπέδου Επιτάχυνση υλικού Σχεδίαση FPGA Machine learning Neural networks LeNet-5 Image recognition High-Level synthesis Hardware acceleration FPGA design Ευαγγέλου, Γεώργιος Ρούσσος, Νικόλαος Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| description |
Με την αυξανόμενη διαθεσιμότητα σε υπολογιστικούς πόρους, η δημοσιότητα της μηχανικής μάθησης αυξάνεται ραγδαία όσον αφορά την ανάλυση και επεξεργασία δεδομένων, παρέχοντας λύσεις σε προβλήματα διαφόρων επιστημονικών πεδίων. Τα νευρωνικά δίκτυα αποτελούν έναν από τους πιο μελετημένους και χρησιμοποιούμενους υπο-τομείς της μηχανικής μάθησης, προσφέροντας αποτελεσματικές μεθόδους κατηγοριοποίησης δεδομένων. Διαδεδομένο παράδειγμα είναι η αναγνώριση εικόνων σε πραγματικό χρόνο, που παρουσιάζει ιδιαίτερο εμπορικό ενδιαφέρον, όπως η ταυτοποίηση προσώπων σε smartphones. Συνεπώς, υπάρχει αυξανόμενη ανάγκη για χωρικά και ενεργειακά αποδοτικές λύσεις, οι οποίες ικανοποιούν τις προδιαγραφές των εφαρμογών αυτών, διατηρώντας, ωστόσο, υψηλές επιδόσεις. Ως εκ τούτου, η μηχανική μάθηση απομακρύνεται από υλοποιήσεις λογισμικού, καθώς κατά κανόνα χρησιμοποιούν μη αποδοτικούς επεξεργαστές γενικής χρήσης. Ακολουθώντας αυτή την πορεία, η παρούσα διπλωματική εργασία έχει σκοπό τη σχεδίαση μιας αρχιτεκτονικής σε υλικό ως εναλλακτική λύση. Η προτεινόμενη δομή είναι βασισμένη στο νευρωνικό δίκτυο LeNet-5 και έχει τη δυνατότητα αναγνώρισης χειρόγραφων ψηφίων με υψηλή ακρίβεια. Το κύριο αποτέλεσμα της εργασίας αυτής είναι μια υλοποίηση σε FPGA, η οποία επιτυγχάνει τον παραπάνω στόχο, αφού πρώτα προηγήθηκε εξοικείωση και χρήση των εργαλείων της πλατφόρμας σχεδίασης Vivado Design Suite. Επεκτείνοντας το πεδίο μελέτης, ένας δεύτερος στόχος είναι η βελτίωση της συστημικής σχεδίασης, όσον
αφορά την αποδοτικότητα και επίδοση, εκμεταλλεύοντας μηχανισμούς συμπίεσης μήκους λέξεων και μεθόδους επιτάχυνσης της αρχιτεκτονικής. Μία σχολαστική ανάλυση της δομής του δικτύου, αποκαλύπτει λύσεις διαφορετικών λειτουργικών χαρακτηριστικών, με στόχο την βελτίωση των κύριων δεικτών επίδοσης του συνολικού συστήματος. Η παρούσα διπλωματική εργασία είναι βασισμένη, αλλά δεν περιορίζεται, στην συγκεκριμένη εφαρμογή. Συνεπώς, ακολουθώντας παρόμοια διαδικασία, διαφορετικά νευρωνικά δίκτυα μπορούν επίσης να υλοποιηθούν. |
| author2 |
Evangelou, Georgios |
| author_facet |
Evangelou, Georgios Ευαγγέλου, Γεώργιος Ρούσσος, Νικόλαος |
| author |
Ευαγγέλου, Γεώργιος Ρούσσος, Νικόλαος |
| author_sort |
Ευαγγέλου, Γεώργιος |
| title |
Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| title_short |
Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| title_full |
Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| title_fullStr |
Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| title_full_unstemmed |
Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs |
| title_sort |
αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου lenet-5 σε fpgas |
| publishDate |
2020 |
| url |
http://hdl.handle.net/10889/13686 |
| work_keys_str_mv |
AT euangelougeōrgios architektonikeskaiylopoiēseistouneurōnikoudiktyoulenet5sefpgas AT roussosnikolaos architektonikeskaiylopoiēseistouneurōnikoudiktyoulenet5sefpgas AT euangelougeōrgios architecturesandimplementationsoftheneuralnetworklenet5infpgas AT roussosnikolaos architecturesandimplementationsoftheneuralnetworklenet5infpgas |
| _version_ |
1771297195335614464 |
| spelling |
nemertes-10889-136862022-09-05T09:41:25Z Αρχιτεκτονικές και υλοποιήσεις του νευρωνικού δικτύου LeNet-5 σε FPGAs Architectures and implementations of the neural network LeNet-5 in FPGAs Ευαγγέλου, Γεώργιος Ρούσσος, Νικόλαος Evangelou, Georgios Roussos, Nikolaos Μηχανική μάθηση Νευρωνικά δίκτυα Αναγνώριση εικόνων Σύνθεση υψηλού επιπέδου Επιτάχυνση υλικού Σχεδίαση FPGA Machine learning Neural networks LeNet-5 Image recognition High-Level synthesis Hardware acceleration FPGA design Με την αυξανόμενη διαθεσιμότητα σε υπολογιστικούς πόρους, η δημοσιότητα της μηχανικής μάθησης αυξάνεται ραγδαία όσον αφορά την ανάλυση και επεξεργασία δεδομένων, παρέχοντας λύσεις σε προβλήματα διαφόρων επιστημονικών πεδίων. Τα νευρωνικά δίκτυα αποτελούν έναν από τους πιο μελετημένους και χρησιμοποιούμενους υπο-τομείς της μηχανικής μάθησης, προσφέροντας αποτελεσματικές μεθόδους κατηγοριοποίησης δεδομένων. Διαδεδομένο παράδειγμα είναι η αναγνώριση εικόνων σε πραγματικό χρόνο, που παρουσιάζει ιδιαίτερο εμπορικό ενδιαφέρον, όπως η ταυτοποίηση προσώπων σε smartphones. Συνεπώς, υπάρχει αυξανόμενη ανάγκη για χωρικά και ενεργειακά αποδοτικές λύσεις, οι οποίες ικανοποιούν τις προδιαγραφές των εφαρμογών αυτών, διατηρώντας, ωστόσο, υψηλές επιδόσεις. Ως εκ τούτου, η μηχανική μάθηση απομακρύνεται από υλοποιήσεις λογισμικού, καθώς κατά κανόνα χρησιμοποιούν μη αποδοτικούς επεξεργαστές γενικής χρήσης. Ακολουθώντας αυτή την πορεία, η παρούσα διπλωματική εργασία έχει σκοπό τη σχεδίαση μιας αρχιτεκτονικής σε υλικό ως εναλλακτική λύση. Η προτεινόμενη δομή είναι βασισμένη στο νευρωνικό δίκτυο LeNet-5 και έχει τη δυνατότητα αναγνώρισης χειρόγραφων ψηφίων με υψηλή ακρίβεια. Το κύριο αποτέλεσμα της εργασίας αυτής είναι μια υλοποίηση σε FPGA, η οποία επιτυγχάνει τον παραπάνω στόχο, αφού πρώτα προηγήθηκε εξοικείωση και χρήση των εργαλείων της πλατφόρμας σχεδίασης Vivado Design Suite. Επεκτείνοντας το πεδίο μελέτης, ένας δεύτερος στόχος είναι η βελτίωση της συστημικής σχεδίασης, όσον αφορά την αποδοτικότητα και επίδοση, εκμεταλλεύοντας μηχανισμούς συμπίεσης μήκους λέξεων και μεθόδους επιτάχυνσης της αρχιτεκτονικής. Μία σχολαστική ανάλυση της δομής του δικτύου, αποκαλύπτει λύσεις διαφορετικών λειτουργικών χαρακτηριστικών, με στόχο την βελτίωση των κύριων δεικτών επίδοσης του συνολικού συστήματος. Η παρούσα διπλωματική εργασία είναι βασισμένη, αλλά δεν περιορίζεται, στην συγκεκριμένη εφαρμογή. Συνεπώς, ακολουθώντας παρόμοια διαδικασία, διαφορετικά νευρωνικά δίκτυα μπορούν επίσης να υλοποιηθούν. With the increasing availability of computational resources, machine learning has seen skyrocketing popularity in data analysis and processing, since it offers solutions to problems in various scientific areas. Neural networks are one of the most researched and applied subdomains of machine learning, providing effective data classification methods. For instance, real-time image recognition systems are of great commercial interest, such as face identification in smartphones. Thus, there is a growing need to develop area and power efficient solutions that meet the constraints of such applications, while maintaining high performance. As a consequence, machine learning is drifting away from software solutions, as they generally utilize inefficient general-purpose processors. Following this trend, this dissertation aims to design a hardware realization as an alternative. The proposed framework is based upon the LeNet-5 neural network and is able to recognize hand-written digits with great accuracy. The main achievement is an FPGA implementation, which achieves this goal, while the authors managed to familiarize with and utilize design tools provided with the Vivado Design Suite. Expanding the horizons of this diploma thesis, a second objective is to improve the system design, with regard to efficiency and performance, by exploiting word-length compression mechanisms and architectural acceleration methods. A close inspection of the network’s structure reveals solutions of different functional characteristics, in order for the overall system’s Key Performance Indicators (KPIs) to be enhanced. This framework is based upon, but not limited to, the current application. Therefore, following a similar workflow, other neural networks can be implemented, as well. 2020-08-02T10:31:32Z 2020-08-02T10:31:32Z 2020-07-20 http://hdl.handle.net/10889/13686 gr application/pdf |
