Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA
Τα τελευταία χρόνια, τα νευρωνικά δίκτυα έχουν δώσει εντυπωσιακά αποτελέσματα σε πληθώρα εφαρμογών όπως η μηχανική όραση και η επεξεργασία φυσικής γλώσσας και χρησιμοποιούνται ευρέως ως δομικά στοιχεία πολλών συστημάτων ελέγχου και πρόβλεψης. Η τεράστια πρόοδος που έχει επιτευχθεί οφείλεται σε μεγάλ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2020
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/14119 |
| id |
nemertes-10889-14119 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Spiking νευρωνικά δίκτυα Επιταχυντής υλικού Spiking neural networks Hardware accelerators |
| spellingShingle |
Spiking νευρωνικά δίκτυα Επιταχυντής υλικού Spiking neural networks Hardware accelerators Σακελλαρίου, Βασίλειος Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| description |
Τα τελευταία χρόνια, τα νευρωνικά δίκτυα έχουν δώσει εντυπωσιακά αποτελέσματα σε πληθώρα εφαρμογών όπως η μηχανική όραση και η επεξεργασία φυσικής γλώσσας και χρησιμοποιούνται ευρέως ως δομικά στοιχεία πολλών συστημάτων ελέγχου και πρόβλεψης. Η τεράστια πρόοδος που έχει επιτευχθεί οφείλεται σε μεγάλο βαθμό στην αποδοτική εκπαίδευση βαθιών αρχιτεκτονικώνν νευρωνικών δικτύων με τεράστιο όγκο δεδομένων. Η χρησιμοποίσηση των GPUs αλλά και εξειδικευμένου υλικού ειδικού σκοπού με παράλληλες αρχιτεκτονικές μεγάλης κλίμακας έχει επιταχύνει καθοριστικά τόσο τη κανονική λειτουργία (inference) όσο και την διαδικασία εκπαίδευσης (training) του δικτύου. Ωστόσο με την ολοένα και αυξανόμενη ανάγκη για ενσωματωμένες λύσεις χαμηλής κατανάλωσης ηχρήση κλασσικών μοντέλων Νευρωνικών Δικτύων μπορεί να είναι μία μη πραγματοποιήσιμη επιλογή για κάποιες εφαρμογές. Τα Spiking Neural Networks (SNN) αποτελούν ένα διαφορετικό μοντέλο υπολογισμού που μπορεί θεωρητικά να οδηγήσει σε συστήματα μεγαλύτερης ενεργειακής αποδοτικότητας . Ως αποτέλεσμα χρησιμοποιούνται πρόσφατα για την επίλυση προβλημάτων μηχανικής μάθησης που επιλύονται παραδοσιακά από κλασσικα Artificial Neural Networks (ANN). Τα SNN διαφέρουν από τα ΑΝΝ καθώς ενσωματώνουν την έννοια του χρόνου στους υπλογισμούς τους, ενώ η πληροφορία κωδικοποιείται στον ακριβή χρονισμό ή τη συχνότητα διακριτών γεγονότων, των spikes. Τα SNN υπόσχονται να επιτύχουνμεγαλύτερη αποδοτικότητα λόγω της ασύχρονης, event-driven φύση τους, όταν βεβαίως υλοποιηθούν σε ειδικά συστήματα που καλούνται συχνά νευρομορφικά. Φυσικά, το διαφορετικό μοντέλο υπολογισμού που εισάγουν δημιουργεί και διαφορετικές προκλήσεις για την υλοποίηση μοντέλων μεγάλης κλίμακας οι οποίες πρέπει να αντιμετωπιστούν με την ανάπτυξη διαφορετικών αρχιτεκτονικών. Το συστημα που υλοποίηθηκε και παρουσιάζεται στη παρούσα εργασία έχει στόχο ναδιευκολύνει και να επιταχύνει τη διαδικασία ανάπτυξης SNN για προβλήματα μηχανικής μάθησης τα οποία επιλύονται παραδοσιακά από ANN και να βοηθήσει στη γεφύρωση του χάσματος μεταξύ τους, παρά να χρησιμοποιηθεί ως ένας γενικούσκοπού προμοιωτής μοντέλων νευρώνων με βιολογική ακρίβε |
| author2 |
Sakellariou, Vasileios |
| author_facet |
Sakellariou, Vasileios Σακελλαρίου, Βασίλειος |
| author |
Σακελλαρίου, Βασίλειος |
| author_sort |
Σακελλαρίου, Βασίλειος |
| title |
Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| title_short |
Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| title_full |
Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| title_fullStr |
Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| title_full_unstemmed |
Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA |
| title_sort |
σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε fpga |
| publishDate |
2020 |
| url |
http://hdl.handle.net/10889/14119 |
| work_keys_str_mv |
AT sakellarioubasileios schediasmosepitachyntēylikougiaprosomoiōsēkaiekpaideusēspikingneurōnikōndiktyōnylopoiēsēsefpga AT sakellarioubasileios ahardwareacceleratorforspikingneuralnetworksimulationandtrainingimplementationinfpga |
| _version_ |
1771297206322593792 |
| spelling |
nemertes-10889-141192022-09-05T11:16:36Z Σχεδιασμός επιταχυντή υλικού για προσομοίωση και εκπαίδευση spiking νευρωνικών δικτύων : υλοποίηση σε FPGA A hardware accelerator for spiking neural network simulation and training : implementation in FPGA Σακελλαρίου, Βασίλειος Sakellariou, Vasileios Spiking νευρωνικά δίκτυα Επιταχυντής υλικού Spiking neural networks Hardware accelerators Τα τελευταία χρόνια, τα νευρωνικά δίκτυα έχουν δώσει εντυπωσιακά αποτελέσματα σε πληθώρα εφαρμογών όπως η μηχανική όραση και η επεξεργασία φυσικής γλώσσας και χρησιμοποιούνται ευρέως ως δομικά στοιχεία πολλών συστημάτων ελέγχου και πρόβλεψης. Η τεράστια πρόοδος που έχει επιτευχθεί οφείλεται σε μεγάλο βαθμό στην αποδοτική εκπαίδευση βαθιών αρχιτεκτονικώνν νευρωνικών δικτύων με τεράστιο όγκο δεδομένων. Η χρησιμοποίσηση των GPUs αλλά και εξειδικευμένου υλικού ειδικού σκοπού με παράλληλες αρχιτεκτονικές μεγάλης κλίμακας έχει επιταχύνει καθοριστικά τόσο τη κανονική λειτουργία (inference) όσο και την διαδικασία εκπαίδευσης (training) του δικτύου. Ωστόσο με την ολοένα και αυξανόμενη ανάγκη για ενσωματωμένες λύσεις χαμηλής κατανάλωσης ηχρήση κλασσικών μοντέλων Νευρωνικών Δικτύων μπορεί να είναι μία μη πραγματοποιήσιμη επιλογή για κάποιες εφαρμογές. Τα Spiking Neural Networks (SNN) αποτελούν ένα διαφορετικό μοντέλο υπολογισμού που μπορεί θεωρητικά να οδηγήσει σε συστήματα μεγαλύτερης ενεργειακής αποδοτικότητας . Ως αποτέλεσμα χρησιμοποιούνται πρόσφατα για την επίλυση προβλημάτων μηχανικής μάθησης που επιλύονται παραδοσιακά από κλασσικα Artificial Neural Networks (ANN). Τα SNN διαφέρουν από τα ΑΝΝ καθώς ενσωματώνουν την έννοια του χρόνου στους υπλογισμούς τους, ενώ η πληροφορία κωδικοποιείται στον ακριβή χρονισμό ή τη συχνότητα διακριτών γεγονότων, των spikes. Τα SNN υπόσχονται να επιτύχουνμεγαλύτερη αποδοτικότητα λόγω της ασύχρονης, event-driven φύση τους, όταν βεβαίως υλοποιηθούν σε ειδικά συστήματα που καλούνται συχνά νευρομορφικά. Φυσικά, το διαφορετικό μοντέλο υπολογισμού που εισάγουν δημιουργεί και διαφορετικές προκλήσεις για την υλοποίηση μοντέλων μεγάλης κλίμακας οι οποίες πρέπει να αντιμετωπιστούν με την ανάπτυξη διαφορετικών αρχιτεκτονικών. Το συστημα που υλοποίηθηκε και παρουσιάζεται στη παρούσα εργασία έχει στόχο ναδιευκολύνει και να επιταχύνει τη διαδικασία ανάπτυξης SNN για προβλήματα μηχανικής μάθησης τα οποία επιλύονται παραδοσιακά από ANN και να βοηθήσει στη γεφύρωση του χάσματος μεταξύ τους, παρά να χρησιμοποιηθεί ως ένας γενικούσκοπού προμοιωτής μοντέλων νευρώνων με βιολογική ακρίβε In recent years, Neural Networks have given impressive results in a variety of applications such as computer vision and natural language processing and arebeing used as an integral part of many control systems. The huge progress that has been made is largely due to the efficient training of deep neural network models with vast amount of data. The employment of GPUs and custom hardware in massively parallel architectures has substantially accelerated both the inference and training process. However, with the increasing need for embedded low-power solutions the use of classical Neural Networks may be unfeasible forsome applications. Spiking Neural Networks (SNNs) provide a different computational model that can theoretically lead to systems of higher energy efficiency. As a result, they are recently being employed to solve a number of machine learning problems that are traditionally solved by classical Artificial Neural Networks (ANNs). SNNs are different than ANNs as they incorporate time in their computations and information is encoded in the exact timing or frequency of discrete events, spikes. SNNs, promise to deliver a higher energy efficiency than ANNs, when implemented in neuromorphic hardware, due to their event-driven nature. Naturally, this different computational model they introduce, creates different design challenges in the implementation of large-scale networks andneeds to be addressed by different architectures. The spiking accelerator presented here aims to facilitate and accelerate the process of developing Spiking Neural Networks for machine learning applications that are traditionally addressed by ANNs and help bridge the accuracy gap between them, rather thanact as general simulator for bio-plausible neuron models 2020-10-21T15:45:52Z 2020-10-21T15:45:52Z 2020-10-15 http://hdl.handle.net/10889/14119 gr application/pdf |
