Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα
Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που π...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2009
|
| Θέματα: | |
| Διαθέσιμο Online: | http://nemertes.lis.upatras.gr/jspui/handle/10889/1245 |
| id |
nemertes-10889-1245 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-12452022-09-05T20:50:18Z Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα Επιτροπάκης, Μιχαήλ Βραχάτης, Μιχαήλ Αλεβίζος, Παναγιώτης Αλεβίζος, Φίλiππος Βραχάτης, Μιχαήλ Epitropakis, Michael Τεχνητά νευρωνικά δίκτυα Εξελικτικοί αλγόριθμοι Παράλληλοι εξελικτικοί αλγόριθμοι Κατανεμημένα συστήματα Διαφοροεξελικτικοί αλγόριθμοι Πι-σίγμα τεχνητά νευρωνικά δίκτυα Υψηλής τάξης τεχνητά νευρωνικά δίκτυα Μοντέλα νησιών Ακέραια βάρη Συναρτήσεις ενεργοποίησης κατώφλια Artificial neural networks Evolutionary algorithms Parallel evolutionary algorithms Distributed systems Differential evolution Pi-sigma neural networks Integer weights Threshold activation functions 006.32 Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους. In this contribution, we study the class of Higher-Order Neural Networks and especially the Pi-Sigma Networks. The performance of Pi-Sigma Networks is evaluated through several well known neural network training benchmarks. In the experiments reported here, Evolutionary Algorithms and Parallel/Distributed Evolutionary Algorithms are implemented for Pi-Sigma neural networks training. More specifically the serial as well as a parallel/distributed version of the Differential Evolution have been employed. The proposed approach is applied to train Pi-Sigma networks using threshold activation functions. Moreover, the weights and biases were confined to a narrow band of integers, constrained in the range [-32, 32]. Thus the trained Pi-Sigma neural networks can be represented by just 6 bits. Such networks are better suited for hardware implementation than the real weight ones. Experimental results suggest that this training process is fast, stable and reliable and the trained Pi-Sigma networks, with both serial and parallel/distributed algorithms, exhibited good generalization capabilities. Furthermore, the usage of a distributed version of the Differential Evolution, has demonstrated a speedup of the training process. 2009-01-14T10:50:45Z 2009-01-14T10:50:45Z 2008-06-24 2009-01-14T10:50:45Z Thesis http://nemertes.lis.upatras.gr/jspui/handle/10889/1245 gr Η ΒΥΠ διαθέτει αντίτυπο της διατριβής σε έντυπη μορφή στο βιβλιοστάσιο διδακτορικών διατριβών που βρίσκεται στο ισόγειο του κτιρίου της. 0 application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Τεχνητά νευρωνικά δίκτυα Εξελικτικοί αλγόριθμοι Παράλληλοι εξελικτικοί αλγόριθμοι Κατανεμημένα συστήματα Διαφοροεξελικτικοί αλγόριθμοι Πι-σίγμα τεχνητά νευρωνικά δίκτυα Υψηλής τάξης τεχνητά νευρωνικά δίκτυα Μοντέλα νησιών Ακέραια βάρη Συναρτήσεις ενεργοποίησης κατώφλια Artificial neural networks Evolutionary algorithms Parallel evolutionary algorithms Distributed systems Differential evolution Pi-sigma neural networks Integer weights Threshold activation functions 006.32 |
| spellingShingle |
Τεχνητά νευρωνικά δίκτυα Εξελικτικοί αλγόριθμοι Παράλληλοι εξελικτικοί αλγόριθμοι Κατανεμημένα συστήματα Διαφοροεξελικτικοί αλγόριθμοι Πι-σίγμα τεχνητά νευρωνικά δίκτυα Υψηλής τάξης τεχνητά νευρωνικά δίκτυα Μοντέλα νησιών Ακέραια βάρη Συναρτήσεις ενεργοποίησης κατώφλια Artificial neural networks Evolutionary algorithms Parallel evolutionary algorithms Distributed systems Differential evolution Pi-sigma neural networks Integer weights Threshold activation functions 006.32 Επιτροπάκης, Μιχαήλ Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| description |
Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους. |
| author2 |
Βραχάτης, Μιχαήλ |
| author_facet |
Βραχάτης, Μιχαήλ Επιτροπάκης, Μιχαήλ |
| format |
Thesis |
| author |
Επιτροπάκης, Μιχαήλ |
| author_sort |
Επιτροπάκης, Μιχαήλ |
| title |
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| title_short |
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| title_full |
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| title_fullStr |
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| title_full_unstemmed |
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| title_sort |
εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα |
| publishDate |
2009 |
| url |
http://nemertes.lis.upatras.gr/jspui/handle/10889/1245 |
| work_keys_str_mv |
AT epitropakēsmichaēl ekpaideusētechnētōnneurōnikōndiktyōnmetēnchrēsēexeliktikōnalgorithmōnseseiriakakaikatanemēmenasystēmata |
| _version_ |
1771297290077601792 |
