On Descent Spectral CG algorithms for Training Recurrent Neural Networks

Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επαν...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριοι συγγραφείς:	Λιβιέρης, Ιωάννης, Αποστολοπούλου, Μαριάννα, Σωτηρόπουλος, Δημήτρης, Σιούτας, Σπύρος, Πιντέλας, Παναγιώτης
Άλλοι συγγραφείς:	Livieris, Ioannis
Μορφή:	Technical Report
Γλώσσα:	English
Έκδοση:	2010
Θέματα:	Recurrent neural networks Descent spectral conjugate gradient methods Sufficient descent property Ανατροφοδοτούμενα νευρωνικά δίκτυα
Διαθέσιμο Online:	http://nemertes.lis.upatras.gr/jspui/handle/10889/2794

id	nemertes-10889-2794
record_format	dspace
spelling	nemertes-10889-27942022-09-05T20:23:48Z On Descent Spectral CG algorithms for Training Recurrent Neural Networks Λιβιέρης, Ιωάννης Αποστολοπούλου, Μαριάννα Σωτηρόπουλος, Δημήτρης Σιούτας, Σπύρος Πιντέλας, Παναγιώτης Livieris, Ioannis Apostolopoulou, Marianna Sotiropoulos, Dimitris Sioutas, Spyros Pintelas, Panagiotis Recurrent neural networks Descent spectral conjugate gradient methods Sufficient descent property Ανατροφοδοτούμενα νευρωνικά δίκτυα Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής. In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks. 2010-04-08T08:06:36Z 2010-04-08T08:06:36Z 2009-04-01 2010-04-08T08:06:36Z Technical Report http://nemertes.lis.upatras.gr/jspui/handle/10889/2794 en application/pdf
institution	UPatras
collection	Nemertes
language	English
topic	Recurrent neural networks Descent spectral conjugate gradient methods Sufficient descent property Ανατροφοδοτούμενα νευρωνικά δίκτυα
spellingShingle	Recurrent neural networks Descent spectral conjugate gradient methods Sufficient descent property Ανατροφοδοτούμενα νευρωνικά δίκτυα Λιβιέρης, Ιωάννης Αποστολοπούλου, Μαριάννα Σωτηρόπουλος, Δημήτρης Σιούτας, Σπύρος Πιντέλας, Παναγιώτης On Descent Spectral CG algorithms for Training Recurrent Neural Networks
description	Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.
author2	Livieris, Ioannis
author_facet	Livieris, Ioannis Λιβιέρης, Ιωάννης Αποστολοπούλου, Μαριάννα Σωτηρόπουλος, Δημήτρης Σιούτας, Σπύρος Πιντέλας, Παναγιώτης
format	Technical Report
author	Λιβιέρης, Ιωάννης Αποστολοπούλου, Μαριάννα Σωτηρόπουλος, Δημήτρης Σιούτας, Σπύρος Πιντέλας, Παναγιώτης
author_sort	Λιβιέρης, Ιωάννης
title	On Descent Spectral CG algorithms for Training Recurrent Neural Networks
title_short	On Descent Spectral CG algorithms for Training Recurrent Neural Networks
title_full	On Descent Spectral CG algorithms for Training Recurrent Neural Networks
title_fullStr	On Descent Spectral CG algorithms for Training Recurrent Neural Networks
title_full_unstemmed	On Descent Spectral CG algorithms for Training Recurrent Neural Networks
title_sort	on descent spectral cg algorithms for training recurrent neural networks
publishDate	2010
url	http://nemertes.lis.upatras.gr/jspui/handle/10889/2794
work_keys_str_mv	AT libierēsiōannēs ondescentspectralcgalgorithmsfortrainingrecurrentneuralnetworks AT apostolopouloumarianna ondescentspectralcgalgorithmsfortrainingrecurrentneuralnetworks AT sōtēropoulosdēmētrēs ondescentspectralcgalgorithmsfortrainingrecurrentneuralnetworks AT sioutasspyros ondescentspectralcgalgorithmsfortrainingrecurrentneuralnetworks AT pintelaspanagiōtēs ondescentspectralcgalgorithmsfortrainingrecurrentneuralnetworks
_version_	1771297273252151296

On Descent Spectral CG algorithms for Training Recurrent Neural Networks

Παρόμοια τεκμήρια