Spectral conjugate gradient methods with sufficient descent property for neural network training

Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθα...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριοι συγγραφείς:	Λιβιέρης, Ιωάννης, Πιντέλας, Παναγιώτης
Άλλοι συγγραφείς:	Livieris, Ioannis
Μορφή:	Technical Report
Γλώσσα:	English
Έκδοση:	2010
Θέματα:	Neural networks Descent spectral conjugate gradient methods Sufficient descent property Truncate strategy Νευρωνικά δίκτυα Μέθοδοι συζυγών κλίσεων
Διαθέσιμο Online:	http://nemertes.lis.upatras.gr/jspui/handle/10889/2795

id	nemertes-10889-2795
record_format	dspace
spelling	nemertes-10889-27952022-09-05T14:04:02Z Spectral conjugate gradient methods with sufficient descent property for neural network training Λιβιέρης, Ιωάννης Πιντέλας, Παναγιώτης Livieris, Ioannis Pintelas, Panagiotis Neural networks Descent spectral conjugate gradient methods Sufficient descent property Truncate strategy Νευρωνικά δίκτυα Μέθοδοι συζυγών κλίσεων Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθαρρυντικά αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρηγορότερη, σταθερότερη και πιο αξιόπιστη σύγκλιση. Conjugate gradient methods constitute an excellent choice for efficiently training large neural networks since they don't require the evaluation of the Hessian matrix neither the impractical storage of an approximation of it. Despite the theoretical and practical advantages of these methods their main drawback is the use of restarting procedures in order to guarantee convergence, abandoning second order derivative information. In this work, we propose a neural network training algorithm which preserves the advantages of classical conjugate gradient methods and simultaneously avoids the inefficient restarts. Encouraging numerical experiments verify that the presented algorithm provides fast, stable and reliable convergence. 2010-04-08T08:12:20Z 2010-04-08T08:12:20Z 2008-09-01 2010-04-08T08:12:20Z Technical Report http://nemertes.lis.upatras.gr/jspui/handle/10889/2795 en application/pdf
institution	UPatras
collection	Nemertes
language	English
topic	Neural networks Descent spectral conjugate gradient methods Sufficient descent property Truncate strategy Νευρωνικά δίκτυα Μέθοδοι συζυγών κλίσεων
spellingShingle	Neural networks Descent spectral conjugate gradient methods Sufficient descent property Truncate strategy Νευρωνικά δίκτυα Μέθοδοι συζυγών κλίσεων Λιβιέρης, Ιωάννης Πιντέλας, Παναγιώτης Spectral conjugate gradient methods with sufficient descent property for neural network training
description	Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθαρρυντικά αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρηγορότερη, σταθερότερη και πιο αξιόπιστη σύγκλιση.
author2	Livieris, Ioannis
author_facet	Livieris, Ioannis Λιβιέρης, Ιωάννης Πιντέλας, Παναγιώτης
format	Technical Report
author	Λιβιέρης, Ιωάννης Πιντέλας, Παναγιώτης
author_sort	Λιβιέρης, Ιωάννης
title	Spectral conjugate gradient methods with sufficient descent property for neural network training
title_short	Spectral conjugate gradient methods with sufficient descent property for neural network training
title_full	Spectral conjugate gradient methods with sufficient descent property for neural network training
title_fullStr	Spectral conjugate gradient methods with sufficient descent property for neural network training
title_full_unstemmed	Spectral conjugate gradient methods with sufficient descent property for neural network training
title_sort	spectral conjugate gradient methods with sufficient descent property for neural network training
publishDate	2010
url	http://nemertes.lis.upatras.gr/jspui/handle/10889/2795
work_keys_str_mv	AT libierēsiōannēs spectralconjugategradientmethodswithsufficientdescentpropertyforneuralnetworktraining AT pintelaspanagiōtēs spectralconjugategradientmethodswithsufficientdescentpropertyforneuralnetworktraining
_version_	1771297225364733952

Spectral conjugate gradient methods with sufficient descent property for neural network training

Παρόμοια τεκμήρια