Spectral conjugate gradient methods with sufficient descent property for neural network training

• Κύριοι συγγραφείς: Λιβιέρης, Ιωάννης, Πιντέλας, Παναγιώτης
• Άλλοι συγγραφείς: Livieris, Ioannis
• Μορφή: Technical Report
• Γλώσσα: English
• Έκδοση: 2010
• Θέματα: Neural networks; Descent spectral conjugate gradient methods; Sufficient descent property; Truncate strategy; Νευρωνικά δίκτυα; Μέθοδοι συζυγών κλίσεων

Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθαρρυντικά αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρηγορότερη, σταθερότερη και πιο αξιόπιστη σύγκλιση.