On Descent Spectral CG algorithms for Training Recurrent Neural Networks

• Κύριοι συγγραφείς: Λιβιέρης, Ιωάννης, Αποστολοπούλου, Μαριάννα, Σωτηρόπουλος, Δημήτρης, Σιούτας, Σπύρος, Πιντέλας, Παναγιώτης
• Άλλοι συγγραφείς: Livieris, Ioannis
• Μορφή: Technical Report
• Γλώσσα: English
• Έκδοση: 2010
• Θέματα: Recurrent neural networks; Descent spectral conjugate gradient methods; Sufficient descent property; Ανατροφοδοτούμενα νευρωνικά δίκτυα

Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.