On Descent Spectral CG algorithms for Training Recurrent Neural Networks

• Main Authors: Λιβιέρης, Ιωάννης, Αποστολοπούλου, Μαριάννα, Σωτηρόπουλος, Δημήτρης, Σιούτας, Σπύρος, Πιντέλας, Παναγιώτης
• Other Authors: Livieris, Ioannis
• Format: Technical Report
• Language: English
• Published: 2010
• Subjects: Recurrent neural networks; Descent spectral conjugate gradient methods; Sufficient descent property; Ανατροφοδοτούμενα νευρωνικά δίκτυα

Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.