| Summary: | Τα νευρωνικά γλωσσικά μοντέλα αναδρομικού τύπου (βλ. LSTM, GRU κοκ.) αποτελούν την αποτελεσματικότερη προσέγγιση για διάφορες διεργασίες της επεξεργασίας φυσικής γλώσσας. Παράλληλα, αποτελούν μια πολύπλοκη τεχνική με πληθώρα υπερπαραμέτρων, οι οποίες επηρεάζουν άρρητα την αποδοτικότητα του μοντέλου, ενώ το βέλτιστο σύνολο των τιμών τους είναι κάθε φορά μοναδικό, και εξαρτάται από το πρόβλημα που επιλύεται και το σύνολο δεδομένων που χρησιμοποιείται. Απαιτείται λοιπόν η κατάλληλη ρύθμιση των υπερπαραμέτρων για τη μέγιστη αποδοτικότητα του μοντέλου. Στην παρούσα εργασία, υλοποιείται ένα νευρνικό γλωσσικό μοντέλο, αποτελούμενο από LSTM νευρώνες, με σκοπό την πρόβλεψη επόμενης λέξης κειμένου. Για τη ρύθμιση των υπερπαραμέτρων του, αναπτύζονται δύο απλοί και αυτοσχέδιοι γενετικοί αλγόριθμοι, των οποίων τα αποτελέσματα σχολιάζονται και συγκρίνονται μεταξύ τους, καθώς και με το λεγόμενο standard configuration.
|
|---|
