Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου
Τα νευρωνικά γλωσσικά μοντέλα αναδρομικού τύπου (βλ. LSTM, GRU κοκ.) αποτελούν την αποτελεσματικότερη προσέγγιση για διάφορες διεργασίες της επεξεργασίας φυσικής γλώσσας. Παράλληλα, αποτελούν μια πολύπλοκη τεχνική με πληθώρα υπερπαραμέτρων, οι οποίες επηρεάζουν άρρητα την αποδοτικότητα του μοντέλου,...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2020
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/13935 |
| id |
nemertes-10889-13935 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-139352022-09-05T05:37:50Z Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου Hyperparameter optimization of a neural language model Γκοργκόλης, Νικόλαος Χατζηλυγερούδης, Ιωάννης Μακρής, Χρήστος Σιούτας, Σπυρίδων Χατζηλυγερούδης, Ιωάννης Gkorgkolis, Nikolaos Ρύθμιση υπερπαραμέτρων Νευρωνικά μοντέλα Γενετικοί αλγόριθμοι Γλωσσικά μοντέλα Hyperparameter optimization Genetic algorithms Τα νευρωνικά γλωσσικά μοντέλα αναδρομικού τύπου (βλ. LSTM, GRU κοκ.) αποτελούν την αποτελεσματικότερη προσέγγιση για διάφορες διεργασίες της επεξεργασίας φυσικής γλώσσας. Παράλληλα, αποτελούν μια πολύπλοκη τεχνική με πληθώρα υπερπαραμέτρων, οι οποίες επηρεάζουν άρρητα την αποδοτικότητα του μοντέλου, ενώ το βέλτιστο σύνολο των τιμών τους είναι κάθε φορά μοναδικό, και εξαρτάται από το πρόβλημα που επιλύεται και το σύνολο δεδομένων που χρησιμοποιείται. Απαιτείται λοιπόν η κατάλληλη ρύθμιση των υπερπαραμέτρων για τη μέγιστη αποδοτικότητα του μοντέλου. Στην παρούσα εργασία, υλοποιείται ένα νευρνικό γλωσσικό μοντέλο, αποτελούμενο από LSTM νευρώνες, με σκοπό την πρόβλεψη επόμενης λέξης κειμένου. Για τη ρύθμιση των υπερπαραμέτρων του, αναπτύζονται δύο απλοί και αυτοσχέδιοι γενετικοί αλγόριθμοι, των οποίων τα αποτελέσματα σχολιάζονται και συγκρίνονται μεταξύ τους, καθώς και με το λεγόμενο standard configuration. Neural language models of recursive type (e.g. LSTM, GRU) probably consist the most efficient way of dealing with a plethora of NLP tasks. Meanwhile, neural models are characterized by high complexity and numerous hyperparameters, which are essential to the effeciency of the model. The optimal set of values for the hyperparameters is unique per situation, as it is closely related to the nature of the problem being solved and the dataset being used. According to the above, automated fine - tuning becomes a necessity. Through the current thesis, a neural LSTM - based language model is being developped, for the prediction of text sequential words. In order to fine - tune the hyperparameters of the model, two simple and custom genetic algorithms are designed, whose results are extensively analysed and compared, both with the standard configuration and between them. 2020-10-08T05:40:42Z 2020-10-08T05:40:42Z 2019-06-13 Thesis http://hdl.handle.net/10889/13935 gr 0 application/pdf application/pdf application/octet-stream |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ρύθμιση υπερπαραμέτρων Νευρωνικά μοντέλα Γενετικοί αλγόριθμοι Γλωσσικά μοντέλα Hyperparameter optimization Genetic algorithms |
| spellingShingle |
Ρύθμιση υπερπαραμέτρων Νευρωνικά μοντέλα Γενετικοί αλγόριθμοι Γλωσσικά μοντέλα Hyperparameter optimization Genetic algorithms Γκοργκόλης, Νικόλαος Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| description |
Τα νευρωνικά γλωσσικά μοντέλα αναδρομικού τύπου (βλ. LSTM, GRU κοκ.) αποτελούν την αποτελεσματικότερη προσέγγιση για διάφορες διεργασίες της επεξεργασίας φυσικής γλώσσας. Παράλληλα, αποτελούν μια πολύπλοκη τεχνική με πληθώρα υπερπαραμέτρων, οι οποίες επηρεάζουν άρρητα την αποδοτικότητα του μοντέλου, ενώ το βέλτιστο σύνολο των τιμών τους είναι κάθε φορά μοναδικό, και εξαρτάται από το πρόβλημα που επιλύεται και το σύνολο δεδομένων που χρησιμοποιείται. Απαιτείται λοιπόν η κατάλληλη ρύθμιση των υπερπαραμέτρων για τη μέγιστη αποδοτικότητα του μοντέλου. Στην παρούσα εργασία, υλοποιείται ένα νευρνικό γλωσσικό μοντέλο, αποτελούμενο από LSTM νευρώνες, με σκοπό την πρόβλεψη επόμενης λέξης κειμένου. Για τη ρύθμιση των υπερπαραμέτρων του, αναπτύζονται δύο απλοί και αυτοσχέδιοι γενετικοί αλγόριθμοι, των οποίων τα αποτελέσματα σχολιάζονται και συγκρίνονται μεταξύ τους, καθώς και με το λεγόμενο standard configuration. |
| author2 |
Χατζηλυγερούδης, Ιωάννης |
| author_facet |
Χατζηλυγερούδης, Ιωάννης Γκοργκόλης, Νικόλαος |
| format |
Thesis |
| author |
Γκοργκόλης, Νικόλαος |
| author_sort |
Γκοργκόλης, Νικόλαος |
| title |
Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| title_short |
Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| title_full |
Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| title_fullStr |
Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| title_full_unstemmed |
Ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| title_sort |
ρύθμιση υπερπαραμέτρων νευρωνικού γλωσσικού μοντέλου |
| publishDate |
2020 |
| url |
http://hdl.handle.net/10889/13935 |
| work_keys_str_mv |
AT nkornkolēsnikolaos rythmisēyperparametrōnneurōnikouglōssikoumontelou AT nkornkolēsnikolaos hyperparameteroptimizationofaneurallanguagemodel |
| _version_ |
1771297155972071424 |
