Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής
Ένα από τα σημαντικότερα πεδία έρευνας της κατανόησης φυσικής γλώσσας είναι η κειμενική συνεπαγωγή. Αναπαριστά την ικανότητα εξαγωγής συμπερασμάτων κατά τη διάρκεια προφορικής ή γραπτής επικοινωνίας. Το πρόβλημα αποτελείται από δυο προτάσεις, την προϋπόθεση και την υπόθεση, και μια ετικέτα που εκφρά...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2021
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/15557 |
| id |
nemertes-10889-15557 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-155572022-09-06T05:13:24Z Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής Deep learning techniques for natural language inference Ελευθεριάδης, Πέτρος Eleftheriadis, Petros Επεξεργασία φυσικής γλώσσας Κατανόηση φυσικής γλώσσας Κειμενική συνεπαγωγή Νευρωνικά δίκτυα Μηχανισμός προσοχής Μετασχηματιστές Natural language processing Natural language understanding Natural language inference Neural networks Attention mechanism Transformers Ένα από τα σημαντικότερα πεδία έρευνας της κατανόησης φυσικής γλώσσας είναι η κειμενική συνεπαγωγή. Αναπαριστά την ικανότητα εξαγωγής συμπερασμάτων κατά τη διάρκεια προφορικής ή γραπτής επικοινωνίας. Το πρόβλημα αποτελείται από δυο προτάσεις, την προϋπόθεση και την υπόθεση, και μια ετικέτα που εκφράζει τη σχέση τους. Αν η υπόθεση μπορεί να συμπεραθεί από την προϋπόθεση το ζευγάρι χαρακτηρίζεται ως «συνεπαγωγή». Αν η υπόθεση αντιφάσκει την προϋπόθεση, το ζευγάρι χαρακτηρίζεται ως «αντίφαση» και όταν οι πληροφορίες δεν είναι αρκετές για να βγει συμπέρασμα, το ζευγάρι χαρακτηρίζεται ως «ουδέτερο». Σε αυτή τη διπλωματική παρουσιάζουμε μοντέρνες τεχνικές βαθιάς μάθησης όπως τον προ-εκπαιδευμένο μετασχηματιστή BERT αλλά και παλαιοτέρα μοντέλα. Συγκρίνουμε πέντε διαφορετικά νευρωνικά μοντέλα σε οχτώ σύνολα δεδομένων κειμενικής συνεπαγωγής. Παραμετροποιούμε το κάθε μοντέλο σε κάθε σύνολο και παρουσιάζουμε τα καλυτέρα αποτελέσματα για το καθένα. Στη συνέχεια, αξιολογούμε την ικανότητα των μοντέλων στο BreakingNLI, ένα σύνολο ελέγχου που αξιολογεί την ικανότητα των μοντέλων στην αναγνώριση λεκτικής συνεπαγωγής. Τέλος, κάνουμε ένα πείραμα ικανότητας γενίκευσης των μοντέλων όπου εκπαιδεύουμε το κάθε μοντέλο στο κάθε σύνολο και το αξιολογούμε στα δεδομένα ελέγχου των υπολοίπων. Στο πρώτο μέρος του πειράματος τα αποτελέσματα μας δείχνουν την υπεροχή των μετασχηματιστών BERT, RoBERTa, ALBERT έναντί των παλαιότερων τεχνικών. Ιδιαίτερα φανερή είναι αυτή η διαφορά όταν αξιολογούμε στο BreakingNLI. Επίσης παρατηρούμε πως το μεγαλύτερο μέγεθος των μετασχηματιστών σχετίζεται με καλύτερη απόδοση ενώ το ALBERT πετυχαίνει συγκρίσιμα αποτελέσματα με 18 φορές λιγότερες παραμέτρους. Ωστόσο, στο πείραμα γενίκευσης όλα τα μοντέλα αποτυγχάνουν να διατηρήσουν τις καλές τους αποδόσεις σε ξένα δεδομένα. Natural Language Inference is one of the most important Natural Language Understanding tasks. NLI expresses the ability to infer information during spoken or written communication. The NLI task is comprised of a pair of two sentences, premise and hypothesis, and a label that determines their relation. If the premise entails the hypothesis, the pair is labeled as an “entailment”. If the hypothesis contradicts the premise, the pair is labeled a “contradiction”, and if there is not enough information to infer a relation, the pair is labeled as “neutral”. In our thesis, we present modern deep learning models like the pre-trained transformer BERT, as well as older models that use LSTM networks. We compare five neural models on eight NLI datasets. We tune the hyperparameters for each model to achieve the best performance for each dataset. Next, we test the inference ability of the models on BreakingNLI, a dataset which evaluates the model’s ability to recognize lexical inferences. Finally, we test the generalization power of our models across our NLI datasets. In the first part of our experiment, we observe the performance advantage of the pre-trained transformers BERT, RoBERTa, ALBERT over the older models. This becomes evident when they are tested on BreakingNLI. We also see a pattern of improved performance on the larger models; however, ALBERT performs comparatively with 18 times fewer parameters. In the generalization test however, we observe poor performances from the models across all benchmarks. 2021-11-10T06:05:27Z 2021-11-10T06:05:27Z 2021-11-09 http://hdl.handle.net/10889/15557 gr application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Επεξεργασία φυσικής γλώσσας Κατανόηση φυσικής γλώσσας Κειμενική συνεπαγωγή Νευρωνικά δίκτυα Μηχανισμός προσοχής Μετασχηματιστές Natural language processing Natural language understanding Natural language inference Neural networks Attention mechanism Transformers |
| spellingShingle |
Επεξεργασία φυσικής γλώσσας Κατανόηση φυσικής γλώσσας Κειμενική συνεπαγωγή Νευρωνικά δίκτυα Μηχανισμός προσοχής Μετασχηματιστές Natural language processing Natural language understanding Natural language inference Neural networks Attention mechanism Transformers Ελευθεριάδης, Πέτρος Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| description |
Ένα από τα σημαντικότερα πεδία έρευνας της κατανόησης φυσικής γλώσσας είναι η κειμενική συνεπαγωγή. Αναπαριστά την ικανότητα εξαγωγής συμπερασμάτων κατά τη διάρκεια προφορικής ή γραπτής επικοινωνίας. Το πρόβλημα αποτελείται από δυο προτάσεις, την προϋπόθεση και την υπόθεση, και μια ετικέτα που εκφράζει τη σχέση τους. Αν η υπόθεση μπορεί να συμπεραθεί από την προϋπόθεση το ζευγάρι χαρακτηρίζεται ως «συνεπαγωγή». Αν η υπόθεση αντιφάσκει την προϋπόθεση, το ζευγάρι χαρακτηρίζεται ως «αντίφαση» και όταν οι πληροφορίες δεν είναι αρκετές για να βγει συμπέρασμα, το ζευγάρι χαρακτηρίζεται ως «ουδέτερο». Σε αυτή τη διπλωματική παρουσιάζουμε μοντέρνες τεχνικές βαθιάς μάθησης όπως τον προ-εκπαιδευμένο μετασχηματιστή BERT αλλά και παλαιοτέρα μοντέλα. Συγκρίνουμε πέντε διαφορετικά νευρωνικά μοντέλα σε οχτώ σύνολα δεδομένων κειμενικής συνεπαγωγής. Παραμετροποιούμε το κάθε μοντέλο σε κάθε σύνολο και παρουσιάζουμε τα καλυτέρα αποτελέσματα για το καθένα. Στη συνέχεια, αξιολογούμε την ικανότητα των μοντέλων στο BreakingNLI, ένα σύνολο ελέγχου που αξιολογεί την ικανότητα των μοντέλων στην αναγνώριση λεκτικής συνεπαγωγής. Τέλος, κάνουμε ένα πείραμα ικανότητας γενίκευσης των μοντέλων όπου εκπαιδεύουμε το κάθε μοντέλο στο κάθε σύνολο και το αξιολογούμε στα δεδομένα ελέγχου των υπολοίπων. Στο πρώτο μέρος του πειράματος τα αποτελέσματα μας δείχνουν την υπεροχή των μετασχηματιστών BERT, RoBERTa, ALBERT έναντί των παλαιότερων τεχνικών. Ιδιαίτερα φανερή είναι αυτή η διαφορά όταν αξιολογούμε στο BreakingNLI. Επίσης παρατηρούμε πως το μεγαλύτερο μέγεθος των μετασχηματιστών σχετίζεται με καλύτερη απόδοση ενώ το ALBERT πετυχαίνει συγκρίσιμα αποτελέσματα με 18 φορές λιγότερες παραμέτρους. Ωστόσο, στο πείραμα γενίκευσης όλα τα μοντέλα αποτυγχάνουν να διατηρήσουν τις καλές τους αποδόσεις σε ξένα δεδομένα. |
| author2 |
Eleftheriadis, Petros |
| author_facet |
Eleftheriadis, Petros Ελευθεριάδης, Πέτρος |
| author |
Ελευθεριάδης, Πέτρος |
| author_sort |
Ελευθεριάδης, Πέτρος |
| title |
Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| title_short |
Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| title_full |
Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| title_fullStr |
Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| title_full_unstemmed |
Τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| title_sort |
τεχνικές βαθιάς μάθησης για αναγνώριση κειμενικής συνεπαγωγής |
| publishDate |
2021 |
| url |
http://hdl.handle.net/10889/15557 |
| work_keys_str_mv |
AT eleutheriadēspetros technikesbathiasmathēsēsgiaanagnōrisēkeimenikēssynepagōgēs AT eleutheriadēspetros deeplearningtechniquesfornaturallanguageinference |
| _version_ |
1799945008967581696 |
