| Summary: | Τα τελευταία χρόνια, τα νευρωνικά δίκτυα, έχουν καταφέρει να πιέσουν τα όρια της επεξεργασίας φυσικής γλώσσας. Μεγάλα μοντέλα όπως το BERT καταφέρνουν και προ-εκπαιδεύονται με τεράστιο όγκο δεδομένων, μαθαίνοντας ιδιομορφίες της γλώσσας και στη συνέχεια μπορούν και εξειδικεύονται σε πληθώρα προβλημάτων. Μέθοδοι παραλληλισμού και αλγόριθμοι βελτιστοποίησης όπως ο LAMB επιτρέπουν αυτή την εκπαίδευση να γίνεται σε σύντομο και πρακτικό χρόνο. Σε αυτήν την εργασία θα παρουσιάσουμε κάποια είδη νευρωνικών δικτύων και την δομή τους, καθώς και μεθόδους βελτιστοποίησης που χρησιμοποιούνται για γρήγορη και έγκυρη εκπαίδευση.
|
|---|
