| Περίληψη: | Ο τομέας της επεξεργασίας φυσικής γλωσσας (NLP) έχει γνωρίσει μεγάλη άνθηση τις τελευταίες δεκαετίες στην επιστήμη των υπολογιστών, και αυτό οφείλεται σε μεγάλο βαθμό στη ραγδαία αύξηση της δημοτικότητας του διαδικτύου. Εργαλεία όπως μηχανές αναζήτησης, μέσα κοινωνικής δικτύωσης και chatbots κ.α. δημιουργούν ανάγκες για εξέλιξη των υπαρχόντων τεχνολογιών και ανάπτυξη νέων αποδοτικότερων τεχνικών και μεθόδων αφού μεταξύ άλλων πραγματέυονται μια πλειάδα θεμάτων επεξεργασίας φυσικής γλώσσας όπως συστήματα ερωταπαντήσεων, ανάλυση συναισθηματικού περιεχομένου, ανίχνευση λογοκλοπής, spam detection, αναγνώριση fake news κ.α.
Στην παρούσα διπλωματική εργασία θα μελετήσουμε σε βάθος το θέμα της σημασιολογικής ομοιότητας κειμένων μέσα από το πρίσμα της Βαθιάς Μάθησης. Αρχικά κάνουμε μια εισαγωγή στο θεωρητικό υπόβαθρο της Βαθιάς Μάθησης. Έπειτα παραθέτουμε μια βιβλιογραφική μελέτη σχετικών ερευνών πάνω στις διάφορες τεχνικές που έχουν προταθεί κατά καιρούς για την αναγνώριση της σημασιολογικής ομοιότητας κειμένων. Στη συνέχεια παρουσιάζουμε τρία διαφορετικά μοντέλα νευρωνικών δικτύων, σιαμαίας και απλής αρχιτεκτονικής, τα οποία αναπτύξαμε στα πλαίσια της παρούσας διπλωματικής εργασίας με σκοπό τον προσδιοσριμό της σημασιολογκής ομοιότητας μεταξύ δύο προτάσεων. Για τα μοντέλα που αναπτύξαμε χρησιμοποιήσαμε δύο διαφορετικές τεχνικές διανυσματικής αναπαράστασης γλωσσικών δεδομένων, αρχικά μέσω της συλλογής διανυσμάτων λέξεων GloVe, και στη συνέχεια με τη χρήση του μοντέλου μετασχηματιστών BERT. Τέλος, συγκρίνουμε τις υλοποιήσεις ως προς την απόδοση, μέσα από πειραματικά αποτελέσματα, και βγάζουμε συμπεράσματα ως προς τα πλεονεκτήματα και μειονεκτήματα που πρσφέρει η κάθε μία. Η απλή αρχιτεκτονική με ενσωμάτωση του BERT πέτυχε κατά μέσο όρο ακρίβεια επιτυχίας προβλέψεων 83.8%, ενώ η αντίστοιχη σιαμαία υλοποίηση πέτυχε μέγιστη ακρίβεια προβλέψεων 79.9%. Η σιαμαία αρχιτεκτονική με διανύσματα GloVe πέτυχε αρκετά ικανοποιητικά αποτελέσματα με μέγιστη ακρίβεια 80.5%, ωστόσο πρόκειται για μια σχετικά στατική υλοποίηση χωρίς μεγάλη πρακτική ευελιξία. Τα καλύτερα αποτελέσματα τα πήραμε από την απλή αρχιτεκτονική με χρηση του μεγαλύτερου μοντέλου BERT που καταφέραμε να εκπαιδεύσουμε λόγω περιορισμένων πόρων, με 87.44% ακρίβεια προβλέψεων. Τα μοντέλα που χρησιμοποιούν το BERT αν και απαιτητικά σε μνήμη υπολογιστικούς πόρους, πρόκειται για ιδιαίτερα ευέλικτα στη χρήση εργαλεία με μεγάλη δυναμική εξέλιξης.
|
|---|
