| Περίληψη: | Η συγκεκριμένη διπλωματική εργασία δημιουργήθηκε στα πλαίσια της έρευνας όσον αφορά την σχέση που θα μπορούσε να αναπτυχθεί ανάμεσα σε chatbots και βιοϊατρικά δεδομένα. Πιο συγκεκριμένα, η ιστορία των chatbots μας έχει αποδείξει πως η εξέλιξη τους είναι συνεχής και οι δυνατότητές τους αέναες. Ωστόσο, οι δυνατότητές τους σε βιοϊατρικά δεδομένα βρίσκονται ακόμη υπό εξερεύνηση και αυτός είναι και ο λόγος ύπαρξης της συγκεκριμένης διπλωματικής. Επιλέγοντας την δημιουργία ενός qa chatbot και την εισαγωγή βιοϊατρικών δεδομένων - και μη - σε αυτό, στοχεύουμε μέσω διαφόρων δοκιμών να αξιολογήσουμε πιθανές επιδόσεις και να εξάγουμε παρατηρήσεις σχετικά με την αντίδραση του chatbot σε κάθε περίπτωση.
Πιο συγκεκριμένα, όσον αφορά τα δεδομένα που χρησιμοποιήθηκαν, χρησιμοποιήσαμε 1100 Abstracts από ιατρικά papers της βιβλιοθήκης PubMed, καθώς και 250 SQuAD v2.0 δεδομένα, λόγω περιορισμένης υπολογιστικής ισχύος. Τα παραπάνω δείγματα, διαχωρίστηκαν σε προτάσεις, μετά την είσοδό τους στο πρόγραμμα, προσφέροντας 8737 προτάσεις για σύγκριση. Κατά τις δοκιμές χρησιμοποιήθηκε ο αλγόριθμος Bert σε τέσσερις διαφορετικές μορφές, το Roberta, Bert Large, Xlm-r και Biobert. Ωστόσο, θέλαμε να παρατηρήσουμε και πως θα αντιδρούσε το chatbot και χωρίς αλγόριθμο και έτσι αξιοποιήσαμε τον CountVectorizer, ο οποίος αποδείχτηκε και ο πιο αποτελεσματικός εκ των πέντε.
Όσον αφορά την αξιολόγηση, πραγματοποιήθηκαν 100 πειράματα σε κάθε περίπτωση, άρα συνολικά 500 πειραματικές ερωτήσεις και απαντήσεις, οι οποίες αξιολογήθηκαν με βάση τις απαντήσεις που έδινε το εκάστοτε chatbot και τις απαντήσεις που κρίναμε εμείς ως ορθές. Οι συγκεκριμένες απαντήσεις συγκρίθηκαν και αξιολογήθηκαν όσον αφορά τις ομοιότητές τους, μέσω των μετρικών f1 score, precision και recall, μετρικές οι οποίες υπολογίστηκαν συνολικά και έδωσαν συγκρίσιμα αποτελέσματα, φέρνοντας τον CounterVectonizer στην πρώτη θέση με τα Roberta, Bert Large, Xlm-r και Biobert να ακολουθούν.
|
|---|
