Επεξεργασία βίντεο για ανάλυση νοηματικής γλώσσας με έμφαση στις χειρομορφές

• Main Author: Σφατίδης, Γεώργιος
• Other Authors: Sfatidis, Georgios
• Language: Greek
• Published: 2023
• Subjects: Μηχανική μάθηση; Συνελικτικά νευρωνικά δίκτυα; Αναγνώριση εικόνων; Κατηγοριοποίηση εικόνων; Machine learning; Convolutional neural networks; Image recognition; Image classification; Contrastive learning

Η δημιουργία της νοηματικής γλώσσας επέτρεψε στα άτομα με προβλήματα ακοής να επικοινωνούν μεταξύ τους, καθώς και να μοιράζονται τις ανάγκες, τις ιδέες και τους προβληματισμούς τους. Ωστόσο, η επικοινωνία αυτών των ανθρώπων με τη μάζα απαιτούσε την εκμάθηση της νοηματικής γλώσσας από όλους, γεγονός το οποίο δημιουργεί άμεσα περιορισμούς και δυσκολίες. Συνεπώς, καλούμαστε να αντιμετωπίσουμε αυτό τον προβληματισμό, μέσω της ανάλυσης και της αναγνώρισης της νοηματικής γλώσσας, με έμφαση στις χειρομορφές, διευκολύνοντας με αυτόν τον τρόπο την επικοινωνία μεταξύ των δύο πλευρών. Σε αυτή τη διπλωματική εργασία προσεγγίζουμε την ανάλυση αυτή, μέσω του πλέον αποδοτικότερου τρόπου κατηγοριοποίησης εικόνων, χρησιμοποιώντας τις δυνατότητες της Μηχανικής Μάθησης (Machine Learning, ML) και πιο συγκεκριμένα των Συνελικτικών Νευρωνικών Δικτύων (Convolutional Neural Networks, CNN). Με την τεχνολογία αυτή δίνουμε τη δυνατότητα σε όλους τους ανθρώπους να ξεπεράσουν τις δυσκολίες στην κατανόηση και στη χρήση της νοηματικής γλώσσας προσφέροντας την ευκαιρία της επικοινωνίας. Ωστόσο, για την καλύτερη και αποδοτικότερη εκπαίδευση των συγκεκριμένων δικτύων, η ύπαρξη ενός υπερβολικά μεγάλου όγκου δεδομένων από φωτογραφίες χειρομορφών κρίνεται απαραίτητη. Στο πρώτο κεφάλαιο της συγκεκριμένης διπλωματικής εργασίας παρουσιάζεται το πρόβλημα που κληθήκαμε να αντιμετωπίσουμε, οι δυσκολίες που εμφανίζονται στην αναγνώριση των εικόνων από τον υπολογιστή και ο τρόπος με τον οποίο εργαστήκαμε για να τις ξεπεράσουμε. Εν συνεχεία, στο δεύτερο κεφάλαιο παραθέτονται οι πλέον σύγχρονες τεχνικές υλοποιήσεις (state-of-the-art) των δομών ενός αποδοτικού Νευρωνικού Δικτύου. Ακολούθως, στο τρίτο κεφάλαιο θα παρουσιαστούν η μεθοδολογία και οι τεχνικές εκπαίδευσης του δικτύου μαζί με λεπτομέρειες πάνω στην αρχιτεκτονική του Συνελικτικού μοντέλου που εκπαιδεύσαμε. Τα πειράματα, που διενεργήθηκαν, σε συνδυασμό με όλα τα τεχνικά χαρακτηριστικά, καθώς και οι λεπτομέρειες των παραμέτρων μαζί με τα συμπεράσματα που προέκυψαν από αυτά, αναλύονται στο τέταρτο κεφάλαιο. Τέλος, η διπλωματική εργασία ολοκληρώνεται στο πέμπτο κεφάλαιο, στο οποίο παρουσιάζουμε τα μελλοντικά βήματα που θα οδηγήσουν στην εξέλιξη και στην ανάπτυξη του συγκεκριμένου τομέα ερευνών.