Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα
Με την εξέλιξη των παραγωγικών ανταγωνιστικών δικτύων (GAN), οι συνθετικές εικόνες έχουν γίνει πιο ρεαλιστικές από ποτέ. Πλέον, ακόμα και ο πιο έμπειρος παρατηρητής μπορεί να εξαπατηθεί από τις μοντέρνες συνθετικές εικόνες, πόσο μάλλον ο ανυποψίαστος χρήστης του διαδικτύου. Αυτό ενέχει μεγάλους κινδ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2022
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/23416 |
| id |
nemertes-10889-23416 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Βαθιά μάθηση Παραγωγικά ανταγωνιστικά δίκτυα Συνθετικές εικόνες Βλέμμα Μήτρα συν-εμφάνισης Deep learning Co-occurrence matrix Generative adversarial networks Gaze Synthetic images |
| spellingShingle |
Βαθιά μάθηση Παραγωγικά ανταγωνιστικά δίκτυα Συνθετικές εικόνες Βλέμμα Μήτρα συν-εμφάνισης Deep learning Co-occurrence matrix Generative adversarial networks Gaze Synthetic images Φωτόπουλος, Νικόλαος Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| description |
Με την εξέλιξη των παραγωγικών ανταγωνιστικών δικτύων (GAN), οι συνθετικές εικόνες έχουν γίνει πιο ρεαλιστικές από ποτέ. Πλέον, ακόμα και ο πιο έμπειρος παρατηρητής μπορεί να εξαπατηθεί από τις μοντέρνες συνθετικές εικόνες, πόσο μάλλον ο ανυποψίαστος χρήστης του διαδικτύου. Αυτό ενέχει μεγάλους κινδύνους, όπως για παράδειγμα την υποκλοπή ταυτότητας και την παραπληροφόρηση. Συνεπώς, κρίνεται επιτακτική η ανάγκη για τη δημιουργία μεθόδων που είναι ικανές να ανιχνεύσουν αυτού του είδους τις συνθετικές εικόνες. Η διπλωματική εργασία αυτή επιδιώκει να επιλύσει το παραπάνω πρόβλημα, υλοποιώντας αρχικά μία μέθοδο αυτόματου διαχωρισμού φωτογραφιών από συνθετικές εικόνες προσώπων, και στη συνέχεια προσπαθώντας να τη βελτιώσει εισάγοντας πληροφορία από το βλέμμα του παρατηρητή. Αρχικά, καλύπτονται κάποιες έννοιες της επεξεργασίας εικόνας και της μηχανικής μάθησης. Έπειτα, αναλύεται η ανθρώπινη ικανότητα αναγνώρισης συνθετικών εικόνων και παρατίθενται τα αποτελέσματα μίας σχετικής μελέτης, στην οποία καταγραφόταν το βλέμμα των συμμετεχόντων όταν αυτοί κοιτούσαν μία εικόνα. Στη συνέχεια, διερευνώνται διάφορες μέθοδοι αυτόματου διαχωρισμού φωτογραφιών από συνθετικές εικόνες και υλοποιείται μία από αυτές. H μέθοδος που επιλέχθηκε βασίζεται σε ένα συνελικτικό νευρωνικό δίκτυο, το οποίο δέχεται σαν είσοδο όχι την ίδια την εικόνα, αλλά τις μήτρες συν-εμφάνισης (co-occurrence matrices) για κάθε χρωματικό κανάλι R, G και B, καθώς και τις μήτρες συν-εμφάνισης μεταξύ των ζευγών RG, RB και GB. Τέλος, γίνεται ενσωμάτωση των δεδομένων βλέμματος στο δίκτυο, υπολογίζοντας τις μήτρες συν-εμφάνισης μόνο στις περιοχές που εστίασαν περισσότερο οι παρατηρητές, και χρησιμοποιώντας αυτές για την περαιτέρω εκπαίδευση του δικτύου. Τα αποτελέσματα δείχνουν ότι η ενσωμάτωση του ανθρώπινου βλέμματος με αυτόν τον τρόπο δεν επιφέρει σημαντική αύξηση στην ακρίβεια αναγνώρισης. |
| author2 |
Fotopoulos, Nikolaos |
| author_facet |
Fotopoulos, Nikolaos Φωτόπουλος, Νικόλαος |
| author |
Φωτόπουλος, Νικόλαος |
| author_sort |
Φωτόπουλος, Νικόλαος |
| title |
Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| title_short |
Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| title_full |
Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| title_fullStr |
Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| title_full_unstemmed |
Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| title_sort |
διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα |
| publishDate |
2022 |
| url |
https://hdl.handle.net/10889/23416 |
| work_keys_str_mv |
AT phōtopoulosnikolaos diachōrismosphōtographiōnaposynthetikeseikoneskathodēgoumenosapotoblemma AT phōtopoulosnikolaos gazeguideddiscriminationofphotosandcomputergraphicimages |
| _version_ |
1771297281803288576 |
| spelling |
nemertes-10889-234162022-10-18T03:35:53Z Διαχωρισμός φωτογραφιών από συνθετικές εικόνες καθοδηγούμενος από το βλέμμα Gaze-guided discrimination of photos and computer graphic images Φωτόπουλος, Νικόλαος Fotopoulos, Nikolaos Βαθιά μάθηση Παραγωγικά ανταγωνιστικά δίκτυα Συνθετικές εικόνες Βλέμμα Μήτρα συν-εμφάνισης Deep learning Co-occurrence matrix Generative adversarial networks Gaze Synthetic images Με την εξέλιξη των παραγωγικών ανταγωνιστικών δικτύων (GAN), οι συνθετικές εικόνες έχουν γίνει πιο ρεαλιστικές από ποτέ. Πλέον, ακόμα και ο πιο έμπειρος παρατηρητής μπορεί να εξαπατηθεί από τις μοντέρνες συνθετικές εικόνες, πόσο μάλλον ο ανυποψίαστος χρήστης του διαδικτύου. Αυτό ενέχει μεγάλους κινδύνους, όπως για παράδειγμα την υποκλοπή ταυτότητας και την παραπληροφόρηση. Συνεπώς, κρίνεται επιτακτική η ανάγκη για τη δημιουργία μεθόδων που είναι ικανές να ανιχνεύσουν αυτού του είδους τις συνθετικές εικόνες. Η διπλωματική εργασία αυτή επιδιώκει να επιλύσει το παραπάνω πρόβλημα, υλοποιώντας αρχικά μία μέθοδο αυτόματου διαχωρισμού φωτογραφιών από συνθετικές εικόνες προσώπων, και στη συνέχεια προσπαθώντας να τη βελτιώσει εισάγοντας πληροφορία από το βλέμμα του παρατηρητή. Αρχικά, καλύπτονται κάποιες έννοιες της επεξεργασίας εικόνας και της μηχανικής μάθησης. Έπειτα, αναλύεται η ανθρώπινη ικανότητα αναγνώρισης συνθετικών εικόνων και παρατίθενται τα αποτελέσματα μίας σχετικής μελέτης, στην οποία καταγραφόταν το βλέμμα των συμμετεχόντων όταν αυτοί κοιτούσαν μία εικόνα. Στη συνέχεια, διερευνώνται διάφορες μέθοδοι αυτόματου διαχωρισμού φωτογραφιών από συνθετικές εικόνες και υλοποιείται μία από αυτές. H μέθοδος που επιλέχθηκε βασίζεται σε ένα συνελικτικό νευρωνικό δίκτυο, το οποίο δέχεται σαν είσοδο όχι την ίδια την εικόνα, αλλά τις μήτρες συν-εμφάνισης (co-occurrence matrices) για κάθε χρωματικό κανάλι R, G και B, καθώς και τις μήτρες συν-εμφάνισης μεταξύ των ζευγών RG, RB και GB. Τέλος, γίνεται ενσωμάτωση των δεδομένων βλέμματος στο δίκτυο, υπολογίζοντας τις μήτρες συν-εμφάνισης μόνο στις περιοχές που εστίασαν περισσότερο οι παρατηρητές, και χρησιμοποιώντας αυτές για την περαιτέρω εκπαίδευση του δικτύου. Τα αποτελέσματα δείχνουν ότι η ενσωμάτωση του ανθρώπινου βλέμματος με αυτόν τον τρόπο δεν επιφέρει σημαντική αύξηση στην ακρίβεια αναγνώρισης. With the advent of generative adversarial networks (GANs), synthetic images have become more realistic than ever. Nowadays, even the most experienced observer can be deceived by modern synthetic images, let alone the unsuspecting internet user. That poses a huge security concern, as identity theft and misinformation become increasingly easier. Therefore, there is an urgent need to develop methods capable of detecting these highly realistic images. This thesis seeks to solve this problem, by first implementing an automatic synthetic image detector, and then attempting to improve it by introducing information from the observer's gaze. Initially, some image processing and machine learning concepts are introduced. The human ability to recognize synthetic images is then examined, and the findings of a related study in which the participants' gaze was recorded are presented. Following that, several methods for the automatic discrimination of photos from synthetic images are described, one of which is implemented. The method employed is based on a convolutional neural network that receives as input not the image itself, but the co-occurrence matrices of the image's three color channels R, G, and B, as well as the cross-band co-occurrence matrices of the pairs RG, RB, and GB. Finally, we integrate the gaze data into the network by computing the co-occurrence matrices for each image only in the regions most focused on by observers, and then using these to train the network further. According to the findings, incorporating the human gaze in this manner does not result in a significant increase in recognition accuracy. 2022-10-17T18:15:12Z 2022-10-17T18:15:12Z 2022-10-17 https://hdl.handle.net/10889/23416 el Attribution-NonCommercial-ShareAlike 3.0 United States http://creativecommons.org/licenses/by-nc-sa/3.0/us/ application/pdf |
