Αλγόριθμοι και τεχνικές βελτίωσης του federated learning

Στην ομοσπονδιακή μάθηση, στοχεύουμε να εκπαιδεύσουμε μοντέλα σε πολλαπλές υπολογιστικές μονάδες (χρήστες), ενώ οι χρήστες μπορούν να επικοινωνούν μόνο με έναν κοινό κεντρικό διακομιστή, χωρίς να ανταλλάσσουν δείγματα δεδομένων τους. Αυτός ο μηχανισμός εκμεταλλεύεται την υπολογιστική ισχύ όλων των χ...

Full description

Bibliographic Details
Main Author: Γαρδίκης, Παναγιώτης
Other Authors: Gardikis, Panagiotis
Language:Greek
Published: 2022
Subjects:
Online Access:http://hdl.handle.net/10889/16128
Description
Summary:Στην ομοσπονδιακή μάθηση, στοχεύουμε να εκπαιδεύσουμε μοντέλα σε πολλαπλές υπολογιστικές μονάδες (χρήστες), ενώ οι χρήστες μπορούν να επικοινωνούν μόνο με έναν κοινό κεντρικό διακομιστή, χωρίς να ανταλλάσσουν δείγματα δεδομένων τους. Αυτός ο μηχανισμός εκμεταλλεύεται την υπολογιστική ισχύ όλων των χρηστών και επιτρέπει στους χρήστες να αποκτήσουν ένα πιο πλούσιο μοντέλο, καθώς τα μοντέλα τους εκπαιδεύονται σε ένα μεγαλύτερο σύνολο δεδομένων. Κάποιες από τις προκλήσεις που παρατηρούνται είναι ότι αναπτύσσεται μόνο ένα κοινό μοντέλο για όλους τους χρήστες, αλλά και ότι λόγω των πολλών και διαφορετικών συσκευών που συμμετέχουν, προκύπτουν ζητήματα διαχείρισης τέτοιων ετερογενών δικτύων συσκευών. Στην παρούσα διπλωματική εργασία επικεντρωνόμαστε σε αυτά τα ζητήματα και μελετάμε αλγορίθμους ομοσπονδιακής μάθησης οι οποίοι στηρίζονται στον βασικό αλγόριθμο ομοσπονδιακής μάθησης τον Federated Averaging και αντιμετωπίζουν τα παραπάνω ζητήματα, βελτιώνοντας τις ιδιότητες του ίδιου του αλγορίθμου αλλά και του παγκόσμιου μοντέλου το οποίο προκύπτει από αυτούς τους τροποποιημένους αλγορίθμους, αυξάνοντας την ακρίβεια και τη σύγκλιση του μοντέλου που προκύπτει.