Πλήρως κατανεμημένες στρατηγικές συνεργατικής μάθησης και εφαρμογές

• Κύριος συγγραφέας: Γεωργάτος, Ευάγγελος
• Άλλοι συγγραφείς: Georgatos, Evangelos
• Γλώσσα: Greek
• Έκδοση: 2022
• Θέματα: Μηχανική μάθηση; Κατανεμημένη μηχανική μάθηση; Συνεργατική μάθηση; Συστήματα πολλαπλών πρακτόρων; Πλήρως κατανεμημένη μηχανική μάθηση; Machine learning; Distributed machine learning; Federated learning; Multi-agent systems; Diffusion; Consensus; Edge machine learning; Fully distributed machine learning

Ακολουθώντας τις πρόσφατες εξελίξεις στον χώρο της μηχανικής και της βαθιάς μάθησης έχει παρατηρηθεί μία τεχνολογική έκρηξη καθώς αναπτύχθηκαν τεχνικές από τα παραπάνω πεδία οι οποίες εκτελούν πολύπλοκες εργασίες όπως η αναγνώριση αντικειμένων και η κατηγοριοποίηση εικόνων με πρωτοφανή για τα τεχνολογικά δεδομένα απόδοση. Μάλιστα, οι συγκεκριμένες τεχνικές έχουν εφαρμογή σε πλήθος πεδίων όπως τα αυτόνομα οχήματα, η ιατρική απεικόνιση και οι ασύρματες επικοινωνίες. Η «παραδοσιακή» προσέγγιση για την ανάπτυξη τέτοιων εφαρμογών απαιτεί την ύπαρξη μίας κεντρικής ισχυρής υπολογιστικής οντότητας η οποία έχει καθολική πρόσβαση στο σύνολο δεδομένων. Πρόσφατα, παρατηρείται μία μετατόπιση από αυτή τη προσέγγιση προς την κατεύθυνση του Edge Machine Learning στην οποία η κεντρική υπολογιστική οντότητα συνεργάζεται με πλήθος άλλων κινητών συσκευών με τοπική υπολογιστική και αποθηκευτική δυνατότητα, υπό την βοήθεια ενός κεντρικού εξυπηρετητή. Το πεδίο του Federated Learning σχεδιάζει αλγορίθμους μάθησης, οι οποίοι αναπτύσσονται πάνω σε τέτοιες αρχιτεκτονικές. Παράλληλα to Federated Learning προσφέρει ένα επίπεδο ιδιωτικότητας στα τοπικά δεδομένα, καθώς χρησιμοποιεί ανταλλαγές παραμέτρων για την επικοινωνία των συσκευών με τον εξυπηρετητή. Στο πλαίσιο του Edge ML υπάρχουν πολλοί πρακτικοί λόγοι για τους οποίους δεν είναι επιθυμητός ένας κεντρικός εξυπηρετητής. Επιπλέον, είναι δυνατόν να είναι ανέφικτη η επικοινωνία των κινητών συσκευών με κάποιο κεντρικό εξυπηρετητή. Λαμβάνοντας υπόψιν αυτό το γεγονός η συγκεκριμένη εργασία εστιάζει στη μελέτη πλήρως κατανεμημένων αλγορίθμων συνεργατικής μάθησης. Επιπλέον, είναι γνωστό ότι η απόδοση των αλγορίθμων συνεργατικής μάθησης μπορεί να προσεγγίσει αυτή των κεντρικοποιημένων συστημάτων όταν ισχύει η υπόθεση της ανεξαρτησίας και της πανομοιότυπης κατανομής των δεδομένων (IID assumption) στις συνεργαζόμενες συσκευές. Παρόλα αυτά, λόγω του τρόπου με τον οποίον παράγονται τα δεδομένα, η συγκεκριμένη υπόθεση είναι δύσκολο να ικανοποιηθεί σε συνθήκες κατανεμημένης μάθησης. Στο πλαίσιο του Federated Learning έχει μελετηθεί ως προς ένα βαθμό το πρόβλημα του χειρισμού non-IID δεδομένων και έχουν αναπτυχθεί τεχνικές μάθησης που ξεφεύγουν από την IID υπόθεση. Στο χώρο της πλήρους κατανεμημένης μάθησης, το πρόβλημα αυτό είναι ακόμα ανοικτό. Για τον λόγο αυτό, η εργασία αυτή εστιάζει από κοινού στο πρόβλημα της πλήρως κατανεμημένης μάθησης και του χειρισμού non-IID δεδομένων. Το πρώτο κεφάλαιο αυτής της εργασίας μελετάει την κεντρικοποιημένη «παραδοσιακή» αρχιτεκτονική συστημάτων μηχανικής μάθησης και προβάλλει την αδυναμία της να υποστηρίξει την νέα γενιά συσκευών και εφαρμογών οι οποίες αναπτύσσονται όπως τα αυτόνομα οχήματα και οι εφαρμογές επαυξημένης και εικονικής πραγματικότητας. Ως εναλλακτική παρουσιάζεται το καινοτόμο μοντέλο του Edge ML το οποίο βασίζεται στο υπολογιστικό μοντέλο του Edge Computing. Παρουσιάζονται τόσο τα πλεονεκτήματα όσο και οι περιορισμοί αυτού του μοντέλου. Το δεύτερο κεφάλαιο εστιάζει στο πεδίο του Federated Learning, ως μία σχεδιαστική προσέγγιση για τον σχεδιασμό αλγορίθμων συνεργατικής μάθησης, η οποία λαμβάνει υπόψιν τους περιορισμούς του Edge ML και υποστηρίζεται από έναν κεντρικό εξυπηρετητή. Παρουσιάζονται μέθοδοι Federated Learning, παρουσιάζεται το τυπικό πλαίσιο λειτουργίας αυτών και παρουσιάζονται ορισμένες ερευνητικές προκλήσεις του συγκεκριμένου πεδίου. Το τρίτο κεφάλαιο είναι αφιερωμένο στην πλήρως κατανεμημένη μάθηση ως ενναλακτική της υποβοηθούμενης από κεντρικό εξυπηρετητή αντίληψης του Federated Learning. Στο πλαίσιο αυτό παρουσιάζονται οι τεχνικές της τεχνολογικής αιχμής Consensus και Diffusion. To τέταρτο κεφάλαιο μελετάει την συνεργατική μάθηση υπό το πρίσμα της non-IID κατανομής δεδομένων. Αρχικά, προβάλλεται ο τρόπος με τον οποίο η ύπαρξη non-IID δεδομένων υποβαθμίζει την διαδικασία της μάθησης και στη συνέχεια παρουσιάζεται η τεχνολογική αιχμή του πεδίου της πλήρως κατανεμημένης μάθησης υπό την παρουσία non-IID δεδομένων. Τέλος, παρουσιάζεται ένας αλγόριθμος πλήρους κατανεμημένης μάθησης ο οποίος βασίζεται στον αλγόριθμο Diffusion και χρησιμοποιεί προσαρμοστικά βάρη για τον χειρισμό των non-IID δεδομένων. Τέλος, στο πέμπτο κεφάλαιο παρουσιάζονται τα πειράματα και οι προσομοιώσεις που έγιναν στο πλαίσιο της παρούσης εργασίας. Ακολουθούν τα συμπεράσματα και οι προτεινόμενες μελλοντικές κατευθύνσεις.