Αλγόριθμοι και τεχνικές βελτίωσης του federated learning

Στην ομοσπονδιακή μάθηση, στοχεύουμε να εκπαιδεύσουμε μοντέλα σε πολλαπλές υπολογιστικές μονάδες (χρήστες), ενώ οι χρήστες μπορούν να επικοινωνούν μόνο με έναν κοινό κεντρικό διακομιστή, χωρίς να ανταλλάσσουν δείγματα δεδομένων τους. Αυτός ο μηχανισμός εκμεταλλεύεται την υπολογιστική ισχύ όλων των χ...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας:	Γαρδίκης, Παναγιώτης
Άλλοι συγγραφείς:	Gardikis, Panagiotis
Γλώσσα:	Greek
Έκδοση:	2022
Θέματα:	Ομοσπονδιακή μάθηση Μηχανική μάθηση Νευρωνικά δίκτυα Βαθιά μάθηση Federated learning Machine learning Neural networks Deep learning FedAvg FedProx Personalized FedAvg Stochastic gradient descent Adam
Διαθέσιμο Online:	http://hdl.handle.net/10889/16128

id	nemertes-10889-16128
record_format	dspace
spelling	nemertes-10889-161282022-09-05T20:12:41Z Αλγόριθμοι και τεχνικές βελτίωσης του federated learning Algorithms and improvement techniques for federated learning Γαρδίκης, Παναγιώτης Gardikis, Panagiotis Ομοσπονδιακή μάθηση Μηχανική μάθηση Νευρωνικά δίκτυα Βαθιά μάθηση Federated learning Machine learning Neural networks Deep learning FedAvg FedProx Personalized FedAvg Stochastic gradient descent Adam Στην ομοσπονδιακή μάθηση, στοχεύουμε να εκπαιδεύσουμε μοντέλα σε πολλαπλές υπολογιστικές μονάδες (χρήστες), ενώ οι χρήστες μπορούν να επικοινωνούν μόνο με έναν κοινό κεντρικό διακομιστή, χωρίς να ανταλλάσσουν δείγματα δεδομένων τους. Αυτός ο μηχανισμός εκμεταλλεύεται την υπολογιστική ισχύ όλων των χρηστών και επιτρέπει στους χρήστες να αποκτήσουν ένα πιο πλούσιο μοντέλο, καθώς τα μοντέλα τους εκπαιδεύονται σε ένα μεγαλύτερο σύνολο δεδομένων. Κάποιες από τις προκλήσεις που παρατηρούνται είναι ότι αναπτύσσεται μόνο ένα κοινό μοντέλο για όλους τους χρήστες, αλλά και ότι λόγω των πολλών και διαφορετικών συσκευών που συμμετέχουν, προκύπτουν ζητήματα διαχείρισης τέτοιων ετερογενών δικτύων συσκευών. Στην παρούσα διπλωματική εργασία επικεντρωνόμαστε σε αυτά τα ζητήματα και μελετάμε αλγορίθμους ομοσπονδιακής μάθησης οι οποίοι στηρίζονται στον βασικό αλγόριθμο ομοσπονδιακής μάθησης τον Federated Averaging και αντιμετωπίζουν τα παραπάνω ζητήματα, βελτιώνοντας τις ιδιότητες του ίδιου του αλγορίθμου αλλά και του παγκόσμιου μοντέλου το οποίο προκύπτει από αυτούς τους τροποποιημένους αλγορίθμους, αυξάνοντας την ακρίβεια και τη σύγκλιση του μοντέλου που προκύπτει. In Federal Learning, we aim to train models in multiple computing units (users), while users can only communicate with a common host server, without exchanging samples of their data. This mechanism utilizes the computing power of all users and allows users to obtain a richer model, as their models are trained in a larger set of data. Some of the challenges that arise, are that only one common model is developed for all users, and also that due to the many and different devices involved, issues arise in managing such heterogeneous device networks. In this diploma thesis we focus on these issues and study federal learning algorithms which are based on the federated learning algorithm Federated Averaging and address the above issues, by improving the algorithm itself and also modifies the global model’s accuracy and convergence. 2022-03-21T11:47:31Z 2022-03-21T11:47:31Z 2022-03-21 http://hdl.handle.net/10889/16128 gr application/pdf
institution	UPatras
collection	Nemertes
language	Greek
topic	Ομοσπονδιακή μάθηση Μηχανική μάθηση Νευρωνικά δίκτυα Βαθιά μάθηση Federated learning Machine learning Neural networks Deep learning FedAvg FedProx Personalized FedAvg Stochastic gradient descent Adam
spellingShingle	Ομοσπονδιακή μάθηση Μηχανική μάθηση Νευρωνικά δίκτυα Βαθιά μάθηση Federated learning Machine learning Neural networks Deep learning FedAvg FedProx Personalized FedAvg Stochastic gradient descent Adam Γαρδίκης, Παναγιώτης Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
description	Στην ομοσπονδιακή μάθηση, στοχεύουμε να εκπαιδεύσουμε μοντέλα σε πολλαπλές υπολογιστικές μονάδες (χρήστες), ενώ οι χρήστες μπορούν να επικοινωνούν μόνο με έναν κοινό κεντρικό διακομιστή, χωρίς να ανταλλάσσουν δείγματα δεδομένων τους. Αυτός ο μηχανισμός εκμεταλλεύεται την υπολογιστική ισχύ όλων των χρηστών και επιτρέπει στους χρήστες να αποκτήσουν ένα πιο πλούσιο μοντέλο, καθώς τα μοντέλα τους εκπαιδεύονται σε ένα μεγαλύτερο σύνολο δεδομένων. Κάποιες από τις προκλήσεις που παρατηρούνται είναι ότι αναπτύσσεται μόνο ένα κοινό μοντέλο για όλους τους χρήστες, αλλά και ότι λόγω των πολλών και διαφορετικών συσκευών που συμμετέχουν, προκύπτουν ζητήματα διαχείρισης τέτοιων ετερογενών δικτύων συσκευών. Στην παρούσα διπλωματική εργασία επικεντρωνόμαστε σε αυτά τα ζητήματα και μελετάμε αλγορίθμους ομοσπονδιακής μάθησης οι οποίοι στηρίζονται στον βασικό αλγόριθμο ομοσπονδιακής μάθησης τον Federated Averaging και αντιμετωπίζουν τα παραπάνω ζητήματα, βελτιώνοντας τις ιδιότητες του ίδιου του αλγορίθμου αλλά και του παγκόσμιου μοντέλου το οποίο προκύπτει από αυτούς τους τροποποιημένους αλγορίθμους, αυξάνοντας την ακρίβεια και τη σύγκλιση του μοντέλου που προκύπτει.
author2	Gardikis, Panagiotis
author_facet	Gardikis, Panagiotis Γαρδίκης, Παναγιώτης
author	Γαρδίκης, Παναγιώτης
author_sort	Γαρδίκης, Παναγιώτης
title	Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
title_short	Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
title_full	Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
title_fullStr	Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
title_full_unstemmed	Αλγόριθμοι και τεχνικές βελτίωσης του federated learning
title_sort	αλγόριθμοι και τεχνικές βελτίωσης του federated learning
publishDate	2022
url	http://hdl.handle.net/10889/16128
work_keys_str_mv	AT gardikēspanagiōtēs algorithmoikaitechnikesbeltiōsēstoufederatedlearning AT gardikēspanagiōtēs algorithmsandimprovementtechniquesforfederatedlearning
_version_	1771297269969059840

Αλγόριθμοι και τεχνικές βελτίωσης του federated learning

Παρόμοια τεκμήρια