Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική
Η ομοσπονδιακή μάθηση έχει ένα κεντρικό μοντέλο στον διακομιστή, συγκεντρώνοντας μοντέλα που εκπαιδεύονται τοπικά σε πελάτες. Ως αποτέλεσμα, η ομοσπονδιακή μάθηση δεν απαιτεί από τους πελάτες να ανεβάσουν τα δεδομένα τους στο διακομιστή, διατηρώντας έτσι απόρρητα τα δεδομένα των πελατών. Μια πρόκλησ...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2021
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/15551 |
| id |
nemertes-10889-15551 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-155512022-09-05T14:02:36Z Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική Improve performance and reduce communication costs in a federated learning strategy Τσαλίδης, Ανδρέας Tsalidis, Andreas Ομοσπονδιακή μάθηση Ρυθμός μάθησης Μηχανική μάθηση Κόστος επικοινωνίας Νευρωνικά δίκτυα Federated learning Learning rate Machine learning Deep learning Communication cost Federated average Adam SGD Optimizers Neural networks Η ομοσπονδιακή μάθηση έχει ένα κεντρικό μοντέλο στον διακομιστή, συγκεντρώνοντας μοντέλα που εκπαιδεύονται τοπικά σε πελάτες. Ως αποτέλεσμα, η ομοσπονδιακή μάθηση δεν απαιτεί από τους πελάτες να ανεβάσουν τα δεδομένα τους στο διακομιστή, διατηρώντας έτσι απόρρητα τα δεδομένα των πελατών. Μια πρόκληση στην ομοσπονδιακή μάθηση είναι η μείωση της επικοινωνίας πελάτη- διακομιστή, δηλαδή το πλήθος των bits που ανταλλάζονται μεταξύ τους. Οι συσκευές έχουν συνήθως πολύ περιορισμένο εύρος ζώνης επικοινωνίας. Στη παρούσα διπλωματική παρουσιάζεται μια στρατηγική μείωσης του κόστους επικοινωνίας,. Κατασκευάζουμε δύο νευρωνικά δίκτυα τα οποία κατηγοριοποιούνται σε ρηχά (ένα κρυφό επίπεδο) και βαθιά δίκτυα (τουλάχιστον 2 κρυφά επίπεδα). Το βαθύ μοντέλο ενημερώνεται λιγότερο συχνά από αυτό του ρηχού μοντέλου. Τα αποτελέσματά δείχνουν, ότι με αυτό τον τρόπο, μπορούμε να μειώσουμε το κόστος επικοινωνίας, χωρίς να χάσουμε σε ακρίβεια. Επιπλέον η παρούσα διπλωματική παρουσιάζει μια βελτιωμένη ομοσπονδιακή τεχνική μάθησης, προτείνοντας μια στρατηγική μάθησης, που αυξάνει την ακρίβεια του μοντέλου, πετυχαίνοντας παράλληλα και γρηγορότερη σύγκλιση, χρησιμοποιώντας στους optimizers των πελατών φθίνων ρυθμό μάθησης. Οπότε οι προτεινόμενες μέθοδοι, ξεπερνούν τον βασικό αλγόριθμο, τόσο σε όρους κόστος επικοινωνίας και ακρίβειας μοντέλου. Federated Learning has a central model on the server, aggregating models that are locally trained in clients. As a result, federated learning does not require clients to upload their data to the server, thus keeping clients data confidential. A challenge in federated learning is to reduce client-server communication, ie the number of bits exchanged between them. Devices usually have a very limited communication bandwidth. This diploma thesis presents a strategy for reducing communication costs. We construct two neural networks which are categorized into shallow (one hidden level) and deep networks (at least 2 hidden levels). The deep model is updated less often than the shallow model. The results show that in this way, we can reduce communication costs without losing accuracy. In addition, this thesis presents an improved federated learning technique, proposing a learning strategy that increases the accuracy of the model while achieving faster convergence, using in clients' optimizers a decay learning rate. So the proposed methods go beyond the basic algorithm in terms of both communication costs and model accuracy. 2021-11-09T07:11:26Z 2021-11-09T07:11:26Z 2021-10-26 http://hdl.handle.net/10889/15551 gr application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Ομοσπονδιακή μάθηση Ρυθμός μάθησης Μηχανική μάθηση Κόστος επικοινωνίας Νευρωνικά δίκτυα Federated learning Learning rate Machine learning Deep learning Communication cost Federated average Adam SGD Optimizers Neural networks |
| spellingShingle |
Ομοσπονδιακή μάθηση Ρυθμός μάθησης Μηχανική μάθηση Κόστος επικοινωνίας Νευρωνικά δίκτυα Federated learning Learning rate Machine learning Deep learning Communication cost Federated average Adam SGD Optimizers Neural networks Τσαλίδης, Ανδρέας Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| description |
Η ομοσπονδιακή μάθηση έχει ένα κεντρικό μοντέλο στον διακομιστή, συγκεντρώνοντας μοντέλα που εκπαιδεύονται τοπικά σε πελάτες. Ως αποτέλεσμα, η ομοσπονδιακή μάθηση δεν απαιτεί από τους πελάτες να ανεβάσουν τα δεδομένα τους στο διακομιστή, διατηρώντας έτσι απόρρητα τα δεδομένα των πελατών. Μια πρόκληση στην ομοσπονδιακή μάθηση είναι η μείωση της επικοινωνίας πελάτη- διακομιστή, δηλαδή το πλήθος των bits που ανταλλάζονται μεταξύ τους. Οι συσκευές έχουν συνήθως πολύ περιορισμένο εύρος ζώνης επικοινωνίας. Στη παρούσα διπλωματική παρουσιάζεται μια στρατηγική μείωσης του κόστους επικοινωνίας,. Κατασκευάζουμε δύο νευρωνικά δίκτυα τα οποία κατηγοριοποιούνται σε ρηχά (ένα κρυφό επίπεδο) και βαθιά δίκτυα (τουλάχιστον 2 κρυφά επίπεδα). Το βαθύ μοντέλο ενημερώνεται λιγότερο συχνά από αυτό του ρηχού μοντέλου. Τα αποτελέσματά δείχνουν, ότι με αυτό τον τρόπο, μπορούμε να μειώσουμε το κόστος επικοινωνίας, χωρίς να χάσουμε σε ακρίβεια. Επιπλέον η παρούσα διπλωματική παρουσιάζει μια βελτιωμένη ομοσπονδιακή τεχνική μάθησης, προτείνοντας μια στρατηγική μάθησης, που αυξάνει την ακρίβεια του μοντέλου, πετυχαίνοντας παράλληλα και γρηγορότερη σύγκλιση, χρησιμοποιώντας στους optimizers των πελατών φθίνων ρυθμό μάθησης. Οπότε οι προτεινόμενες μέθοδοι, ξεπερνούν τον βασικό αλγόριθμο, τόσο σε όρους κόστος επικοινωνίας και ακρίβειας μοντέλου. |
| author2 |
Tsalidis, Andreas |
| author_facet |
Tsalidis, Andreas Τσαλίδης, Ανδρέας |
| author |
Τσαλίδης, Ανδρέας |
| author_sort |
Τσαλίδης, Ανδρέας |
| title |
Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| title_short |
Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| title_full |
Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| title_fullStr |
Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| title_full_unstemmed |
Τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| title_sort |
τεχνικές βελτίωσης απόδοσης και μείωσης κόστους επικοινωνίας σε federated learning στρατηγική |
| publishDate |
2021 |
| url |
http://hdl.handle.net/10889/15551 |
| work_keys_str_mv |
AT tsalidēsandreas technikesbeltiōsēsapodosēskaimeiōsēskostousepikoinōniassefederatedlearningstratēgikē AT tsalidēsandreas improveperformanceandreducecommunicationcostsinafederatedlearningstrategy |
| _version_ |
1771297252958011392 |
