Task offloading via deep reinforcement learning and hardware acceleration
Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2022
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/23466 |
| id |
nemertes-10889-23466 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-234662022-10-20T03:34:40Z Task offloading via deep reinforcement learning and hardware acceleration Υπολογιστική εκφόρτωση με βαθιά ενισχυτική εκμάθηση και επιτάχυνση υλικού Αθανάσουλας, Γεώργιος Athanasoulas, Georgios Τεχνητή νοημοσύνη Βαθιά ενισχυτική εκμάθηση Task offloading Mobile edge computing Deep reinforcement learning Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα “NP-hard” προβλήματα αλλά και στα προβλήματα αβεβαιότητας/ασυμμετρίας πληροφοριών στις υποκείμενες παραμέτρους το δικτύου. Στην παρούσα εργασία αναλύονται και παρουσιάζονται αλγόριθμοι ΒΕΕ και η εφαρμογή τους σε σενάρια υπολογιστικής εκφόρτωσης για τη βελτίωση της ποιότητας εξυπηρέτησης των χρηστών σε ένα εικονικό δίκτυο παρυφής. Στόχος αποτελεί η εύρεση της βέλτιστης πολιτικής και η μακροπρόθεσμη μεγιστοποίηση της συνάρτησης αξιολόγησης λαμβάνοντας υπόψη την ουρά διεργασιών και τη μπαταρία της συσκευής του χρήστη αλλά και τα χαρακτηριστικά των καναλιών μεταξύ χρήστη και χρήστη κινητής (ΧΚ) και σταθμών βάσης (ΣΒ). Παράλληλα επιβεβαιώνεται με χρήση κώδικα η σύγκλιση αλλά και η επίδοση του αλγορίθμου “Deep-SARSA” και “DARLING” σε σχέση με ακραία σενάρια. Τέλος η υπογραμμίζεται η ανάγκη για επιτάχυνση του αλγορίθμου ως προς την εξαγωγή συμπεράσματος αλλά και την εκπαίδευση εν λειτουργία σε ένα υπολογιστικό δίκτυο παρυφής κινητών συσκευών “MEC” και παρουσιάζεται μία πρωτότυπη ιδέα αρχιτεκτονικής σε υλικό για το σκοπό αυτό. MEC in the 5g era and beyond is accompanied by challenges. Artificial Intelligence is very promising and can be deployed to overcome those challenges. More specifically Deep Reinforcement Learning (DRL) algorithms which have become popular, are presented as a best fit solution as they can outperform traditional algorithms in terms of accuracy and speed of convergence when it come to NP-hard problems and problems with information uncertainty/asymmetry about the underlying network parameters. In this work, DRL algorithms and their application in a task offloading scenario in order to achieve high quality service for the users are being presented. The algorithm's goal is to find the optimal policy and the maximization of the long-term utility performance taking into consideration the task queue state, the energy queue state as well as the channel qualities between mobile user (MU) and base station (BS). In parallel, the convergence and the performance of Deep-SARL and DARLING algorithms against some corner cases are verified by numerical experiments in python. Also the importance of the acceleration of the algorithm’s both on-line Inference and Training part in a representative MEC is highlighted. For this reason a novel concept-design architecture for hardware acceleration is proposed in this work. 2022-10-19T12:43:22Z 2022-10-19T12:43:22Z 2022-10-18 https://hdl.handle.net/10889/23466 el application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Τεχνητή νοημοσύνη Βαθιά ενισχυτική εκμάθηση Task offloading Mobile edge computing Deep reinforcement learning |
| spellingShingle |
Τεχνητή νοημοσύνη Βαθιά ενισχυτική εκμάθηση Task offloading Mobile edge computing Deep reinforcement learning Αθανάσουλας, Γεώργιος Task offloading via deep reinforcement learning and hardware acceleration |
| description |
Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα “NP-hard” προβλήματα αλλά και στα προβλήματα αβεβαιότητας/ασυμμετρίας πληροφοριών στις υποκείμενες παραμέτρους το δικτύου. Στην παρούσα εργασία αναλύονται και παρουσιάζονται αλγόριθμοι ΒΕΕ και η εφαρμογή τους σε σενάρια υπολογιστικής εκφόρτωσης για τη βελτίωση της ποιότητας εξυπηρέτησης των χρηστών σε ένα εικονικό δίκτυο παρυφής. Στόχος αποτελεί η εύρεση της βέλτιστης πολιτικής και η μακροπρόθεσμη μεγιστοποίηση της συνάρτησης αξιολόγησης λαμβάνοντας υπόψη την ουρά διεργασιών και τη μπαταρία της συσκευής του χρήστη αλλά και τα χαρακτηριστικά των καναλιών μεταξύ χρήστη και χρήστη κινητής (ΧΚ) και σταθμών βάσης (ΣΒ). Παράλληλα επιβεβαιώνεται με χρήση κώδικα η σύγκλιση αλλά και η επίδοση του αλγορίθμου “Deep-SARSA” και “DARLING” σε σχέση με ακραία σενάρια. Τέλος η υπογραμμίζεται η ανάγκη για επιτάχυνση του αλγορίθμου ως προς την εξαγωγή συμπεράσματος αλλά και την εκπαίδευση εν λειτουργία σε ένα υπολογιστικό δίκτυο παρυφής κινητών συσκευών “MEC” και παρουσιάζεται μία πρωτότυπη ιδέα αρχιτεκτονικής σε υλικό για το σκοπό αυτό. |
| author2 |
Athanasoulas, Georgios |
| author_facet |
Athanasoulas, Georgios Αθανάσουλας, Γεώργιος |
| author |
Αθανάσουλας, Γεώργιος |
| author_sort |
Αθανάσουλας, Γεώργιος |
| title |
Task offloading via deep reinforcement learning and hardware acceleration |
| title_short |
Task offloading via deep reinforcement learning and hardware acceleration |
| title_full |
Task offloading via deep reinforcement learning and hardware acceleration |
| title_fullStr |
Task offloading via deep reinforcement learning and hardware acceleration |
| title_full_unstemmed |
Task offloading via deep reinforcement learning and hardware acceleration |
| title_sort |
task offloading via deep reinforcement learning and hardware acceleration |
| publishDate |
2022 |
| url |
https://hdl.handle.net/10889/23466 |
| work_keys_str_mv |
AT athanasoulasgeōrgios taskoffloadingviadeepreinforcementlearningandhardwareacceleration AT athanasoulasgeōrgios ypologistikēekphortōsēmebathiaenischytikēekmathēsēkaiepitachynsēylikou |
| _version_ |
1771297177426984960 |
