Task offloading via deep reinforcement learning and hardware acceleration

Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής
Κύριος συγγραφέας:	Αθανάσουλας, Γεώργιος
Άλλοι συγγραφείς:	Athanasoulas, Georgios
Γλώσσα:	Greek
Έκδοση:	2022
Θέματα:	Αλγόριθμοι βαθιάς ενισχυτικής εκμάθησης Υπολογιστική εκφόρτωση Task offloading Mobile edge comoputing Deep reinforcement learning
Διαθέσιμο Online:	https://hdl.handle.net/10889/23436

id	nemertes-10889-23436
record_format	dspace
spelling	nemertes-10889-234362022-10-19T03:35:20Z Task offloading via deep reinforcement learning and hardware acceleration Υπολογιστική εκφόρτωση με βαθιά ενισχυτική εκμάθηση και επιτάχυνση υλικού Αθανάσουλας, Γεώργιος Athanasoulas, Georgios Αλγόριθμοι βαθιάς ενισχυτικής εκμάθησης Υπολογιστική εκφόρτωση Task offloading Mobile edge comoputing Deep reinforcement learning Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα “NP-hard” προβλήματα αλλά και στα προβλήματα αβεβαιότητας/ασυμμετρίας πληροφοριών στις υποκείμενες παραμέτρους το δικτύου. Στην παρούσα εργασία αναλύονται και παρουσιάζονται αλγόριθμοι ΒΕΕ και η εφαρμογή τους σε σενάρια υπολογιστικής εκφόρτωσης για τη βελτίωση της ποιότητας εξυπηρέτησης των χρηστών σε ένα εικονικό δίκτυο παρυφής. Στόχος αποτελεί η εύρεση της βέλτιστης πολιτικής και η μακροπρόθεσμη μεγιστοποίηση της συνάρτησης αξιολόγησης λαμβάνοντας υπόψη την ουρά διεργασιών και τη μπαταρία της συσκευής του χρήστη αλλά και τα χαρακτηριστικά των καναλιών μεταξύ χρήστη και χρήστη κινητής (ΧΚ) και σταθμών βάσης (ΣΒ). Παράλληλα επιβεβαιώνεται με χρήση κώδικα η σύγκλιση αλλά και η επίδοση του αλγορίθμου “Deep-SARSA” και “DARLING” σε σχέση με ακραία σενάρια. Τέλος η υπογραμμίζεται η ανάγκη για επιτάχυνση του αλγορίθμου ως προς την εξαγωγή συμπεράσματος αλλά και την εκπαίδευση εν λειτουργία σε ένα υπολογιστικό δίκτυο παρυφής κινητών συσκευών “MEC” και παρουσιάζεται μία πρωτότυπη ιδέα αρχιτεκτονικής σε υλικό για το σκοπό αυτό. MEC in the 5g era and beyond is accompanied by challenges. Artificial Intelligence is very promising and can be deployed to overcome those challenges. More specifically Deep Reinforcement Learning (DRL) algorithms which have become popular, are presented as a best fit solution as they can outperform traditional algorithms in terms of accuracy and speed of convergence when it come to NP-hard problems and problems with information uncertainty/asymmetry about the underlying network parameters. In this work, DRL algorithms and their application in a task offloading scenario in order to achieve high quality service for the users are being presented. The algorithm's goal is to find the optimal policy and the maximization of the long-term utility performance taking into consideration the task queue state, the energy queue state as well as the channel qualities between mobile user (MU) and base station (BS). In parallel, the convergence and the performance of Deep-SARL and DARLING algorithms against some corner cases are verified by numerical experiments in python. Also the importance of the acceleration of the algorithm’s both on-line Inference and Training part in a representative MEC is highlighted. For this reason a novel concept-design architecture for hardware acceleration is proposed in this work. 2022-10-18T19:22:23Z 2022-10-18T19:22:23Z 2022-10-18 https://hdl.handle.net/10889/23436 el CC0 1.0 Universal http://creativecommons.org/publicdomain/zero/1.0/ application/pdf
institution	UPatras
collection	Nemertes
language	Greek
topic	Αλγόριθμοι βαθιάς ενισχυτικής εκμάθησης Υπολογιστική εκφόρτωση Task offloading Mobile edge comoputing Deep reinforcement learning
spellingShingle	Αλγόριθμοι βαθιάς ενισχυτικής εκμάθησης Υπολογιστική εκφόρτωση Task offloading Mobile edge comoputing Deep reinforcement learning Αθανάσουλας, Γεώργιος Task offloading via deep reinforcement learning and hardware acceleration
description	Η υπολογιστική παρυφής για τους χρήστες των κινητών συσκευών στην εποχή της 5ης και ανώτερων γενεών δημιουργεί ανάγκες τις οποίες καλείται να λύσει η πολλά υποσχόμενη τεχνητή νοημοσύνη. Συγκεκριμένα οι πλέον δημοφιλείς αλγόριθμοι Βαθιάς Ενισχυτικής Εκμάθησης (ΒΕΕ) αποτελούν μία αποδοτική λύση για τα “NP-hard” προβλήματα αλλά και στα προβλήματα αβεβαιότητας/ασυμμετρίας πληροφοριών στις υποκείμενες παραμέτρους το δικτύου. Στην παρούσα εργασία αναλύονται και παρουσιάζονται αλγόριθμοι ΒΕΕ και η εφαρμογή τους σε σενάρια υπολογιστικής εκφόρτωσης για τη βελτίωση της ποιότητας εξυπηρέτησης των χρηστών σε ένα εικονικό δίκτυο παρυφής. Στόχος αποτελεί η εύρεση της βέλτιστης πολιτικής και η μακροπρόθεσμη μεγιστοποίηση της συνάρτησης αξιολόγησης λαμβάνοντας υπόψη την ουρά διεργασιών και τη μπαταρία της συσκευής του χρήστη αλλά και τα χαρακτηριστικά των καναλιών μεταξύ χρήστη και χρήστη κινητής (ΧΚ) και σταθμών βάσης (ΣΒ). Παράλληλα επιβεβαιώνεται με χρήση κώδικα η σύγκλιση αλλά και η επίδοση του αλγορίθμου “Deep-SARSA” και “DARLING” σε σχέση με ακραία σενάρια. Τέλος η υπογραμμίζεται η ανάγκη για επιτάχυνση του αλγορίθμου ως προς την εξαγωγή συμπεράσματος αλλά και την εκπαίδευση εν λειτουργία σε ένα υπολογιστικό δίκτυο παρυφής κινητών συσκευών “MEC” και παρουσιάζεται μία πρωτότυπη ιδέα αρχιτεκτονικής σε υλικό για το σκοπό αυτό.
author2	Athanasoulas, Georgios
author_facet	Athanasoulas, Georgios Αθανάσουλας, Γεώργιος
author	Αθανάσουλας, Γεώργιος
author_sort	Αθανάσουλας, Γεώργιος
title	Task offloading via deep reinforcement learning and hardware acceleration
title_short	Task offloading via deep reinforcement learning and hardware acceleration
title_full	Task offloading via deep reinforcement learning and hardware acceleration
title_fullStr	Task offloading via deep reinforcement learning and hardware acceleration
title_full_unstemmed	Task offloading via deep reinforcement learning and hardware acceleration
title_sort	task offloading via deep reinforcement learning and hardware acceleration
publishDate	2022
url	https://hdl.handle.net/10889/23436
work_keys_str_mv	AT athanasoulasgeōrgios taskoffloadingviadeepreinforcementlearningandhardwareacceleration AT athanasoulasgeōrgios ypologistikēekphortōsēmebathiaenischytikēekmathēsēkaiepitachynsēylikou
_version_	1771297182314397696

Task offloading via deep reinforcement learning and hardware acceleration

Παρόμοια τεκμήρια