Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems
In optimal stopping problems, the objective is the acquisition of a time to take a particular action, in order to minimize an expected cost. To properly capture that stopping time, however, one has to compute the value function, this computation is performed numerically and suffers from the curse...
| Main Author: | |
|---|---|
| Other Authors: | |
| Language: | English |
| Published: |
2022
|
| Subjects: | |
| Online Access: | http://hdl.handle.net/10889/16450 |
| id |
nemertes-10889-16450 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-164502022-09-05T14:01:17Z Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems Νευρωνικά δίκτυα για την προσέγγιση της συνάρτησης αξίας σε μαρκοβιανά προβλήματα βέλτιστης στάσης άπειρου ορίζοντα Τοπολλάι, Κρίστι Topollai, Kristi Optimal stopping Neural networks Sequential analysis Stopping times Curse of dimensionality Partial differential equations Value function Supervised learning Πρόβλημα βέλτιστης στάσης Χρόνος στάσης Νευρωνικά δίκτυα Ακολουθιακή ανάλυση Κατάρα της διάστασης Μερικές διαφορικές εξισώσεις Συνάρτηση αξίας Επιβλεπώμενη μάθηση In optimal stopping problems, the objective is the acquisition of a time to take a particular action, in order to minimize an expected cost. To properly capture that stopping time, however, one has to compute the value function, this computation is performed numerically and suffers from the curse of dimensionality. We attempt to overcome the curse of dimensionality by using Neural Networks for the approximation of the value function. We investigate a particular case of the optimal stopping problems, infinite horizon markov optimal stopping problems and we show that Neural Networks can efficiently approximate the Value function even in a high-dimensional setting where the underlying probability densities may be absent. We conclude by providing an application of our method on adaptive filtering in a sequential estimation setting. Στα προβλήματα βέλτιστης στάσης, ο στόχος είναι η εύρεση του χρόνου εκτέλεσης κάποιας ενέργειας με σκοπό την ελαχιστοποίηση κάποιου κόστους. Για να βρεθεί ο χρόνος στάσης όμως, θα πρέπει να υπολογιστεί μια συνάρτηση που καλείται συνάρτηση αξίας, αυτός ο υπολογισμός πραγματοποιείται αριθμητικά και πάσχει από την κατάρα της διάστασης. Επιδιώκουμε να ξεπεράσουμε την κατάρα της διάστασης χρησιμοποιώντας Νευρωνικά Δίκτυα για την προσέγγιση της συνάρτησης αξίας. Θα ερευνήσουμε μια συγκεκριμένη κλάση προβλημάτων βέλτιστης στάσης, τα Μαρκοβιανά προβλήματα βέλτιστης στάσης άπειρου ορίζοντα και θα δείξουμε πως η μέθοδος μας είναι σε θέση να προσεγγίζει αποδοτικά την συνάρτηση αξίας ακόμα και σε πολυδιάστατα προβλήματα όπου οι από κοινού κατανομές είναι άγνωστες. Ολοκληρώνουμε παραθέτοντας μια εφαρμογή της μεθόδου μας στο προσαρμοστικό φιλτράρισμα ύπο το πρίσμα της ακολουθιακής εκτίμησης. 2022-07-11T07:28:49Z 2022-07-11T07:28:49Z 2022-07-05 http://hdl.handle.net/10889/16450 en application/pdf |
| institution |
UPatras |
| collection |
Nemertes |
| language |
English |
| topic |
Optimal stopping Neural networks Sequential analysis Stopping times Curse of dimensionality Partial differential equations Value function Supervised learning Πρόβλημα βέλτιστης στάσης Χρόνος στάσης Νευρωνικά δίκτυα Ακολουθιακή ανάλυση Κατάρα της διάστασης Μερικές διαφορικές εξισώσεις Συνάρτηση αξίας Επιβλεπώμενη μάθηση |
| spellingShingle |
Optimal stopping Neural networks Sequential analysis Stopping times Curse of dimensionality Partial differential equations Value function Supervised learning Πρόβλημα βέλτιστης στάσης Χρόνος στάσης Νευρωνικά δίκτυα Ακολουθιακή ανάλυση Κατάρα της διάστασης Μερικές διαφορικές εξισώσεις Συνάρτηση αξίας Επιβλεπώμενη μάθηση Τοπολλάι, Κρίστι Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| description |
In optimal stopping problems, the objective is the acquisition of a time to take a particular action, in
order to minimize an expected cost. To properly capture that stopping time, however, one has to
compute the value function, this computation is performed numerically and suffers from the curse of
dimensionality. We attempt to overcome the curse of dimensionality by using Neural Networks for
the approximation of the value function. We investigate a particular case of the optimal stopping
problems, infinite horizon markov optimal stopping problems and we show that Neural Networks
can efficiently approximate the Value function even in a high-dimensional setting where the
underlying probability densities may be absent. We conclude by providing an application of our
method on adaptive filtering in a sequential estimation setting. |
| author2 |
Topollai, Kristi |
| author_facet |
Topollai, Kristi Τοπολλάι, Κρίστι |
| author |
Τοπολλάι, Κρίστι |
| author_sort |
Τοπολλάι, Κρίστι |
| title |
Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| title_short |
Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| title_full |
Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| title_fullStr |
Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| title_full_unstemmed |
Neural networks for the value function approximation in Markov infinite horizon optimal stopping problems |
| title_sort |
neural networks for the value function approximation in markov infinite horizon optimal stopping problems |
| publishDate |
2022 |
| url |
http://hdl.handle.net/10889/16450 |
| work_keys_str_mv |
AT topollaikristi neuralnetworksforthevaluefunctionapproximationinmarkovinfinitehorizonoptimalstoppingproblems AT topollaikristi neurōnikadiktyagiatēnprosengisētēssynartēsēsaxiassemarkobianaproblēmatabeltistēsstasēsapeirouorizonta |
| _version_ |
1771297233762779136 |
