Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python
Το R(ectangle)-Tree είναι μία γενίκευση του Β+ Tree που αναπτύχθηκε για αποδοτικότερη και αποτελεσματικότερη επεξεργασία διατομικών ερωτημάτων σε χωρικές βάσεις δεδομένων. Τα R-Trees λειτουργούν αποθηκεύοντας την πληροφορία σε επίπεδα δισδιάστατων ορθογωνίων. Το R-Tree όταν αποτελείται από μικρό πλή...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | Greek |
| Έκδοση: |
2023
|
| Θέματα: | |
| Διαθέσιμο Online: | https://hdl.handle.net/10889/24675 |
| id |
nemertes-10889-24675 |
|---|---|
| record_format |
dspace |
| spelling |
nemertes-10889-246752023-03-07T04:37:52Z Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python Experimental evaluation of R-tree in Apache Spark in Python Οικονόμου, Ανδρέας Oikonomou, Andreas Δομή δεδομένων Data structure Apache Spark Python R-tree Το R(ectangle)-Tree είναι μία γενίκευση του Β+ Tree που αναπτύχθηκε για αποδοτικότερη και αποτελεσματικότερη επεξεργασία διατομικών ερωτημάτων σε χωρικές βάσεις δεδομένων. Τα R-Trees λειτουργούν αποθηκεύοντας την πληροφορία σε επίπεδα δισδιάστατων ορθογωνίων. Το R-Tree όταν αποτελείται από μικρό πλήθος εισαγωγών λειτουργεί σε ικανοποιητικούς χρόνους. Όταν όμως αποτελείται από εκατομμύρια ή δεκάδες εκατομμύρια δεδομένα παύει να είναι αποδοτικό . Στο πλαίσιο αυτής της εργασίας, αρχικά, γίνεται ανάλυση της υλοποίησης της δομής δισδιάστατων δεδομένων R-Tree η οποία αναπτύχθηκε με τη χρήση της προγραμματιστικής γλώσσας Python και των βασικών αλγορίθμων που διέπουν αυτή την δομή καθώς και άλλων χωρικών ερωτημάτων. Έπειτα, με χρήση του εργαλείου Spark και ιδιαίτερα την βιβλιοθήκη PySpark που λειτουργεί ως διασύνδεση ανάμεσα στην Python και Spark, επιτυγχάνεται η υλοποίηση ενός κατανεμημένου (Distributed) R-Tree. Χρησιμοποιώντας αυτή την νέα κατανεμημένη υλοποίηση του R-Tree, υλοποιείται πειραματική αξιολόγηση των υλοποιημένων αλγορίθμων με τροφοδότηση, αυξανόμενων σε μέγεθος, συνόλων δεδομένων στην κατανεμημένη υλοποίηση R-Tree. R(ectangle) - Tree is a generalization of B+ Tree developed for more efficient and effective processing of intersectional queries in spatial databases. R-Trees work by storing information at the level of two-dimensional rectangles. The R-Tree operates at satisfactory times when it has a small number of inputs. But when it has millions or tens of millions of entries it ceases to be efficient. As part of this work, we first analyze the implementation of the R-Tree 2D data structure developed using the Python programming language and the basic algorithms that govern this structure as well as other spatial queries. Then using the Spark tool and especially the PySpark library which acts as an interface between Python and Spark, the construction of a Distributed R-Tree is achieved. Using this distributed new implementation of the R-Tree, an experimental evaluation of the algorithms, with increasing volume of imports in the distributed R-Tree is carried out. 2023-03-06T08:24:53Z 2023-03-06T08:24:53Z 2022-12-21 https://hdl.handle.net/10889/24675 el Attribution-NonCommercial-NoDerivs 3.0 United States http://creativecommons.org/licenses/by-nc-nd/3.0/us/ application/pdf application/octet-stream application/octet-stream |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Δομή δεδομένων Data structure Apache Spark Python R-tree |
| spellingShingle |
Δομή δεδομένων Data structure Apache Spark Python R-tree Οικονόμου, Ανδρέας Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| description |
Το R(ectangle)-Tree είναι μία γενίκευση του Β+ Tree που αναπτύχθηκε για αποδοτικότερη και αποτελεσματικότερη επεξεργασία διατομικών ερωτημάτων σε χωρικές βάσεις δεδομένων. Τα R-Trees λειτουργούν αποθηκεύοντας την πληροφορία σε επίπεδα δισδιάστατων ορθογωνίων. Το R-Tree όταν αποτελείται από μικρό πλήθος εισαγωγών λειτουργεί σε ικανοποιητικούς χρόνους. Όταν όμως αποτελείται από εκατομμύρια ή δεκάδες εκατομμύρια δεδομένα παύει να είναι αποδοτικό .
Στο πλαίσιο αυτής της εργασίας, αρχικά, γίνεται ανάλυση της υλοποίησης της δομής δισδιάστατων δεδομένων R-Tree η οποία αναπτύχθηκε με τη χρήση της προγραμματιστικής γλώσσας Python και των βασικών αλγορίθμων που διέπουν αυτή την δομή καθώς και άλλων χωρικών ερωτημάτων. Έπειτα, με χρήση του εργαλείου Spark και ιδιαίτερα την βιβλιοθήκη PySpark που λειτουργεί ως διασύνδεση ανάμεσα στην Python και Spark, επιτυγχάνεται η υλοποίηση ενός κατανεμημένου (Distributed) R-Tree.
Χρησιμοποιώντας αυτή την νέα κατανεμημένη υλοποίηση του R-Tree, υλοποιείται πειραματική αξιολόγηση των υλοποιημένων αλγορίθμων με τροφοδότηση, αυξανόμενων σε μέγεθος, συνόλων δεδομένων στην κατανεμημένη υλοποίηση R-Tree. |
| author2 |
Oikonomou, Andreas |
| author_facet |
Oikonomou, Andreas Οικονόμου, Ανδρέας |
| author |
Οικονόμου, Ανδρέας |
| author_sort |
Οικονόμου, Ανδρέας |
| title |
Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| title_short |
Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| title_full |
Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| title_fullStr |
Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| title_full_unstemmed |
Πειραματική αξιολόγηση R-tree σε περιβάλλον Apache Spark με χρήση γλώσσας Python |
| title_sort |
πειραματική αξιολόγηση r-tree σε περιβάλλον apache spark με χρήση γλώσσας python |
| publishDate |
2023 |
| url |
https://hdl.handle.net/10889/24675 |
| work_keys_str_mv |
AT oikonomouandreas peiramatikēaxiologēsērtreeseperiballonapachesparkmechrēsēglōssaspython AT oikonomouandreas experimentalevaluationofrtreeinapachesparkinpython |
| _version_ |
1771297272426921984 |
