Αποδοτική υλοποίηση αλγόριθμων διαχείρισης πληροφορίας σε cloud περιβάλλοντα

• Main Author: Πισπιρίγκος, Γεώργιος
• Other Authors: Μακρής, Χρήστος
• Format: Thesis
• Language: Greek
• Published: 2016
• Subjects: Αλγόριθμοι; Επεξεργασία δεδομένων; Hadoop; Map-Reduce; XML filtering,; Community Detection; YFilter; 005.741

Η ραγδαία ανάπτυξη του παγκόσμιου ιστού έχει ως αποτέλεσμα την παραγωγή, σε υπερβολικά μεγάλο ρυθμό, διαθέσιμης πληροφορίας, η οποία με την πάροδο του χρόνου έχει καταστεί δύσκολα διαχειρίσιμη. Τα παραδοσιακά συστήματα δεν μπορούν να αντεπεξέλθουν στην επεξεργασία της πληροφορίας και του όγκου των δεδομένων με το ρυθμό που παράγονται από ορισμένες εφαρμογές, με αποτέλεσμα να μην υπάρχει αποδοτική μέθοδος επεξεργασίας. Η αντιμετώπιση τους προσανατολίζεται στο σχεδιασμό και την ανάπτυξη αποδοτικών και κλιμακώσιμων εφαρμογών επεξεργασίας τεράστιου όγκου πληροφορίας, χρήσει συστημάτων υπολογιστικών νεφών, εκμεταλλευόμενοι τα συστήματα παράλληλης επεξεργασίας δεδομένων μεγάλης ποσότητας που είναι διαθέσιμα, όπως το framework MapReduce. Το ενδιαφέρον της παρούσας διπλωματικής εργασίας επικεντρώνεται στο σχεδιασμό και την υλοποίηση αποδοτικών και κλιμακώσιμων αλγόριθμων για την επίλυση δύο καθημερινών προβλημάτων επεξεργασίας: • του XML filtering προβλήματος το οποίο ασχολείται αφενός με την δεικτοδότηση των δεδομένων εκείνων που σχετίζονται με τα ερωτήματα ενδιαφέροντος των χρηστών, και αφετέρου με την εύρεση όλων των user profiles εκείνων που θα τους ενδιέφερε ένα συγκεκριμένο XML αρχείο, και • του προβλήματος εύρεσης χρηστών και υποδικτύων μέγιστης επιρροής στα κοινωνικά δίκτυα. Αναφορικά με το πρώτο πρόβλημα, πραγματοποιείται ο σχεδιασμός και η υλοποίηση μιας νέας παραλλαγής του αλγόριθμου YFilter στο σύστημα επεξεργασίας δεδομένων μεγάλης κλίμακας MapReduce και η σύγκριση της με 2 υπάρχουσες. Ενώ ως προς το δεύτερο, υλοποιείται, σε περιβάλλον υπολογιστικού νέφους, το σύστημα T-Pice, που επεκτείνει την έννοια της επιρροής και της συγκέντρωσης της πληροφορίας στα κοινωνικά δίκτυα εξετάζοντας και συνυπολογίζοντας την προσωπικότητα των επιμέρους χρηστών ως βασικό χαρακτηριστικό.