Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης
Η παρούσα εργασία έχει στόχο την αυτόματη αναγνώριση μουσικού οργάνου. Αυτή επιτυγχάνεται μέσω διαφορετικών αλγορίθμων μηχανικής μάθησης. Συγκεκριμένα, μελετήθηκαν και υλοποιήθηκαν τρεις διαφορετικοί αλγόριθμοι (Μηχανές Διανυσμάτων Υποστήριξης, Τεχνητά Νευρωνικά Δίκτυα, Συνελικτικά Νευρωνικά Δίκτυα)...
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Μορφή: | Thesis |
| Γλώσσα: | Greek |
| Έκδοση: |
2020
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/10889/13160 |
| id |
nemertes-10889-13160 |
|---|---|
| record_format |
dspace |
| institution |
UPatras |
| collection |
Nemertes |
| language |
Greek |
| topic |
Μηχανική μάθηση Αναγνώριση οργάνου Σπεκτρόγραμμα Machine learning Instrument recognition Spectrogramm |
| spellingShingle |
Μηχανική μάθηση Αναγνώριση οργάνου Σπεκτρόγραμμα Machine learning Instrument recognition Spectrogramm Αρβανίτης, Νικόλαος Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| description |
Η παρούσα εργασία έχει στόχο την αυτόματη αναγνώριση μουσικού οργάνου. Αυτή επιτυγχάνεται μέσω διαφορετικών αλγορίθμων μηχανικής μάθησης. Συγκεκριμένα, μελετήθηκαν και υλοποιήθηκαν τρεις διαφορετικοί αλγόριθμοι (Μηχανές Διανυσμάτων Υποστήριξης, Τεχνητά Νευρωνικά Δίκτυα, Συνελικτικά Νευρωνικά Δίκτυα) οι οποίοι δέχτηκαν ως είσοδο κάθε φορά ένα από τα έξι ηχητικά χαρακτηριστικά που εξήχθησαν (Σπεκτρόγραμμα, Mel-Σπεκτρόγραμμα, Συντελεστές MFCC, Χρωματόγραμμα, Χρωματόγραμμα Σταθεράς-Q, Φασματικό Κεντροειδές) με σκοπό την ανάλυση της συμπεριφοράς και την σύγκριση των αποτελεσμάτων τόσο των ηχητικών χαρακτηριστικών όσο και των αλγορίθμων μηχανικής μάθησης. Είναι παραδεκτό πως ο ήχος πολλών μουσικών οργάνων δεν είναι εύκολα αναγνωρίσιμος από άλλα. Βέβαια στην αναγνώριση παίζει σημαντικό ρόλο και το ακουστικό σύστημα του εκάστοτε δέκτη και για τον λόγο αυτό, το πρώτο κεφάλαιο ξεκινάει αναλύοντας το ανθρώπινο ακουστικό σύστημα. Στη συνέχεια, δεύτερο και τρίτο κεφάλαιο, η εργασία κάνει μία σύντομη αναδρομή στο μετασχηματισμό Fourier, αφού αυτόν έχουν ως βάση τους όλα τα ηχητικά χαρακτηριστικά που χρησιμοποιήθηκαν. Παρουσιάζει αναλυτικά τα έξι ηχητικά χαρακτηριστικά, όντας άλλα πιο συναφή και άλλα λιγότερο, ως προς τα ποιοτικά χαρακτηριστικά που επιτρέπουν την αναγνώριση του μουσικού οργάνου. Έπειτα αναλύονται γενικότερα ζητήματα μηχανικής μάθησης όσον αφορά το τι είναι και πως χρησιμοποιείται η οικογένεια αυτή αλγορίθμων. Βέβαια μεγαλύτερη βαρύτητα δίνεται στους τρεις αλγορίθμους που χρησιμοποιήθηκαν στην εργασία. Το τελευταίο κεφάλαιο της εργασίας παρουσιάζει την υλοποίηση αυτής. Πραγματοποιήθηκαν τρία διαφορετικά πειράματα (αναγνώριση κατηγορίας μουσικού οργάνου, αναγνώριση μουσικού οργάνου μεταξύ οργάνων ίδιας κατηγορίας, αναγνώριση μουσικού οργάνου μεταξύ 12 οργάνων). Κλείνοντας, τα αποτελέσματα των πειραμάτων για κάθε αλγόριθμο και κάθε χαρακτηριστικό σχολιάζονται και συγκρίνονται. Διατυπώνονται κάποιες τελευταίες σκέψεις όσον αφορά την βελτίωση των αποτελεσμάτων και πιθανούς εναλλακτικούς αλγόριθμους για πιο σίγουρη αναγνώριση. |
| author2 |
Ψαράκης, Εμμανουήλ |
| author_facet |
Ψαράκης, Εμμανουήλ Αρβανίτης, Νικόλαος |
| format |
Thesis |
| author |
Αρβανίτης, Νικόλαος |
| author_sort |
Αρβανίτης, Νικόλαος |
| title |
Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| title_short |
Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| title_full |
Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| title_fullStr |
Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| title_full_unstemmed |
Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| title_sort |
αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης |
| publishDate |
2020 |
| url |
http://hdl.handle.net/10889/13160 |
| work_keys_str_mv |
AT arbanitēsnikolaos automatēanagnōrisēmousikouorganoumechrēsētechnikōnmēchanikēsmathēsēs AT arbanitēsnikolaos automaticmusicalinstrumentrecognitionusingmachinelearningtechniques |
| _version_ |
1771297351019790336 |
| spelling |
nemertes-10889-131602022-09-05T20:49:18Z Αυτόματη αναγνώριση μουσικού οργάνου με χρήση τεχνικών μηχανικής μάθησης Automatic musical instrument recognition using machine learning techniques Αρβανίτης, Νικόλαος Ψαράκης, Εμμανουήλ Μπερμπερίδης, Κωνσταντίνος Δερματάς, Ευάγγελος Arvanitis, Nikolaos Μηχανική μάθηση Αναγνώριση οργάνου Σπεκτρόγραμμα Machine learning Instrument recognition Spectrogramm Η παρούσα εργασία έχει στόχο την αυτόματη αναγνώριση μουσικού οργάνου. Αυτή επιτυγχάνεται μέσω διαφορετικών αλγορίθμων μηχανικής μάθησης. Συγκεκριμένα, μελετήθηκαν και υλοποιήθηκαν τρεις διαφορετικοί αλγόριθμοι (Μηχανές Διανυσμάτων Υποστήριξης, Τεχνητά Νευρωνικά Δίκτυα, Συνελικτικά Νευρωνικά Δίκτυα) οι οποίοι δέχτηκαν ως είσοδο κάθε φορά ένα από τα έξι ηχητικά χαρακτηριστικά που εξήχθησαν (Σπεκτρόγραμμα, Mel-Σπεκτρόγραμμα, Συντελεστές MFCC, Χρωματόγραμμα, Χρωματόγραμμα Σταθεράς-Q, Φασματικό Κεντροειδές) με σκοπό την ανάλυση της συμπεριφοράς και την σύγκριση των αποτελεσμάτων τόσο των ηχητικών χαρακτηριστικών όσο και των αλγορίθμων μηχανικής μάθησης. Είναι παραδεκτό πως ο ήχος πολλών μουσικών οργάνων δεν είναι εύκολα αναγνωρίσιμος από άλλα. Βέβαια στην αναγνώριση παίζει σημαντικό ρόλο και το ακουστικό σύστημα του εκάστοτε δέκτη και για τον λόγο αυτό, το πρώτο κεφάλαιο ξεκινάει αναλύοντας το ανθρώπινο ακουστικό σύστημα. Στη συνέχεια, δεύτερο και τρίτο κεφάλαιο, η εργασία κάνει μία σύντομη αναδρομή στο μετασχηματισμό Fourier, αφού αυτόν έχουν ως βάση τους όλα τα ηχητικά χαρακτηριστικά που χρησιμοποιήθηκαν. Παρουσιάζει αναλυτικά τα έξι ηχητικά χαρακτηριστικά, όντας άλλα πιο συναφή και άλλα λιγότερο, ως προς τα ποιοτικά χαρακτηριστικά που επιτρέπουν την αναγνώριση του μουσικού οργάνου. Έπειτα αναλύονται γενικότερα ζητήματα μηχανικής μάθησης όσον αφορά το τι είναι και πως χρησιμοποιείται η οικογένεια αυτή αλγορίθμων. Βέβαια μεγαλύτερη βαρύτητα δίνεται στους τρεις αλγορίθμους που χρησιμοποιήθηκαν στην εργασία. Το τελευταίο κεφάλαιο της εργασίας παρουσιάζει την υλοποίηση αυτής. Πραγματοποιήθηκαν τρία διαφορετικά πειράματα (αναγνώριση κατηγορίας μουσικού οργάνου, αναγνώριση μουσικού οργάνου μεταξύ οργάνων ίδιας κατηγορίας, αναγνώριση μουσικού οργάνου μεταξύ 12 οργάνων). Κλείνοντας, τα αποτελέσματα των πειραμάτων για κάθε αλγόριθμο και κάθε χαρακτηριστικό σχολιάζονται και συγκρίνονται. Διατυπώνονται κάποιες τελευταίες σκέψεις όσον αφορά την βελτίωση των αποτελεσμάτων και πιθανούς εναλλακτικούς αλγόριθμους για πιο σίγουρη αναγνώριση. This master thesis, discusses different ways of solving the problem of automatic musical instrument recognition. This is achieved using different machine learning algorithms. Specifically, there have been studied and implemented three different algorithms that is, Support Vector Machines, Artificial Neural Networks and Convolutional Neural Networks. These three algorithms take as input each time one of the next features, Spectrogram, Mel-Spectrogram, MFCC coefficients, Chromagram and Spectral Centroid. The goal is to analyse the behaviour and compare the results of the audio features but also the machine learnig algorithms. It is undoubtable that the sound of some musical instruments is not easily recognisable among the sound of others. Of course, the receiver's auditory system plays a crucial role in recognition of an instrument and this is the reason why the first chapter presents the human auditory system. In the second and the third chapter, the thesis talks about basic Fourier transform aspects, as this is the basis (STFT) of most of the features used. Later on the third chapter, all six audio features are presented in detail, while some of them are more relevant and other less, with the qualitatively characteristics that allow the recognition of a musical instrument. General aspects of machine learning are analysed next, emphasizing on what the family of these algorithms is and how they are used. However the importance was attached on the three algorithms used here. The last chapter introduces the implementation of the thesis. Three different experiments were carried out, that is, musical instrument category recognition, musical instrument recognition among instruments of the same category and musical instrument recognition among twelve instruments. As a conclusion, the results of the three experiments are compared and discussed. Some last thoughts are put forth in the matter of the improvement of the results and alternative methods for more robust accuracy. 2020-02-06T21:41:24Z 2020-02-06T21:41:24Z 2019-08-02 Thesis http://hdl.handle.net/10889/13160 gr 0 application/pdf |
