Τεχνητή Νοημοσύνη για την αυτόματη σύνθεση μουσικής

[geofila]

Θα μπορούσε ένας υπολογιστής να συνθέτει ποιοτική μουσική; Θέλοντας να λύσω αυτήν μου την απορία κατασκεύασα διάφορους αλγορίθμους τεχνητής νοημοσύνης με σκοπό να δω και να συγκρίνω τα αποτελέσματά τους. Σε αυτό το link https://polar-ridge-56749.herokuapp.com/ μπορείτε να ακούσετε πραγματικά και κατασκευασμένα από υπολογιστή τραγούδια και επιλέξετε αν το κομμάτι που ακούσατε είναι πραγματικό ή όχι. Ο διαχωρισμός προσωπικά μου φαίνεται αρκετά δύσκολος για εμένα. Μπορείτε εσείς να τα πάτε καλύτερα. Αν ασχολείστε με την μουσική επιλέξτε ότι είστε έμπειρος χρήστης.

Υ.Γ. Το σύστημα παράγει midi αρχεία και γιαυτό η χροιά τους δεν είναι τόσο καλή αλλά είναι στα άμεσα βήματα προς διόρθωση. Κάθε ημέρα το site θα βελτιώνεται με σκοπό να πάρω όσο το δυνατών ποιο ποιοτικά αποτελέσματα για την αρχική μου ερώτηση.

Πως σας φάνηκαν τα αποτελέσματα;

 

[rgxinap]

εχεις κάποια μέθοδο μέτρησης "απόστασης" μελωδιών? που έχεις κάνει την έρευνα? σε ποιά εταιρία ή παν/μιο?

 

[otto##]

Θα μπορούσε ένας υπολογιστής να συνθέτει ποιοτική μουσική; Θέλοντας να λύσω αυτήν μου την απορία κατασκεύασα διάφορους αλγορίθμους τεχνητής νοημοσύνης με σκοπό να δω και να συγκρίνω τα αποτελέσματά τους. Σε αυτό το link https://polar-ridge-56749.herokuapp.com/ μπορείτε να ακούσετε πραγματικά και κατασκευασμένα από υπολογιστή τραγούδια και επιλέξετε αν το κομμάτι που ακούσατε είναι πραγματικό ή όχι. Ο διαχωρισμός προσωπικά μου φαίνεται αρκετά δύσκολος για εμένα. Μπορείτε εσείς να τα πάτε καλύτερα. Αν ασχολείστε με την μουσική επιλέξτε ότι είστε έμπειρος χρήστης.

Υ.Γ. Το σύστημα παράγει midi αρχεία και γιαυτό η χροιά τους δεν είναι τόσο καλή αλλά είναι στα άμεσα βήματα προς διόρθωση. Κάθε ημέρα το site θα βελτιώνεται με σκοπό να πάρω όσο το δυνατών ποιο ποιοτικά αποτελέσματα για την αρχική μου ερώτηση.

Πως σας φάνηκαν τα αποτελέσματα;

Έχεις κάποιοι νευρ. δίκτυο που εκπαιδεύεις με input από άλλα κομμάτια φαντάζομαι. Έχει ενδιαφέρον να το ταίσεις μόνο κομμάτια κλασικής π.χ από τη ρομαντική περίοδο και να συγκρίνεις τι κάνει? Ρέπει προς το ρομαντισμό; 

 

[Spyros Delta]

Τι σημαινει "πραγματικη" μελωδια?

Ποια μελωδια δεν ειναι πραγματικη και γιατι δεν ειναι?

Πηγα να κανω το τεστ και στο 5/20 σταματησε και δεν μου επετρεπε να πατησω Next.

Γιατι?

 

[fusiongtr]

Έχει ενδιαφέρον να το ταίσεις μόνο κομμάτια κλασικής π.χ από τη ρομαντική περίοδο και να συγκρίνεις τι κάνει? Ρέπει προς το ρομαντισμό; 

Δεν νομίζω ότι είναι τόσο προχωρημένο το εγχείρημα που να περιλαμβάνει και κανόνες αρμονίας (της εποχής), φαντάζομαι ότι περισσότερο μελωδίες σχετικά απλά εναρμονισμένες θα παράγει.

Δηλαδή αν το ταϊσεις Μότσαρντ, δεν φαντάζομαι να γράφει ανάλογα συμφωνικά έργα.

Τι σημαινει "πραγματικη" μελωδια?

Ποια μελωδια δεν ειναι πραγματικη και γιατι δεν ειναι?

Σωστό αυτό.

Τις συνθέσεις του υπολογιστή, θα μπορούσε άνετα να έχει γράψει κάποιος άνθρωπος, όμως τις συνθέσεις κάποιων ανθρώπων ... δύσκολο το θεωρώ να μπορεί να τις γράψει υπολογιστής.

Οπότε τι σημασία έχει για σένα (προς τον OP) το να ξεχωρίσει κάποιος αν είναι γραμμένο κάτι από πρόγραμμα ή άνθρωπο?

 

[RayDTutto]

Τι σημαινει "πραγματικη" μελωδια?

Ποια μελωδια δεν ειναι πραγματικη και γιατι δεν ειναι?

Πηγα να κανω το τεστ και στο 5/20 σταματησε και δεν μου επετρεπε να πατησω Next.

Γιατι?

Σε πήρε χαμπάρι... ?

 

[otto##]

να δω Λάκη να ακούει μουσική που έχει συνθέσει μια τεχνητή νοημοσύνη σε γραμμόφωνο και τι στο κοσμο.

 

[geofila]

εχεις κάποια μέθοδο μέτρησης "απόστασης" μελωδιών? που έχεις κάνει την έρευνα? σε ποιά εταιρία ή παν/μιο?

Τι ακριβώς εννοείς μέτρησης απόστασής μελωδιών;

Το πρόβλημα με την μουσική και με την εκπαίδευση αλγορίθμων είναι ότι δεν έχουμε μια καλή συνάρτηση η οποία να μας λέει κατά πόσο μια μελωδία είναι καλή ή κακή. Αυτό ως την ώρα μπορεί να το κάνει μόνο ο άνθρωπος και γιαυτόν ακριβώς το λόγο κατασκεύασα το site αυτό ώστε να μπορώ να έχω από κόσμο feedback για ποιο μοντέλο υπερτερεί και να συνεχίσω προς αυτήν την κατεύθυνση.

Δεν δουλεύω σε κάποια εταιρία φοιτητής είμαι στους ΗΜΜΥ στο ΕΜΠ και απλά αντί απλά να διαβάζω για μοντέλα ή να κάνω έτοιμα tutorials είπα να ασχοληθώ με κάτι δικό μου στο πλαίσιο προσωπικής μελέτης.

 

[rgxinap]

όπως έχουμε π.χ. απόσταση μεταξύ λέξεων, γλωσσών, εικόνων, κτλ.

μετρώντας την απόσταση μιας μελωδίας απο μια άλλη θα μπορούσε κάποιος να αποφανθεί για το αν κάποια κοπιαρίστηκε απο την άλλη, κτλ.

 

[geofila]

Δεν νομίζω ότι είναι τόσο προχωρημένο το εγχείρημα που να περιλαμβάνει και κανόνες αρμονίας (της εποχής), φαντάζομαι ότι περισσότερο μελωδίες σχετικά απλά εναρμονισμένες θα παράγει.

Δηλαδή αν το ταϊσεις Μότσαρντ, δεν φαντάζομαι να γράφει ανάλογα συμφωνικά έργα.

Σωστό αυτό.

Τις συνθέσεις του υπολογιστή, θα μπορούσε άνετα να έχει γράψει κάποιος άνθρωπος, όμως τις συνθέσεις κάποιων ανθρώπων ... δύσκολο το θεωρώ να μπορεί να τις γράψει υπολογιστής.

Οπότε τι σημασία έχει για σένα (προς τον OP) το να ξεχωρίσει κάποιος αν είναι γραμμένο κάτι από πρόγραμμα ή άνθρωπο?

Προς το παρών τα μοντέλα που έχουν κατασκευαστεί δεν περιέχουν κάποιο κομμάτι εκμάθησης πολιτικής  καθώς επίσης και εγώ δεν έχω προσθέσει "χειροκίνητα" μουσικούς κανόνες.

Παρόλα αυτά οι αρχιτεκτονικές κατά την διαδικασία εκπαίδευσης προσπαθούν μάθουν να παράγουν κομμάτια ανάλογα αυτών που έχουν δει. Συνεπώς αν ένα δίκτυο έχει εκπαιδευτεί με ρομαντικά κομμάτια τότε τα κομμάτια που θα παράγει θα είναι ρομαντικά κ.ο.κ. Αυτό όμως ισχύει σε πολύ θεωρητικό επίπεδο μιας και το τι τελικά θα μάθει ένα δίκτυο από αυτά που θα δει κατά την εκπαίδευση είναι πολύ διαφορετικά και εξαρτάται από το είδος της αρχιτεκτονικής, το μέγεθος την οργάνωση, την ίδια την εκπαίδευση κ.α. Ως την ώρα δεν λαμβάνει υπόψιν  κανόνες αρμονίας μιας και η αρμονία είναι πολύ δύσκολο να  μοντελοποιήθει μαθηματικά, αλλά στο μέλλον θα προχωρήσω προς αυτήν την κατεύθυνση.

Από οτι κατάλαβα στο δεύτερο κομμάτι εννοείς τι σημασία έχει αν κάτι το έχει γράψει ένας υπολογιστής ή άνθρωπος από την στιγμή που δεν είναι ανάλογο κάποιου κομματιού απίστευτης αξίας που έχει γραφτεί από κάποιον μεγάλο συνθέτη. Να σου πω την αλήθεια δεν το είχα σκεφτεί πότε έτσι τους 6 μήνες που ασχολούμαι και έχεις δίκαιο, μου μου άρεσε πολύ αυτή η οπτική γωνία. Παρόλα αυτά πρακτικά παλαιότερα τα αποτελέσματα που παρήγαγαν οι υπολογιστές (π.χ. με μακροβιανές αλυσίδες ) ήταν πολύ χειρότερα από  αλλά κομμάτια που τα έχουν συνθέσει άνθρωποι που δεν είναι μεγαλοφυΐες στο είδος (πρακτικά δεν ακούγονταν). Συνεπώς κατά την γνώμη μου το να μην μπορούμε να ξεχωρίσουμε αν την μελωδία αυτή την έγραψε άνθρωπος ή αλγόριθμος είναι ένα μεγάλο βήμα προς τον υπέρτατο στόχο.

 

[geofila]

Τι σημαινει "πραγματικη" μελωδια?

Ποια μελωδια δεν ειναι πραγματικη και γιατι δεν ειναι?

Πηγα να κανω το τεστ και στο 5/20 σταματησε και δεν μου επετρεπε να πατησω Next.

Γιατι?

Ναι σε αυτό έχει δίκαιο λάθος διατύπωση! Με το πραγματική μελωδία πρακτικά εννοώ αν αυτή έχει συντεθεί από άνθρωπο ή από κάποιον αλγόριθμο. Λογικά επειδή ανέβασα κάποια καινούργια έκδοση που διορθώνω μικρά bugs μπορεί να συμπέσαμε και να μπορούσε να συνεχίσει να δουλεύει. Αν το ξανακάνεις λογικά θα είναι μια χαρά. Αν σου ξανασυμβεί πες μου για να ψάξω τι φταίει.

 

[geofila]

Έχεις κάποιοι νευρ. δίκτυο που εκπαιδεύεις με input από άλλα κομμάτια φαντάζομαι. Έχει ενδιαφέρον να το ταίσεις μόνο κομμάτια κλασικής π.χ από τη ρομαντική περίοδο και να συγκρίνεις τι κάνει? Ρέπει προς το ρομαντισμό; 

Ναι αυτός ακριβώς ήταν και ο σκοπός μου γενικότερα. Τώρα τα έχω εκπαιδεύσει με dataset από πιάνο και από κιθάρα και θέλω να μελετήσω κατά πόσο η σύνθεση από διαφορετικό όργανο επηρεάζει το τελικό αποτέλεσμα. Στην συνέχεια θα αλλάξω στην εκπαίδευση και στυλ όπως ακριβώς το είπες. Όταν έχω νεότερα θα σε ενημερώσω.

 

[Spyros Delta]

Συνεπώς κατά την γνώμη μου το να μην μπορούμε να ξεχωρίσουμε αν την μελωδία αυτή την έγραψε άνθρωπος ή αλγόριθμος είναι ένα μεγάλο βήμα προς τον υπέρτατο στόχο.

Ποιος ειναι ο υπερτατος στοχος?

 

[geofila]

Ποιος ειναι ο υπερτατος στοχος?

Να παράγονται μελωδίες η οποίες θα είναι ανάλογες μεγάλων συθετών και θα έχουν πραγματική αξία.

 

[Spyros Delta]

Να παράγονται μελωδίες η οποίες θα είναι ανάλογες μεγάλων συθετών και θα έχουν πραγματική αξία.

Για να συμβει αυτο θα πρεπει να γινει οτι και με τους μεγαλους συνθετες.
Αφου πρωτα το AI μαθει τους κανονες της μουσικης, μετα να μαθει να τους αψηφα οταν πρεπει, ετσι ωστε να γράφει μουσικη ακολουθωντας περισσοτερο την ψυχη του, επηρεασμένος απο τις εμπειριες της ζωης του (και οχι μονο μουσικες εμπειριες), και εχοντας μεγαλες δοσεις ερμηνευτικης δεξιοτεχνίας και μπολικη χρυσοσκονη μαγείας.

Και αν μπορεσει καποιος να τροφοδοτησει το προγραμμα με ολα τα γραπτα για τη μουσικη, δεν ξερω πως θα  καταφερει να βαλει τα υπολοιπα.

 

[Dorian Earl Gray]

εχεις κάποια μέθοδο μέτρησης "απόστασης" μελωδιών? που έχεις κάνει την έρευνα? σε ποιά εταιρία ή παν/μιο?

Ως την ώρα δεν λαμβάνει υπόψιν  κανόνες αρμονίας μιας και η αρμονία είναι πολύ δύσκολο να  μοντελοποιήθει μαθηματικά, αλλά στο μέλλον θα προχωρήσω προς αυτήν την κατεύθυνση.

@geofila Καταρχάς πρέπει να πω πως το concept είναι πολύ ενδιαφέρον.

Ίσως αν, σε επόμενο στάδιο, στρέψεις την έρευνά σου προς την κατεύθυνση της μοντελοποίησης απλών patterns από chord progressions (π.χ. I-IV-V) να μπορέσεις να ορίσεις κάποια μετρική (όπως είναι π.χ. η cross correlation coefficient (CCC) metric?). Σίγουρα δεν είναι απλή διαδικασία σε καμμία περίπτωση, αλλά ενδεχομένως να σου δώσει μεγαλύτερο insight από ότι το mean opinion score που βασίζεται σε feedback από τους χρήστες και θα σου επιτρέψει να βελτιστοποιήσεις τις μεθόδους σου χρησιμοποιώντας standard πρακτικές. 

 

[fusiongtr]

παλαιότερα τα αποτελέσματα που παρήγαγαν οι υπολογιστές (π.χ. με μακροβιανές αλυσίδες ) ήταν πολύ χειρότερα από  αλλά κομμάτια που τα έχουν συνθέσει άνθρωποι που δεν είναι μεγαλοφυΐες στο είδος (πρακτικά δεν ακούγονταν).

Αυτό με ενδιαφέρει πολύ.

Πώς χειρότερα?

Τι θα πει "δεν ακούγονταν"?

Θα ήθελα να ακούσω κάτι τέτοιο.

EDIT: Από κει και πέρα τώρα, αν επικεντρώνεσαι μόνο σε μελωδικές γραμμές, σκέψου και τα παρακάτω.

- Πολύ σπάνια κάποια μελωδία στέκεται από μόνη της, χωρίς δηλαδή κάποια έστω υπονοούμενη αρμονία από πίσω, έστω και μη - λειτουργική αρμονία. Άρα είναι πολύ δύσκολο να αξιολογήσεις μια μελωδία ως καλή ή κακή, αν δεν την εντάξεις σε ένα αρμονικό περιβάλλον (έστω υπονοούμενο).

- Τα χαρακτηριστικά μιας μελωδίας είναι

  - επιλογή φθόγγων

  - χρόνοι

  - επιλογή κατεύθυνσης επόμενου φθόγγου

  - παύσεις, τονισμοί, τρόπος παιξίματος (feel)

- Όπως βλέπεις, η σύνθεση μιας μελωδίας, είναι αποτέλεσμα επιλογών συνειδητών ή (συχνότερα) ασυνείδητων, με ταυτόχρονη αξιολόγηση αυτών των επιλογών (ασυνείδητα τις περισσότερες φορές), έτσι ώστε να κάνουμε τις επόμενες επιλογές, που θα κληθούμε να αξιολογήσουμε.

Για την μοντελοποίηση αυτής της διαδικασίας (που τις περισσότερες φορές για τον άνθρωπο γίνεται ασυνείδητα) χρειάζονται επομένως κριτήρια επιλογής (πχ γιατί το σύστημα να επιλέξει κάποια νότα αντί άλλης), αλλά και δημιουργία κριτηρίων αξιολόγησης κάθε φορά της επιλογής (πχ ήταν καλή η νότα που διάλεξε το σύστημα για να προχωρήσει στην επόμενη?) αυτής.

Δύσκολο μου φαίνεται κι ας μιλάμε μόνο για μελωδίες.

Αν μπει και η αρμονία στο παιχνίδι .... χάος.

 

[blue]

https://mitpress.mit.edu/books/music-and-connectionism

Αν το κάνεις με νευρωνικά δίκτυα τσεκαρε το παραπάνω βιβλίο (αν δεν το έχεις κάνει ήδη) ?

 

[otto##]

Για να συμβει αυτο θα πρεπει να γινει οτι και με τους μεγαλους συνθετες.
Αφου πρωτα το AI μαθει τους κανονες της μουσικης, μετα να μαθει να τους αψηφα οταν πρεπει, ετσι ωστε να γράφει μουσικη ακολουθωντας περισσοτερο την ψυχη του, επηρεασμένος απο τις εμπειριες της ζωης του (και οχι μονο μουσικες εμπειριες), και εχοντας μεγαλες δοσεις ερμηνευτικης δεξιοτεχνίας και μπολικη χρυσοσκονη μαγείας.

Και αν μπορεσει καποιος να τροφοδοτησει το προγραμμα με ολα τα γραπτα για τη μουσικη, δεν ξερω πως θα  καταφερει να βαλει τα υπολοιπα.

Αυτό που λες περιγράφει μία πραγματική "τεχνητή νοημοσύνη". Πραγματική, όπως περιγράφεται στα βιβλία φαντασίας εννοώ, μηχανές που να "σκέφτονται" και να προσομοιώνουν ακόμη και το συναίσθημα. Το θέμα έχει απασχολήσει τη φιλοσοφία της επιστήμης εδώ και τουλάχιστον 3 δεκαετίες και είναι ακόμα αντικείμενο ενδιαφέροντος. 

Προς ώρας οι αλγόριθμοι που έχουμε δεν ειναι ΑΙ (όπως έχει ορισθεί τουλάχιστον) αλλά δίκτυα που διαβάζουν τεράστιο όγκο πληροφοριών και προσπαθούν να λύσουν προβλήματα. Όπου προβλήματα βάλε σύνθεση μουσικής, αναζήτηση στο δίκτυο, βελτιστοποίηση διαφημίσεων, λύση δύσκολων μαθηματικών προβλημάτων. Τέτοια δίκτυα "ταίζουμε" όλοι μας καθημερινά, π.χ. μηχανή αναζήτησης της google, youtube, φωτογραφίες που ανεβαίνουν στα διάφορα σόσιαλ κ.λ.π. 

Η λογική δε διαφέρει και πολύ από την εκμάθηση του ίδιου μας του εγκεφάλου. Ένας ακτινολόγος με εμπειρία 20 ετών έχει δει τόσες ακτινογραφίες που αμέσως κρίνει, τουλάχιστον τις απλές περιπτώσεις, και μπορεί να ζητήσει εξετάσεις προς μία κατεύθυνση ή μια άλλη. Έτσι κι ένα δίκτυο που θα το ταίσεις 1000000000 ακτινογραφίες θα είναι σε θέση να κάνει κάποια παρόμοια κρίση. Στη θεωρία τουλάχιστον ειναι εφικτό. 

Ενώ η ιδέα δεν ειναι καινούργια, η ύπαρξη του ίντερνετ που συλλέγει δις δεδομένα ανά δευτερόλεπτο αλλά και η ανάπτυξη αντίστοιχων εργαλείων (π.χ έτοιμα πλέον modules σε γλώσσες προγραμματισμού) καθιστά την εξάπλωση των τεχνικών αυτών ραγδαία. Δεν είναι τυχαίο που συναντάς τα νευρωνικά δίκτυα σε όλους του τομείς της επιστήμης σήμερα (εντάξει ειναι και λίγο χιπστεριά). 

 

[Dorian Earl Gray]

εντάξει ειναι και λίγο χιπστεριά

Ως πολύ χιπστεριά μερικές φορές, π.χ. τις ίδιες μαθηματικές τεχνικές που μέχρι πριν λίγα χρόνια τις αναφέραμε στο πλαίσιο του statistical signal processing ή του pattern recognition τώρα τις βλέπεις παντού με τη σφραγίδα του machine learning από πάνω - κι έτοιμο το paper! ?  

Anyway, για να επιστρέψουμε στο θέμα, έχει πολύ μεγάλο ενδιαφέρον αυτό που προσπαθεί να κάνει ο OP και σίγουρα δεν είναι καθόλου εύκολο. Είμαι πραγματικά περίεργος να δω τα συμπεράσματα που θα εξαγάγει από αυτό το εγχείρημα.