Mit Hilfe von Big Data Analysen und Deep Learning ist ein Marimba-spielender KI-Roboter des Georgia Institute of Technology in der Lage, seine eigenen harmonischen Musikstücke zu komponieren und vorzutragen.
Als Grundlage für seine Kompositionen haben Forscher des Instituts für den Roboter eine Datenbank aus etwa 5000 vollständigen Musikstücken aus unterschiedlichen Genres angelegt, darunter Werke von Beethoven, den Beatles, Miles Davis oder Lady Gaga. Hinzu kamen noch mehr als 2 Millionen unterschiedliche Motive sowie Musik-Riffs und -Licks. Hieraus wurden die ersten vier Grundmaßnahmen gesetzt. Davon abgesehen war kein weiterer menschlicher Einfluss mehr beteiligt, die Künstliche Intelligenz generiert daraus ihre eigenen Musikkompositionen. Zwei Musikstücke, mit einer Länge von jeweils etwa 30 Sekunden, haben die Forscher auf dem YouTube-Kanal des Instituts öffentlich vorgestellt.
Studenten und Dozenten des Georgia Tech Center for Music Technology haben sieben Jahre lang an dem “Shimon” genannten, Marimba-spielenden Roboter gearbeitet, um ihm nach und nach neben dem Musizieren auch das Komponieren beizubringen. “Sobald Shimon die ersten vier Maße, die wir ihm vorgeben, gelernt hat, erschafft es seine eigenen Konzept-Sequenzen und komoniert sein eigenes Stück,” sagt Doktorand Mason Bretan, einer der Hauptverantwortlichen des Projekts. “Shimon’s Kompositionen zeigen, wie Musik klingt und wirkt, wenn ein Roboter tiefere Neurale Netzwerke (Deep Neural Networks, DNN) verwendet, um alles was es dazu wissen muss über Musik aus Millionen von durch Menschen erzeugte Sequenzen zu erlernen”.
Laut Bretan und Gil Weinberg, Leiter des Center for Music Technology am Georgia Institute of Technology, ist es das erste Mal, dass ein Roboter Deep Learning genutzt hat, um Musik zu erschaffen. Dabei handelt es sich um keine rein monophone Improvisation; Shimon benutzt Harmonik und Akkorde. Stücke werden nicht einfach nur Note für Note abgearbeitet. Wie bei einer Komposition üblich, wird das Stück als Ganzes behandelt, als gesamtheitliche Struktur, erläutert Bretan:
“Wenn wir musizieren oder Musik anhören denken wir nicht einfach immer nur an die nächste Note. Ein Künstler hat eine größere Vorstellung davon, was er mit dieser oder den folgenden Sequenzen eines Stückes erreichen möchte. Shimon kann nun höherstufige musikalische Semantik hervorbringen: Anstatt nur einfach nur Note für Note zu denken hat es eine größere Vorstellung davon, was es im Gesamten vortragen möchte.”
Es ist geplant, dass Shimon noch weitere Stücke komponiert: Wann immer die Forscher ihm eine erste Maßnahme einpflanzen, wird der Marimba-Roboter hieraus jedes Mal ein neues Stück generieren – ohne dass die Wissenschaftler vorhersehen könnten, was dabei herauskommt. Bretan betont auch, das er nicht in der Lage sei, eine konkrete Referenz zu einem bestimmten Stück aus Shimons Kompositionen herauszuhören. Es seien aber bestimmte Einflüsse wie etwa Mozart feststellbar. “Die Stücke klingen wie eine Mischung aus Jazz und klassische Musik,” sagt Bretan, der in seiner Freizeit selbst Keyboard und Gitarre spielt. “In der Harmonik höre ich definitiv eher klassische Einflüsse. Aber im ersten Stück gibt es definitiv einige Chomatische Stufungen – das ist definitiv etwas, dass man eher in Jazz hört.”
Shimon soll auf dem Aspen Ideas Festival Ende Juni sein erstes selbsttätiges Live-Konzert geben. Am Center of Music Technology arbeiten Weinberg und seine Studenten derweil noch an anderen Projekten, die Robotik und Musik kombinieren. So entwickelten die Forscher eine unter anderem eine robotische Prothese für Schlagzeuger.
