OCG Journal 4/23 Zukunftsmusik - Der Einfluss der Künstlichen Intelligenz in der Musik

Abbildung 4: Der erste Prototype eines 3D-gedruckten Steges, der mit insgesamt 16 Sensoren ausgestattet ist, um die
verschiedenen Kräfte währen des Spielvorgangs zu messen.
SENSORIK
Ein Mikrofon kann natürlich als künstliches
Ohr dienen und eine ständige Analyse
des Schalls kann uns eine Rückmeldung
über die Qualität des Klangs geben.
Etwas komplizierter ist es, die Sensorik
der menschlichen Hand nachzubilden.
Aus den Forschungsergebnissen zur Bogen-Saiten-Interaktion
(z. B. [4]) ist bereits
klar, dass die Bogengeschwindigkeit und
die Anpresskraft sowie die Streichregion
die wichtigsten Parameter darstellen.
Beispielsweise lässt sich durch Variation
der Bogengeschwindigkeit die Lautstärke
des angeregten Tons kontrollieren.
Die Klangfarbe kann durch den Abstand
des Bogens zum Steg, aber auch durch
die Anpresskraft beeinflusst werden. Die
Bogengeschwindigkeit und eine relativ
genaue Information über den Abstand
Bogen - Steg können wir aus den MoCap
Daten entnehmen – vorerst unbekannt
bleibt also die Kraft. Im Gegensatz zu Robotern
lassen sich bei der Hand des Menschen
die ausgeübten Kräfte nicht so einfach
messen. Deshalb rüsten wir ein Cello
mit einem speziell entwickelten Sensorsteg
aus (siehe Abbildung 4). Dies hat
den Vorteil, dass wir die beiden Streichvorgänge
von Mensch und Maschine direkt
miteinander vergleichen können.
WARUM WIR KÜNSTLICHE
INTELLIGENZ EINSET-
ZEN WOLLEN
In der klassischen Regelungstechnik wird
eine Regelstrecke analysiert, die sogenannten
Systemeigenschaften ermittelt.
Auf Basis eines mathematischen Modells
wird ein geeigneter Regler entworfen.
Dieser Regelkreis muss in der Lage sein,
z. B. auf eine Änderung des Ist-Zustandes
ausreichend schnell und stabil zu reagieren.
Beim Streichen des Cellos mit dem
Bogen ist leider keine eindeutige Systemantwort
zu erwarten, die Regelstrecke
selbst ist sehr komplex und nichtlinear.
Auch ohne dass, wie beim Spielen üblich,
die gespielte Saite ständig in ihrer Länge
verändert wird, ändern sich ständig
die Regelzustände und Parameter. Ein
Eingreifen der klassischen Regelungstechnik
wäre nur in begrenztem Umfang
und mit hohem technischem Aufwand
möglich. Selbstlernende oder intelligente
Systeme könnten hier, so hoffen wir, eine
vielversprechende Perspektive bieten,
um das Problem zu lösen.
DATEN SAMMELN UND KI
LERNEN LASSEN
Um den Einsatz von Künstlicher Intelligenz
zu ermöglichen, müssen wir zunächst
Daten sammeln bzw. generieren.
Dazu werden professionelle Musiker*innen
eingeladen, bestimmte Klänge nach
unseren Vorgaben zu spielen. Mit Hilfe
des neu entwickelten Sensor-Stegs und
den Daten aus dem MoCap sowie zusätzlichen
Tonaufnahmen werden dann
so genannte Training Sets gebildet. Wir
erwarten, dass bereits bei der Zusammenstellung
dieser Sets Zusammenhänge
zwischen Klang und Spielparametern
erkannt werden können. Nach dem Lernprozess
soll die KI den Roboterarm so
steuern, dass der Fehler bei einer erneuten
Aufnahme auf ein Minimum reduziert
wird. Da das System in Zukunft auch
in der Lage sein soll, normale Celli ohne
eingebaute Sensorik zu spielen, werden
auch die im Roboterarm selbst eingebauten
Kraftsensoren erfasst. Ein zweiter
Lernprozess zielt darauf ab, die notwendigen
Spielparameter dann auch ohne das
spezielle Sensor-Cello reproduzieren zu
können. Hier kann die KI den Fortschritt
überwachen.
Noch weiter in die Zukunft gedacht,
könnte eine Software bzw. KI die Noten
vom Blatt interpretieren und dann entsprechende
Bewegungen über den Roboter
ausführen. Mit einer künstlichen
Greifhand oder einem zweiten Roboterarm
würden sich die musikalischen Möglichkeiten
jedoch noch um ein Vielfaches
erweitern.
IST DIE JOB-ANGST VON
MUSIKER*INNEN BERECHTIGT?
Insbesondere die Doksari-Projekte zielen
in erster Linie auf ein besseres Verständnis
des Musikmachens ab. Wir glauben,
dass Musiker*innen nicht befürchten
müssen, durch Maschinen ersetzt zu werden,
wenn moderne Technologien, wie
18 OCG Journal | 04 • 2023