OCG Journal 4/23 Zukunftsmusik - Der Einfluss der Künstlichen Intelligenz in der Musik

KI und Technik - der komplexe Prozess des Musizierens
von Alexander Mayer, Montserrat Pámies-Vilá, und Vasileios Chatziioannou
Ein Roboterarm spielt Cello
Im Zuge zweier Projekte, die wir am Institut
für musikalische Akustik – Wiener
Klangstil (IWK) durchführen, wird die
Tonerzeugung beim Cellospielen erforscht.
Dabei werden Bewegungsabläufe
von professionellen Cellist*innen
beim Musizieren mittels Motion-Capture
aufgezeichnet und analysiert. Ein
Industrieroboterarm übernimmt dann
die Aufgabe, diese Aufnahmen wiederzugeben
– im Gegensatz zum Menschen
jedoch höchst reproduzierbar und ohne
eine subjektive Meinung zu dem Instrument
oder Bogen. In diesem Artikel
wollen wir das vorhandene System kurz
vorstellen und die logischen nächsten
Schritte ausführlich behandeln, denn,
mithilfe der vorhandenen Technik und
Künstliche Intelligenz, könnte die Aufgabe
des künstlichen Musizierens am
Cello auch auf hohem Niveau gelingen.
Gleichzeitig erhoffen wir aber auch dadurch
die Kunst der Bogenführung besser
zu verstehen.
Trotz intensiver Forschung auf dem Gebiet
der Akustik von Musikinstrumenten
ist es bis heute äußerst schwierig, allgemeingültige
qualitative oder objektive
Bewertungen der Klangeigenschaften
von Musikinstrumenten und der wahrgenommenen
Qualität von Musikinstrumenten
vorzunehmen. Unser individuelles
Klangempfinden ist oft nicht nur
personenabhängig, sondern kann auch
von äußeren Einflüssen abhängen. Auch
bei der Spieltechnik zeigen sich deutliche
Unterschiede in Abhängigkeit von der
Person und den äußeren Umständen.
Zusätzlich kann das Musikinstrument
aufgrund seiner nichtklanglichen Eigenschaften
auch Einfluss auf den/die Musiker*in
und damit indirekt auf den Klang
ausüben. Mit einer künstlichen Anregung
kann jedoch nicht nur eine objektive,
sondern auch eine reproduzierbare Anregung
erreicht werden.
In den „Doksari“-Projekten (griechisch
für „Bogen“) am Institut für musikalische
Akustik – Wiener Klangstil (IWK) geht
es unter anderem darum, spieltechnische
Aspekte durch Messungen besser
zu verstehen, aber auch mathematisch
beschreiben zu können. Dadurch sollen
Computermodelle erweitert und die Zusammenhänge
zwischen Spieltechnik
und Klangerzeugung beim Cellospiel
besser verstanden werden. Das Zusammenspiel
von Bogen und Saite ist seit
Jahren Gegenstand der Forschung und
wird auch in Zukunft viele Fragen aufwerfen.
DAS DOKSARI- SYSTEM
Seit langem werden verschiedenste Apparate
zur künstlichen Anregung von
Streichinstrumenten verwendet. Zum
einen gab es z. B. den Piano-Geige-Automaten
der Firma Hupfeld, der bereits um
1907 mit Hilfe von perforierten Papierrollen
Musik abspielte, oder Maschinen, die
zu reinen Forschungszwecken gebaut
wurden [1,2]. Bei vielen Maschinen erfolgt
die Anregung jedoch in der Regel über
einen speziell konstruierten Bogen in
Form eines Rings oder über Räder, ähnlich
wie bei einer Drehleier. Die meisten
Geräte, die mit einem Standardbogen
ausgestattet sind, führen in der Regel
rein geradlinige Bewegungen aus. Zwar
kann die Bogengeschwindigkeit und
der Anpressdruck variiert werden, jedoch
ist es nicht möglich, die Feinheiten der
menschlichen Spielgestik zu imitieren.
Eine Idee hinter unseren Projekten war
jedoch, auch die menschliche Bogenführung
genauer zu untersuchen und zu sehen,
wie und ob sie die Klangerzeugung
beeinflusst (siehe Abbildung 1).
Abbildung 1: Menschliche Bogenführungen
für die vier offenen Saiten, aufgenommen mit
einem Motion-Capture System, rot markiert
stellt das Vektormodell des Cellos dar, der
Punkt S gibt die Position des Steges an. C2, G2,
D3 und A3 sind die Töne der jeweils angeregten
(offenen) Saiten
Um das Cello möglichst realistisch anzuregen,
muss der Bogen daher frei in
drei Raumdimensionen bewegt werden
können. Die Bogenführung der
menschlichen Spieler*innen wird mit
einem Motion-Capture-System (MoCap)
aufgenommen. 12 Kameras senden 240
Mal pro Sekunde dreidimensionale Koordinatendaten
von Mensch, Bogen und
Instrument an den Computer. In einem
weiteren Schritt werden diese Daten in
Roboterbefehle umgesetzt und in weiterer
Folge an einen Roboterarm mit 6 Freiheitsgraden
(6 Gelenken) gesendet. Derzeit
werden alle Untersuchungen ohne
Greifhand - also „offen gespielt“ - durchgeführt.
Da sich das Instrument während
der Anregung durch den Roboter nicht
bewegen darf, wird es in einer Halterung
16 OCG Journal | 04 • 2023