OCG Journal 4/23 Zukunftsmusik - Der Einfluss der Künstlichen Intelligenz in der Musik

P.b.b. Verlagspostamt 1010 Wien I 02Z031460M
Ausgabe 04 • 2023 | Jg. 48 | EUR 5,00
DAS IT-MAGAZIN DER ÖSTERREICHISCHEN COMPUTER GESELLSCHAFT
Zukunftsmusik
Der Einfluss der Künstlichen
Intelligenz in der Musik
OCG Journal Ausgabe 04 • 2023: | Coverbild: istock/Devrimb

Wissenschaftliche Wettbewerbe
ocg.at/wissenschaftliche-wettbewerbe
OCG Förderpreis 2024
OCG Förderpreis FH 2024
Einreichungen müssen im Zeitraum Oktober
2022 bis Dezember 2023 an einer österreichischen
Universität bzw. Fachhochschule approbiert
und mit einem sehr gut beurteilt worden
sein. Die beste Arbeit wird von einer Jury ermittelt.
Der Preis ist mit 2.000 Euro dotiert.
Einreichfrist: 14. März 2024
Heinz Zemanek Preis 2024
Dissertationen müssen im Zeitraum 1.1. 2022
bis 31.12.2023 an einer österreichischen Universität
abgeschlossen und von der Universität
nominiert worden sein. Die beste Arbeit wird
von einer Jury ermittelt. Der Preis ist mit 5.000
Euro dotiert.
Nominierungsfrist: 14. März 2024

Inhalt
4 Vorwort des OCG Präsidenten
Schwerpunktthema KI und Musik
5 KI in der Musikindustrie
Wirtschaftliche und rechtliche Herausforderungen
9 Maschinelles Lernen und die Welt der Musik
Wieviel Gewicht geben wir künstlicher Kreativität?
12 KI ist wie ein Instrument
KI bringt völlig neue Möglichkeiten Musik, Bild und Text
zu verbinden - Interview mit Ali Nikrang
16 Ein Roboterarm spielt Cello
KI und Technik - der komplexe Prozess des Musizierens
20 Moves & Grooves
Analyse von Audiosignalen, Tracking von Körper, Hand
und Gesicht/Ausdruck
24 Grenzenlose Freiheit?
KI und gute wissenschaftliche Praxis im
Hochschulbereich
27 Musik und KI - Erfahrungen und Überlegungen
ChatGPT4 komponiert noch sehr klischeehaft - ein
Experiment
OCG Intern
30 Von Menschen für Menschen
Wie Christiane Floyd die Software-Entwicklung
veränderte
32 Houskapreis für außeruniversitäre Forschung
Connected Boot - der vernetzte Schischuh - Interview
mit Elisabeth Häusler
34 Künstliche Intelligenz muss noch viel lernen
Informatiker Georg Gottlieb hielt Zemanek Lecture in
Wien über Künstliche Ignoranz
35 Veranstaltungen
35 Impressum
ICDL Künstliche Intelligenz
Das neue ICDL Modul Künstliche Intelligenz (KI)
lehrt die Grundkonzepte der daten- und symbolbasierten
KI:
• Chancen und Risiken von KI
• Anwendungsbeispiele im Alltag
• Grenzen von KI
• Ethische Überlegungen
• Praktische Beispiele
Jetzt digital fit werden und Skills zertifizieren!
icdl.at

Editorial
Sehr geehrtes OCG-Mitglied,
liebe Leserin, lieber Leser!
Für Musikschaffende am Schnittpunkt
Technik und Musik bringt die KI und Maschinelles
Lernen viele neue, kreative Möglichkeiten.
Im Ars Electronica Center in Linz
kann man das mit allen Sinnen im Bereich
AI meets Music erleben. „KI ist so etwas wie
ein Instrument. Das eröffnet ganz neue Formate
für die künstlerischen Prozesse“, sagt
der Informatiker, Forscher und Musiker Ali
Nikrang im Interview mit der OCG.
Lesen Sie auch über die wirtschaftlichen
und rechtlichen Herausforderungen, denen
sich die Musikindustrie durch die KI zu stellen
hat. Urheberreicht ist nur ein Bereich,
in dem gerade viele Neuerungen auf den
Rechtsbereich zukommen. Auch im universitären
Bereich stellt sich die Frage, wie
es mit guter wissenschaftlicher Praxis angesichts
der Entwicklungen in der KI aussieht?
Wie in allen anderen Anwendungsbereichen
gilt auch hier: Nur wenn wir den
nahezu unbegrenzten Möglichkeiten der KI
offen und konstruktiv, aber - wo notwendig
- auch kritisch gegenübertreten, werden
wir gemeinsam gute Lösungen finden.
Tauchen Sie also mit diesem OCG Journal
ein in die Welt der KI und Musik mit ihren
vielen Facetten – mit Begeisterung und der
nötigen Portion Vorsicht, denn es ist nicht
alles so, wie es auf den ersten Blick erscheint.
Herzlichst, Ihr
Thomas Mück, Präsident OCG

Schwerpunktthema
Wirtschaftliche und rechtliche Herausforderungen
von Peter Tschmuck
KI in der Musikindustrie
(c)Vladimir Vladimirov
„FAKE DRAKE“
Mitte April 2023 war die Aufregung groß,
als der Song „Heart on My Sleeve“ im
Internet auftauchte und viral ging. Zu
hören ist der kanadische Rap-Superstar
Drake im Duett mit seinem nicht weniger
berühmten Landsmann The Weeknd.
Fans waren schon der Meinung,
dass Drake einen neuen Song mit einer
abgefahrenen neuen Promotionskampagne
veröffentlich hatte, als sich herausstellte,
dass seine Stimme mittels
Künstlicher Intelligenz von einem mit
Leintuch und Sonnenbrille Getarnten,
der sich selbst ghostwriter977 nannte,
nachgeahmt und dann der Song auf Tik-
Tok veröffentlicht worden war 1 .
Der Song war schon ab dem 4. April bei
Spotify 2 verfügbar und tauchte dann
auch in anderen Streaming Portalen und
bei YouTube 3 auf.
Der „Fake Drake“, wie das KI-generierte
Musikstück bald genannt wurde, löste
nicht nur einen weltweiten medialen
Hype aus, sondern brachte auch die
Rechteinhaber, vor allem aber die Labels
auf die Barrikaden. Die Universal Music
Group, bei der sowohl Drake als auch The
Weeknd beim Sublabel Republic unter
Vertrag sind, brachte sogleich ihre ablehnende
Haltung klar zum Ausdruck: „[T]he
training of generative AI using our artists‘
music (which represents both a breach of
our agreements and a violation of copyright
law) as well as the availability of infringing
content created with generative
AI on DSPs, begs the question as to which
side of history all stakeholders in the music
ecosystem want to be on: the side of
artists, fans and human creative expression,
or on the side of deep fakes, fraud and
denying artists their due compensation.“ 4
Die Beschwerde zeigte Wirkung. Nachdem
„Heart on My Sleeve“ 9 Millionen Mal
auf TikTok geteilt worden war, auf Spotify
innerhalb von zwei Wochen 250.000
Streams generierte und das YouTube-Video
in zwei Tagen fast 200.000 Mal angeklickt
worden war, nahmen die Streaming
Portale den Track am Abend des
17. April aus ihrem Angebot und YouTube
04 • 2023 | OCG Journal
5

sperrte vorübergehend den Account von
ghostwriter977. 5
Rechtlich betrachtet ist die Faktenlage
allerdings nicht so eindeutig. Eine Stimme
ist urheberrechtlich nicht geschützt,
aber Stimmen-Klone könnten in die
Persönlichkeitsrechte der Künstler*innen
eingreifen. In der internationalen
Urheberrechtsgesetzgebung
wurden
die Persönlichkeitsrechte der Künstler*innen
nicht harmonisiert. So sind in
den USA nur in 19 von 50 Bundesstaaten
– darunter Kalifornien, New York und
Florida – Persönlichkeitsrechte gesetzlich
verankert 6 . Vor allem geht es um das
Publicity Right, das vor der widerrechtlichen
Aneignung des Namens, des Bildes
oder anderer Identitätsmerkmale einer
Person, beispielsweise der Stimme, zu
kommerziellen Zwecken schützt. Eine
Judikatur 7 zu KI-generierten Stimmen
liegt aber noch nicht vor und es werden
wohl die Gerichte darüber entscheiden
müssen, ob Rechte verletzt wurden
oder nicht. Wie immer die Verfahren
ausgehen, Stimmen-Klone bilden nur
die Spitze eines Eisbergs weitreichender
rechtlicher Probleme, welche die KI in der
Musikindustrie aufwirft.
KI UND DAS URHEBERRECHT
Betrachten wir einmal, wie Musik-KI
funktioniert. Sie benötigt als Input riesige
Mengen an Trainingsdaten, die zu einem
KI-Modell verarbeitet werden. Dieser
Prozess ist so komplex, dass es auch für
die Bediener*innen einer KI nicht mehr
möglich ist nachzuvollziehen, wie das geschieht.
Schließlich werden Daten in Form
von Kompositionen, Songtexten und Musikaufnahmen
ausgegeben. Wir können
den KI-Prozess daher einfachheitshalber
in Inputphase, Verarbeitungsphase und
Outputphase gliedern. All diese Phasen
können rechtliche Tatbestände berühren
und Probleme aufwerfen.
Beginnen wir mit der Inputphase und
der Problematik, dass Musikwerke und
Aufnahmen zuerst gesammelt werden
müssen, um dann die KI damit zu trainieren.
Die Datensammlung erfordert eine
Datenbank, in der die Werke bzw. Sounddateien
gespeichert werden. Eine rechtliche
Problematik ergibt sich jedenfalls
dann, wenn urheberrechtlich geschützte
Daten gesammelt werden, weil jedes
Urheberrechtsgesetz die Urheber*innen
vor unbefugten Nutzungen schützen. 8
Derzeit erfolgt die Datensammlung für
das KI-Training ohne Zustimmung der
Rechteinhaber*innen, was zu rechtlichen
Problemen führen könnte. Es ist daher
wenig verwunderlich, dass bereits die
erste Klage gerichtsanhängig ist. Am 18.
Oktober 2023 reichte die Universal Music
Publishing (UMP) gemeinsam mit anderen
Musikverlagen gegen das KI-Unternehmen
Anthropic Klage wegen Urheberrechtsverletzung
ein. Anthropic 9 ist
der Anbieter des Claude-Chatbots, einem
Konkurrenzprodukt zu ChatGPT, das von
ehemaligen Open AI-Mitarbeiter*innen
2021 gegründet worden war. Das KI-Unternehmen
erhielt Ende September 2023
von Amazon im Rahmen einer weitreichenden
Zusammenarbeit eine finanzielle
Unterstützung von US $4 Milliarden
und der Onlinehändler kaufte sich bei
Anthropic mit einem Minderheitsanteil
ein. 10
Wie jeder Chatbot sammelt auch der
Anthropic Chatbot Claude Daten im Internet,
um damit sein KI-Sprachmodell
zu trainieren. An diesem Punkt setzt die
Klage der Universal Music Publishing und
seiner Mitstreiter an. Sie werfen Anthropic
vor, ein KI-Modell auf der Basis von
riesigen Textmengen, die im Internet gesammelt
wurden, erstellt zu haben. Die
Kläger weisen darauf hin, dass Anthropic
weder um die Nutzung der urheberrechtlich
geschützten Werke angefragt
noch eine Nutzungsbewilligung durch
die Rechteinhaber*innen erteilt bekommen
hat. Insgesamt werden in der Klage
500 Musikwerke aufgelistet, für welche
die klagenden Parteien Urheberrechte
innehaben, wie z. B. „What a Wonderful
World“ von Louis Armstrong, „You Can‘t
Always Get What You Want“ von den
Rolling Stones oder „I Will Survive“ von
Gloria Gaynor. 11 Der Vorwurf gegen Anthropic
lautet, dass bei einer Anfrage an
Claude, wie die Lyrics eines dieser Songs
lauten, die KI den fast identischen Text
des angefragten Songs auswirft, was einem
Urheberrechtsverstoß gleichkäme.
Der nach dem US-Copyright Act anzunehmende
Schaden läge pro Verstoß bei
US $150.000, was bei 500 inkriminierten
Werken einem Schadenersatz von insgesamt
US $75 Millionen entspräche. 12
Anthropic hat zwar noch nicht auf die Klage
reagiert, ließ aber dem US Copyright
Office auf Anfrage eine Stellungnahme
zukommen 13 , aus der hervorgeht, dass
im Trainingsprozess die Daten zwar kopiert
werden würden, aber einzig und
allein zum Zweck der statistischen Datenanalyse.
Der Vervielfältigungsprozess
ist lediglich ein Zwischenschritt, um nicht
geschützte Elemente aus der Datenmenge
zu generieren, aus der dann die neuen
Outputs gewonnen werden. Das sei
durch die Fair-Use-Bestimmungen im
US-Copyright Act gedeckt und entspräche,
so Anthropic, auch den rechtlichen
Safe Habour-Bestimmungen in Singapur,
Japan, Israel und in der Europäischen
Union.
LIZENZVEREINBARUNGEN – EIN
LÖSUNGSANSATZ?
Welcher Rechtsstandpunkt sich durchsetzt,
werden die Gerichte entscheiden,
aber man kann schon jetzt vermuten,
dass die Klage gegen Anthropic dazu
dient, das Unternehmen und auch andere
KI-Anbieter wie OpenAI an den
Verhandlungstisch zu zwingen, um
über Lizenzvereinbarungen mit den
Rechteinhaber*innen zu verhandeln. Es
stellt sich aber die Frage der konkreten
Umsetzung. Vorab muss geklärt werden,
welches Lizenzierungs- und Inkasso-Modell
zum Einsatz kommen sollte,
um nachträgliche Diskussionen über
die Verteilung dieser „KI-Tantiemen“ zu
vermeiden. Denn im Fall einer privatwirtschaftlichen
Regelung nach dem Vorbild
der Masterrechte-Nutzung durch Musik
Streaming Dienste würden beträchtliche
Lizenzerträge an die phonografischen
Unternehmen fließen, die schwerlich an
die Künstler*innen weiterverteilt werden
können, weil Nutzungsinformationen
kaum zu generieren sind. Das liegt daran,
dass eine KI pro Sekunde tausende
Einzeldaten verarbeitet. So nutzt das
WaveNet von Google-DeepMind 16.000
Samples pro Sekunde für eine unbearbeitete
Audiodatei 14 Eine nutzungsbezogene
Abrechnung ist unter solchen Umständen
nicht mehr möglich. Die Lösung
wäre daher, eine Pauschalvergütung für
die Nutzung der Musikaufnahmen und
Musikwerke auszuverhandeln, wie das
6 OCG Journal | 04 • 2023

Schwerpunktthema
bereits zwischen Social Media-Plattformen
und Musikrechteverwertern geschehen
ist. Das Ergebnis sind Töpfe voll
von Geld, über deren Verteilung trefflich
gestritten werden kann.
Eine andere Möglichkeit bestünde darin,
eine Schranken- bzw. Ausnahmeregelung
für die Nutzung von KI-Trainingsdaten
im Urheberrechtsgesetz festzuschreiben,
wie das jetzt schon in vielen
Rechtsordnungen für die private Nutzung
urheberrechtlich geschützter Werke
gilt. Damit ist ebenfalls eine Entgeltpflicht
verbunden, die am Umfang der
benötigen Datenmenge für das KI-Training
bemessen werden könnte. Auch in
diesem Fall würde ein nicht-zuordenbarer
Topf an Lizenzerträgen entstehen, der
aber nach transparenten und nachvollziehbaren
Regeln von den Verwertungsgesellschaften
verteilt werden könnte.
KI-MODELLE ALS NEUE
NUTZUNGSFORM?
Kommen wir nun zur Trainingsphase der
KI. Wir haben gesehen, dass vor allem die
neuen KI-Systeme, die Reinforced Neural
Networks (RNN) und Convolutional Neural
Networks (CNN) beim Training nicht
mehr auf die ursprüngliche Datenbank
zugreifen, sondern die Daten parametrisieren,
um sie in einer hoch abstrakten
Form in einem KI-Modell abzubilden. Es
wird also keine neue Datenbank geschaffen
und es findet auch kein Vervielfältigungsvorgang
mehr statt, wodurch das
bestehende Urheberrecht nicht mehr
greift. Es werden daher auch keine Kopien
der ursprünglichen Daten für die Verarbeitungsphase
erstellt, sondern die KI
greift auf die von ihr selbst erstellten Parameter
zurück. Dabei kann es sich um Millionen
oder sogar Milliarden Parameter
handelt, die in den verborgenen Schichten
(hidden layers) weiterverarbeitet werden.
Dennoch argumentiert die deutsche
Initiative Urheberrecht (IU) in ihrem
Positionspapier vom September 2023,
dass Vieles dafürspräche, „dass auch das
trainierte KI-Modell (auf der 2. Stufe) noch
Vervielfältigungen im urheberrechtlichen
Sinn enthält. Denn unzweifelhaft ist
es Systemen wie ChatGPT möglich, Gedichte
oder andere urheberrechtlich geschützte
Texte zu reproduzieren.“ 15 Das
Argument deckt sich mit der Klage der
Universal Music Publishing und anderer
Musikverlage gegen Anthropic, in der
ebenfalls auf die Fähigkeit der KI verwiesen
wird, fast identische Songtexte von
Hits auf Anfrage wiederzugeben. An dieser
Stelle muss aber auch gesagt werden,
dass die KI keine Kopie des urheberrechtlich
geschützten Materials wiedergibt,
sondern auf Basis von Wahrscheinlichkeiten
ein bestimmtes Ergebnis berechnet.
Dieses kann sich durch zusätzliche
Trainingsdaten oder Lernprozesse, die innerhalb
der KI ablaufen, verändern. Es ist
daher nicht eindeutig, ob die trainierten
KI-Modelle tatsächlich Kopien anfertigen.
Wahrscheinlich braucht es diesbezüglich
eine neue urheberrechtliche Kategorie
bzw. eine neue Nutzungsart, um den Vorgängen
in der Verarbeitungsphase der KI
gerecht zu werden.
DIE KI ALS URHEBER?
Im März 2017 erkannte die luxemburgische
Zweigstelle der ältesten Musikverwertungsgesellschaft
der Welt, die
Société des auteurs, compositeurs et
éditeurs de musique (SACEM), erstmals
eine KI als Urheber an und die von ihr
hervorgebrachten Musikwerke wurden
zur Nutzung registriert. Das ist ein beispielloser
und ungeheurer Vorgang, weil
(c)Vladimir Vladimirov
04 • 2023 | OCG Journal
7

es bis dahin rechtlich unbestritten war,
dass nur natürliche Personen, d. h. Menschen,
geistige Schöpfungen im Sinne
des Urheberrechts hervorbringen können.
Die Künstliche Intelligenz, der dieses
menschliche Privileg eingeräumt wurde,
heißt AIVA, was für „Artificial Intelligence
Virtual Artist“ steht und von der in Luxemburg
ansässigen KI-Unternehmung AIVA
Technologies mit Förderungen der EU
und dem luxemburgischen Staat erstellt
worden war. 16 Bislang wurden bei der
SACEM Luxemburg 37 Musikwerke für
AIVA als Urheber registriert, wie eine Datenbanksuche
(Stand: 16.11.2023) ergeben
hat, darunter die „Fantasie Symponique
‚Le Reveil‘ op. 7“, der „Celtic Dance op. 14
in a-Moll“ oder die Ouvertüre „AIVA – ‚Letz
make it happen‘ op. 23“, die zum luxemburgischen
Nationalfeiertag in der dortigen
Philharmonie uraufgeführt wurde. 17
Zwar hat die Anerkennung der Urheberschaft
durch eine KI noch nicht Schule gemacht,
aber es könnte zum Präzedenzfall
für andere musikschaffende KIs werden.
Vollständig weitergedacht würde das bedeuten,
dass eine KI für ihre Leistungen
ebenso remuneriert werden müsste wie
menschliche Urheber*innen. Das könnte
die gesamte Wertschöpfung der Musikindustrie,
die vor allem auf dem Urheberrecht
aufbaut, infrage stellen. Die aktuelle
Diskussion über den Ausschluss von
KI-generierter Musik durch sogenannte
künstlerbezogene Auszahlungsmodelle
der Musik Streaming Dienste wäre obsolet.
Insgesamt würde menschliches und
KI-Musikschaffen auf die gleiche Stufe
gestellt. KI wäre dann mehr als nur ein
Tool für Kreative zum Musikschaffen. Es
ist daher ein umfassender gesellschaftspolitischer
Diskurs nötig, welche Rechte
der KI eingeräumt werden dürfen und
welche besser nicht. Die Musikindustrie
ist dabei wieder einmal das Testfeld dafür,
wie alle diese wirtschaftlichen und rechtlichen
Herausforderungen auch jenseits
der Musik gemeistert werden können.
Peter Tschmuck
Professor für
Kulturbetriebslehre
am Institut für
Popularmusik der
Universität für Musik
und darstellende Kunst Wien. Seine
Forschungsschwerpunkte sind die
Musikwirtschaft und die Ökonomie
des Urheberrechts.
Quellen:
1 Siehe TikTok/@ghostwriter977, https://www.tiktok.com/@ghostwriter977/video/7222027667132960046, Zugriff am 16.11.2023.
2 Rolling Stone, „Viral Drake and The Weeknd AI Collaboration Pulled From Apple, Spotify“, 17. April 2023, Zugriff am 16.11.2023.
3 YouTube, „ghostwriter - heart on my sleeve (Drake x The Weeknd AI) Official Audio“, 31. Mai 2023, Zugriff am 16.11.2023.
4 Zitiert in: Music Business Worldwide, „Universal Music Group responds to ‚fake Drake‘ AI track: Streaming platforms have ‚a fundamental
responsibility to prevent the use of their services in ways that harm artists‘“, 17. April 2023, Zugriff am 16.11.2023.
5 Music Business Worldwide, „This AI Drake rip-off already has 250,000 plays on Spotify. How will the music industry respond?“, 17. April 2023,
Zugriff am 16.11.2023.
6 Music Business Worldwide, „Major record companies hate AI voice-cloning platforms that don‘t pay. The one they hate most was created
by a 20-year-old UK student“, 12. Oktober 2023, Zugriff am 16.11.2023.
7 International Trademark Association, „Right to Publicity“, o.D., Zugriff am 16.11.2023.
8 Der § 15 des deutschen Urheberrechtsgesetzes räumt dem Urheber das ausschließliche Recht ein, sein Werk in körperlicher Form zu vervielfältigen
(§ 16), zu verbreiten (§ 17) und auszustellen (§ 18). Gesetz über Urheberrecht und verwandte Schutzrechte (Urheberrechtsgesetz)
vom 9. September 1965 (BGBl. I S. 1273).
9 Music Business Worldwide, „AI company Anthropic recently secured up to $4bn in investment from Amazon. Now it’s being sued for
copyright infringement by Universal Music Group“, 18. Oktober 2023, Zugriff am 16.11.2023.
10 Anthropic Pressemitteilung, „Expanding access to safer AI with Amazon“, 25. September 2023, Zugriff am 16.11.2023.
11 Concord Music Group, Inc. v. Anthropic PBC, Case 3:23-cv-01092, Complaint and Demand for Jury Trial in the United States District Court
for the Middle District of Tennessee, Nashville Division, October 18, 2023, Appendix, Zugriff am 16.11.2023.
12 Ibid., S. 58.
13 The Verge, „AI companies have all kinds of arguments against paying for copyrighted content“, 4. November 2023, Zugriff am 16.11.2023.
14 Aaron van den Oord et al., 2016, „WaveNet: A generative model for raw audio“, arXiv:1609.03499 [Cs], S. 1.
15 Die Initiative Urheberrecht (IU) ist ein Zusammenschluss von 44 Berufsverbänden und Gewerkschaften, die insgesamt 140.000 UrheberInnen
und KünstlerInnen vertreten. Am 19. September 2023 hat die IU, das Positionspapier „Generative KI: Urheberrechtlicher Status quo &
Handlungsempfehlungen“ veröffentlicht, aus dem das Zitat (S. 2) stammt.
16 Siehe EU-Projektdatenbank CORDIS, „AI that composes complex instrumental music for movies, games, advertising and other types of
digital media“, 17. August 2022, Zugriff am 16.11.2023.
17 Siehe YouTube, „AIVA – ‚Letz make it happen‘ op. 23“, 29. Juni 2017, Zugriff am 16.11.2023.
8 OCG Journal | 04 • 2023

Schwerpunkthema
Wieviel Gewicht geben wir künstlicher Kreativität?
von Anna Breger
Maschinelles Lernen und die
Welt der Musik
In den letzten Jahrzehnten gingen die
technischen Entwicklungen rasant voran,
unter anderem wurden stärkere
Prozessoren und immense digitale Speicherkapazitäten
verfügbar. Dadurch
konnten plötzlich theoretisch bereits
bekannte Modelle des maschinellen
Lernens erstmals praktisch umgesetzt
und erweitert werden.
Viele Modelle haben sich durch experimentelle
Erfolge weiterentwickelt und
durchgesetzt, ohne dass die Grundlagentheorie
Schritt halten kann. Mittlerweile
gibt es auch stark vereinfachte Frameworks,
welche die Implementierungsund
Ausführungskomplexität so erleichtert
haben, dass Personen ohne Expertise
einfache Lernmodelle erstellen und in
der Praxis anwenden können. Insbesondere
haben Methoden basierend auf sogenannten
neuronalen Netzen in sehr
vielen Anwendungsbereichen erfolgreich
Einzug gehalten. Der Begriff des maschinellen
Lernens an sich umfasst auch traditionelle
Lernmethoden. Da es für diesen
Text nicht relevant ist, welche Lernmethode
im Speziellen angewandt wird, werde
ich allgemein von maschinellem Lernen
(kurz: ML) sprechen, auch wenn einige Ergebnisse
erst durch die Verwendung von
speziellen neuronalen Netzen ermöglicht
wird. Den Begriff künstliche Intelligenz
(KI), der in der Praxis oft synonym zu ML
verwendet wird, werde ich hier nicht verwenden,
da dieser an sich sehr breitgefächert
ist.
Kaum ein technischer Bereich blieb unberührt
von den Entwicklungen im Bereich
des ML, und auch in einigen bisher
technisch unerschlossenen Gebieten
wurde Verwendung für die neuartigen
Modelle gefunden. Insbesondere das
sogenannte Deep Learning – das sind
vereinfacht gesagt neuronale Netze mit
besonders vielen lernbaren Parametern –
hat sich erfolgreich durchgesetzt und es
wurden Lernprobleme gelöst, die bisher
praktisch nicht gelöst werden konnten.
Diese Modelle sind eine Erweiterung von
traditionellen statistischen Methoden, die
allerdings nun ein so flexibles Framework
bieten, dass sehr verschiedenartige Probleme
damit gelöst werden können. Dabei
können primär spezielle, aber oft nicht
weitläufige Probleme auf neuen Daten
gut gelöst werden. Dies wird als Generalisierungsproblem
bezeichnet und liefert
eine der Haupteinschränkungen des
TECHNIK IN MUSIK IST NICHT
NEU
Auch die Welt der Musik blieb nicht unberührt
von ML. Was dies bedeuten kann,
ist allerdings sehr vielschichtig. Seit langem
gibt es Bereiche in der Musik, wo
Technik verwendet wird und es für uns
heutzutage selbstverständlich wirkt. So
wird zum Beispiel bei der Digitalisierung
aus einem analogen Signal ein digitales
gewonnen und bietet uns so die
Grundlage, mit welcher wir heute Musik
laufend wiedergeben können, zum Beispiel
am Handy oder am Computer. Bei
der Umwandlung in ein digitales Signal
und deren Nachbearbeitung werden
verschiedene komplexe technische Methoden
eingesetzt, die etwa durch ML
noch weiter verbessert werden könnten.
Dies kann sich dann zum Beispiel in einer
besserer Klangqualität bei gleicher Komprimierungsrate
oder technisch, in weniger
nötigen Speicherplatz, ausdrücken.
Doch wenn von ML und Musik gesprochen
wird, wird oft an die Kreation neuer
Musik von einer „künstlichen“ Intelligenz
gedacht.
Um auf ML zurückzukommen, wollen
wir kurz besprechen, was dies in Bezug
auf Musik bedeuten könnte. Es ist möglich
mit einem generativen ML-Modell
unendlich lange Musik zu produzieren,
die zum Beispiel der Musik von Mozart
ähnlich ist oder auch Phrasen von Mozart
in Drum‘n‘Bass Musik umwandelt. Dazu
können wir dem Modell Musik mit Phrasen
und Gesetzmäßigkeiten zeigen, von
denen es „lernen“ kann – also was bedeutet
es wie „Mozart“ oder „Drum’n‘Bass“ zu
komponieren?
MUSIK DURCH ZUFALL
Es ist keineswegs neu, Musik durch Zufall
nach Gesetzmäßigkeiten zu kreieren
(Anm.: Zufallsmethoden sind grundlegend
für die Generation neuer Daten in
generativen Modellen). Es gab schon im
18. Jahrhundert musikalische Zufallsspiele,
in welchen damals mit Hilfe von Würfeln
komponiert wurde. Dabei geht ein
bekanntes Würfelspiel bereits auf W.A.
Mozart zurück, betitelt mit „Anleitung so
viel Walzer oder Schleifer mit zwei Würfeln
zu componiren so viel man will ohne
musikalisch zu seyn noch etwas von der
Composition zu verstehen“. Durch die klare
Form und Rhythmik, sowie meist einfachen
Melodien war es möglich selbst
mit nur 2 Würfeln einen Walzer zu kom-
04 • 2023 | OCG Journal
9

Komponieren mit Würfelspiel
ponieren. Dies ist also ein direkter Vorfahre
von künstlicher Musikerzeugung, wo
durch Zufallsvektoren Musik in einer bestimmten
Art „komponiert“ werden kann
(Anm.: Das lateinische Wort komponieren
bedeutet übersetzt zusammensetzen).
Doch warum hat sich so eine Art des
Komponierens nicht durchgesetzt?
„Es gab schon im 18. Jahrhundert
musikalische Zufallsspiele“
So wie in den Würfelspielen ist es auch
für ML-Modelle einfach möglich aus gegebenen
Vorgaben etwas zu „kreieren“.
Weitaus schwieriger ist es allerdings, die
Weiterentwicklung und Anwendung auf
ein neuartiges Problem oder auch etwas
Sinnvolles, komplett Neues zu kreieren.
Die Weiterentwicklung vom Menuett
zum Walzer hätte wohl nicht stattgefunden,
wenn immer nur die „Menuettwürfel“
geworfen worden wären. Für solche
Weiterentwicklungen spielt auch der
gesamtgesellschaftliche Kontext eine
große Bedeutung bzw. können auch
Weiterentwicklungen in anderen Bereichen,
wie zum Beispiel Tanz, ausschlaggebend
sein. ML liefert uns dahingehend
mehr Möglichkeiten als Würfelpaare,
jedoch sind - zumindest im Moment -
diese auch noch sehr beschränkt. Im
nächsten Absatz werde ich die Sinnfrage
menschlicher Kompositionen reflektieren
und argumentiere, warum ich abseits
von technischen Einschränkungen
nicht denke, dass computergenerierte
Musik die Notwendigkeit und Nachfrage
von Musik, welche von Menschen
komponiert wurde, ersetzen wird. Hierbei
möchte ich aber nochmals betonen,
dass ML in der Welt der Musik aber auch
an sehr verschiedenen Stellen sinnvollen
Einzug halten kann, wie zum Beispiel bei
Digitalisierungsschritten,
Verbesserung
von Notenscanqualität oder auch einer
Soundwiedergabe für Übungszwecke.
Ich denke, dass wir enorm davon profitieren
können, wenn wir Modelle des ML
so einsetzen, dass sie uns als Menschen
bereichern und entlasten. Viele spannende
Bereiche werden hier auch noch erforscht
werden können.
VERLANGEN NACH VERBUN-
DENHEIT – MUSIK BERÜHRT UNS
Musik kann viele verschiedene Funktionen
haben. Schon immer gab es
zweckorientierte Musik, wie zum Beispiel
Tanzmusik, Kirchenmusik oder auch Ritualmusik,
sowie in der heutigen Zeit
Filmmusik. Der Zweck kann dabei etwa
Unterhaltung, Tanzbarkeit, atmosphärische
Gestaltung oder auch eine polarisierende
Äußerung sein - oder auch
Intellektualität, wie es zum Beispiel im
20. Jahrhundert in der Avantgarde im
Vordergrund stand. Ein Stück in einem
gewissen Stil zu komponieren, gehört
zum Handwerk, das jede komponierende
Person in einem vertiefenden Studium
lernen wird. Solche Arbeiten würde mit
angepasstem ML sicherlich schneller und
effektiver erledigt werden können. Doch
ist Effizienz auch nicht der ausschlaggebende
Wert von Musik. Musik entspricht
einem tiefen menschlichen Urverlangen:
Dem Verlangen nach Verbundenheit
und Nähe, und zwar zu anderen Lebewesen,
nicht zu Maschinen. Musik vermag
es, Empfindungen und Erlebtes auf einer
zusätzlichen Ebene auszudrücken, wo
unsere verbale Sprache an ihre Grenzen
stößt. Melodien und deren Interpretationen
können uns im Zusammenspiel auf
einer anderen Ebene sehr tief berühren.
Es ist bekannt, dass Frequenzschwingungen
auch einen Einfluss auf den menschlichen
Körper haben und sich positiv auf
die Gesundheit auswirken können. Doch
auch abgesehen davon darf nicht vergessen
werden, welch hohen Stellenwert das
Gefühl menschlicher Verbundenheit hat.
Nicht umsonst wirkt sich das gemeinsame
Musizieren, wie etwa Chorsingen,
auch in Laienensembles sehr positiv auf
die menschliche Psyche aus. Eine gute
Komposition vermag es andere Menschen
tief in ihrem Inneren anzusprechen
und dies hat für uns einen speziellen
Wert, wenn sie von einem Menschen
kommt. Humanistische Prinzipien integrieren
Würde, Respekt, persönliche Autonomie
und menschliches Wohlergehen.
10 OCG Journal | 04 • 2023

Schwerpunktthema
All dies kann durch ein neues Musikstück
erreicht werden.
Auch Musik als Transporteur von gesellschaftskritischem
Denken darf nicht unterschätzt
werden. Hierfür benötigt es
gesellschaftspolitischen und historischen
Kontext. Es können durch sie Zustände
reflektiert und transportiert werden, die
anders nicht zum Ausdruck gebracht
werden konnten. Aber auch hierzu steht
ML nicht im Widerspruch. ML kann, ist
und wird ein Teil unserer Gesellschaft sein.
Wir müssen uns nur entscheiden und
rechtlich festlegen, wo wir möchten, dass
sie Einzug und Platz gewinnt, und wo wir
sie einschränken müssen. Zum Beispiel
kann ML als Teil einer Kunstinstallation
im Zusammenspiel mit der kunstschaffenden
Person eine gesellschaftliche Reflexion
und Ausschöpfung der modernen
Möglichkeiten ermöglichen. Neben dem
innovativen Kunstwerk kann es uns auch
helfen zu reflektieren und diskutieren
wieviel Gewicht wir künstlicher „Kreativität“
geben wollen.
Zusammenfassend ist zu sagen, dass sich
durch ML viele wertvolle neue Möglichkeiten
in der Welt der Musik erschließen,
wie etwa die Verbesserung von digitalem
Musikmaterial (Sound und Noten).
Der zwischenmenschliche Wert neuer
Musik und Interpretationen ist aber so
ausschlaggebend, dass das komplette
Ersetzen von Musikschaffenden durch
Maschinen eine Themenverfehlung darstellen
würde und den Ansprüchen der
menschlichen Weiterentwicklung widerspräche.
Und schlussendlich dürfen wir
nicht vergessen, dass hinter jeder automatisierten
Musikschaffung zuerst ein
Mensch steht und wir uns als Gesellschaft
genaue Regulierungen überlegen und
gesetzlich verankern müssen.
Anna Breger mit einer Nyckelharpa (c) Privatbesitz
Anna Breger
ist sowohl Expertin
im Bereich des Data
Science als auch in
der Musik. Im Ersteren
spezialisiert sie
sich auf Anwendungen mit Bilddaten,
derzeit als Senior PostDoc Forscherin
an der Universität Cambridge sowie
als Leiterin eines FWF-Forschungsprojektes
an der Medizinischen
Universität Wien. Musikalisch tritt
sie international mit verschiedenen
Ensemble-Formationen auf, insbesondere
mit Barockgeige und traditioneller
Musik auf dem schwedischen
Instrument Nyckelharpa.
04 • 2023 | OCG Journal
11

Man-Machine Music / Ali Nikrang, Cori 0´Lan, F.X. frenzel Quartett (c) Florian Voggeneder
KI bring völlig neue Möglichkeiten Musik, Bild und Text zu verbinden
Interview mit Ali Nikrang geführt von Irina Scheitz
KI ist wie ein Instrument
Ali Nikrang ist Key Researcher & Artist
im Ars Electronica Futurelab. Seine Forschungstätigkeit
umfasst die Interaktion
Mensch – KI sowie KI und Musik. Als
Experte auf dem Gebiet der Creative Intelligence
wurde seine Arbeit weltweit
bei Konferenzen und Ausstellungen
vorgestellt.
Irina Scheitz, OCG: Sie haben eine sehr
beeindruckende Karriere als Forscher,
Informatiker, Musiker und Komponist.
Wie ist es dazu gekommen und wie verbinden
Sie diese Disziplinen?
Ali Nikrang: Ich habe mit der Musik angefangen.
Es hat mich allerdings immer
interessiert, wie man Musik mit formalen
Wissenschaften verbinden kann. Wir
haben ja nicht so viele Noten in einer tonalen
Skala, dennoch bringen die Kombinationen
dieser Noten ganz unterschiedliche
Gefühle in uns hervor. Da denkt
man sich, es muss doch irgendeine formale
Theorie dahinter sein.
Wir wissen sehr wenig darüber,
was Musik ausmacht und
inwieweit sie formalisierbar ist.
Mit Hilfe von KI kann man nicht nur Musik
komponieren, sondern vielleicht auch
etwas darüber erfahren, was Musik ausmacht.
Wenn eine Maschine im Stande
ist, selbständig von der Musik die Eigenschaften
herauszufiltern, die sie befähigt,
Musik zu komponieren, müsste sie
ja etwas Essentielles über die Musik verstanden
haben. Das könnte auch für die
Menschen interessant sein. Dazu ist es
aber leider bis heute nicht gekommen,
wir wissen sehr wenig darüber, was Musik
ausmacht und inwieweit sie formalisierbar
ist. Aber dafür ist der Stand der
Technik mittlerweile so, dass sie menschliche
Qualitäten wie Kreativität und Sprache
simulieren kann. Es gibt Systeme, die
sogar zwischen den Zeilen lesen können
und auch übergreifendes Verständnis haben.
Obwohl wir als Menschen keine Theorie
bzw. keine Vorstellung haben, wie die
Musik funktioniert und warum die Musik
funktioniert, können Maschinen nun Musik
komponieren. Daher hat die KI offenbar
verstanden, was sie tun muss, damit
wir ihre Kompositionen als Musik wahrnehmen.
KI lernt und mich interessiert,
was sie gelernt hat, damit sie diese Fähig-
12 OCG Journal | 04 • 2023

Schwerpunktthema
keit erwerben konnte.
Was genau ist Ihr Forschungsbereich?
Ich komme einerseits aus dem Bereich
Computer Science und andererseits aus
der klassischen Musik. In meiner Tätigkeit
geht es hauptsächlich um zwei Bereiche:
Es geht einmal um die technische Entwicklung
einer KI, die so gut wie möglich
Musik komponieren kann, d. h., dass sie
Musik in dem Sinne verstehen kann, dass
sie menschliche Musik imitieren kann.
Und dann geht es auch um die Frage:
Wie können wir das Potential dieser Technologie
künstlerisch einsetzen?
Das spannende ist, dass dieser Forschungsbereich
zwei verschiedene
Communities involviert, die sonst eher
nicht zusammenkommen: Die Techniker*innen
und die Künstler*innen. Die
Techniker*innen interessiert, wie die
Technologie hinter der KI verbessert
werden kann und in den künstlerischen
Projekten versuchen wir herauszufinden,
was die Anforderungen sind, die von der
Kunst-Community kommen. Wie kann
sich die KI entwickeln, dass sie einen
Mehrwert für diese Community hat?
Welche Rolle kommt den Künstler*innen
zu, wenn die Technik sozusagen ihre Arbeit
übernimmt?
Eine Technik, die ohne menschliches
Zutun ein Musikstück komponiert, ist
vollkommen uninteressant für die Kunst
Community und auch für die Gesellschaft
würde ich sagen, weil Kunst ein soziales
Phänomen ist.
Es geht also um die künstlerische Rolle
des Menschen. Technisch gesehen, ist
es vielleicht interessant, wenn die KI mit
einem Knopfdruck autonom etwas komponiert,
aber künstlerisch ist das nicht
zielführend. Künstlerisch brauchen wir
Wege, wie man mit so einem System
kommuniziert und kollaboriert. In der
Kunst geht es um die individuellen Konzepte,
die der Mensch mit der Maschine
realisiert.
Wird KI von Künstler*innen als Bedrohung
oder als Bereicherung wahrgenommen?
Es gibt beides: Leute, die das sehr positiv
sehen und solche, die das sehr skeptisch
sehen. Den Skeptischen möchte ich mit
meiner Arbeit vor Augen führen, dass
technologische Erneuerungen noch nie
der Kunst geschadet haben, im Gegenteil,
technologische Neuerungen, wie
z. B. neue Instrumente, haben immer zu
einem Push in der Kunst geführt, auch zu
neuen künstlerischen Möglichkeiten und
Jobs. In der jüngeren Geschichte haben
wir zum Beispiel die elektronische und
die digitale Musik, da kamen gänzlich
neue Formate, neue Berufsfelder, neue
Verbreitungsmöglichkeiten hinzu.
Mit KI haben wir neue Möglichkeiten
Bild, Text und Musik miteinander
zu verbinden.
KI hat dieses Potenzial auch. Auf den ersten
Blick könnte man meinen, dass KI
Jobs ersetzen wird – das mag auch für
manche Bereiche stimmen – aber gleichzeitig
wird sie völlig neue künstlerische
Formate ermöglichen, die zu neuen Tätigkeiten
und Jobs führen werden. Die KI
der Zukunft ist in diesem Bereich multimodal.
Mit KI haben wir beispielsweise
neue Möglichkeiten Bild, Text und Musik
miteinander zu verbinden. Es können
völlig neue immersive Welten entstehen,
wie man Musik wahrnimmt.
Glauben Sie, dass KI in der Lage ist, Emotionen
zu kreieren?
Ja, auf jeden Fall, weil die KI ja mit sehr
vielen Daten trainiert wird und mittelweile
im Stande ist diese Daten in einer
guten Qualität zu imitieren. Die Frage ist
eher, wie steuert der*die Künstler*in die
KI, und kommuniziert seine*ihre künstlerischen
Absichten mit der KI.
Im Bereich von Text- oder Bild-Generierung
gibt es bereits ausgereifte KI-Modelle,
wo man mit Hilfe der natürlichen
Sprache mit dem System kommunizieren
kann. Ich kann sagen „Male mir ein
Bild, das diese Atmosphäre beinhaltet“
und ich kann das System dorthin führen,
wo meine künstlerischen Absichten sind.
In der Musik sind wir noch nicht ganz so
weit.
Woran liegt das?
Das hat damit zu tun, dass man über Musik
verbal nicht so gut kommunizieren
kann. Wir glauben, wir empfinden dasselbe,
aber es ist höchst individuell, wie
wir Musik wahrnehmen. Im Gegensatz zu
Text- und Bild-Generierung können wir
hier nicht die natürliche Sprache benutzen,
da müssen andere genauere Wege
gefunden werden. Ich glaube, die Entwicklung
muss dahinführen, dass die KI
entsprechend flexibel auf die individuellen
Konzepte reagiert, damit jede Person
in der Arbeit mit der KI jene Ergebnisse
bekommt, die ihren künstlerischen Absichten
entspricht. Das mag einfach klingen,
aber das sind Probleme, die noch
nicht gelöst sind.
Es gibt auch Sorgen bezüglich Urheberrechts.
Gibt es technische Möglichkeiten,
um zu erkennen, ob etwas von der KI
gemacht wurde oder vom Menschen?
Oder wird so etwas in der Zukunft möglich
sein?
Bei den alten Systemen ging das noch
eher, weil KI generierte Ergebnisse öfter
eine gewisse Charakteristik hatten. Aber
prinzipiell, nein, das ist langfristig nicht
möglich, denn die KI entwickelt sich ja
weiter und auch wenn da technische
Möglichkeiten gefunden werden sollten,
um zu erkennen, ob etwas mit der KI gemacht
ist, so kann eine andere KI lernen,
das Ergebnis so gestalten, dass das nicht
erkannt werden kann.
Ist es überhaupt wichtig, dass man den
Unterschied erkennt?
Ob das notwendig ist, ist eine andere
Frage. Da gibt es gerade eine sehr große
Diskussion darüber. Welcher Einfluss des
Menschen reicht aus, damit der Mensch
als Urheber gilt und das Werk urheberrechtlich
geschützt werden kann. Es gibt
beispielsweise Künstler*innen, die ihre
Bilder sehr aufwändig mit KI erstellen
und lange an ihren Prompts (KI-Eingaben)
feilen, damit das gewünschte künstlerische
Ergebnis herauskommt. Da stellt
sich aber die Frage, was ein Kunstwerk
ausmacht. Wie kann man den Input des
Menschen bestimmten.
Sind Sie in Ihrer Arbeit mit rechtlichen
Problemen konfrontiert?
Nachdem ich mich mit Grundlagenforschung
beschäftige – und bei mir geht‘s
nur um die klassischen Musikwerke, die
eben nicht mehr geschützt sind – habe
ich dieses Problem nicht im selben Ausmaß
wie in anderen Bereichen der kreativen
KI. Aber natürlich beschäftigt diese
04 • 2023 | OCG Journal
13

Frage die Community. Vor allem geht
es auch um die rechtliche Frage, inwieweit
KI-generierte Ergebnisse selbst geschützt
werden können. Ich glaube es
ist wichtig zu erklären, wie die KI funktioniert
und woher die Kreativität am Ende
des Tages kommt, um hier Antworten zu
finden.
Wie kann der Beitrag der Künstler*innen
gemessen werden?
Es geht hauptsächlich um den Beitrag
des Menschen. Ich kenne Künstler*innen,
die genauso lange brauchen mit
der KI ein Werk zu erschaffen wie ohne
die KI. Es geht also nicht immer darum,
mit KI schneller und produktiver zu sein.
Sie müssen mit der KI fast „verhandeln“,
um sie Schritt für Schritt anzuleiten, damit
am Ende das künstlerische Ergebnis
herauskommt, das sie sich vorgestellt
haben. Es stimmt also auch nicht unbedingt,
dass die künstlerische Arbeit mit KI
einfacher wäre. Es hängt davon ab, was
man vorhat. Natürlich ist es für mich ein
unvorstellbarer Gedanke, dass diese Werke,
wo Künstler*innen so intensiv mit der
KI kooperiert und gearbeitet haben, nicht
vollständig geschützt werden sollen, weil
die Daten, die das Werk repräsentieren,
teilweise von einer KI generiert sind.
Im rechtlichen Bereich sind also noch
viele Fragen offen.
Ja, deshalb möchte ich auch betonen, ich
bin weder pro noch kontra. Ich versuche
nur, einige Fragen, die beantwortet werden
müssen, zu beschreiben.
Welche konkreten Anwendungen von
Künstlicher Intelligenz sehen Sie in der
Musikindustrie?
KI ist so etwas wie ein Instrument, ähnlich
wie das Klavier. Man kann damit sehr
schnell einen ersten Zugang zu etwas wie
Musik haben und die ersten Melodien damit
spielen. Es gibt aber auch Leute, die
sich ein Leben lang damit beschäftigen.
Die Komposition ist nur eine Möglichkeit,
wie man KI einsetzen kann. Was ich persönlich
interessant finde, ist die die Tatsache,
dass die KI-Systeme nicht nur mit
den Menschen, sondern auch untereinander
kommunizieren können. Das eröffnet
ganz neue Formate für die künstlerischen
Prozesse, wo man beispielsweise
verschiedene Systeme aus verschiedenen
Datenbereichen wie Bild, Musik, Text,
virtuelle Welten, Gesten, in einer künstlerischen
Umgebung interagieren lässt.
KI ist so etwas wie ein Instrument.
Das eröffnet ganz neue
Formate für die künstlerischen
Prozesse.
Wie wird das die Musik, die wir hören,
verändern?
Heute denken wir beispielsweise an eine
Komposition als ein in sich abgeschlossenes
Stück, das einen festgesetzten Verlauf
hat. Mit der KI könnten diese Grenzen
aufbrechen. Man wird verschiedene Elemente
einer Komposition, also z. B. den
Inside Futurelab: Ali Nikrang beleuchtet das kreative Potenzial von Algorithmen auf. „ What A Ghost Dreams Of“ ist eine KI, die aus Bildern von Museumsbesuchern
tiefe Fälschungen erzeugt, die von echten Porträts nicht zu unterscheiden sind. (c) Denise Hirtenfelder
14 OCG Journal | 04 • 2023

Schwerpunktthema
musikalischen Verlauf, die Gesangsstimme
oder die Instrumente austauschen
können und auch die Stimmung der
Komposition wird man variieren können.
Eine Komposition kann in unendlich vielen
Varianten personalisiert und konsumiert
werden. Aufgrund unserer jeweiligen
Vorlieben wird dieselbe Komposition
für Sie anders klingen als für mich.
Die Aufgabe von Komponist*innen der
Zukunft wird wahrscheinlich nicht nur
sein, ein Stück als solches zu veröffentlichen.
Es wird eher so sein, dass man
einen dynamischen Raum von Charakteristika
kreiert und das kann dann individualisiert
konsumiert werden.
Mit welchen Programmen arbeiten Sie,
sind das öffentliche Programme?
Ich arbeite an einem eigenen Programm
namens Ricercar. Hier geht es einmal
um die technische Entwicklung, aber
auch um die verschiedenen individuellen
künstlerischen Ansatzmöglichkeiten,
die ich gemeinsam mit Künstler*innen
anhand verschiedener Projekte zu evaluieren
versuche. Man kann sich eine Version
dieser Software aktuell in Linz im Ars
Electronica Center anschauen.
Gibt es einen besonderen Rat oder haben
Sie ein Anliegen, das Sie uns in Bezug
zu KI und Musik noch mitgeben
möchten?
Wir leben in einer sehr interessanten Zeit,
denn es ist wirklich das erste Mal, dass
Maschinen oder Technologien im Stande
sind, zutiefst menschliche Eigenschaften
zu imitieren, wie eben Sprache und Musik.
Das bringt verschiedene Communities
zusammen. Gerade solche, wo es früher
eine große Kluft gab. Wenn man sich z. B.
als Künstler*in mit KI beschäftigt, braucht
man ein Grundverständnis davon, wie sie
funktioniert. Genauso wenn man sich als
KI-Entwickler*in mit kreativen Anwendungen
der KI beschäftigt, braucht man
einen Grundverständnis wie die künstlerischen
Prozesse verlaufen und wo die
Anforderungen liegen. Ich möchte Menschen
aus verschiedenen Communities
ermutigen, zusammenzukommen und
gemeinsam diese Entwicklung mitzugestalten.
Vielen Dank für das Gespräch!
Inside Futurelab: Mit seinem KI-basierten Musikkompositionssystem Ricercar, der MuseNet-Komposition Mahler Unfinished und Sounding
Letters, zeigt Ali Nikrang, dass es immer noch die menschliche Kreativität ist, die analoge von digital erzeugten Werken unterscheidet.
(c) Denise Hirtenfelder
04 • 2023 | OCG Journal
15

KI und Technik - der komplexe Prozess des Musizierens
von Alexander Mayer, Montserrat Pámies-Vilá, und Vasileios Chatziioannou
Ein Roboterarm spielt Cello
Im Zuge zweier Projekte, die wir am Institut
für musikalische Akustik – Wiener
Klangstil (IWK) durchführen, wird die
Tonerzeugung beim Cellospielen erforscht.
Dabei werden Bewegungsabläufe
von professionellen Cellist*innen
beim Musizieren mittels Motion-Capture
aufgezeichnet und analysiert. Ein
Industrieroboterarm übernimmt dann
die Aufgabe, diese Aufnahmen wiederzugeben
– im Gegensatz zum Menschen
jedoch höchst reproduzierbar und ohne
eine subjektive Meinung zu dem Instrument
oder Bogen. In diesem Artikel
wollen wir das vorhandene System kurz
vorstellen und die logischen nächsten
Schritte ausführlich behandeln, denn,
mithilfe der vorhandenen Technik und
Künstliche Intelligenz, könnte die Aufgabe
des künstlichen Musizierens am
Cello auch auf hohem Niveau gelingen.
Gleichzeitig erhoffen wir aber auch dadurch
die Kunst der Bogenführung besser
zu verstehen.
Trotz intensiver Forschung auf dem Gebiet
der Akustik von Musikinstrumenten
ist es bis heute äußerst schwierig, allgemeingültige
qualitative oder objektive
Bewertungen der Klangeigenschaften
von Musikinstrumenten und der wahrgenommenen
Qualität von Musikinstrumenten
vorzunehmen. Unser individuelles
Klangempfinden ist oft nicht nur
personenabhängig, sondern kann auch
von äußeren Einflüssen abhängen. Auch
bei der Spieltechnik zeigen sich deutliche
Unterschiede in Abhängigkeit von der
Person und den äußeren Umständen.
Zusätzlich kann das Musikinstrument
aufgrund seiner nichtklanglichen Eigenschaften
auch Einfluss auf den/die Musiker*in
und damit indirekt auf den Klang
ausüben. Mit einer künstlichen Anregung
kann jedoch nicht nur eine objektive,
sondern auch eine reproduzierbare Anregung
erreicht werden.
In den „Doksari“-Projekten (griechisch
für „Bogen“) am Institut für musikalische
Akustik – Wiener Klangstil (IWK) geht
es unter anderem darum, spieltechnische
Aspekte durch Messungen besser
zu verstehen, aber auch mathematisch
beschreiben zu können. Dadurch sollen
Computermodelle erweitert und die Zusammenhänge
zwischen Spieltechnik
und Klangerzeugung beim Cellospiel
besser verstanden werden. Das Zusammenspiel
von Bogen und Saite ist seit
Jahren Gegenstand der Forschung und
wird auch in Zukunft viele Fragen aufwerfen.
DAS DOKSARI- SYSTEM
Seit langem werden verschiedenste Apparate
zur künstlichen Anregung von
Streichinstrumenten verwendet. Zum
einen gab es z. B. den Piano-Geige-Automaten
der Firma Hupfeld, der bereits um
1907 mit Hilfe von perforierten Papierrollen
Musik abspielte, oder Maschinen, die
zu reinen Forschungszwecken gebaut
wurden [1,2]. Bei vielen Maschinen erfolgt
die Anregung jedoch in der Regel über
einen speziell konstruierten Bogen in
Form eines Rings oder über Räder, ähnlich
wie bei einer Drehleier. Die meisten
Geräte, die mit einem Standardbogen
ausgestattet sind, führen in der Regel
rein geradlinige Bewegungen aus. Zwar
kann die Bogengeschwindigkeit und
der Anpressdruck variiert werden, jedoch
ist es nicht möglich, die Feinheiten der
menschlichen Spielgestik zu imitieren.
Eine Idee hinter unseren Projekten war
jedoch, auch die menschliche Bogenführung
genauer zu untersuchen und zu sehen,
wie und ob sie die Klangerzeugung
beeinflusst (siehe Abbildung 1).
Abbildung 1: Menschliche Bogenführungen
für die vier offenen Saiten, aufgenommen mit
einem Motion-Capture System, rot markiert
stellt das Vektormodell des Cellos dar, der
Punkt S gibt die Position des Steges an. C2, G2,
D3 und A3 sind die Töne der jeweils angeregten
(offenen) Saiten
Um das Cello möglichst realistisch anzuregen,
muss der Bogen daher frei in
drei Raumdimensionen bewegt werden
können. Die Bogenführung der
menschlichen Spieler*innen wird mit
einem Motion-Capture-System (MoCap)
aufgenommen. 12 Kameras senden 240
Mal pro Sekunde dreidimensionale Koordinatendaten
von Mensch, Bogen und
Instrument an den Computer. In einem
weiteren Schritt werden diese Daten in
Roboterbefehle umgesetzt und in weiterer
Folge an einen Roboterarm mit 6 Freiheitsgraden
(6 Gelenken) gesendet. Derzeit
werden alle Untersuchungen ohne
Greifhand - also „offen gespielt“ - durchgeführt.
Da sich das Instrument während
der Anregung durch den Roboter nicht
bewegen darf, wird es in einer Halterung
16 OCG Journal | 04 • 2023

Schwerpunktthema
Abildung 2: Von der menschlichen Bewegung (A) über Motion-Capture (B) zur Roboterarm-Bewegung (C)
fixiert (siehe Abbildung 2).
Unser derzeitiges System ist in der Lage,
den „echten“ Bewegungsablauf des Cellobogens
mit hoher Genauigkeit abzubilden.
Die hohe Reproduzierbarkeit der
Bogenbewegung konnte durch eine
erneute MoCap-Aufnahme nachgewiesen
werden. Die erzeugten Töne haben
zwar das gleiche Timing und die gleiche
Tonhöhe, aber der Klang ist nicht identisch
mit dem von Menschen erzeugten
Original. Kleinste Änderungen der Bogenspannung
(z. B. durch Luftfeuchtigkeitsänderungen)
oder der Saitenlage,
aber auch die Genauigkeitsgrenzen des
Systems können zu einer leicht veränderten
Bogenführung führen. Um dies
auszugleichen, wäre eine automatische
Regelung erforderlich. Hier stellt sich die
Frage, auf welche Parameter geachtet
werden muss und wie der Mensch das
eigentlich macht.
DER MUSIZIERENDE MENSCH -
EIN GROSSARTIGER REGELKREIS
Versucht man den Prozess des Musizierens
zu analysieren, wird schnell deutlich,
wie komplex das System ist (z. B. [3]). Der
Einfachheit halber - und auch im Hinblick
auf unsere Projekte - soll hier nur auf die
Interaktion Mensch-Bogen-Instrument
(Cello) eingegangen werden (siehe Abbildung
3). Äußere Einflussfaktoren wie
Raum, Orchester, Dirigent, Zuhörer etc.
werden nicht berücksichtigt.
Alle die selbst ein Musikinstrument erlernt
oder versucht hat, ein solches zu
spielen, kann bestätigen, dass der Vorgang
nicht ganz so einfach ist. Das automatische
und richtige Nachregeln erfordert
Übung und beansprucht unser
Gehirn beim Lernen sehr stark. Damit unser
künstliches System aber lernen kann,
müssen wir es zunächst mit geeigneten
Sensoren ausstatten.
1. Die geschriebenen Noten werden vom Menschen gelesen
2. und interpretiert – eine Klangvorstellung entsteht.
3. Die Hand streicht mit dem Bogen über die Saite.
4. Die Einschwingphase
• a) Das Ohr nimmt den vom Instrument
erzeugten Klang wahr,
• b) der Körper fühlt die Vibration des
Instruments,
• c) die Reibung des Bogens auf der Saite
wird gespürt.
5. Regulierung/Anpassung der Kraft und Geschwindigkeit des
Bogens
6. Der gewünschte oder geplante Ton entwickelt sich.
Abbildung 3: Veinfachter Regelkreis Mensch - Instrument (ohne Feedback der „Greifhand“)
04 • 2023 | OCG Journal
17

Abbildung 4: Der erste Prototype eines 3D-gedruckten Steges, der mit insgesamt 16 Sensoren ausgestattet ist, um die
verschiedenen Kräfte währen des Spielvorgangs zu messen.
SENSORIK
Ein Mikrofon kann natürlich als künstliches
Ohr dienen und eine ständige Analyse
des Schalls kann uns eine Rückmeldung
über die Qualität des Klangs geben.
Etwas komplizierter ist es, die Sensorik
der menschlichen Hand nachzubilden.
Aus den Forschungsergebnissen zur Bogen-Saiten-Interaktion
(z. B. [4]) ist bereits
klar, dass die Bogengeschwindigkeit und
die Anpresskraft sowie die Streichregion
die wichtigsten Parameter darstellen.
Beispielsweise lässt sich durch Variation
der Bogengeschwindigkeit die Lautstärke
des angeregten Tons kontrollieren.
Die Klangfarbe kann durch den Abstand
des Bogens zum Steg, aber auch durch
die Anpresskraft beeinflusst werden. Die
Bogengeschwindigkeit und eine relativ
genaue Information über den Abstand
Bogen - Steg können wir aus den MoCap
Daten entnehmen – vorerst unbekannt
bleibt also die Kraft. Im Gegensatz zu Robotern
lassen sich bei der Hand des Menschen
die ausgeübten Kräfte nicht so einfach
messen. Deshalb rüsten wir ein Cello
mit einem speziell entwickelten Sensorsteg
aus (siehe Abbildung 4). Dies hat
den Vorteil, dass wir die beiden Streichvorgänge
von Mensch und Maschine direkt
miteinander vergleichen können.
WARUM WIR KÜNSTLICHE
INTELLIGENZ EINSET-
ZEN WOLLEN
In der klassischen Regelungstechnik wird
eine Regelstrecke analysiert, die sogenannten
Systemeigenschaften ermittelt.
Auf Basis eines mathematischen Modells
wird ein geeigneter Regler entworfen.
Dieser Regelkreis muss in der Lage sein,
z. B. auf eine Änderung des Ist-Zustandes
ausreichend schnell und stabil zu reagieren.
Beim Streichen des Cellos mit dem
Bogen ist leider keine eindeutige Systemantwort
zu erwarten, die Regelstrecke
selbst ist sehr komplex und nichtlinear.
Auch ohne dass, wie beim Spielen üblich,
die gespielte Saite ständig in ihrer Länge
verändert wird, ändern sich ständig
die Regelzustände und Parameter. Ein
Eingreifen der klassischen Regelungstechnik
wäre nur in begrenztem Umfang
und mit hohem technischem Aufwand
möglich. Selbstlernende oder intelligente
Systeme könnten hier, so hoffen wir, eine
vielversprechende Perspektive bieten,
um das Problem zu lösen.
DATEN SAMMELN UND KI
LERNEN LASSEN
Um den Einsatz von Künstlicher Intelligenz
zu ermöglichen, müssen wir zunächst
Daten sammeln bzw. generieren.
Dazu werden professionelle Musiker*innen
eingeladen, bestimmte Klänge nach
unseren Vorgaben zu spielen. Mit Hilfe
des neu entwickelten Sensor-Stegs und
den Daten aus dem MoCap sowie zusätzlichen
Tonaufnahmen werden dann
so genannte Training Sets gebildet. Wir
erwarten, dass bereits bei der Zusammenstellung
dieser Sets Zusammenhänge
zwischen Klang und Spielparametern
erkannt werden können. Nach dem Lernprozess
soll die KI den Roboterarm so
steuern, dass der Fehler bei einer erneuten
Aufnahme auf ein Minimum reduziert
wird. Da das System in Zukunft auch
in der Lage sein soll, normale Celli ohne
eingebaute Sensorik zu spielen, werden
auch die im Roboterarm selbst eingebauten
Kraftsensoren erfasst. Ein zweiter
Lernprozess zielt darauf ab, die notwendigen
Spielparameter dann auch ohne das
spezielle Sensor-Cello reproduzieren zu
können. Hier kann die KI den Fortschritt
überwachen.
Noch weiter in die Zukunft gedacht,
könnte eine Software bzw. KI die Noten
vom Blatt interpretieren und dann entsprechende
Bewegungen über den Roboter
ausführen. Mit einer künstlichen
Greifhand oder einem zweiten Roboterarm
würden sich die musikalischen Möglichkeiten
jedoch noch um ein Vielfaches
erweitern.
IST DIE JOB-ANGST VON
MUSIKER*INNEN BERECHTIGT?
Insbesondere die Doksari-Projekte zielen
in erster Linie auf ein besseres Verständnis
des Musikmachens ab. Wir glauben,
dass Musiker*innen nicht befürchten
müssen, durch Maschinen ersetzt zu werden,
wenn moderne Technologien, wie
18 OCG Journal | 04 • 2023

Schwerpunktthema
die hier vorgestellten, zum Einsatz kommen.
Ein selbstlernendes System kann
in Zukunft vielleicht Teilbereiche des Musizierens
abdecken - aber alle Interaktionen,
wie z. B. zwischen Musiker*innen
untereinander, mit dem Publikum oder
mit dem Raum in ein System zu packen,
scheint aus heutiger Sicht nahezu unmöglich
und ist auch nicht Ziel unserer
Forschung. Im Prinzip ist die vorgestellte
Technologie nicht viel mehr als eine Erweiterung
der Musikautomaten des letzten
Jahrhunderts. Eine Musik, die rein auf
der elektronischen Ebene mit Hilfe von
KI erzeugt wird, könnte hier viel eher zu
brauchbaren Ergebnissen führen, würde
aber das Wissen und das Verständnis
über die Klangerzeugung in einem realen
Instrument nicht erweitern.
Alexander Mayer
ist wissenschaftlicher
Mitarbeiter und Lehrbeauftragter
am Institut
für Musikalische
Akustik - Wiener
Klangstil an der mdw - Universität für
Musik und darstellende Kunst Wien.
Montserrat
Pàmies-Vilà
ist Postdoc Forscherin
am Institut für
Musikalische
Akustik - Wiener
Klangstil an der
mdw - Universität für Musik und darstellende
Kunst Wien.
Vasileios
Chatziioannou
ist Senior Scientist
am Institut für Musikalische
Akustik - Wiener
Klangstil an der mdw - Universität für
Musik und darstellende Kunst Wien.
Quellen:
[1] Galluzzo, P. M., & Woodhouse, J. (2014). High-performance bowing machine tests of
bowed-string transients. Acta Acustica united with Acustica, 100(1), 139-153.
[2] Mores, R. (2015). Precise cello bowing pendulum. Proceedings of the Third Vienna Talk
on Music Acoustics, Vienna.
[3] Schoonderwaldt, E., & Demoucron, M. (2009). Extraction of bowing parameters from
violin performance combining motion capture and sensors. The Journal of the Acoustical
Society of America, 126(5), 2695-2708.
[4] Askenfelt, A. (1986). Measurement of bow motion and bow force in violin playing. The
Journal of the Acoustical Society of America, 80(4), 1007-1015.
Die vorgestellte Forschung wurde ganz oder teilweise durch den Österreichischen Wissenschaftsfonds (FWF)
finanziert.
Projektpartner: Doksari - comprehend bowing art, Institut für musikalische Akustik-Wiener Klangstil, mdw -
Universität für Musik und darstellende Kunst Wien.
04 • 2023 | OCG Journal
19

Analyse von Audiosignalen, Tracking von Körper, Hand und Gesicht/Ausdruck
von Christoph Reuter, Isabella Czedik-Eysenberg und Anja-Xiaoxing Cui
Moves & Grooves
Die in den letzten Jahren entwickelten
JavaScript-Libraries wie P5, ML5, Plotly
sowie verschiedene Bibliotheken zur
Audiomerkmalsextraktion ermöglichen
die Erstellung völlig neuartiger, robuster
und nützlicher Online-Tools zur Datenerhebung.
Darüber hinaus sind insbesondere
P5/ML5 und Plotly sehr einfach
zu erlernen und eignen sich daher vor
allem besonders für Studierende, die
einen schnellen Einstieg in die Welt
der Programmierung suchen. Für den
Bereich der musikalischen Akustik sind
die Kombinationsmöglichkeiten von
synchroner Audiosignalanalyse, Körper-,
Hand- und Gesichts-/Ausdruckstracking,
sowie von (neuro-)physiologischen
Daten besonders wertvoll.
JavaScript als ein bewährtes, nicht-proprietäres
und universell im Browser lauffähiges
Format bietet dazu eine besondere
Nachhaltigkeit, Erweiterbarkeit und
Zukunftssicherheit, insbesondere auch
durch die Schnittstelle zu Machine-Learning-Modellen
(ML5) sowie durch starke
und schon langjährig bestehende Communities
für P5 und Plotly..
MODERNE JAVASCRIPT-
BIBLIOTHEKEN
P5 ist eine JavaScript-Bibliothek, mit der
sich komplexe Programmieraufgaben
schnell und einfach lösen lassen. 1 Die
Zusatzbibliothek 2 P5.sound ermöglicht
die schnelle und unkomplizierte
Berechnung von Zeit-Frequenz-Transformationen,
Filterungen, Faltungen,
Klangsynthese, MIDI und vielen anderen
audiobezogenen
Verarbeitungsmethoden.
Dadurch wird sie für den Bereich
der musikalischen Akustik besonders interessant.
Mit der 2018 eingeführten Bibliothek
ML5 lassen sich innerhalb von P5
vortrainierte Modelle zur Erkennung/Tracken
von Personen, Bewegungen, Objekten,
Gesichtern, Händen, Tonhöhen und
vielem mehr einsetzen.
Nahezu zeitgleich wurde Plotly.js entwickelt
3 . Plotly.js ist eine JavaScript-Bibliothek
zur interaktiven Datenvisualisierung,
mit der Daten in über 40 verschiedenen
Darstellungsarten in 2D und 3D visualisiert
werden können. Für die musikalische
Akustik ist diese Bibliothek besonders
interessant, da in ihr die aus
Audiodaten ermittelten Graphen direkt
mit den zugehörigen Audiodaten synchronisiert
werden können, so dass sich
die Ergebnisse nicht nur visuell darstellen
lassen, sondern auf interaktive Weise
auch hörbar werden.
Mit Meyda 4 und später auch Essentia.
js 5 , Aubio.js 6 und Formantanalyzer.js 7
waren spätestens seit 2015 auch umfangreiche
Möglichkeiten im Bereich der Audiosignalanalyse
in JavaScript verfügbar.
So ermöglichen diese Bibliotheken etwa
die rechnerische Extraktion einer Vielzahl
von Audio-Features wie klanglicher Helligkeit,
Rauigkeit, Spectral Centroid, Tonhöhen,
Formanten, Lautheit, Vibrato etc.
sowie die Transformation des Signals in
Chroma- und MFCC-Darstellungen und
vieles mehr.
TOOLS UND ANWENDUNGEN
Sowohl für die Datenvisualisierung als
auch für deren Erfassung ermöglichen
diese Bibliotheken in ihrer Kombination
völlig innovative und vor allem pragmatische,
robuste und nachhaltige Lösungen,
die im Folgenden beschrieben werden:
• Signalanalyse-Tools
Die Kombination der Bibliotheken P5
und Plotly mit Meyda, Essentia, Aubio
oder Formantanalyzer ermöglicht eine
schnelle und unkomplizierte Datenerfassung.
So wurden mit diesen Bibliotheken
interaktive Online-Signalanalyse-Tools erstellt,
die aus beliebigen hochgeladenen
wav- oder mp3-Dateien verschiedenste
Audio-Features als interaktive Kurven
oder ‒ zur weiteren Verwendung ‒ als
JavaScript-Arrays extrahieren können.
Die extrahierten Werte lassen sich sowohl
als Mittelwerte inkl. Standardabweichung
anzeigen als auch als Absolutwerte sowie
z-transformiert im CSV-Format zur weiteren
Verarbeitung in Excel, JASP, Matlab
o. ä. abspeichern. Die Abtastgenauigkeit
liegt abhängig von der jeweils verwendeten
Signalanalyse-Library zwischen 3 und
50 ±1 ms pro erfassten Wert bzw. von 20
bis 333 Hz.
• Interaktives
Valenz-Arousal Modell
Basierend auf der Idee, während des Hörens
einer beliebigen hochgeladenen
Audiodatei den jeweiligen emotionalen
Zustand direkt per Mausbewegung in
einem Valenz-Arousal-Feld zu erfassen
(„EmuJoy“ 8 ,), wurde ein interaktives Valenz-Arousal-Modell
entwickelt, das neben
den erhobenen Emotionen auch die
Audio-Features der gehörten Musikstücke
und Klänge oder Geräusche erfasst.
Darüber hinaus kann über die Mikrofonbuchse
des Computers ein Mindfield®
eSense Hautleitwert-Sensor angeschlossen
werden, sodass synchron zu den
Audio-Features und der emotionalen
Selbsteinschätzung auch jeweils ein entsprechender
physiologischer Messwert
erfasst werden kann. Optional lassen sich
auch Videos anstelle der Audiobeispiele
abspielen 9 oder die Achsenbezeichnungen
für die Erfassung beliebiger anderer
Eigenschaften/Einschätzungen
ändern.
Auch hier können die statistisch vorverarbeiteten
Werte (Original, Mittelwerte,
SD, z-transformiert) mit einer zeitlichen
Auflösung von 50 ±1 ms als CSV-File exportiert
werden (s. Abb. 1).
20 OCG Journal | 04 • 2023

Schwerpunktthema
Abbbildung 1: Interaktives Valenz-Arousal Feld
Abbbildung 2: Motion Analysis Tool (Videobeispiel aus https://youtu.be/
watch?v=JPM3QoPyNRM Free HD Video, No Copyright)
Abbildung 3: Ausdrucks- bzw. Emotionsanalyse (Videobeispiel aus https://
youtu.be/watch?v=QbWStbEv4LU, Free HD Video, No Copyright)
Abbildung 4: Hand Tracking ((Videobeispiel aus https://youtu.be/watch?v=-
JPu2XQ7X5wI, Free HD Video, No Copyright))
04 • 2023 | OCG Journal
21

• Motion Tracking
Über die Machine-Learning-Schnittstelle
ML5 lässt sich die Analyse von Audiomerkmalen
mit der Erkennung von Bewegungen
und Posen von Personen und
ihren Körperteilen in Videos kombinieren.
Dies eröffnet eine Reihe von Möglichkeiten
für die Analyse der Bewegungen
von z. B. Tänzer*innen, Musiker*innen
und Dirigent*innen außerhalb des Labors
(s. Abb. 2). Die X- und Y-Koordinaten
aller erfassten Körperteile werden dabei
synchron zu den Audio-Features in Zeitabständen
von 100 ±2 ms sowohl als Pixelpositionen
als auch z-transformiert
erfasst und sind als CSV-Export beliebig
weiterverwendbar.
• Facial Expression/Emotion
Analysis
Da mit der ML5-Library auch Gesichtsausdrücke
erkannt werden können, lässt
sich die Audio-Feature-Analyse auch mit
einer automatisierten Analyse der Mimik
verbinden. Die hierbei erkannten Emotionen
bzw. Gesichtsausdrücke werden synchron
zur Audioanalyse mit einer Genauigkeit
von 100 ±2 ms aufgezeichnet und
können sowohl als Kurven dargestellt als
auch im CSV-Format exportiert werden
(s. Abb. 3).
• Hand Tracking
Neben den Bewegungen von Personen
und der Mimik von Gesichtern können
über ML5 auch die Hände von Personen
erfasst werden (z. B. von Musiker*innen
beim Spiel ihrer Instrumente). Wie bei
den anderen Tools können auch hier
die Werte der einzelnen Fingerpositionen
synchron zu den entsprechenden
Audio-Features als Kurven und/oder im
CSV-Format ausgegeben werden (s. Abb.
4).
• Datenlogger für Muse S EEG
Headband®-Daten
Mit Hilfe der Web Bluetooth API (https://
developer.mozilla.org/en-US/docs/Web/
API/Web_Bluetooth _API) kann der Input
eines 4-Kanal-EEG-Stirnbandes von
Muse® aufgezeichnet werden, um in 4
ms-Intervallen die Bewusstseinszustände
von Proband*innen in ihren Delta-,
Theta-, Alpha- und Beta-Bereichen zu
bestimmen, während sie Musik oder
beliebige andere Audiodateien hören.
Zusätzlich werden die Kopfbewegungen
aufgezeichnet und die Herzfrequenz
gemessen. Aus den gemessenen
Daten lassen sich direkt die jeweiligen
Oszillationsstärken berechnen und alle
Werte können zusammen mit den Audio-Amplituden
ihrer klanglichen Umgebung
im CSV-Format gespeichert werden.
Die vier EEG-Kanäle und der Herzschlag
lassen sich auch sonifizieren, d. h. über
einen Synthesizer oder Sampler in Klänge
und Geräusche wandeln, so dass man
mit Hilfe von diesem Tool und einem
Muse S-Stirnband auch mehrstimmig
musizieren kann (s. Abb. 5).
Neue Techniken wie Motion Amplification
(z. B. zur Blutfluss- und Pulserkennung
via WebCam oder zur Erfassung
von Korpus-Schwingungen bei Musikinstrumenten
in Hochgeschwindigkeits-
Abbildung 5: EEG-Kurven im Alpha-Zustand, gemessen mit EEG-Datenlogger und Muse S EEG-Stirnband
22 OCG Journal | 04 • 2023

Schwerpunktthema
aufnahmen) sowie die Integration zusätzlicher
KI-Modelle (z. B. für genauere
Tonhöhen- oder BPM-Einschätzungen
oder universelles Pixel-Tracking 10 ) werden
die Sammlung der hier vorgestellten
Werkzeuge in naher Zukunft um weitere
vielfältige und leistungsfähige Anwendungen
erweitern.
Alle hier vorgestellten Anwendungen
und noch einige weitere Tools finden
Sie auf unserer Webseite unter https://
sinestool.univie.ac.at. Für die Erstellung
des Bluetooth-JavaScript-Handshakes
für den EEG-Datenlogger gilt unser besonderer
Dank Martin Wittmann.
Christoph Reuter
ist Professor für
Systematische Musikwissenschaft
am
Musikwissenschafltichen
Institut der
Universität Wien. Seine Forschungsinteressen
liegen in der Musikalischen
Akustik, Musikpsychologie und
Musikinformatik.
Isabella
Czedik-Eysenberg
ist PostDoc-Assistentin
am Fachbereich
Systematische Musikwissenschaft
am
Musikwissenschaftlichen Institut der
Universität Wien. Ihre Forschungsinteressen
liegen in der Musikpsychologie,
Musikinformatik und Audiosignalanalyse.
Anja-Xiaoxing Cui
ist Tenure
Track-Professorin
für Neuromedialität
am Fachbereich
Systematische
Musikwissenschaft am Musikwissenschaftlichen
Institut der Universität
Wien. Ihre Forschungsinteressen
liegen in der Musikpsychologie
und -(neuro-)physiologie und der
Wechselwirkung zwischen Musik
und Sprache.
Quellen:
1. Reas, C., Fry, B. 2007. Processing: A Programming Handbook for Visual Designers and Artists. Cambridge, Massachusetts: The MIT Press.
2. McCarthy, L., Reas, C., Fry, B. 2015. Getting started with p5.js. Santa Rosa, CA: Make Community, LLC. https://p5js.org/
3.. Czikk, J. 2013. Ex-Silicon Valley kids to launch web startup in Montreal. Montreal Gazette July 29, 2013.. https://plotly.com/javascript/ .
4. Rawlinson, H., Segal, N., Fiala, J. 2015. Meyda: an audio feature extraction library for the Web Audio API. Proceedings of the first Web Audio
Conference (WAC), January 2015, Paris, France. https://meyda.js.org/ .
5. Correya, A., Marcos-Fernandez, J., Joglar-Ongay, L., Alonso-Jimenez, P., Serra, X. & Bogdanov, D. 2021. Audio and Music Analysis on the Web
using Essentia.js. Transactions of the International Society for Music Information Retrieval 4(1), pp. 167–181.
6. Qiuxiang, 2021. Aubios.js, https://github.com/qiuxiang/aubiojs .
7. Rehman, A., Liu, Z.T. & Xu, J.-M. 2021. Syllable Level Speech Emotion Recognition Based on Formant Attention. L. Fang et al. (Eds.). Proceedings
of the CICAI 2021, pp. 261–272. https://github.com/tabahi/formantanalyzer.js .
8. Nagel, F., Kopiez, R., Grewe, O., Altenmüller, E. 2007. EMuJoy: Software for continuous measurement of perceived emotions in music. Behavior
Research Methods 39(2), p. 283-290.
9. Stickler, A., Greil, E., Domnanich, S., Yamada, Y. & Reuter, C. 2023. Entspannend oder verstörend? – Die Wirkung von ASMR mit und ohne Bildmaterial.
Fortschritte der Akustik - DAGA2023. 49. Jahrestagung für Akustik 6.-9.3.2023, Hamburg, S. 1220-1222.
10. Wang, Q., Chang, Y.-Y., Cai, R., Li, Z., Hariharan, B., Holynski, A., Snavely, N. 2023. Tracking Everything Everywhere All at Once. arXiv:2306.05422
Copyright für die Bilder - alles Screen Copies der beschriebenen Programme - liegt bei Christoph Reuter, Isabella Czedik-Eysenberg und Anja-Xiaoxing
Cui; die in den Motion/Gesichts/Handtracking-Tools abgebildeten Bilder von Personen stammen aus Youtube Videos, die extra zur
freien Verwendung und ohne Copyright gekennzeichnet sind; die Links sind direkt unter den Bildern.
04 • 2023 | OCG Journal
23

KI und gute wissenschaftliche Praxis im Hochschulbereich
von Martina Baravalle und Gerhard Straßl
Grenzenlose Freiheit?
Obwohl an und mit Künstlicher Intelligenz
(KI) seit Jahrzehnten geforscht
wird, ist der Stand der enormen Möglichkeiten
erst Ende letzten Jahres in der
breiten Öffentlichkeit angekommen.
Das Auftreten von ChatGPT Ende 2022
katapultierte diese Thematik regelrecht
in neue Sphären. Plötzlich wurden textliche
Leistungen der KI bekannt, die Bewunderung
und Bestürzung zugleich
hervorriefen. Unausgesprochen regierte
die Angst, dass eine Maschine den
menschlichen Geist bei der Textgenerierung
überflügelt hätte.
KI-Tools waren nun für alle greifbar, wurden
ausprobiert und analysiert, sodass
die weitreichenden Auswirkungen seither
segmentbezogen diskutiert werden.
Die uns bekannten Medienformen – Text,
Musik, Bild, Zahl und Code – werden
durch KI-Tools in neuer Weise produziert
und signifikant beeinflusst. Rasch zunehmende
Zahlen an Nutzer*innen und die
rasante Integration von KI-Tools in unsere
tägliche Praxis erfordern zunehmend
die eingehende Auseinandersetzung mit
den Chancen und Risken.
FASZINATION MIT GRENZEN
Im Bildungswesen wird die Auseinandersetzung
nachvollziehbarerweise
besonders intensiv geführt, da hier die
Entwicklung der akademischen Schreibkompetenz
und somit eine wesentliche
Grundlage für die Wissenschaft verortet
ist. Nach ersten nachvollziehbaren Auswirkungen
auf etwa die Translationswissenschaften
wird nun zurecht gesehen,
dass alle Formen von Wissensproduktion
(insbesondere bei der Textproduktion)
in den Einflussbereich der KI-Tools geraten
sind. Da dadurch die etablierten Regeln
der guten wissenschaftlichen Praxis
(gwP) durch KI bedroht sind, besteht Anlass
zur Sorge der Definition von eigener
Leistung beim Schreibprozess. Dabei ist
die Frage nach der Verantwortung für
den Einsatz von KI-Tools, für die Ergebnisse
von KI-Tools und der integren Nutzung
dieser Ergebnisse zentral.
Die textgenerierende KI kann äußerst
hilfreich sein etwa als Inspirationsquelle,
zum Einstieg in den Forschungsstand
einer bestimmten Materie, zur Überprüfung
der eigenen Argumentation oder
zur sprachlichen Verbindung verschiedener
Aspekte. Aber so groß die Verlockung
der KI als faszinierende Formulierungshilfe
ist, so kritisch sollte ihr begegnet
werden. Aufgrund der mathematisch
berechneten Zusammensetzung von gespeicherten
Wortteilen können fundierte
Aussagen von der KI produziert werden
– genauso wie inhaltlich falsche Formulierungen.
Zudem beinhaltet der Wortspeicher
der KI auch Voreingenommenheiten
(sog. Biases), sodass die von der KI
in Sekundenschnelle produzierten Formulierungen
ethisch problematisch sein
können. Sicher ist nur, wie Erich Prem,
Philosoph und Informationswissenschaftler,
treffend formulierte: „Die Systeme
verstehen nicht, sie ‚wissen‘ nicht, sie
wissen auch nicht, was sie wissen.“ 1
DIE GEISTER, DIE ICH RIEF…
Das Dilemma, in dem sich die Bildungslandschaft
nun befindet, ist eindeutig
sichtbar. Einerseits ist die Fertigkeit des
Schreibens, ganz besonders des wissenschaftlichen
Schreibens, eine Tradition,
welche die Universitäten jahrhundertlang
entwickelt, gepflegt und gelebt
haben, um damit am Fachdiskurs teilzunehmen.
Jedoch ist es aber mit einem
Mal möglich, den Weg dahin abzukürzen
und sich, zumindest in Teilbereichen,
ganz passable Textteile schreiben zu lassen,
die ebenso Bestand haben können
und sich die Berechtigung durchaus
verdienen, gelesen und diskutiert zu werden.
Darüber hinaus harren noch weitere
Fragen der Beantwortung: Wie sind diese
Texte rechtlich einzuordnen? Wie sieht es
mit der Verantwortlichkeit für diese Texte
aus? Wie sind sie aus gwP-Sicht zu beurteilen?
DIE VERLOCKUNGEN DER KI
Klar ist, dass KI nicht Urheber des mit der
Software generierten Textes ist, da ein
Werk eine eigentümliche geistige Schöpfung
ist. Dazu ist nur ein Mensch in der
Lage. Dass dieser automatisch die Urheberschaft
an einem von KI geschriebenen
Text hat, kann aber pe se auch nicht
gesagt werden. Erst, wenn der gestalterische
Einfluss des Menschen überwiegt
und die KI nur mehr ausführendes Instrument
der gestalterischen Hoheit des
Menschen ist, dann tendiert man dazu
anzuerkennen, dass der Mensch Urheber
des so erzeugten Textes ist. Für ChatGPT
hieße dies wohl, dass die Detailliertheit
der Prompts und die Verkettung stark
steuernder Prompts hier maßgeblich
sind. Als einer der Ersten im deutschsprachigen
Raum hat dies Thomas Horen von
der Westfälischen Wilhelms-Universität
Münster ein „Rechtsgutachten zum Umgang
mit KI-Software im Hochschulkontext“
2 publiziert.
Das datenschutzrechtliche Dilemma
mit KI ist ja bereits hinlänglich bekannt.
Unsere Daten, die in diese Softwaren geladen
werden, werden von den Firmen
zu Trainingszwecken genutzt. Gleichzeitig
haben wir aber keine Möglichkeit,
dies zu verhindern. Selbst wenn wir von
24 OCG Journal | 04 • 2023

Schwerpunktthema
(c)istock, Peshkova
Opting-Out-Möglichkeiten Gebrauch
machen, ist es unmöglich zu sagen, ob
dies tatsächlich befolgt wird. Gleichzeitig
wissen wir aber nicht, woher die Daten
stammen, mit denen die KI arbeitet oder
aufgrund welcher Rechtsgrundlage sie
verarbeitet wurden. Da es Niederlassungen
der Softwarefirmen in der EU derzeit
(noch) nicht gibt, ist es faktisch unmöglich,
Betroffenenrechte durchzusetzen.
Den Hochschulen obliegt nun die Aufgabe,
im Spannungsfeld der rechtlichen
Unklarheiten und unglaublichen Möglichkeiten
Studierenden Orientierung zu
bieten. Sie in der neuen Welt der KI alleine
zu lassen, ist keine Option. Es ist schlichtweg
die Aufgabe der Universitäten und
Hochschulen, für die Sicherstellung der
guten wissenschaftlichen Praxis und akademischen
Integrität zu sorgen. 3 Und
die Schulung der Studierenden für diese
Fertigkeiten erscheint dringend geboten,
wie eine Umfrage im deutschsprachigen
Raum zum Thema KI und GWP im Frühjahr
dieses Jahres 4 ganz deutlich zeigt.
Aus Sicht der Personen, die sich mit gwP
beschäftigen, sind alle Textteile, die KI enthalten,
genau auszuweisen. Nur dann ist
gesichert, dass die Eigenständigkeit der
Leistungen in schriftlichen Arbeiten noch
nachvollziehbar gestaltet ist. Gerade diese
Eigenständigkeit der Leistungen fehlt
aber, wenn durch die Übernahme ungekennzeichneter
KI-Texte eine wissenschaftliche
oder künstlerische Leistung
vorgetäuscht wird, die nicht vom Studierenden
stammt.
RULES FOR TOOLS
Nach Erwachen aus der Schockstarre,
grundsätzlichen Verboten, die (meist)
schnell wieder zurückgenommen wurden,
machen sich nun viele Organisationen
und Institutionen auf, um mittelfristige
Lösungsmöglichkeiten für den
Zu- und Umgang mit KI für die ihrem
Bereich zugeordneten Personenkreise
zu finden. Als gelungenes Beispiel sollen
hier die ENAI 5 Recommendations 6 vom
Mai 2023 angeführt werden, die „Unauthorised
Content Generation (UCG)“ als
Überbegriff für alle Formen der unerlaubten
Erstellung von Inhalten, Ghostwriting
und unangemessener Nutzung von
KI definieren. Gleichsam wird anhand
konkreter Schritte und Empfehlungen
aufzeigt, wie es Einrichtungen gelingen
kann, Lehrenden und Studierenden gemeinsam
einen Weg anzubieten, mit KI
sorgsam und angemessen umzugehen.
Insbesondere für Deutschland richtungsweisend
ist die Stellungnahme des Präsidiums
der Deutschen Forschungsgemeinschaft
(DFG) 7 . Sie soll nicht nur als
Orientierung für das Forschungshandeln
von Wissenschaftler:innen dienen, sondern
gibt zugleich auch Antragstellenden
bei der DFG Anhaltspunkte für den
Umgang mit KI.
VERANTWORTUNG BEWUSST
Anhand der Universität der Autor*innen
kann aufgezeigt werden, dass die einzelnen
Bildungseinrichtungen sich ihrer
Verantwortung in Hinblick auf KI bewusst
und bereit zu handeln sind. Ganz besonders
für Kunstuniversitäten, die sich auch
intensiv mit ton- und bildgebender KI
beschäftigen, ist die Thematik von hoher
Relevanz. Im Rahmen eines Positionspapiers
wurde ein erster Aufschlag
gemacht, um Studierenden, Lehrenden,
Künstler:innen und Wissenschaftler:innen
einen Orientierungsrahmen 8 zu geben.
Die Universität Wien wählte einen
etwas anderen Weg der Vermittlung eines
KI-Handlungsrahmens. 9
All diesen Stellungnahmen, Empfehlungen,
Positionspapieren, Guidelines ist gemein,
dass der Umgang mit KI nicht generell
ausgeschlossen werden soll, ganz
im Gegenteil, hält man dies auch nicht
für sinnvoll und realisierbar. Allerdings
darf man sich bei allen Versuchen, KI
kurz- und mittelfristig über eine gewisse
Regulierungsflut in den Griff zu bekommen,
den weiterführenden Fragen zu
den Grundwerten des integren wissenschaftlichen
Arbeitens nicht verschließen.
Insbesondere der zukünftige Umgang
mit Daten im Sinne der Ehrlichkeit, Zuverlässigkeit,
Verantwortung, Respekt,
Transparenz und Rechenschaftspflicht
muss hinterfragt, analysiert und gegebenenfalls
neu gedacht werden.
VERÄNDERUNG DES DENKENS
Hinsichtlich der Zukunft des Schreibens
haben mehrere Autor*innen versucht,
das Spannungsfeld zwischen Utopie und
Dystopie darzustellen. Ausgehend von
der Feststellung, dass die durch KI beeinflusste
Zukunft „nicht deterministisch
vorprogrammiert ist, sondern vielmehr
Handlungsmöglichkeiten – vielleicht sogar
Spielräume – eröffnet“, resultiert eine
große Verantwortung, „und dieser Gestaltungsverantwortung
– künstliche Intelli-
04 • 2023 | OCG Journal
25

genz nutzenbringend in den Dienst der
Gesellschaft zu stellen – muss sich Wissenschaft
bewusst sein.“ 10 Es ist daher
dringend geboten, kritisch darüber nachzudenken,
wie die Arbeit mit KI-Tools
nicht nur unser Schreiben und Kreieren
von Inhalten verändert, sondern auch unser
Denken. Schließlich macht es einen
weitreichenden Unterschied, ob man
sich Gedanken zu einem Thema oder Gedanken
über einen bereits vorhandenen
Text zu einem Thema macht.
Jedenfalls ist nicht zu übersehen, dass die
Weiterentwicklung der KI-Tools rasant
voranschreitet, sodass unsere Arbeitsund
Lebenswelt ständig neu beeinflusst
wird. Heute neue Fähigkeiten der KI-
Tools werden übermorgen schon über-
Martina Baravalle
ist Juristin in der
Abteilung für Organisationsrecht
und
Berufungsmanagement
der mdw und
seit 2014 mit Plagiatsdetektion und
-prävention beschäftigt sowie dem
Aufbau und der Leitung des Kompetenzzentrum
für Akademische
Integrität. Sie ist Österreichkoordinatorin
des UniWiND-Netzwerks Gute
wissenschaftliche Praxis vermitteln.
holt sein oder in noch weitreichenderen
Funktionen aufgehen. Dies erfordert Offenheit
im Denken, die Bereitschaft, sich
auf Neues einzulassen, und die Fähigkeit,
das bedrohte Bewährte mit dem Neuen
sinnvoll zu verbinden. Manche Äußerungen
betonen die derzeitigen Grenzen der
KI, wenn etwa der Visual-Effects-Künstler
und Universitätsprofessor Franz Brandstätter
meint: „Und das wird die Frage
bleiben, ob eine KI, die von einem Mainstream
gefüttert ist, in der Lage ist, etwas
zu entwickeln, das es bis dato nicht gegeben
hat.“ 11
REFLEXION NICHT ABGEBEN
Es wird zu wenig sein, die gwP-Regelungen
auf ihre Vereinbarkeit mit den
Möglichkeiten der KI-Tools abzuändern,
Karl-Gerhard Straßl
leitet als Jurist
und Kulturwissenschaftler
die Abt.
Organisationsrecht
und Berufungsmanagement
der mdw. Als Plagiatsbeauftragter
ist er mit für Aufbau und
Leitung des Kompetenzzentrums für
Akademische Integrität zuständig. Er
publiziert außerdem zu den Themenbereichen
Universitätsrecht, Kulturrecht
und Kulturpolitik.
vielmehr ist es notwendig, mögliche Änderungen
bei den Ansprüchen von gwP
zu diskutieren und zu formulieren. Es
bedarf einer erneuerten Festlegung, was
gwP nun bedeutet. Derzeit sind KI-generierte
Texte noch durch eigene Tools
produzierbar, aber wie wird im Hinblick
auf gwP mit bewährten Programmen
umzugehen sein, in die bald KI-Funktionalitäten
integriert sein werden? Vielleicht
wird dies alles zu grundlegenden
Veränderungen in der Wissenschaft führen,
wie etwa die These, dass sich künftig
das Zitiererfordernis auf menschlich generierte
Texte beziehen sollte: „…könnten
wir […] eine Kennzeichnung primär für die
Textpassagen verlangen, die entweder direkt
von dem/der menschlichen Autor:in
stammen oder unter seiner/ihrer Leitung
[…] entstanden sind.“ 12
Doch die Autor*innen dieses Artikels sind
überzeugt: Schreiben und gwP wird auch
in KI-Zeiten nicht obsolet, aber zu verändern
sein. Denn: „Schreiben ist eng mit
der Fähigkeit verbunden, kritisch zu reflektieren.
Wer die kritische Reflexion vollständig
an Maschinen abgibt, überträgt
den Maschinen auch die Verantwortung
für die Schlüsse, die aus wissenschaftlichen
Erkenntnissen gezogen werden
sollten.“ 13 Dieser Gefahr sollten wir uns
nicht im Ansatz aussetzen.
Quellen:
1. Opernring Zwei, Magazin der Wiener Staatsoper GmbH, April 2023, S. 34.
2. Thomas Hoeren, Rechtsgutachten zum Umgang mit KI-Software im Hochschulkontext, in: Peter Salden/Jonas Leschke (Hgg.), Didaktische
und rechtliche Perspektiven auf KI-gestütztes Schreiben in der Hochschulbildung, Ruhr-Universität Bochum, 2023, S. 22 - 40. https://doi.
org/10.13154/294-9734 (12.11.2023).
3.. für die Universitäten: § 2 Z 3a Universitätsgesetz 2002.
4. Umfrage des Kompetenzzentrum für Akademische Integrität a.d. mdw u. d. Kompetenzstelle akademische Integrität an der Johannes
Gutenberg-Universität Mainz unter Personen, die sich an Hochschulen intensiv mit guter wissenschaftlicher Praxis beschäftigen. Publikation
folgt
5. European Network for Academic Integrity.
6. Foltynek, T., Bjelobaba, S., Glendinning, I. et al. ENAI Recommendations on the ethical use of Artificial Intelligence in Education. Int J Educ
Integr 19, 12 (2023). https://doi.org/10.1007/s40979-023-00133-4.
7. Stellungnahme des Präsidiums der Deutschen Forschungsgemeinschaft (DFG) zum Einfluss generativer Modelle für die Text- und Bilderstellung
auf die Wissenschaften und das Förderhandeln der DFG, 2023, https://www.dfg.de/download/pdf/dfg_im_profil/geschaeftsstelle/publikationen/stellungnahmen_papiere/2023/230921_stellungnahme_praesidium_ki_ai.pdf
(12.11.2023)..
8. mdw „Positionspapier zum Umgang mit Tools der Künstlichen Intelligenz (KI) an der mdw“. https://www.mdw.ac.at/upload/MDWeb/aki/
downloads/PositionspapierKImdwRektorat_1.pdf (12.11.2023).
9. Niederschwelliger Zugang für Studierende: https://studieren.univie.ac.at/lernen-pruefen/ki-in-studium-und-lehre/ (12.11.2023); ausführliche
Schritt-für-Schritt-Anleitung für Lehrende: „Guidelines Umgang mit KI in der Lehre“, 2023-09-26. https://phaidra.univie.ac.at/detail/o:1879857.
10. Limburg, A., Bohle-Jurok, U., Buck, I., Grieshammer, E., Gröpler, J., Knorr, D., Mundorf, M., Schindler, K., Wilder, N.(2023). Zehn Thesen zur
Zukunft des wissenschaftlichen Schreibens. Diskussionspapier Nr. 23. Berlin: Hochschulforum Digitalisierung, S. 19. https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD_DP_23_Zukunft_Schreiben_Wissenschaft.pdf
(14.11.2023).
11. ORF Topos „Neue Chancen durch künstliche Intelligenz“, 28.10.2023, https://topos.orf.at/das-elixier100 (12.11.2023).
12. N.Wilder/ D. Weßels/J. Gröpler A. Klein/M. Mundorf, Forschungsintegrität und Künstliche Intelligenz mit Fokus auf den wissenschaftlichen
Schreibprozess. Traditionelle Werte auf dem Prüfstand für eine neue Ära, in: K. Miller/M. Valeva/J. Prieß-Buchheit (Hgg.), Verlässliche Wissenschaft.
Bedingungen, Analysen Reflexionen, Darmstadt 2022, S. 217.
13. Limburg, A. et. al., a.a.O., S. 20.
26 OCG Journal | 04 • 2023

Schwerpunktthema
ChatGPT4 komponiert noch sehr klischeehaft - ein Experiment
von Johannes Kretz
Musik und KI - Erfahrungen
und Überlegungen
Auch wenn die Aufmerksamkeit in Bezug
auf KI im Moment stark auf Text-
bzw. Bildgenerierung gerichtet scheint,
war und ist auch in der Musik die – so
genannte – künstliche Intelligenz durchaus
ein Thema.
CONSTRAINTS PROGRAMMING:
ERGEBNISSE NACHVOLLZIEH-
BAR
Bereits in den 1990er Jahren wurden von
Komponist*innen zeitgenössischer Musik
verschiedene Implementationen von Expert
Systems / Constraints Programming
verwendet, um musikalische Strukturen
zu generieren. Dabei definiert man
einen Suchraum, z. B. eine Sammlung
von Elementen (Töne, Akkorde, rhythmische
Zellen etc.), die grundsätzlich beliebig
kombiniert werden können, und
aus denen durch Aneinanderreihen von
Elementen eine Lösung generiert werden
soll. Dazu werden Regeln aufgestellt,
welche gewisse Konstellationen erlauben
bzw. verbieten. In der Musik könnte das
z. B. die Regel sein, dass eine Melodie
nach einem großen Sprung in eine Richtung
einen kleinen Schritt in die Gegenrichtung
machen muss. Oder es könnte
das Vermeiden gewisser musikalischer
Intervalle sein, die als „unschön“ betrachtet
werden. Sobald der Constraints Solver
auf eine verbotene Konstellation stößt,
wird die entsprechende (Teil-)Lösung
verworfen. Der Solver hat die Fähigkeit,
systematisch Kombinationen aus Elementen
des Suchraums zu generieren
und zu evaluieren, bis (zumindest) eine
Lösung gefunden wurde. Zusätzlich kann
man auch noch „heuristische Regeln“
(Wünsche) anbringen: Hier werden gewisse
Konstellationen nicht erlaubt oder
verboten, sondern mit einem Zahlenwert
versehen, der angibt, wie „erwünscht“
diese Konstellation ist („Bonuspunkte“).
Dort, wo es die „normalen“ Regeln
zulassen, werden dann jene Lösungen
bevorzugt, die in Summe von den heuristischen
Regeln mehr Bonuspunkte
bekommen. Damit können Charakteristika
implementiert werden, die wünschenswert,
aber nicht unbedingt erforderlich
sind. Mit dieser Methode lassen
sich recht überzeugende musikalische
Resultate erzielen was eigentlich nicht
erstaunen sollte, zumal die Vorgangs-
Das Bild wurde von der OCG mit der App Neuroflash erstellt, mit der Vorgabe: Bild von leuchtenden
Strahlen, bunten Fäden und Mustern, die Musik visualisieren sollen, die aus einem klassischen
Instrument kommt, aber von einer unsichtbaren Hand gespielt werden. Das Thema des
Bildes soll im Kern Künstliche Intelligenz und Musik ausdrücken.
04 • 2023 | OCG Journal
27

weise nicht unähnlich zu jener Methodik
ist, welche in der Komponist*innen-Ausbildung
verwendet wird (Harmonielehre
und Kontrapunkt). Bemerkenswert ist,
dass der/die User*in bei Constraints Programming
nicht einen konstruktiven
Weg angeben muss, WIE man zum gewünschten
Ergebnis kommt. Das System
findet selbst – durch Permutieren – eine
Lösung. In diesem Sinne wirken Expert
Systems „intelligent“. Andererseits ist diese
Vorgangsweise durchaus transparent.
Der Mensch ist durch das Aufstellen der
Regeln für das Ergebnis verantwortlich
und die Beschaffenheit der Ergebnisse ist
nachvollziehbar und überprüfbar.
NEURONALE NETZE –
ERGEBNISSE NICHT MEHR
NACHVOLLZIEHBAR
Bei aktuellen KIs aus künstlichen neuronalen
Netzen ist das eher nicht der Fall.
Durch viele tausend Trainingsdurchgänge
sedimentiert sich eine Art von statistischem
Wissen im Netzwerk, wie man von
Fragen zu Antworten kommt. Wie aber
eine spezielle Antwort zustande kam, ist
kaum nachvollziehbar. Bei Inputs, welche
von den Trainingsdaten nicht gut abgedeckt
wurden, führt das möglicherweise
zu Antworten, welche durch Interpolation
zwischen denen der Trainingsdaten
liegen. Dabei ist zu bedenken, dass
es Gebiete gibt, wo dieses Interpolieren
Sinn macht (z. B. Handschrifterkennung),
während es in anderen Bereichen problematisch
ist. In tonaler Musik sind z. B.
parallele Quint-, Oktav- und Prim-Intervalle
verboten, parallele Terzen und Sexten
beliebt, und gewisse parallele Intervallfortschreitungen
kommen aus anderen
Gründen nicht in Frage (Dissonanzen).
Bei der Frage, ob ein Intervall parallel geführt
werden darf, wäre die Interpolation
zwischen Beispielsdaten also fatal, weil in
dieser Domaine sehr diskrete, nicht interpolierbare
Prinzipien herrschen.
EIN EXPERIMENT
Folgendes Experiment hat der Autor
selbst durchgeführt. Dabei wurde in
ChatGPT4 folgender Prompt eingegeben:
Hi ChatGPT, I would like you to help me
and my colleagues with an artistic performance.
Can you create a structure for
this performance. There are 3 performers
involved: Soroosh is playing a traditional
Iranian instrument called setar, and also
another electric setar. He is also singing,
requiring lyrics for this. Mahdieh is a visual
artist, and Johannes is playing live
electronics. The performance should last
8 minutes in total. Soroosh can play on
his instrument in various styles, ranging
from traditional Iranian music over rock
music to very experimental avant-garde
style. He can switch between setar and
electric setar and also sing to lyrics given
to him by you. Mahdieh will do live charcoal
drawing during the performance
on a canvas. The canvas will also have
contact microphones capturing sound
from the actions from Mahdieh‘s painting.
Johannes will play live electronics,
either by capturing and transforming
the sounds of Soroosh and/or Mahdieh
with various electronic effects, but he
can also play sound files with any kind
of sound and/or music. Please generate
a structure in several sections, telling,
what each performer should do in which
section, defining for example the style,
the intensity, the characteristics for each
performer.
ERGEBNIS VON CHATGPT 4:
Section 1: Introduction
(Duration: 1 minute)
• Soroosh: Begins with a slow, melodic
traditional Iranian setar piece, setting
a reflective tone.
• Mahdieh: Starts with broad, gentle
strokes on the canvas, creating abstract
shapes, capturing the mood of
Soroosh‘s music.
• Johannes: Utilizes minimal electronic
effects, subtly amplifying the setar‘s
natural sound.
Section 2: Transition
(Duration: 1.5 minutes)
• Soroosh: Transitions to a rhythmic
piece with elements of rock. Begins
singing with soft, lyrical voice:
Verse 1: „In the echoes of ancient
strings, / Through the halls of
time it rings. / Melodies of ages past, /
In modern chords, they‘re recast.“
Chorus: „Bridges span from
old to new, / In every note, a journey
through. / Where tradition and tomorrow
meet, / In harmony, they entwine
and greet.“
• Mahdieh: Responds to the rhythm
shift with more dynamic, expressive
strokes, adding texture.
• Johannes: Starts capturing Mahdieh‘s
canvas sounds, blending them with
Soroosh‘s music.
Section 3: Exploration
(Duration: 2 minutes)
• Soroosh: Switches to the electric setar,
diving into an experimental avant-garde
style, creating an intriguing
soundscape.
• Mahdieh: Intensifies her drawing,
using aggressive, rapid strokes to reflect
the chaotic energy of the music.
• Johannes: Processes the sounds from
both performers, adding electronic
distortions and ambient sound files to
enhance the avant-garde atmosphere.
Section 4: Climax
(Duration: 1.5 minutes)
• Soroosh: Combines elements of all
previous styles into a crescendo, blending
traditional, rock, and experimental
sounds.
• Mahdieh: Reaches the peak of her visual
performance, her movements becoming
almost performative, in sync
with the music‘s intensity.
• Johannes: Fully integrates the sound
collage, creating a powerful, immersive
audio-visual experience.
Section 5: Resolution
(Duration: 2 minutes)
• Soroosh: Returns to the traditional setar,
playing a soothing, meditative melody,
signaling a return to the roots.
• Mahdieh: Slows down her drawing, adding
final touches, bringing a sense of
closure to the visual narrative.
• Johannes: Gradually fades out the
electronic elements, leaving the pure,
unaltered sound of the setar to conclude
the performance.
Obiges wirkt auf den ersten Blick so, als
ob ChatGPT durchaus wüsste, wovon
28 OCG Journal | 04 • 2023

Schwerpunktthema
es „spricht“. Bei genauerer Betrachtung
wirken die Instruktionen allerdings recht
klischeehaft. Eine Musikform in der Improvisation,
die langsam und vorsichtig
beginnt, sich dann über 2/3 der Zeitdauer
steigert, um sich am Ende wieder zu beruhigen,
ist mittlerweile etwas, was improvisierende
Musiker*innen meist vermeiden
bzw. bewusst zu durchbrechen
suchen. Auch wenn man die Lyrics in
Section 2 betrachtet, fällt auf, dass der Inhalt
und die Gestaltung sehr klischeehaft
und bei genauerer Betrachtung ziemlich
nichtssagend ausfällt. Auch dass alle drei
Mitwirkenden praktisch immer parallel
im Ausdruck vorgehen, ist nicht gerade
originell. (Seltsamerweise wird das auch
nicht besser, wenn man ChatCPT auffordert,
weniger klischeehafte Anweisungen
zu geben.)
INHALT UND GESTALTUNG IST
KLISCHEEHAFT UND ZIEMLICH
NICHTSAGEND
Bei einer Aufführung im Rahmen von
aNOther festival am 6. Oktober 2023 an
der mdw haben nach obigem Muster (allerdings
in einer 30-minütigen, ausführlicheren
Version) Künstler*innen versucht,
sich an die Instruktionen der KI zu halten
und diese auch durch Videoprojektion für
das Publikum offengelegt. Es stellte sich
heraus, dass die Performer*innen relativ
schnell von den Vorgaben der KI abwichen,
dem musikalischen Flow folgend
eigene Ideen weiterentwickelten bzw.
auch wieder durchbrachen. Eine „getreue“
Umsetzung der „Komposition“ der
KI fühlte sich nicht richtig an.
Darauf wiesen wir die KI auch hin:
Prompt: BTW, I have to tell you, that the
artists might not always follow your instructions.
What do you think about this
attitude?
ChatGPT antwortete diplomatisch:
Artistic freedom is a fundamental aspect
of creative expression. When artists
deviate from given instructions, it can be
a sign of their commitment to authenticity
and spontaneity in their craft. It often
leads to unexpected and innovative
results that can enhance a performance
or an artwork.
Johannes Kretz
ist Komponist,
Electronics Performer
und Artistic
Researcher. Er leitet
das Artistic Research
Center an der mdw – Universität für
Musik und darstellende Kunst Wien
Bild: Reza Eshtehardi
Das Bild wurde von der OCG mit der App Neuroflash erstellt, mit der Vorgabe „Eine Künstliche
Intelligenz kreiert eigenständig Musik“.
04 • 2023 | OCG Journal
29

Wie Christiane Floyd die Software-Entwicklung veränderte
von Theresa Aichinger-Fankhauser
Von Menschen für Menschen
Christiane Floyd gilt als Vorreiterin der
nutzer*innenzentrierten Software-Entwicklung.
Die Informatik-Pionierin und
leidenschaftliche Wanderin hat viele
Wege beschritten – durch Wälder, Netzwerke,
Berge und Server. Am 26. April
2023 feierte sie ihren 80sten Geburtstag
Christiane Floyd lehnt das Wort „Karriere“
ab. Karriere ist eine äußere Hülle, spricht
von der Notwendigkeit, anderen etwas zu
beweisen. Der eigene Weg lässt sich erst
im Nachhinein verstehen, ist sich Floyd
sicher. Sie hat ihren Weg gemacht, nach
ihrem Lebensprinzip: Schritt für Schritt.
Die österreichische Informatikerin und
erste Informatikprofessorin im deutschsprachigen
Raum ist eine Wegbereiterin
der menschenzentrierten Informatik.
Mit ihrem Konzept des evolutionären
partizipativen Systemdesigns (STEPS)
erfindet sie bereits in den 1980er Jahren
einen Vorläufer der agilen Methoden.
Nach ihrem Mathematikstudium an der
Universität Wien lernt Floyd bei Siemens
München programmieren und trägt
wesentlich zur Entwicklung eines Algol
60-Compilers bei. 1968 bekommt sie ein
Angebot von Edward Feigenbaum aus
Stanford für das Dendral-Projekt, das
erste Expertensystem. „Die Zeit am AI-
Lab hat mich fürs Leben geprägt. Es
war die Zeit der ersten ‚Wunder der KI´“,
sagt Floyd. „Schon damals hat mich
aber die Gleichsetzung von Menschen
mit Maschinen gestört. Das Verhältnis
von Mensch und Maschine ist eine
Grundfrage, die in der Informatik nicht
auf den Tisch kommt, zu der wir jedoch
alle in unserer Arbeit stillschweigend
Stellung nehmen. Ich vertrete die Überzeugung,
Menschen in den Mittelpunkt
der Technikentwicklung zu stellen.“
Seit den 1970ern steht diese Überzeugung
im Zentrum ihres Schaffens. Damals
ist die Informatik auf diese Idee
nicht vorbereitet. Obwohl sich interaktive
Systeme zusehends verbreiteten, blendet
das noch neue Fach Software Engineering
den Nutzungs-Kontext aus und setzt
feste Anforderungen voraus. Floyd kennt
das aus eigener Erfahrung: 1973 kehrt sie
nach München zurück und beginnt bei
der Softwarefirma Softlab an der Automatisierung
des Rechenzentrums eines
großen Unternehmens zu arbeiten. „Als
ich ankam, fragte ich: ‚Was passiert, wenn
das System am Montag früh im Rechenzentrum
angeschaltet wird?‘ Niemand
hatte daran gedacht.“ Sie stellt sich die
Arbeitsabläufe vor und entwickelt ein
Benutzungs-Modell, ähnlich späterer
Use Cases. So wird das Projekt ein Erfolg.
„Ich habe erkannt, dass ein Top-Down-
Ansatz nie die Lösung sein kann. Wir
müssen ständig mit den Anwender*innen
kommunizieren“, ist Floyd sicher.
VORREITERIN DER HU-
MAN-COMPUTER INTERACTION
Nach ihrer Berufung als Professorin
für Softwaretechnik an die TU Berlin
1978 will sie diese Herangehensweise
auch an die Universität bringen.
„Mir wurde vorgeworfen, meine
Arbeit sei unwissenschaftlich.“
Doch sie entwickelt mit ihren Mitarbeiter*innen,
allen voran Fanny-Michaela
Reisin und Reinhard Keil, den Ansatz
STEPS („Softwaretechnik für Evolutionäre
Partizipative Systementwicklung“), der
auf Prototyping, versionsorientierte Entwicklung
und kontinuierliche Kommunikation
mit den Benutzer*innen setzt.
Diese Sichtweise ist mittlerweile in der
Human-Computer Interaction etabliert,
doch bleibt das Zusammenspiel
mit der Software-Entwicklung eine Herausforderung.
„In der Praxis müssen
wir die Nutzungs-Sicht mit der technischen
Sicht verbinden. Daher kommt
es darauf an, schon in der Ausbildung
unterschiedliche Denkweisen der Informatik
zu integrieren“, sagt Floyd.
Die Einführung ihrer neuen Methoden
führt zu Spannungen mit manchen
Kollegen. Als Hartmut Ehrig
und Christiane Floyd 1985 die erste
TAPSOFT-Konferenz organisieren, finden
sie einen produktiven Weg, unterschiedliche
Sichtweisen zusammenzubringen.
KEINE EINZELKÄMPFERIN
Noch viel tiefgreifender befasst sich
Floyd mit den Grundlagen ihres Faches
in ihrem Buch „Software Development
and Reality Construction“ (Softwareentwicklung
und Realitätskonstruktion). Hier
zeigen Informatiker*innen und Philosoph*innen
unterschiedliche Perspektiven
auf die intellektuelle Tradition der Softwareentwicklung
als gestalterische und
kreative Tätigkeit. „Mein wissenschaftliches
Leben war geprägt von Zusammenarbeit
und Freundschaft. Ich sehe
mich nicht als Einzelkämpferin, sondern
im Schnittpunkt verschiedener geistiger
Strömungen, die mich durch den intensiven
Austausch mit anderen Forscher*innen
erreicht haben“, ist Floyd überzeugt.
„Eng verbunden war ich besonders mit
dem Kybernetiker Heinz von Foerster,
der für mich wie ein Mentor war.“
1991 folgt sie einem Ruf an die Universität
Hamburg, wo sie bis zu ihrer
Emeritierung 2008 die Fachgruppe
Softwaretechnik zusammen mit Heinz
Züllighoven leitet und eng mit Wolf-Gideon
Bleek, Ingrid Schirmer und Carola
Lilienthal zusammenarbeitet.
Im Jahr 2012 wird sie zur Honorarpro-
30 OCG Journal | 04 • 2023

Intern
Christiane Floyd während ihrer Zeit bei der Firma Softlab, Bild aus privatem
Archiv, (c) Elisabeth Biron
Das Titelblatt des Buches „Software Development and
Reality Construction“ (c) Christiane Floyd
fessorin der Fakultät für Informatik an
der TU Wien ernannt. Das Motto der
TU Wien lautet bekanntlich „Technik
für Menschen“. „Das habe ich mein
ganzes Leben gemacht – ich fühle
mich wie zu Hause“, schmunzelt Floyd.
Christiane Floyd setzt sich bis heute intensiv
für eine gleichberechtigte Nutzung
und Implementierung von Technologien
ein. „Die Kluft zwischen Menschen, die IT
frei nutzen können und jenen, die keinen
Zugang haben, wird immer größer“,
stellt sie fest. Schon in den 80er Jahren
sucht sie nach Wegen, um die Nutzung
von Computern in Entwicklungsländern
zu fördern. „Aber damals war die Hilfe oft
fehlgeleitet und stärkte vor allem die Regierung
despotischer Führer.“ An der TU
Berlin ist Floyd nach ihrer Berufung auch
Vertrauensdozentin für ausländische Studierende.
„Das öffnete mir die Augen für
die völlig anderen Lebenswirklichkeiten
von Studierenden aus Entwicklungsländern.
Informatik, wie wir sie lehren,
beruht darauf, dass wir in einem Industrieland
leben und arbeiten – von der
Technik bis zu den Organisationsstrukturen,
von der Ausbildung bis zur Arbeitsteilung.
In einem Entwicklungsland sind
die Strukturen, auf die wir uns verlassen,
nur ansatzweise vorhanden“, sagt Floyd.
PROJEKT TEMACC ETHIOPIA
Seit 2006 ist Christiane Floyd in Äthiopien
engagiert. In den ersten Jahren berät
sie gemeinsam mit Tesfaye Biru die Universität
Addis Abeba beim Aufbau eines
Promotionsstudiengangs. Später ist sie
Mitgründerin des Projekts TEMACC Ethiopia
(Technology Enabled Maternal and
Child healthCare) der Johannes Kepler
Universität Linz und der Universität Addis
Abeba, gefördert vom österreichischen
Programm APPEAR. Gustav Pomberger,
Johannes Sametinger und Peter Oppelt
von der JKU sind die Partner von Rahel
Bekele, Tesfaye Biru und ihrem äthiopischen
Team. Das Ziel ist, mit Hilfe von
IKT den Zugang von Müttern zum Gesundheitssystem
in ländlichen Gebieten
zu verbessern, um die Mütter- und
Kindersterblichkeit zu senken. Bewährte
Methoden zur partizipativen Systementwicklung
werden kontextualisiert. In einem
Pilotprojekt führt das äthiopische
Team Feldforschung durch, entwickelt
und erprobt eine Informations-App für
Mütter rund um Schwangerschaft und
Geburt sowie Software zur Unterstützung
von Kommunikation und der Arbeit des
Gesundheitspersonals. Jetzt geht es um
die Weiterverwendung der Ergebnisse.
Für die Zukunft hofft Christiane Floyd,
dass humanistische Werte den technischen
Fortschritt wesentlich mitbestimmen:
„Die Lösungen sind da, wir
müssen nur den Mut haben,
uns auf den Weg zu machen.“
04 • 2023 | OCG Journal
31

Connected Boot - der vernetzte Schischuh
Elisabeth Häusler im Gespräch mit Ronald Bieber
Houskapreis für außeruniversitäre
Forschung
Der Houskapreis ist der größte Preis für
anwendungsnahe Forschung in Österreich.
Der nach dem Stiftungsmitglied
Wolfgang Houska benannte Preis wird
seit 2006 jährlich von der B&C Privatstiftung
vergeben.
Ronald Bieber: Sie haben einen sehr
interessanten Lebenslauf - von der Tourismus-Schule
über die FH zur Houskapreisträgerin
2023 mit einem spannenden
Projekt bei Salzburg Research in
Kooperation mit Atomic. Können Sie uns
Ihr Houskapreis-Projekt in wenigen Worten
beschreiben.
Elisabeth Häusler: Der Connected Boot
bewertet die Qualität des Skifahrens. Mit
Hilfe verschiedener Sensortechnologien
und Maschinellem Lernen wird das individuelle
Fahrverhalten gemessen, skirelevante
Parameter wie Aufkantwinkel
oder Geschwindigkeit berechnet und
das Fahrkönnen mit dem speziell entwickelten
und wissenschaftlich verifizierten
Carving Score beurteilt. Die Daten
werden an das Smartphone übertragen
und sind sofort aufrufbar. Die Skifahrenden
erhalten dadurch besseren Einblick
in ihre eigene Leistung, können an der
Technik feilen und so das Skierlebnis verbessern.
Diese Innovation bildet einen
wichtigen Meilenstein auf dem Weg zu
weiteren digital vernetzten Produkten.
Sind Sie selber Skifahrerin?
Ja, ich bin leidenschaftliche Skifahrerin
– vor allem mit der Familie. Und der
Connected Boot hilft, direkt auf der Piste
eine Rückmeldung zur letzten Abfahrt zu
bekommen.
Sie arbeiten mit der Universität Salzburg
und Atomic zusammen. Wie kamen diese
Kooperationen zustande?
Mit beiden Organisationen verbindet uns
eine langjähre Partnerschaft. Durch die
laufende Zusammenarbeit werden immer
wieder gemeinsam innovative Ideen
gesponnen und einige davon auch prototypisch
umgesetzt.
Haben sich aus diesem Projekt auch andere
Kooperation entwickelt – wie z. B.
mit dem Österreichischen Skiverband
(die derzeitige Präsidentin ist ja auch
Salzburgerin)?
Aus dieser Zusammenarbeit wurde das
COMET-Projekt „Digital Motion“ entwickelt.
Der Connected Boot ist ein Vorreiter
für smarte Produkte in der Ski-Branche,
aber auch für andere Sportarten, wie z. B.
Laufen. Dadurch ist auch adidas Partner
im COMET-Projekt. In diesem Großprojekt
sind alle relevanten Stakeholder aus
den Bereichen Sport und Fitness vereint
– entlang der ganzen Werte – von der
Integration, z. B. Infineon, Digital Elektronik
aus Salzburg, die Grabher Group mit
Schwerpunkt auf Smart Textiles aus Vorarlberg
- bis hin zur Evaluierung im Feld,
in der die smarten Produkte, z. B. in der
Region Schladming-Dachstein oder Ski
Amadé, dann auch getestet werden können.
Sie haben mit diesem Projekt bereits 9
Patente angemeldet. Wie wird es mit
diesem Projekt weitergehen?
Die Patente wurden vom Industriepartner
angemeldet, der sich damit die Nische
von IoT-Produktentwicklung im alpinen
Skifahren gesichert hat. Der Boot ist
derzeit in unterschiedlichen weiterführenden
Forschungsaktivitäten im Einsatz.
Können Sie kurz über Ihren beruflichen
Werdegang berichten.
Nach der Matura an der Tourismusschule
Klessheim in Salzburg absolvierte ich
2001 an der FH Salzburg-Urstein mein Diplom
in Telekommunikationstechnik und
-systeme. Zu Salzburg Research habe ich
durch ein Praktikum gefunden. Seit 2020
leitet ich dort den Bereich „Human Motion
Analytics“. Seit 2019 arbeite ich zudem
an meinem Doktorat zum Thema IoT
New Product Development, also die Entwicklung
von smarten Produkten und
dessen Herausforderungen.
Wann haben Sie Ihre Begeisterung zu
Informatik/Technik gespürt?!
Eine Affinität zu Informatik und Technik
wurde mir quasi in die Wiege gelegt – vor
allem durch meine zwei Brüder. Nach der
Matura habe ich mich für ein Studium
an der FH Salzburg entschieden, weil das
Angebot dort sehr praxisnah war.
Viele junge Forschende sind beruflich oft
Suchende - haben Sie vielleicht Tipps für
diese Gruppe, wie man Durststrecken
überbrückt, Wege findet, um interessante
berufliche Herausforderungen zu
finden?
Mein Tipp für junge Menschen: Zuerst
die Basics lernen – daran führt kein Weg
vorbei. Durch das Tun kommt die Freude
und wächst das Interesse. Und durch
Interesse wird der Blick für Innovationen
32 OCG Journal | 04 • 2023

Intern
geschärft. Gerade der Technologiebereich
bietet viele verschiedene Facetten
und Nischen. Daraus ergeben sich mannigfaltige
Berufsbilder, die sich immer
weiterentwickeln und dadurch immer
wieder neue Perspektiven bieten.
Welche Visionen haben Sie für Ihre berufliche
Zukunft?
Mein nächstes Ziel ist, das Doktorat abzuschließen.
In der außeruniversitären Forschung
möchte ich weiterhin die Innovationskraft
heimischer und internationaler
Unternehmen im Bereich Sport, Gesundheit,
Prävention und Fitness mit smarter
Technologie auf ein nächstes Level heben.
Mit einem starken Fokus auf Endkonsumentinnen
und -konsumenten
und den Technologiestandort Österreich
können wir gemeinsam viel bewirken.
Als Houskapreisträgerin - welche Message
möchten Sie jungen Forschenden
weitergeben?
Ich empfehle für Innovationen zu arbeiten
und zu forschen, die wirtschaftliche
und technologische Relevanz haben.
So bleibt die Kreativleistung nicht in der
Schublade liegen, sondern kann sich am
Markt behaupten.
Haben Sie im Vorfeld schon von der Österreichischen
Computer Gesellschaft
gehört? Wenn ja, wann war das?
Mein ältester Bruder hat mehrmals an
der Informatik-Olympiade der OCG teilgenommen
und auch gewonnen. Dadurch
ist mir die OCG von Kindheit an ein
Begriff.
Die OCG steht u. a. für Informatikförderung
bei Kindern und Jugendlichen? Haben
Sie Tipps, wie wir noch mehr Mädchen
für MINT begeistern können?
Ich bin der vollen Überzeugung, dass
MINT-Förderung bereits im jüngsten Alter
im Elternhaus, im Kindergarten und
sogar schon in der Krabbelgruppe beginnen
muss. Durch die eigene Erziehung,
Interesse wecken und ihre zwei Brüder
hat meine Tochter auch keine Scheu vor
technischen oder naturwissenschaftlichen
Themen. In der Schule sollte dann
logische Denken trainiert werden – und
zwar nicht nur in Mathematik, sondern
umfassend und fächerübergreifend. Und
das Arbeitsmaterial und auf einfache
Art programmier- und konfigurierbares
Spielzeug existiert, das auch Mädchen
anspricht. Aber es könnte mehr geben.
Außerdem muss Förderung auch gefordert
werden – auf allen Ebenen. Auch das
sehe ich als wertvollen Beitrag der OCG.
Houskapreis
Der Houskapreis wurde von der B&C Privatstiftung
im Jahr 2005 ins Leben gerufen, um die finanziellen
Grundlagen für Innovation und Forschung in
Österreich zu verbessern und ihre Wertschätzung
für die hervorragende Forschungsarbeit auszudrücken,
die in Österreich geleistet wird. Mit einer
Dotierung von insgesamt 750.000 Euro ist der
Houskapreis der größte private Preis für anwendungsnahe
Forschung in Österreich.
Über das Projekt:
Elisabeth Häusler und ihr Forschungsteam von
der Salzburg Research Forschungsgesellschaft
mbH gewann in der Kategorie „Außeruniversitäre
Forschung“ den 1. Platz.
Elisabeth Häusler mit Forschungsteam (c) Gregor Hofbauer
Projektbeschreibung: Im Sport spielen die Messung und Bewertung der Bewegungsqualität eine wichtige Rolle. Bestehende
Systeme sind oft ungenau und nicht auf bestimmte Sportarten, wie z. B. Skifahren, ausgerichtet. Mit dem Connected (CTD)
Boot, welcher vom Forschungsinstitut Salzburg Research und der Universität Salzburg entwickelt wurde, kann die Qualität des
Skifahrens mit Hilfe verschiedener Sensortechnologien sowie maschinellem Lernen bewertet und in weiterer Folge verbessert
werden. Der CTD-Boot kann durch Sensoren das individuelle Fahrverhalten messen, skirelevante Parameter wie Aufkantwinkel
oder Geschwindigkeit berechnen sowie das Fahrkönnen mit dem speziell entwickelten und wissenschaftlich verifizierten
Carving Score beurteilen. Die Daten werden an das Smartphone übertragen und sind sofort aufrufbar. Dies war bisher nur in
einem Labor möglich. Die Skifahrenden erhalten dadurch besseren Einblick in ihre eigene Leistung, können an der Technik
feilen und so das Skierlebnis verbessern. Die Salzburg Research hat für diese Technologie bereits neun Patente angemeldet.
Diese Innovation bildet einen wichtigen Meilenstein auf dem Weg zu weiteren digital vernetzten Produkten.
04 • 2023 | OCG Journal
33

Informatiker Georg Gottlieb hielt Zemanek Lecture in Wien über Künstliche Ignoranz
von Katharina Resch-Schobel
Künstliche Intelligenz muss
noch viel lernen
Im ehrwürdigen Ambiente des Festsaals
der Universität Wien wurden die rund
200 Anwesenden am Donnerstag, 5. Oktober
2023, in die faszinierende Welt des
maschinellen Lernens entführt. In seiner
Zemanek Lecture, welche die Österreichische
Computer Gesellschaft (OCG) einmal
jährlich zu Ehren des Computerpioniers
Heinz Zemanek veranstaltet, sprach
Gottlob über Künstliche Intelligenz und
Künstliche Ignoranz. Der Österreicher
forscht an der Universität Oxford zu Algorithmen
und Komplexitätsproblemen
im Zusammenhang mit Graphen und
Hypergraphen, Datenbankabfragesprachen
und Problemzerlegungsmethoden.
Gottliebs Vorredner Prof. Peter Reichl von
der Universität Wien sprach zum 400.
Geburtstag des Computers. In seinem
unterhaltsamen Vortrag weckte der Professor
Lust, mehr über die Geschichte
des Computers zu erfahren. Reichls Buch
„Homo cyber” ist soeben im Müry Salzmann
Verlag erschienen.
Gabriele Kotsis, Johannes-Kepler-Universität,
moderierte die Veranstaltung und
rief dazu auf, der Wissenschaft zuzuhören,
um Krisen zu überwinden. Der Vizerektor
der Universität Wien, Ronald Maier,
zuständig für Digitalisierung und Wissenstransfer,
freute sich, in seinem Haus
das Vermächtnis von Heinz Zemanek zu
ehren. OCG-Präsident Thomas Mück begrüßte
die Gäste im Namen der OCG.
Der Festsaal der Universität Wien war gut gefüllt.
Georg Gottlob am Podium.
Peter Reichl und Georg Gottlob
34 OCG Journal | 04 • 2023
Viktor Kudielka, Mitglied des damaligen „Mailüfterl“-Teams
Edgar Weippl, Niki Popper und Ronald Bieber
Alle Fotos vom Event finden Sie auf unserem
Flickr Kanal „Österreichische Computer Gesellschaft“
(c) OCG/Scheitz

Intern
Veranstaltungen und Termine
IRI§ 24
Internationales Rechtsinformatik Symposium
14. - 17. Februar 2024, Salzburg und online in Wien
https://iris-conferences.eu/iris24
TrainDL Summit
Abschlussveranstaltung des Projektes TrainDL
22. - 23. Februar 2024, Berlin
train.d..eu
Informatiktag an der JKU
Herausforderungen und Angebote für Schulen
6. März 2024, Linz
informatik.jku.at/informatiktag24/
NIS-2 Business Breakfast
EU Richtlinie im Überlick
12. März 2024, Wien
ocg.at/nis-2-richtlinie
Förderpreise und Zemanek Preis
Ende der Einreichs- und Nominierungsfrist:
14. März 2024
ocg.at/wissenschaftliche-wettbewerbe
EDU|days
Tagung für Lehrende
3. - 4. April 2024, Krems
edudays.at
dHealth 2024
18th Annual Conference on Health Informatics meets
Digital Health
7. - 8. Mai 2024, Wien
dhealth.at
ICCHP 2024
International Conference on Computers Helping People
with Special Needs
8. - 12. Juli 2024
icchp-aaate.org
European Girls´Olympiad in Informatics
21. - 27. Juli 2024, Veldhofen, Niederlande
egoi2024.nl
International Olympiad in Informatics
01. - 08. September 2024, Alexandria, Ägypten
ioi2024,eg
CEEE|Gov Days 2024
Central and Eastern e|Dem and e|Gov Days 2024
12. - 13. September 2024, Budapest
ceeegov2024.ocg.at
IMPRESSUM
Das OCG Journal ist die Mitgliederzeitschrift der Österreichischen Computer
Gesellschaft (OCG). Inhaltlich wird das Journal in völliger Unabhängigkeit gestaltet
und berichtet über die OCG Leitthemen Ausbildung und Qualität, Innovation und
Start-ups, internationale Vernetzung und digitale Zivilgesellschaft.
ISSN 1728-743X
Medieninhaber und Herausgeber:
Österreichische Computer Gesellschaft (OCG)
Präsident: Dr. Thomas Mück
Generalsekretär und Leitung der Redaktion: Dr. Ronald Bieber
Redaktion: Irina Scheitz, Katharina Resch-Schobel, Josefine Hiebler
Layout und DTP: OCG | Josefine Hiebler
Lektorat: Katharina Resch-Schobel
Fotos: Archiv OCG, Autor*innen, Privatarchive, istock
Kontakt: info@ocg.at | URL: www.ocg.at
Alle: Wollzeile 1, 1010 Wien | Tel.: +43 1 512 02 35-0
Druck: Print Alliance HAV Produktions GmbH, 2540 Bad Vöslau
https://printalliance.at/fairprint

IT-Sicherheit zertifizieren
ISO/IEC 27001
Wir zertifizieren Ihre Informationssicherheit
nach ISO/IEC 27001 und bieten als
Qualifizierte Stelle auch Prüfungen nach dem
NISG an.
istock
www.ocgcert.com
Österreichische Computer Gesellschaft • 1010 Wien • Wollzeile 1