Software komponiert Filmmusik

„Unsere Software ist einerseits für Laien gedacht, andererseits soll sie auch Filmkomponisten als Werkzeug dienen. Musiker wollen wir aber keineswegs weg rationalisieren“, beschreibt Raffaseder das neuartige Musiktool mit dem Namen GEMMA. Dieser steht für Generative Music for Media Applications. „Viele Regisseure haben genaue Vorstellungen, wie eine bestimmte Szene vertont werden soll. Das Tool eignet sich als Basis zu einer besseren Verständigung zwischen Komponisten und Regisseur“, so der Professor und Leiter des Instituts für Medienproduktion. „Aber eigentlich kann sie künftig jeder, der ein gewisses Interesse für musikalische Gestaltung mitbringt, nutzen.“

"Erste klingende Ergebnisse"

An der FH St. Pölten wird bereits seit einem Jahr an der Entwicklung der Software gearbeitet. Jetzt sind erste „klingende Ergebnisse“ verfügbar, ein Prototyp soll bis zum Oktober diesen Jahres fertig gestellt werden. Mit der „Motifactory“ lassen sich entweder Melodien automatisch generieren, mit einem Keyboard einspielen, oder aus einer Datei extrahieren. „Langfristig betrachtet soll es ausreichen, eine Melodie zu summen und die Software wandelt den Gesang automatisch in die gewünschte Form um“, erklärt Raffaseder.

Die eingespielte oder vorausgewählte Melodie gilt dann als Ausgangsbasis für die intelligente Software. Sie kann davon tausende Variationen ausgeben, die entweder nahe am Original oder „weit entfernt“ vom Original sein können, je nachdem, was man für ein Instrument ausgewählt hat, welchen Rhythmus und welche  Tonleiter man bestimmt hat. Die Musik lässt sich jedoch auch nach semantischen Parametern verändern. Auf diese Art und Weise klingt sie trauriger, fröhlicher, oder dramatischer.

Semantische Elemente beruhen auf Klischees

Um diese semantische Komponente beim Programmieren umsetzen zu können, hat man an der FH St. Pölten 400 Filme analysiert und ausgewertet. „Wir orientieren uns dabei natürlich an Klischees. Das heißt, unsere Software reproduziert gängige Filmklischees. Mit diesen kann man allerdings auch bewusst brechen“, meint Raffaseder. Auch Tests mit Hörern wurden durchgeführt. Diese haben etwa ergeben, dass eine hohe Lautstärke und ein schnelles Tempo aktivierend auf den Zuhörer wirken. In einem nächsten Schritt wurden Filmhandlungen mit den Instrumenten in der Begleitmusik in Verbindung gesetzt. Diese Untersuchung ergab, dass bei Unfällen meist Geigen und Trompeten eingesetzt werden, bei Gewaltszenen sind es eher Blechbläser, bei feierlichen Aktivitäten Gitarren und Gesang.

Doch wie sieht es bei GEMMA mit der rechtlichen Komponente aus? Was passiert etwa, wenn der Regisseur Madonnas „Like A Prayer“ oder Lady Gagas „Pokerface“ einsingt oder spielt? „Jeder, der das Tool verwendet, muss selbst im klaren darüber sein, ob das seine Musik und seine Idee ist, oder nicht“, so Raffaseder. Bei einem Popsong bleibe es ein Plagiat, da würden die Verfremdungen nicht weit genug gehen. „Wenn das Stück deutlich genug bearbeitet wird, und der Regisseur die Zustimmung zur Veröffentlichung hat, kann es als Remix durchgehen und angemeldet werden. Die Grenzen sind hier allerdings fließend,“ erklärt der Projektleiter.   

Aus Forschungsprojekt soll Produkt werden

GEMMA soll langfristig auch in anderen Bereichen als in der Film- und TV-Branche zum Einsatz kommen. „Das System ist sicherlich auch sehr spannend für den Spielebereich, aber hier gibt es noch einige technische Probleme zu lösen“, meint Raffaseder. Diesen werde man sich an der FH jedoch erst nach dem offiziellen Projektende widmen. Davor gilt es, „einen Vertriebspartner zu finden, der die Lösung gemeinsam mit uns auf den Markt bringen will. Die Musiksoftware hat hier sicherlich großes Potential, als kommerzielle Lösung vermarktet zu werden“, so Raffaseder.

Doch Teile davon sollen auch der Community unter einer Open Source-Lizenz zur Verfügung gestellt werden. Welche das genau sind, konnte Raffaseder noch nicht verraten. „Wir sind noch mitten in der Programmierphase und erringen jede Woche einen wichtigen Fortschritt. Das wird sich daher erst zeigen.“ Als nächsten Schritt sei es geplant, sich Feedback von echten Filmkomponisten einzuholen, sowie Partituren aus dem System zu extrahieren, um diese von einem echten Filmorchester der Partneruniversität in Edinburgh einspielen zu lassen. Ganz ohne Musiker geht es also auch bei GEMMA nicht.