Grazer Software bringt Farbe auf die Kinoleinwand

In den Filmarchiven dieser Welt verstauben unzählige historische Schwarz-Weiß-Aufnahmen, die sich für heutige Produktionen kaum noch eignen. Zu sehr sind Schwarz-Weiß-Filme aus der Mode gekommen und fristen ein reines Nischendasein. Forscher*innen der TU Graz entwickelten daher einen auf künstlicher Intelligenz basierenden Algorithmus, der dabei hilft, Schwarz-Weiß-Aufnahmen realitätsgetreu einzufärben. Das Ergebnis ihrer Forschung wird bereits von mehreren Filmproduktionen verwendet. 

Eine Minute pro Tag

„Mit unserer künstlichen Intelligenz schafft eine Einzelperson etwa eine Minute pro Tag“, sagt Projektinitiator Thomas Pock vom Institut für Maschinelles Sehen und Darstellen an der TU Graz gegenüber der futurezone. Das mag sich nach wenig anhören, ist aber verglichen mit den bisherigen Methoden eine gewaltige Arbeitserleichterung. Um ein 20-minütiges Video zu kolorieren, waren vor 10 Jahren noch Tausende Arbeitsstunden nötig. „Es geht darum, mit möglichst wenig händischen Eingaben die Filme möglichst effizient einzufärben“, erklärt Pock.

Das Einfärben von historischen Filmen war bislang mit mühevoller Handarbeit verbunden. In den Anfängen musste jeder Frame, also jedes Einzelbild eines Films, händisch eingefärbt werden. Und auch mit moderner Technik ist das Kolorieren der Aufnahmen äußerst langwierig, was auch „Herr der Ringe“-Regisseur Peter Jackson erfahren musste. Für seinen 2018 erschienenen Dokumentarfilm „They Shall not Grow Old“ über den Ersten Weltkrieg waren 400 Mitarbeiter 3 Jahre lang mit der Restaurierung und Kolorierung der historischen Aufnahmen beschäftigt. „An die 100 Stunden originales Filmmaterial musste dafür durchgesehen werden“, erzählt Pock. Davon schaffte es nur ein Bruchteil in den Film. Am Anfang brauchte das Team ganze 11 Monate, bis eine einzige Szene vollständig restauriert und konvertiert war. Gegen Ende der Arbeiten war eine Aufnahme in immerhin 2 Monaten bearbeitet. 

Handarbeit weiter nötig

Auch der Algorithmus der TU Graz weiß nicht, welche Farbe eine bestimmte Uniform oder Fassade haben soll. „Der Keyframe, also ein einzelner Bildausschnitt einer Szene, muss weiterhin händisch eingefärbt werden“, erklärt Pock. „Denn nur der Mensch kann historisch korrekte Farben garantieren.“ Die folgenden 20 oder 30 Frames werden dann automatisch eingefärbt.

Farben von Einzelobjekten wie etwa Gesichter oder Kleidung lassen sich durch die künstliche Intelligenz ebenso auf verschiedene Szenen übertragen. So muss in einem neuen Bild nicht mehr der komplette Frame eingefärbt werden, sondern nur noch Teile davon.

Richtige Farbwiedergabe ist besonders bei historischen Aufnahmen von großer Bedeutung. „Dafür vergleicht man etwa alte Farbfotografien oder fährt direkt an den Originalschauplatz hin, um dort Fotos aufzunehmen“, erklärt Pock. Diese Liebe zum Detail ist es auch, was eine vollautomatische Färbung alter Filmaufnahmen so schwierig macht: Grundsätzlich sind vom Computer vollautomatisch eingefärbte Videos nämlich möglich. Die Farben sind dabei zwar schön anzusehen, aber eben nicht immer realitätsgetreu. 

Mit den im Forschungsprojekt entwickelten Algorithmen können die Filme nicht nur authentisch eingefärbt, sondern auch sehr sauber restauriert werden. „Das ist allerdings nicht immer erwünscht“, sagt Pock. Im letzten Schritt der Restauration wird daher ein gewisses Rauschen, der sogenannte „Filmgrain“ wieder künstlich zu den Aufnahmen hinzugefügt. Erst dann wirkt das Video für das Publikum auch authentisch. 

Software bereits im Einsatz

Der Kernalgorithmus für das Videowerkzeug ist öffentlich verfügbar und wurde auch bei der International Conference on Computer Vision vorgestellt, „der größten und wichtigsten Konferenz im Bereich Computer Vision“, betont Pock. Im Rahmen des „Bridge“-Programms der österreichischen Forschungsförderungsgesellschaft entwickelten die Forscher*innen zusammen mit der Grazer Firma HS-Art eine darauf aufbauende Software, die schon von mehreren Archiven und Studios verwendet wird. So kam das Produkt etwa bereits bei der im Jänner erschienenen ZDF-Dokureihe „Hitlers Macht“ zum Einsatz.

Das Forschungsprojekt „ReColour“ wurde Ende 2022 nach 3 Jahren abgeschlossen, ein Folgeprojekt steht aber in den Startlöchern. Bei diesem soll es darum gehen, wie man generative Methoden zur Einfärbung alter Filme nutzen kann. Ähnlich wie bei Programmen, die Bildausschnitte etwa über ihre Grenzen hinaus erweitern oder ganze Bilder aus Texteingaben generieren, könnte man einer solchen Software Vorlagen zur Verfügung stellen, aus denen dann die Farben übernommen werden. Wichtig sei dabei allerdings, dass der Mensch immer noch Möglichkeiten hat, bei Fehlern einzugreifen. „Unser Ziel ist nicht, die Menschen zu ersetzen, sondern sie so gut wie möglich zu unterstützen“, sagt Pock.