Forscher klonen natürliche Stimmen mit Künstlicher Intelligenz

Freude, Angst, Verärgerung: Emotionen lassen sich nicht nur sehen, sondern auch hören. Der Klang unserer Stimme kann Selbstbewusstsein oder Unsicherheit vermitteln und von anderen als charismatisch, nervig oder hochnäsig wahrgenommen werden. Generell macht die Stimme einen wichtigen Teil unserer Identität aus.

Manche Menschen verlieren jedoch genau diese Persönlichkeitskomponente – etwa wenn sie an chronischer Heiserkeit oder einer Erkrankung des Kehlkopfs leiden. Wird der Kehlkopf (Larynx) beispielsweise infolge von Kehlkopfkrebs entfernt, können Betroffene häufig nur noch mithilfe eines technischen Geräts, wie dem Elektrolarynx, sprechen. 

➤ Mehr lesen: Sprach-KI von OpenAI imitiert die eigene Stimme

Diese Geräte sind bislang vor allem auf tiefe Frequenzen ausgelegt, da überwiegend Männer betroffen sind. Die erzeugte Stimme klingt dabei robotisch. Im Hinblick auf weibliche Stimmen mit höheren Frequenzen wurde bislang kaum geforscht und geeignete Produkte entwickelt.

Texte eingesprochen

Um Betroffenen ein Stück ihrer stimmlichen Identität zurückzugeben, arbeitet Martin Hagmüller vom Institut für Signalverarbeitung und Sprachkommunikation an der TU Graz daran, eine möglichst natürliche weibliche und männliche Stimme künstlich zu erzeugen. Idealerweise soll diese jener Stimme entsprechen, welche die betroffene Person vor ihrer Beeinträchtigung hatte. Dafür kommen öffentlich verfügbare Datenbanken mit Sprachaufnahmen sowie eine eigene Datenbank mit österreichischem Deutsch zum Einsatz.

➤ Mehr lesen: Wie man ohne Kehlkopf sprechen kann

Zusätzlich werden Aufnahmen gesunder Sprecher verwendet, die dasselbe Material zweimal einsprechen: einmal mit normaler Stimme und einmal mithilfe eines Elektrolarynxes. Letzteres dient als Referenz für ein auf Künstlicher Intelligenz (KI) basiertes Modell. „Es lernt dabei, wie elektrolaryngeale Sprache strukturiert ist und wie sie in eine möglichst natürlich klingende Stimme umgewandelt werden kann“, sagt der Forscher der futurezone. In einem weiteren Schritt werden Aufnahmen von Personen ohne Kehlkopf oder mit chronischer Heiserkeit verwendet. Schauspielstudierende sprechen dasselbe Material anschließend möglichst lippensynchron erneut ein. Ziel ist ein sogenanntes „Mapping“, also eine systematische Zuordnung zwischen einer beeinträchtigten oder Ersatzstimme und einer gesunden Stimme.

Stimme und Alter

Das Alter der Betroffenen ist für die Rekonstruktion bedeutsam. Laut Hagmüller sind die meisten Patienten über 60 Jahre alt. „Würden sie mit einer rekonstruierten Stimme sprechen, die beispielsweise wie die einer 20-jährigen Person klingt, würde dies nicht authentisch wirken.“ Wenn Aufnahmen der eigenen gesunden Stimme aus der Zeit vor der Operation vorhanden sind – etwa ältere Sprachnachrichten oder Videos – kann das System diese nutzen, um die rekonstruierte Stimme individuell anzupassen. „Das System lernt, wie die betroffene Person mit einer gesunden Stimme geklungen hat und kann eine möglichst realistische und persönliche Stimmrekonstruktion erzeugen“, sagt der Experte.

Sind solche Aufnahmen nicht verfügbar, kann auch eine Ersatzstimme ausgewählt werden. „Häufig bieten sich dafür Stimmen von Familienmitgliedern an, da diese klanglich oft vergleichbar sind. Die ausgewählte Stimme kann anschließend weiter angepasst werden, sodass eine individuelle und authentische Ersatzstimme entsteht.“ 

In Geräte integrieren

Um die Ersatzstimme auch unterwegs zu nutzen, könnten bestehende Geräte verwendet werden, die viele Betroffene bereits nutzen. Diese dienen eigentlich dazu, die geringe Lautstärke ihrer Stimmen zu erhöhen. Denn in Umgebungen mit Hintergrundgeräuschen, wie etwa Restaurants, ist ein Gespräch oft nur möglich, wenn die Gesprächspartner sehr nah beieinandersitzen – die Kommunikation in größeren Gruppen ist nahezu unmöglich. „Einige Betroffene nutzen Headsets oder tragbare Verstärker, die beispielsweise um den Hals oder am Bauch getragen werden“, sagt Hagmüller. In Kombination mit der neuen Stimmverbesserung könnte das die Verständlichkeit deutlich steigern. 

➤ Mehr lesen: YouTube-KI generiert Lieder mit Stimmen berühmter Sänger

Grundsätzlich sei es denkbar, das neue System in solche Geräte oder Smartphone-Apps zu integrieren. Damit die Stimmumwandlung auf einem Handy möglich wird, müsse die aktuell dafür notwendige Rechenkomplexität deutlich reduziert werden. Mit genügend Daten wäre es grundsätzlich möglich, mit aktuellen KI-Modellen schon eine sehr gute Qualität zu erreichen. Was es aber noch braucht, seien starke Computer und eine geringe Verarbeitungslatenz. 

„Für manche Anwendungen ist es egal, wenn man etwas warten muss, bis die Stimme konvertiert ist. Will man das System im direkten Gespräch einsetzen, darf die Verarbeitung nicht mehr als ca. 50 bis 100 Millisekunden dauern“, sagt Hagmüller. Die Verzögerung würde sonst wie ein Echo wirken. Gelingt diese technische Herausforderung, könnten Betroffene wieder mit einer Stimme sprechen, die zu ihrer eigenen Persönlichkeit passt.