Microsoft Kinect übersetzt Gebärdensprache in Echtzeit

Der Prototyp des Zeichensprache-Übersetzungssystems wurde von Microsoft Research Asia entwickelt. Das System übersetzt nicht nur Zeichensprache in gesprochene Worte sondern erlaubt auch den umgekehrten Weg. Dann gibt eine animiert Figur am Bildschirm die vom Mikrofon aufgenommenen Sätze in Zeichensprache wieder. Das ganze funktioniert in Echtzeit. Derzeit erkennt der Prototyp allerdings nur ungefähr 300 Zeichen in chinesischer Gebärdensprache. Die größte Schwierigkeit ist das Erkennen der Gesten, wie Projektleiter Guobin Wu gegenüber thenextweb erklärt. Um dem System ein neues Zeichen beizubringen, müssen mindestens fünf verschiedene Personen die Entsprechende Geste einspielen.

Weltweit gibt es schätzungsweise 360 Millionen Menschen, die Probleme mit ihrem Gehör haben. Ein System, das zwischen Sprechern von Gebärdensprache und Lautsprache vermitteln kann, könnte also vielen Menschen helfen. Bis dahin ist aber noch viel Arbeit nötig. Erst muss der Wortschatz der chinesischen Gebärdensprache auf etwa 4.000 Wörter ausgebaut werden, dann können die Forscher beginnen, andere Zeichensprachen, etwa Deutsch, zu implementieren.