Wie Blinde nonverbale Signale "sehen" können

Ein Lächeln, ein fragender Blick oder ein zustimmendes Nicken: Ein großer Teil der menschlichen Kommunikation findet nonverbal statt. Zahlreiche Informationen lesen wir aus Mimik, Gestik und anderen optischen Signalen heraus und verstehen instinktiv, was der seitlich geneigte Kopf bedeutet. Blinden und sehbeeinträchtigten Menschen entgehen solch wichtige nonverbale Signale. Um ein möglichst genaues Bild von einer bestimmten Situation zu bekommen, sind sie unter anderem von Sprache und Berührungen abhängig. In Meetings oder Konferenzen mit mehreren Teilnehmer*innen ist das eine große Herausforderung. 

Technische Hilfsmittel

Das Forscherteam rund um den Wirtschaftsinformatiker Klaus Miesenberger von der Johannes Kepler Universität (JKU) in Linz will in Zusammenarbeit mit  der ETH Zürich und der TU Darmstadt auch sehbeeinträchtigten Menschen die nonverbale Kommunikation ermöglichen. Entwickelt wurde das erste barrierefreie und intelligente System auf Basis mehrerer technischer Geräte, mit dem die Nutzer*innen mit einfachen Gesten aktiv an Meetings teilnehmen können.

Die technischen Hilfsmittel können dabei gleichzeitig zur Anwendung kommen und zusammenspielen. Unter anderem können Gesichtsausdrücke und Körpersprache über einen Kopfhörer oder mittels Braille-Zeile mitgeteilt werden.

Personen finden

Daneben seien laut Reinhard Koutny, Doktorand an der JKU, auch räumliche Informationen wesentlich – etwa über die Anordnung der Meetingteilnehmer*innen – die unter anderem mithilfe von Smartwatches übermittelt werden können. Nicht nur können blinde Teilnehmer*innen ermitteln, wer rechts von ihnen sitzt, mit dem sogenannten „Exploration Mode“ („Erkundungs-Modus“) etwa können sie auch erfragen,  wo jene Person sitzt, mit der sie sich in der Pause unterhalten haben.

Die Meetingteilnehmer*innen sind im System vermerkt und können markiert und intuitiv gefunden werden. Das funktioniert laut Koutny über eine freie Handbewegung. „Je näher man der Zeigerichtung kommt, desto stärker vibriert die Smartwatch“, sagt er. 

Virtuelles Whiteboard

Ein weiteres Problem für Blinde ist es, wenn Inhalte auf Bildschirmen und Tafeln  präsentiert werden. Damit sie diese mitverfolgen und aktiv am Meeting partizipieren können, hat das Forscherteam zusätzlich ein virtuelles Whiteboard entwickelt, das auf mehreren Bildschirmen im Raum dargestellt werden kann. „Dieses beinhaltet Notizen, die unterschiedlich angeordnet sind“, so Koutny. 

Die Notizen werden über eine App erstellt. Um das Whiteboard als blinde Person nachzuvollziehen, braucht sie ein Handy: „Wenn sie das Smartphone in die Hand nimmt, baut sich virtuell das Whiteboard mit den Notizen auf“, sagt Koutny. Die Person hält das Handy vor sich und bewegt es. Kommt es einer der virtuellen Notizen nahe, vibriert es. „Wenn die Person dann der Notiz ist, wird sie vorgelesen“, sagt der Informatiker. Drückt sie die Lautstärke-Taste am Handy, kann sie die Notiz virtuell „greifen“ und am Whiteboard herumschieben. „Die anderen Personen im Raum sehen das dann auf den Bildschirmen.“ 

Personalisierte Nutzung

Während speziell die Übermittlung der Informationen in haptische Signale für viele blinde Menschen intuitiv ist, weil sie bereits gelernt haben, mit Haptik umzugehen, sei bei jenen, die nur die Sprachausgabe nutzen, eine gewisse Einlernphase erforderlich, erklärt der Forschungsleiter Klaus Miesenberger. Ziel des Projekts, das voraussichtlich bis Juni 2022 läuft, sei es nicht nur ein fertiges Produkt zu haben, sondern auch zu ermitteln, welche Informationen für die Anwender*innen relevant sind und wie diese sinnvoll übermittelt werden können. „Wir gehen stark davon aus, dass das von dem jeweiligen Nutzer und seinen Fähigkeiten abhängt.“ 

Menschen, die etwa an einer altersbedingten Makuladegeneration erkranken, können nicht nur erblinden, sondern auch ihr haptisches Gefühl verlieren. Je nach medizinischer Diagnose können die Zugänge zum System somit unterschiedlich ausfallen. „Das Entscheidende an diesem System ist, dass es die Möglichkeit der Personalisierung bietet“, sagt Miesenberger. Die Anwender*innen können somit selbst entscheiden, welche Funktionalität sie wie und wann einsetzen wollen. Funktioniert etwa das haptische Gefühl nicht, können Nutzer*innen per Sprachausgabe mit dem System interagieren. 

Künstliche Intelligenz

Aktuell finden die ersten Schritte der Evaluierung statt. Mittels künstlicher Intelligenz sollen künftig handschriftliche Elemente oder andere Objekte sowie bestimmte Mimiken noch besser erkannt werden und Auskunft darüber geben, ob eine Person etwa Zustimmung, Ablehnung oder Freude signalisiert.