© Getty Images/iStockphoto/g-stockstudio/iStockphoto/futurezone

Science

Wie Blinde nonverbale Signale "sehen" können

Ein Lächeln, ein fragender Blick oder ein zustimmendes Nicken: Ein großer Teil der menschlichen Kommunikation findet nonverbal statt. Zahlreiche Informationen lesen wir aus Mimik, Gestik und anderen optischen Signalen heraus und verstehen instinktiv, was der seitlich geneigte Kopf bedeutet. Blinden und sehbeeinträchtigten Menschen entgehen solch wichtige nonverbale Signale. Um ein möglichst genaues Bild von einer bestimmten Situation zu bekommen, sind sie unter anderem von Sprache und Berührungen abhängig. In Meetings oder Konferenzen mit mehreren Teilnehmer*innen ist das eine große Herausforderung. 

Technische Hilfsmittel

Das Forscherteam rund um den Wirtschaftsinformatiker Klaus Miesenberger von der Johannes Kepler Universität (JKU) in Linz will in Zusammenarbeit mit  der ETH Zürich und der TU Darmstadt auch sehbeeinträchtigten Menschen die nonverbale Kommunikation ermöglichen. Entwickelt wurde das erste barrierefreie und intelligente System auf Basis mehrerer technischer Geräte, mit dem die Nutzer*innen mit einfachen Gesten aktiv an Meetings teilnehmen können.

Die technischen Hilfsmittel können dabei gleichzeitig zur Anwendung kommen und zusammenspielen. Unter anderem können Gesichtsausdrücke und Körpersprache über einen Kopfhörer oder mittels Braille-Zeile mitgeteilt werden.

Personen finden

Daneben seien laut Reinhard Koutny, Doktorand an der JKU, auch räumliche Informationen wesentlich – etwa über die Anordnung der Meetingteilnehmer*innen – die unter anderem mithilfe von Smartwatches übermittelt werden können. Nicht nur können blinde Teilnehmer*innen ermitteln, wer rechts von ihnen sitzt, mit dem sogenannten „Exploration Mode“ („Erkundungs-Modus“) etwa können sie auch erfragen,  wo jene Person sitzt, mit der sie sich in der Pause unterhalten haben.

Die Meetingteilnehmer*innen sind im System vermerkt und können markiert und intuitiv gefunden werden. Das funktioniert laut Koutny über eine freie Handbewegung. „Je näher man der Zeigerichtung kommt, desto stärker vibriert die Smartwatch“, sagt er. 

Virtuelles Whiteboard

Ein weiteres Problem für Blinde ist es, wenn Inhalte auf Bildschirmen und Tafeln  präsentiert werden. Damit sie diese mitverfolgen und aktiv am Meeting partizipieren können, hat das Forscherteam zusätzlich ein virtuelles Whiteboard entwickelt, das auf mehreren Bildschirmen im Raum dargestellt werden kann. „Dieses beinhaltet Notizen, die unterschiedlich angeordnet sind“, so Koutny. 

Die Notizen werden über eine App erstellt. Um das Whiteboard als blinde Person nachzuvollziehen, braucht sie ein Handy: „Wenn sie das Smartphone in die Hand nimmt, baut sich virtuell das Whiteboard mit den Notizen auf“, sagt Koutny. Die Person hält das Handy vor sich und bewegt es. Kommt es einer der virtuellen Notizen nahe, vibriert es. „Wenn die Person dann der Notiz ist, wird sie vorgelesen“, sagt der Informatiker. Drückt sie die Lautstärke-Taste am Handy, kann sie die Notiz virtuell „greifen“ und am Whiteboard herumschieben. „Die anderen Personen im Raum sehen das dann auf den Bildschirmen.“ 

Personalisierte Nutzung

Während speziell die Übermittlung der Informationen in haptische Signale für viele blinde Menschen intuitiv ist, weil sie bereits gelernt haben, mit Haptik umzugehen, sei bei jenen, die nur die Sprachausgabe nutzen, eine gewisse Einlernphase erforderlich, erklärt der Forschungsleiter Klaus Miesenberger. Ziel des Projekts, das voraussichtlich bis Juni 2022 läuft, sei es nicht nur ein fertiges Produkt zu haben, sondern auch zu ermitteln, welche Informationen für die Anwender*innen relevant sind und wie diese sinnvoll übermittelt werden können. „Wir gehen stark davon aus, dass das von dem jeweiligen Nutzer und seinen Fähigkeiten abhängt.“ 

Menschen, die etwa an einer altersbedingten Makuladegeneration erkranken, können nicht nur erblinden, sondern auch ihr haptisches Gefühl verlieren. Je nach medizinischer Diagnose können die Zugänge zum System somit unterschiedlich ausfallen. „Das Entscheidende an diesem System ist, dass es die Möglichkeit der Personalisierung bietet“, sagt Miesenberger. Die Anwender*innen können somit selbst entscheiden, welche Funktionalität sie wie und wann einsetzen wollen. Funktioniert etwa das haptische Gefühl nicht, können Nutzer*innen per Sprachausgabe mit dem System interagieren. 

Künstliche Intelligenz

Aktuell finden die ersten Schritte der Evaluierung statt. Mittels künstlicher Intelligenz sollen künftig handschriftliche Elemente oder andere Objekte sowie bestimmte Mimiken noch besser erkannt werden und Auskunft darüber geben, ob eine Person etwa Zustimmung, Ablehnung oder Freude signalisiert.

Kamera liest blinden Wiener*innen Bücher vor

Blinde und sehbeeinträchtigte Wiener*innen können seit einigen Wochen durch Bücher schmökern und sich diese vorlesen lassen. Zur Anwendung kommt die smarte Sehhilfe OrCam MyEye 2.0, die in der Hauptbücherei ausgeborgt werden kann. Das auf künstliche Intelligenz (KI) basierte Vorlesegerät, welches an beinahe jedem Brillengestell befestigt werden kann, wird mithilfe intuitiver Handgesten gesteuert und folgt automatisch dem Blick der Anwender*innen. Die visuellen Daten aus Büchern oder jeder anderen Oberfläche werden dabei in gesprochener Form offline und in Echtzeit über einen kleinen Lautsprecher wiedergegeben. 

Gerät erkennt Gesichter

Auch außerhalb der Wiener Hauptbibliothek kann OrCam viele Alltagssituationen erleichtern. So erkennt das kabellose und leichte Gerät automatisch bekannte Gesichter, Geldscheine und Produkte innerhalb von Sekunden und teilt sie den Nutzer*innen mit. Besonders beim Einkaufen kann dies eine außerordentliche Hilfe sein.

Zudem eignet sich das technologische Hilfsmittel auch für Menschen mit Lesemüdigkeit und Leseschwäche sowie bei allen Augenerkrankungen und jedem Level eines Sehkraftverlustes. Das technische Hilfsmittel gibt es in 25 Sprachen und ist in mehr als 40 Ländern verfügbar. Entwickelt wurde die Sehhilfe vom gleichnamigen israelischen Technologieunternehmen OrCam, welches sich auf KI-basierte Sehhilfen spezialisiert hat.

Hat dir der Artikel gefallen? Jetzt teilen!

Andreea Iosa

Andreea Iosa beschäftigt sich mit neuesten Technologien und Entwicklungen in der Forschung – insbesondere aus Österreich – behandelt aber auch Themen rund um Raumfahrt sowie Klimawandel.

mehr lesen Andreea Iosa

Kommentare