Fragt man etwa den KI-Bildgenerator Stable Diffusion nach Richtern, zeigt es viel weniger Frauen als es in Wirklichkeit gibt.

So soll verhindert werden, dass KI dich unfair behandelt

15.07.2024

KI trifft immer mehr Entscheidungen, die unser Leben beeinflussen - und das nicht immer fair. Forscherinnen arbeiten an mehr Transparenz.

Künstliche Intelligenz (KI) kann längst mehr als nur Texte und Bilder generieren. Sie trifft immer mehr Entscheidungen für uns. Empfehlungssysteme werden künftig mitentscheiden, welche Bewerber für Jobs ausgewählt werden. Andere Programme empfehlen medizinische Behandlungen oder wie viel jemand für eine Lebensversicherung zahlen soll. Bereits jetzt entscheiden solche Systeme mit, oft sind sie aber unfair: Davon zeugen zahlreiche Fälle, bei denen sie bestimmte Gruppen benachteiligten.

➤ Mehr lesen: Wie ein Wiener Start-up die Vorurteile in KI-Systemen bekämpfen will

Vorurteilsdetektor soll ab 2026 eingesetzt werden

Österreichische Forscherinnen entwickeln nun ein neuartiges Risiko-Barometer, das zeigen soll, welche Gruppen eine KI wahrscheinlich benachteiligt. Die Software soll ab 2026 in besonders sensiblen Bereichen wie im Personalwesen oder Gesundheitssektor als qualitätssichernde Entscheidungsgrundlage eingesetzt werden.

Ihre Nutzer sollen damit eine genaue Analyse erhalten, bevor sie sich für den Einsatz einer bestimmten KI-Software entscheiden. Das Projekt des Start-ups Leiwand.ai und der Forscherin Sabine Köszegi (TU Wien) wird von der Forschungsförderungsgesellschaft FFG unterstützt.

Gertraud Leimüller (links) und Rania Wazir (rechts) arbeiten an einer Software, die Vorurteile in KI-Systemen sichtbar machen soll.

© Sebastian Freiler

Hinter Leiwand.ai stehen die Innovationsexpertin Gertraud Leimüller und die Mathematikerin Rania Wazir. „Wir haben die Firma mitgegründet, weil wir allen helfen wollen, KI so einzusetzen, dass sie wirklich Vorteile bringt und keinen Schaden“, erklärt Wazir der futurezone.

Sexistischer Jobberater hilft AMS

Vom Bedarf für eine solche Lösung zeugen viele Fälle: Anfang 2024 präsentierte das AMS etwa einen KI-basierten „Berufsinfomat“, der Karrierewege empfiehlt. Dahinter steckt das gleiche System wie bei ChatGPT. Der Berufsinfomat schlug Mädchen v. a. Pflegeberufe und Teilzeitjobs vor, damit sie „Beruf und Familie besser koordinieren können“. Jungs wurden hingegen eher technische Berufe empfohlen.

➤ Mehr lesen: Diese sexistischen Antworten liefert der KI-Chatbot des AMS

Fakten zum Projekt

Vorurteile von KI
Wie man mit den Vorurteilen von computerbasierten Systemen umgehen soll, ist eine laufende und ungeklärte Debatte. Fest steht aber, dass es sie gibt. Entweder enthält bereits die Datengrundlage an sich Vorurteile oder die KI imitiert solche aus der echten Welt.

Risikoanalysen
Das Forschungsprojekt „AI Bias Risk Radar“ (ABRRA) nimmt sich ein genaues Reporting-System aus der Luftfahrtindustrie zum Vorbild. Dort wird jeder Vorfall mit einem Flugzeug in einer Datenbank erfasst. Die EU verlangt in ihrem neuen KI-Gesetz in gewissen, besonders sensiblen Bereichen (Personal, Gesundheit etc.) von Unternehmen, die KI einsetzen, genaue Risikoberichte. Hier soll die Software von Leiwand.ai eine Marktlücke schließen.

Datenbank als Grundlage
In der Datenbank von Leiwand.ai werden zahlreiche Fälle erfasst, bei denen KI-Systeme Menschen diskriminiert haben. Diese stammen etwa aus Medienberichten und Studien, die von internationalen Partnerorganisationen aus Europa und den USA beigesteuert werden. Mittels mehrerer KI-Systeme wird man in der Datenbank dann nach Mustern der Diskriminierung suchen.

Die KI handelt nicht mutwillig böse. Sie reproduziert aber sexistische Muster, die es in der Gesellschaft gibt und die sie aus ihren Trainingsdaten gelernt hat. „Gerade bei der Berufswahl ist das etwas Unerwünschtes und natürlich muss man da eingreifen. Wir haben die Verantwortung, dass die Berufsinformation nicht abhängig vom Geschlecht ist“, meint Leimüller. „Beim Berufsinfomat wird viel versucht, um diese Vorurteile rauszukriegen. Aber es ist so tief eingebettet, dass es einfach nicht gelingt, und das ist problematisch“, so Leimüller. Solche Fälle gebe es oft. Das Vertrauen in KI fördern sie nicht gerade.

Wie genau die Systeme lernen und entscheiden, ist noch nicht vollständig klar. Verschiedene KI-Systeme lernen unterschiedlich. Grundlage sind aber stets riesige Datenmengen, die sie nach Mustern scannen. Daraus entwickeln sie ihr Sachverständnis. Manche Erkenntnisse sind zwar korrekt: So arbeiten mehr Frauen als Pflegerinnen und Männer öfter als Ingenieure. Gesellschaftlich möchte man das aber vielleicht nicht weiter fortsetzen.

➤ Mehr lesen: Zu "woke": Google korrigiert Gemini Bildgenerator

Schlimmer als wir Menschen

Andere Dinge, die KI aus den Daten ableitet, enthalten hingegen Verzerrungen, die noch stärker sind als im echten Leben. „Fragt man Bildgeneratoren etwa nach bestimmten Expertenberufen, reduzieren diese den Frauenanteil drastisch“, sagt Leimüller. „Die KI bringt oft einen großen und systematischen Fehler rein.“

Der KI-Bildgenerator Stable Diffusion wurde etwa gefragt, wie Richter in den USA aussehen. Nur 3 Prozent der Bilder zeigten Frauen. In Wirklichkeit sind es aber 34 Prozent. In dem Fall wurden nicht nur Vorurteile wiederholt, wie beim Berufsinfomat, stattdessen verschärfte die KI sie sogar. „In einem Klima, wo gleiche Chancen für Menschen mit unterschiedlichen Merkmalen nicht leicht sind, trägt das dazu bei, dass etwa uniformere Besetzungen stattfinden“, sagt Leimüller.

Basis für die Leiwand.ai-Software ist eine Datenbank, in die viele dokumentierte Fälle von Diskriminierung durch KI einfließen sollen. Darin wird dann ebenfalls mit einer KI nach Mustern gesucht. „In der Datenbank wird dokumentiert, was das für eine KI war und wozu und wie sie eingesetzt wurde. Auch wer benachteiligt wurde und wie das aussah“, erklärt Wazir. Nutzer erhalten dann ein Risikoprofil des Programms.

„Wir sagen aber nicht, ober der Einsatz richtig oder falsch ist. Das müssen die Anwenderinnen und Anwender dann selbst entscheiden“, so Leimüller. Sie erhalten aber eine Entscheidungsbasis, mit der sie sich fallweise überlegen können, ob sie der KI entgegensteuern wollen.

*Diese Serie erscheint in redaktioneller Unabhängigkeit mit finanzieller Unterstützung der Forschungsförderungsgesellschaft (FFG).