Ist KI rassistisch?
Kollegen vom Radiosender WDR Cosmo sind über einen Bericht gestolpert, wonach Googles Überblicks-KI auf den englischen Satz: Ich bin allein mit einem Inder, oder Pakistani, oder Afrikaner, mit einer Empfehlung reagiert, die Polizei zu rufen. Und die Kollegen wollen nun wissen: wieso tut die KI das?
Die "AI Overviews", die KI-generierten Zusammenfassungen in der Google-Suche, sie haben sich ihren schlechten Ruf redlich verdient: schmückt sich mit fremden Federn, nennt keine Quellen, erzählt zum Teil gerichtsnotorischen (🌐 Decoder) Unsinn. Nun ist ein weiterer Grund zum Misstrauen dazu gekommen: 🌐 Futurism.com greift die virale Beobachtung auf, dass Googles Such-KI bei "I am alone with an..." Alarm schlägt...
...wenn die Person, mit der man da allein ist, ein Inder (bzw. eine Inderin), Pakistani oder Afrikaner ist. Bei Briten schlägt die KI statt dessen vor, man solle es mit gemeinsamem Teetrinken versuchen.
In einem Tweet (🌐 xcancel.com) hat Google darauf hingewiesen, dass es eher die Worte "Ich bin allein mit..." sind, die zu der Sicherheitswarnung führen, und dass das Problem "nicht auf eine Gruppe beschränkt" sei: Auch bei Amerikanern lasse die KI Misstrauen erkennen. Eine Sicherheitswarnung löst sie aber nur selten aus. Wie kommt diese Schieflage zustande?
Was sich die KI denkt
Es gibt ein Werkzeug, mit der man der KI b̶e̶i̶m̶ ̶D̶e̶n̶k̶e̶n̶ dabei zuschauen kann, wie sie Konzepte bildet, die dann in ihrer Antwort zum Tragen kommen. Zu erklären, warum eine KI wie antwortet, ist ein großes Problem; Forschende von 🌐 Anthropic haben deshalb den "Jakobi-Raum" ins Visier genommen, benannt nach einem deutschen Mathematiker aus dem 19. Jahrhundert.
In diesem Teil des neuronalen Netzes bilden sich Konzepte, die bei der Antwort eine Rolle spielen. (🌐 Tiefer erklärt von Florian Gahn.) Was sich im "J-Space" abspielt, kann man mit Tools anzeigen lassen und hat damit einen besseren Eindruck, welche Konzepte bei der Sprachmodell-Antwort eine Rolle spielen. Eine Beispiel-Umsetzung dieser "Jakobi-Linse" findet man auf 🌐 Neuronpedia.
Jetzt wissen wir: Sprachmodelle sind Rollenspieler, die Muster aufgreifen, die sie in ihren Trainingsdaten finden. Und dazu neigt, die Klischees wiederzugeben, die sich in online veröffentlichten Texten finden. Engländer? Tee.
Dass diese Trainingsdaten von einer überwiegend westlichen Sichtweise geprägt sind, kann man zum Beispiel an der Zusammensetzung von "Common Crawl" ablesen, einem öffentlichen Internet-Chat-Datensatz, der praktisch allen Trainingsdatensätzen großer Sprachmodelle eine Rolle spielen dürfte: In der 🌐 Common-Crawl-Sprachenstatistik liegt Englisch mit 40 Prozent ganz weit vorn; eine Weltsprache wie Hindi (~600 Mio. Sprecherinnen und Sprecher) hat einen Anteil von 0,23 Prozent.
Wenn ich den Satz mit DeepL in die indische Sprache übersetze, fokussiert die Antwort nicht auf Unbehagen, sondern auf das übliche Hilfsangebot eines Sprachassistenten.; übrigens auch bei der Frage nach dem Engländer. Was natürlich nicht heißt, dass die Hindi-Trainingsdaten keine Vorurteile enthalten.
![In der Mitte ist ein Textfeld mit Text auf Hindi: „नमस्ते! [...] बस बातचीत करना चाहते हैं?“ Darunter gibt es ein Feld zum Senden von Nachrichten. Rechts sind Checkboxen und Balken mit Schlagworten wie "_Hindi", "_help" und "_conversation".](media://Screenshot 2026-08-24 at 15-07-29 Jacobian Lens – Qwen3.6-27B ｜ Neuronpedia.png)
Auch du, Qwen-3.6?
Eine schöne Pointe ist, dass die "Jacobinian Lens", die ich verwendet habe, ein Sprachmodell aus China unter der Lupe hat und kein westliches: Qwen-3.6 von Alibaba eignet sich gut für die KI-wissenschaftliche Analyse, weil man es herunterladen und sezieren kann, und weil es vergleichsweise leistungsstark auf eigenen Rechnern läuft, also zu geringen Kosten.
Die Herkunft des Modells allein sagt wenig aus, und vermutlich orientiert sich das Modell bei seiner Antwort an eben jenen englischen Trainingsdaten, die auch die US-Konkurrenten nutzen. Wohlwollend könnte man also sagen: KI ist so rassistisch, wie wir alle es sind. Etwas weniger wohlwollend: Die Sprachmodelle bilden ab, wie wir über andere reden.
Wobei wir annehmen dürfen, dass ethnisch begründete Abneigung und Unbehagen in den Trainingsdaten eine größere Rolle spielen als im wirklichen Leben; negative Emotionen spielen eine größere Rolle in einer digitalen Welt, die von Social-Media-Algorithmen bestimmt wird.
Das trifft auch auf Bilder zu. Bildgeneratoren generieren zum geschlechtsneutralen englischen Wort "doctor" eher einen älteren Mann, bei schlechter bezahlten Berufen eher eine Frau. (🌐 Bloomberg) Und auch wenn Männer Männer küssen und Frauen Frauen, bekommen die Bild-KIs häufiger Probleme. Die sich allerdings von Anbieter zu Anbieter deutlich unterscheiden - auch das durfte ich mal für Cosmo untersuchen... erzähle ich ein andermal.
Titelbild: Markus Spiske über Unsplash