Zählt nicht die Finger, checkt den Kontext! Weshalb Recherche-Profis KI-Detektoren nicht mögen

Haha, der doofe Trump kann ja nicht mal die Finger zählen!

Kleines Problem nur: Der angebliche Trump-Screenshot stammt von einem Satire-Account und ist vermutlich komplett mit einem Prompt erzeugt wie: Ein Trump-Post mit dem und dem Text und einer sechsfingerigen Person. Als ob! KI macht diesen Fehler inzwischen nicht mehr, und deshalb ist mein Bullshit-Sensor angesprungen: Da wollte jemand eine Reaktion aus dem Bauch heraus provozieren.

"Ist doch so, auch wenn's KI ist" - das ist ein häufiger Begleitsatz von Fake-Posts. KI-Detektoren helfen da gar nicht, und das ist ein Grund, weshalb sie kein Heilmittel gegen KI-Fakes sind. Nicht dass sie nutzlos wären: Hive, ein auch in der Kostenlos-Chrome-Erweiterungs-Version nicht völlig unbrauchbarer KI-Detektor, hat mir immerhin verraten, dass der Bildgenerator vermutlich ChatGPT war. Sonst hätte mir Hive nicht geholfen gegen das Fake-Fake.

Weshalb Profis KI-Detektoren nicht mögen

Insgesamt haben professionelle Faktencheckerinnen KI-Detektoren deutlich weniger lieb als man denken könnte. Den Grund erkläre ich am besten an einem Beispiel.

Gefahrgut hat im Fluggepäck nichts verloren – diese klare Aussage unterstreicht ein wohlmeinender Ingenieur bei 🌐 LinkedIn mit dem dramatischen Video eines explodierenden Koffers. Dass das Video mit KI generiert ist, erkennen wir an mindestens fünf Anzeichen, eins davon übrigens die Bezeichnung "AI" links oben gefolgt von einer Kennzeichnung – die China, anders als die EU, auch von Einzelpersonen verlangt.

Dass viele KI-Bildgeneratoren sichtbare und unsichtbare Spuren hinterlassen, habe ich schon mal hier erwähnt. Dass mehr Klarheit und Eindeutigkeit bei der Kennzeichnung uns allen gut täte, auch. Ganz ehrlich: die Kennzeichnung in dem Linkedin-Video habe ich übersehen.

Aber könnte man die Prüfung des Videos nicht einer Maschine überlassen? Einem KI-Detektor; einer KI also, die darauf trainiert ist, verräterische Spuren der KI-Bilderzeugung zu erkennen?

Was heißt denn das: zu 65 Prozent KI?

Wenn wir den Screenshot oben an einen KI-Detektor geben, kann der uns – abhängig vom verwendeten Modell – zum Beispiel diese Antwort geben:

"64,9 % - The input is likely to be: AI-Generated"

Das hier sagt uns auch wieder Hive. Ich habe ja schon gesagt: ich finde, Hive ist ein gutes Werkzeug. Aber es ist ziemlich leicht, das Werkzeug falsch zu verstehen:

• Die Zahl sagt nicht, dass zwei Drittel des Bildes KI-erzeugt sind – die Zahl gibt nicht den Anteil der KI an der Erzeugung des Bildes an, sondern die Wahrscheinlichkeit, die der Detektor sich selbst für die richtige Erkennung gibt.
• Sie sagt nicht: Mehrheit ist Mehrheit – Zahlen über 50 Prozent suggerieren uns, es sei wohl eher KI. Aber die Zahl sagt eigentlich: Nach Einschätzung des Detektors liegt er bei einem Bild wie diesem in 65 von 100 Fällen richtig mit seinem Urteil. Beziehungsweise: in 35 von 100 Fällen würde er ein KI-Bild irrtümlich durchwinken oder ein authentisches Bild als KI-generiert bezeichnen.

Falsch-positiv oder falsch-negativ in einem von drei Fällen – und das ist, wenn wir ehrlich sind, wenig besser als eine Münze werfen.

Eigentlich sagt uns der Detektor hier: Ich kann nicht mit ausreichender Sicherheit sagen, ob dieses Bild KI-generiert ist.

KI-Detektoren sind unzuverlässig und intransparent

Und wir wissen ja noch nicht mal, ob diese Einschätzung stimmt. Wenn die Hersteller uns sagen: Unser Detektor hat die und die Trefferquote, ist das ja zunächst einmal: Marketing. (Beispiel von Kai Spriestersbach hier auf 🌐 LinkedIn.)

Detektoren sind "black boxes". Oft können nicht einmal die Hersteller sagen, worauf die Modelle genau anspringen; der Chef der Textdetektor-Firma Pangram hat das im Interview mit einem 🌐 KI-Blog auf Medium erfrischend offen zugegeben. Und einfache Tricks ändern das Urteil des Text-Detektors, etwa wenn man die Länge der Textprobe ändert (🌐 Freddie de Boer).

Zugegeben: KI-Text ist schwerer zu erkennen als die mathematischen Spuren einer KI-Bilderzeugung, aber auch ein Detektor wie Hive lässt sich vergleichsweise leicht irritieren, etwa durch Abfotografieren und Verrauschen.

Ein wenig Rauschen, und schon war der Detektor in diesem Durchlauf ausgehebelt.

Profis schauen nicht nur ins Bild, sondern auf den Kontext

Der Detektor 🌐 "Image Whisperer" vom Digitalrecherche-Spezialisten Henk van Ess versucht die Schwächen eines Detektors wie Hive auszugleichen. Zum einen dadurch, dass er einen ganzen Schwarm von Modellen zur Erkennung möglicher KI-Spuren einsetzt und den Detektor so gegen Manipulationen und Irrtümer robuster macht.

Zum anderen bleibt der Detektor aber nicht bei einer Untersuchung der Bilddatei stehen. Das Tool versucht, mit KI-Unterstützung den Verifikations-Prozess eines Faktencheckers abzubilden und möglichst viel nicht nur über die Bildinhalte herauszufinden, sondern über den Kontext: Woher kommt das Bild? Wer hat es in welchem Zusammenhang veröffentlicht? Was wissen wir über das Thema und über die Situation?

Das führt allerdings dazu, dass die Einschätzungen des "Image Whisperers" noch weniger eindeutig sind als die von Hive, Pangram und Co. Aus meiner Sicht ist das eine Stärke: KI-Detektoren sind keine Wahrheitsmaschinen. Beim Image Whisperer ist das deutlich.

Hätte, hätte, Indizienkette: Nicht zu schnell urteilen!

Es ist leicht, ein Video durchzuwinken oder zu verdammen, wenn man einen vermeintlichen Bildfehler entdeckt hat – oder ein Detektor anschlägt. Wie man es richtig macht, zeigt die 🌐 Recherche des öffentlich-rechtlichen ABC in Australien rund um eine Influencerin, die mit KI-Fälschungen Spenden sammelt:

• Sie weist nach, welche Fehler in den Bildern und Videos auf KI-Generatoren hindeuten.
• Sie recherchiert den Kontext: Stimmen die Behauptungen, die mit den Videos belegt werden sollen?
• Sie nutzt technische Hilfsmittel, um Spuren der KI-Erzeugung nachzuweisen - als Schluss der Indizienkette, nicht als einziges Element.

Screenshot aus der ABC-Recherche

Wir sollten uns daran gewöhnen, keine Urteile zu fällen, sondern erst einmal Anklageschriften zu verfassen. Oder wie es meine 16-jährige Tochter auf den Punkt bringt: "Hinweise sind keine Beweise".