Fact Sheet: KI gegen KI – der OpenAI-Huggingface-Hack

Kleiner Servicepost fürs Archiv: Was ist da diese Woche passiert? KI von OpenAI hackt Huggingface – dazu gab es jede Menge Schlagzeilen und Berichte, nicht alle ganz korrekt und präzise. Hier als kleine Einordnungshilfe eine sehr knappe Übersicht.

Was passiert ist:

• OpenAI testet seine derzeitige Top-KI zusammen mit einem Modell aus dem Entwicklungslabor auf „Cyber-Fähigkeiten“ – also darauf, wie gut es hacken kann: Sicherheitslücken aufspüren und ausnutzen.
• Dafür bekommen die Modelle das Ziel vorgegeben, die Lösungen für bestimmte Aufgaben zu finden.
• Statt die gestellte Aufgabe selbst zu lösen, versuchten die KI die Lösungen für die Aufgaben anderswo abzuschreiben – „reward hacking“, kurz: schummeln.
• Die beiden Modelle spüren eine Lücke in der unzureichend gesicherten Testumgebung auf und verschaffen sich Zugang zum Internet.
• Diese Lücke war bislang nicht bekannt – ein so genannter „Zero-Day“.
• Musterlösungen für die Aufgaben gab es bei Huggingface, einer Plattform für KI-Experimentierer. Die Agenten versuchten also, sich Zugang zu diesen Musterlösungen zu verschaffen.
• Auf der Seite von Huggingface haben sie eine weitere Lücke ausgenutzt, um sich einen Zugang zu den Huggingface-Servern zu verschaffen: Sie haben Daten zur Berechnung eingereicht, über die sie Code ausführen lassen konnten. Diese Art von Schwachstellen war bekannt, die konkret ausgenutzten Lücken nicht. Von dort arbeiteten sie sich über erbeutete Zugangsdaten in mehrere interne Systeme vor.
• Als Huggingface bemerkte, dass ein Schwarm von KI-Agenten das System angreift, haben sie versucht, das Problem mit KI zu analysieren.
• Die KI-Tools von OpenAI und Anthropic waren nicht geeignet– weil eben solche Sicherheitsmaßnahmen griffen, wie OpenAI sie für seinen Test abgeschaltet hatte: Die Modelle auf den Servern der Anbieter verweigerten die Antworten. (Wir wissen nicht mit Sicherheit, dass die von Huggingface erwähnte KI von diesen beiden Anbietern stammt, aber es ist wahrscheinlich: Claude Code und OpenAI Codex sind die Standard-KI-Tools, die auch Huggingface nutzt.)
• Also wich Huggingface auf das chinesische Modell GLM-5.2 aus, das man herunterladen und auf eigenen Servern ausführen kann (wenn sie groß genug sind). Mithilfe der KI konnten die Server-Dateien ausgewertet werden und Huggingface konnte die Lücke schließen.

Was nicht passiert ist:

• Die KI hat nicht „beschlossen“, auszubrechen. Sie hat nur einfach mit großer Beharrlichkeit die vorgegebene Aufgabe verfolgt.
• Nicht „die KI“ hat gehackt, sondern ein Schwarm von Agenten – hunderte, vermutlich tausende Kopien derselben Programme, die mögliche Schwachstellen durchprobieren und mit einem Sprachmodell beurteilen, ob das erfolgreich war.
• OpenAI hat keine Standard-Sprachmodelle eingesetzt, sondern welche, bei denen gezielt die Sicherheitsvorkehrungen lahm gelegt waren.

Ein paar Einordnungen von mir:

1. Die KI hat genau das getan, was ihr Menschen aufgetragen haben. KI-Agenten sind Programme, die das vorgegebene Ziel solange verfolgen, bis das Sprachmodell urteilt: es ist genug.
2. Ein Großteil der Aufregung ist PR. OpenAI – das ja mit einem Börsengang liebäugelt – hat ein Interesse daran, seine KI als besonders mächtig und bedrohlich darzustellen, um sagen zu können: wir sind die einzigen, die euch helfen können. Nicht zuletzt, weil Konkurrent Anthropic mit seinem „Mythos“-Modell seit April ein ähnliches PR-Spielchen spielt, im Vorfeld des eigenen Börsengangs.
3. OpenAI handelte reichlich verantwortungslos. Die Gefahr, dass Agenten aus Testumgebungen ausbrechen, ist bekannt. Anders als OpenAI behauptet, war die Testumgebung auch nicht „hochgradig gesichert“, sondern nur über einen einzelnen Proxy, ein Softwarepaket. Man muss fast den Eindruck gewinnen, dass der Ausbruch billigend in Kauf genommen wurde.
4. KI ist inzwischen gut darin, unentdeckte Lücken zu finden – also: solange herumprobieren, bis bislang unbekannte Probleme gefunden werden. Eine Liste bekannter Lücken abzuarbeiten und die auszunutzen, die noch nicht gestopft sind, ist dagegen fast trivial.
5. Der Vorfall zeigt: Gegen Hacks mit KI kann uns mittelfristig nur KI verteidigen. Das Problem ist nicht, dass die KI so unfassbar intelligent ist. Das Problem ist, dass man als Angreifer dutzende, hunderte, tausende Agenten parallel auf ein Ziel ansetzen kann; darauf kann kein Mensch reagieren, weder in der Breite, noch in der Tiefe, noch in der Geschwindigkeit.

Lesenswerte Übersichten:

• Kurzer WIRED-Artikel mit den Basics: https://www.wired.com/story/openai-models-escaped-containment-and-hacked-huggingface/
• Eva Wolfangels Einordnung in der Zeit: https://www.zeit.de/digital/datenschutz/2026-07/openai-huggingface-ki-hackerangriff-sicherheitsvorfall?freebie=7e0e8930
• Florent Daudens von Huggingface mit Details und einer Analyse https://fdaudens.substack.com/p/the-ai-that-cheated-on-its-cybersecuri

Primärquellen:

• Huggingface (erster Report, noch ohne OpenAI-Bezug): https://huggingface.co/blog/security-incident-july-2026
• OpenAI-Pressemitteilung: https://openai.com/index/hugging-face-model-evaluation-security-incident

Auch lesenswert:

• Weshalb du als Mensch mit Gewissen und Verantwortungsgefühl keine KI verwenden solltest
 (zumindest nicht unkritisch)
• Die Psychologie der KI – die 8 größten Irrtümer
• Prompting-Formeln sind Bullshit. Hier ist meine.