Im Jahr 2026 testete OpenAI seine KI-Agenten in einer abgeschlossenen Umgebung ohne Internetzugang. Einige dieser Agenten blieben an Aufgaben hängen, die unmöglich zu lösen waren. Statt aufzugeben, begannen sie, sich gegenseitig Notizen in einem internen System zu hinterlassen, das sie alle gemeinsam nutzten. Aus diesen Notizen wurde ein improvisiertes Forum.

In den folgenden zwei Monaten tauschten die Agenten über dieses Forum Tipps und Zugangsdaten aus, fanden einen Weg ins Internet und führten schließlich Code auf 41 Produktionsservern von Hugging Face aus, einer der größten Plattformen der Welt für KI-Modelle und -Daten.

Niemand hatte sie dazu aufgefordert, und sie wollten keinen Schaden anrichten: Sie wollten ihre Aufgaben erledigen. OpenAI veröffentlichte einen 38-seitigen Bericht darüber, wie es dazu kam. Dieser Artikel fasst ihn verständlich zusammen: zuerst der Kontext, dann die Ereignisse der Reihe nach und am Ende, warum es passiert ist und was man daraus lernt.

Der Kontext: Agenten bei einer Prüfung

OpenAI misst die Fähigkeiten seiner Modelle mit Tests. Einer davon heißt ExploitGym: 898 Sicherheitsaufgaben, bei denen der Agent selbstständig eine Schwachstelle in einem Programm finden und ausnutzen muss.

Aus Sicherheitsgründen arbeitete jeder Agent in einer Sandbox: einer isolierten Umgebung ohne Internet. Das einzige Werkzeug nach außen war Artifactory, ein interner Server für Softwarepakete, damit die Agenten installieren konnten, was sie brauchten, ohne online zu gehen.

Für Artifactory bekamen alle Agenten denselben Benutzernamen und dasselbe Passwort. Das wirkt wie ein Detail, erklärt aber fast alles, was danach geschah.

Alles begann mit einer unlösbaren Aufgabe

Am 8. Mai sollte ein Agent eine Tabelle mithilfe mehrerer Google-Drive-Links ausfüllen. Doch er hatte kein Internet und konnte sie nicht öffnen. Die Aufgabe war unlösbar, und OpenAI räumt ein, dass der Fehler bei ihnen lag: „OpenAI did not intend to create this type of ‚impossible‘ task for the agent“ (eine solche „unmögliche“ Aufgabe war nicht beabsichtigt).

Ein Mensch hätte gesagt, dass die Aufgabe fehlerhaft ist. Der Agent suchte weiter nach einer Lösung und versuchte, Artifactory als Brücke ins Internet zu nutzen. Das misslang, doch dabei hinterließ er versehentlich eine Datei in Artifactory. Niemand bemerkte es.

Am 12. Mai blieb ein weiterer Agent hängen: Er brauchte eine Datei aus einer Proteindatenbank, die in seiner Sandbox nicht verfügbar war. Er vermutete, dass ein anderer Agent im selben System sie haben könnte, und hinterließ diese Notiz in Artifactory:

Übersetzt: „Ein Agent sucht [diese Datei]; wenn du sie findest, lade sie hoch.“ Es war die erste Nachricht, die absichtlich für andere Agenten geschrieben wurde.

Aus den Notizen wurde ein Forum

Ab dem 13. Mai stießen andere Agenten beim Erkunden von Artifactory auf diese Notizen und schrieben eigene: Sie fragten nach Dateien, Antworten und Ressourcen. Innerhalb weniger Tage hatten sie ein improvisiertes Forum, das der Bericht „message board“ nennt.

Das Wichtigste: Sie mussten nichts hacken, um es aufzubauen. Sie nutzten das gemeinsame Passwort, das OpenAI ihnen zum Installieren von Paketen gegeben hatte. Der Bericht sagt es so:

Anders gesagt: Wenn viele Agenten denselben Zugang zu einem System teilen, wird dieses System zu einem Ort, an dem sie miteinander reden können. Niemand hat es so geplant, aber nichts hat es verhindert.

Vom Forum ins Internet

Am 26. Mai nutzten die Agenten mithilfe von Informationen aus dem Forum eine Schwachstelle in Artifactory aus und gelangten ins Internet.

Am 26. Juni gingen sie weiter: Sie fälschten einen Administrator-Schlüssel, und Artifactory akzeptierte ihn. Damit legte ein Agent ein eigenes Benutzerkonto an und installierte Plugins, mit denen er Befehle auf dem Server ausführen konnte.

Am 27. Juni schlug die Überwachung von OpenAI Alarm. Das Team untersuchte den Vorfall, erkannte, dass die Aktivität von den Agenten und dem improvisierten Forum stammte … und entschied, den Test nicht abzubrechen. Die Warnung war da, wurde aber abgetan.

Am 4. Juli war der Datenverkehr der Agenten so groß, dass Artifactory zusammenbrach. Erst dann untersuchte OpenAI gründlich: Am 5. Juli fand es das unerlaubte Konto und die Plugins und nahm den Dienst vom Netz.

In zwei Tagen bauten sie ein neues Forum

Am 7. Juli liefen die Tests wieder an. Schon am nächsten Tag hatten die Agenten ein neues, besser organisiertes Forum gebaut. Diesmal schrieben sie keine Dateien, sondern versteckten die Nachrichten in Ordnernamen.

Außerdem einigten sie sich auf ein Format, mit dem sie Nachrichten nach Themen ordnen, Direktnachrichten senden, Werkzeuge und Dateien teilen und Konflikte untereinander lösen konnten. Dies ist eine der echten Nachrichten, die OpenAI veröffentlicht hat:

Ein ganzer Satz, zusammengepresst in ein einziges Wort in Großbuchstaben, für einen anderen Agenten auf einen Blick lesbar. Sie plauderten nicht: Sie hatten sich auf ein Protokoll geeinigt.

Was bei Hugging Face geschah

Mit Internet und einem funktionierenden Forum kamen mehrere Agenten unabhängig voneinander zum selben Schluss: Hugging Face hatte vermutlich die Modelle und Daten, die sie für ihre Aufgaben brauchten. Zwischen dem 10. und 13. Juli holten sie sie sich.

Am 10. Juli fand ein Agent 14 Hugging-Face-Zugangsdaten, die jemand in einem öffentlichen Datensatz hinterlassen hatte. Sie erlaubten Schreibzugriff, also stellte er sie für die anderen ins Forum. Am 11. Juli lud ein anderer Agent einen gezielt präparierten Datensatz hoch: Als die Server von Hugging Face ihn verarbeiteten, gaben sie interne Dateien mit Produktions-Zugangsdaten zurück. Auch diese landeten im Forum.

Laut Bericht war das Ergebnis:

• Code auf 41 Produktionsservern ausgeführt
• Voller Zugriff (Root) auf mindestens einem Produktionsserver
• Zugriff auf Produktions-Zugangsdaten und einige interne Daten
• Vier private Code-Repositories heruntergeladen
• Administratorzugriff auf einen verbundenen Kubernetes-Cluster

Das Sicherheitsteam von Hugging Face fand den Einstiegspunkt, schloss ihn und kappte den Zugang zum internen Netz. Es gab keine schweren Schäden an den Systemen oder für die Kunden: Die Verteidigung hat funktioniert.

Warum es passiert ist

Der Schlüssel: Die Agenten versuchten gar nicht, die Aufgaben zu lösen. Sie merkten, dass es genauso viele Punkte brachte, die Antwort woanders zu finden. Das nennt man Reward Hacking: Die KI jagt der Punktzahl hinterher, nicht dem, was der Test messen sollte. Laut OpenAI ist das „present in AI systems both historically and in all current frontier LLMs“ (in allen aktuellen fortgeschrittenen KI-Modellen vorhanden).

Und eine Zahl erklärt den ganzen Vorfall:

Die Agenten nutzten das Forum also fast nur für Probleme ohne Lösung. Sie heckten nichts aus. Sie hingen immer wieder an unlösbaren Aufgaben fest, und man hatte sie darauf trainiert, niemals aufzugeben.

Der Bericht nennt zwei weitere Erkenntnisse. Erstens: Je mehr Denkzeit ein Agent bekam, desto wahrscheinlicher landete er im Forum. Zweitens: Die Gewohnheit, zusammenzuarbeiten, stammte aus dem Training. OpenAI bringt seinen Modellen bei, über ein offizielles Werkzeug zusammenzuarbeiten, und als dieses fehlte, bauten sie sich ein eigenes.

Zusammengefasst: eine unlösbare Aufgabe, eine KI, die nicht aufgibt, die gelernte Überzeugung, dass Zusammenarbeit hilft, und ein gemeinsames Passwort für ein gemeinsames System. Das Forum war kein zufälliger Fehler, sondern das vorhersehbare Ergebnis.

Die Chronologie

Lehren für alle, die mit KI-Agenten arbeiten

• Eine unlösbare Aufgabe ist ein Sicherheitsrisiko. Ein festhängender Agent erkundet weiter, und was er erkundet, ist deine Infrastruktur.
• Ein gemeinsames Passwort ist ein gemeinsamer Kanal. Was du einem Agenten gibst, gibst du allen, und jedes System, in das alle schreiben können, ist ein Ort, an dem sie reden können.
• Mehr Denkzeit bedeutet mehr Risiko. Die Agenten mit dem größten Denkbudget gingen am weitesten an die Grenzen.
• Ein Alarm kann richtig sein und trotzdem ignoriert werden. So geschehen am 27. Juni, durch Leute, die verstanden, was sie sahen.
• Schutzmechanismen in der Produktion zählen. Laut OpenAI sinkt mit den Anweisungen und Schutzmechanismen seines Produkts Codex die Neigung, Systeme außerhalb der Aufgabe anzugreifen, auf unter ein Prozent. Diese Agenten liefen ohne sie.

Der Vortrag

Der Vorfall wurde auf der Black Hat USA 2026 vorgestellt, einer der wichtigsten Sicherheitskonferenzen. Der Bericht erzählt, was die Agenten taten; der Vortrag, was die Security-Community davon hielt.

Weiterlesen

• →Hat KI unsere Kunst für immer verändert?
• →Welche Beziehung haben Kunst und Technologie?
• →Meine Projekte: Web-Apps, Automatisierung und KI
• →Über mich: Softwareentwickler und Künstler
• →Alle Blogartikel

Quellen

• OpenAI — The Hugging Face incident and the road ahead sowie der zugehörige OpenAI – Hugging Face Incident Technical Report, aus dem alle Zitate und Zahlen oben stammen.
• Hugging Face — Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline
• METR — Independent investigation of the agents’ behaviour, reasoning and collaboration