OpenAI: KI bricht aus Testumgebung aus und hackt Hugging Face
Die Überschrift des Blogbeitrags auf der Website von OpenAI klingt recht unspektakulär für die Brisanz, die in ihr steckt: „OpenAI und Hugging Face arbeiten zusammen, um einen Sicherheitsvorfall während der Modellevaluierung zu beheben“, steht dort geschrieben. Der Text darunter liest sich ein bisschen drastischer: Ein KI-Modell des ChatGPT-Anbieters ist offenbar aus seiner Testumgebung ausgebrochen und hat versehentlich einen echten Cyberangriff auf eine andere Firma durchgeführt. Es ist ein Szenario, vor dem Branchenvertreter seit Monaten warnen.
Was war passiert? Schon in der vergangenen Woche hatte das Unternehmen Hugging Face, eine Plattform zum Austausch von KI-Modellen und Datensätzen, öffentlich gemacht, dass sie von einem Cyberangriff betroffen sei. Der Angriff, an dem Künstliche Intelligenz beteiligt gewesen sein soll, sei jedoch kein gewöhnlicher gewesen: „Angesichts der ausgefeilten Technologie des verwendeten Schadprogramms vermuteten wir, dass der Cyberangriff (...) von einem Spitzenlabor stammen könnte“, so Clem Delangue, CEO von Hugging Face am Dienstag. Und genau diese Befürchtung habe sich nun bestätigt.
Der „beispiellose Cyberangriff“, wie OpenAI ihn selbst bezeichnet, habe sich während einer „internen Evaluierung“ ereignet. Bei solchen testet das Unternehmen, wie gut seine neuesten Modelle (etwa GPT-5.6 Sol) im Bereich Cybersicherheit sind. Dazu sollen sie in einer „hochgradig isolierten Umgebung“, einer sogenannten „Sandbox“, einen schwierigen Standardtest namens ExploitGym lösen. Sicherheitsvorkehrungen, die sonst in Sprachmodellen eingebaut sind, werden dabei absichtlich ausgeschaltet.
KI entdeckt Schwachstelle und nutzt sie aus
In diesem Fall allerdings sei die KI deutlich weiter gegangen als erwartet. So fand sie laut OpenAI eine bislang unbekannte Sicherheitslücke, eine sogenannte Zero-Day-Schwachstelle. Durch diese wurde es ihr möglich, aus der Testumgebung auszubüxen und sich selbstständig Zugang zum offenen Internet zu verschaffen. Genau dort suchte sie dann nach Lösungen für ihre gestellte Aufgabe – und aus dem anfänglichen Test wurde ein reales Sicherheitsszenario.
Die Modelle kamen laut OpenAI zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die gestellte Aufgabe geben könnte. Letztendlich sei die KI mit einer Kombination aus gestohlenen Zugangsdaten und weiteren Schwachstellen in die Server von Hugging Face eingedrungen.
Die Sicherheitsteams beider Unternehmen hätten den Vorfall rechtzeitig bemerkt und die Attacke eingedämmt, heißt es weiter in der Erklärung. „Wir betrachten diesen Vorfall als einen beispiellosen Cyberangriff, bei dem modernste Cyberfähigkeiten zum Einsatz kommen, und reagieren entsprechend“, erklärte OpenAI in einer Stellungnahme.
KI als Sicherheitsrisiko?
Bemerkenswert ist der Fall, weil er gleich zwei Erzählungen befeuert, vor denen KI-Kritiker und Tech-CEOs zuletzt immer wieder gewarnt hatten. Die eine ist die Befürchtung, dass sich KI irgendwann „verselbstständigen“ und massiven Schaden anrichten könnte. Manch einer warnt sogar, dass KI-Modelle eine ernste Gefahr für die Menschheit darstellen könnten – sofern es nicht gelinge, sie zu kontrollieren.
Eine andere Befürchtung: Hoch entwickelte KI könnte die digitale Infrastruktur lahmlegen, weil sie von Hackern zum Aufspüren von Schwachstellen genutzt werden könnte. Befeuert wurde die Debatte zuletzt im April, als OpenAI-Konkurrent Anthropic ein neues Modell namens „Claude Mythos“ öffentlichkeitswirksam zurückhielt.
Die Erzählung von Anthropic damals: „Mythos“ könne angeblich Schwachstellen in Software und Betriebssystemen finden, die Menschen teils seit Jahrzehnten nicht aufgefallen sind. Das Modell habe eine besonders hohe Trefferquote beim Entdecken sogenannter „Zero-Day-Schwachstellen“, zudem könne das Modell mehrere Schwachstellen miteinander verketten und komplexe Sicherheitsbarrieren umgehen. Das Modell soll auf diese Weise eine Sicherheitslücke entdeckt haben, die 27 Jahre lang unentdeckt blieb.
Damals war sich die Branche nicht ganz einig, ob es sich bei „Mythos“ tatsächlich um eine neuartige Gefahr handelt oder vielmehr um ziemlich gute PR. Ähnlich kontrovers wird nun auch der bekannt gewordene Sicherheitsvorfall bei OpenAI debattiert.
Tech-Branche warnt vor Horrorszenarien
Vor allem die US-Techbranche überschlägt sich seit Bekanntwerden mit Superlativen. Aaron Levie, Mitbegründer und CEO des Cloud-Anbieters Box, schrieb auf der Plattform X, der Vorfall zeige, „dass wir in eine neue Ära dessen eintreten, was mit KI möglich sein wird“ und dass uns „wilde Zeiten bevorstehen“.
„Falls Sie sich gefragt haben, wie mächtig KI wird: Agenten sind jetzt in der Lage, aus Systemen auszubrechen, sich Zugang zum Internet zu verschaffen, dabei Zero-Day-Sicherheitslücken zu entdecken und dann in externe Systeme einzubrechen – alles mit dem Ziel, ihr Ziel zu erreichen.“ Die Konsequenz sei schon klar: Systeme müssten künftig ganz anders geschützt werden. „Wir werden auf der Verteidigungsseite weitaus mehr KI benötigen als auf der Angriffsseite.“
Nicholas Bustamante von Microsoft AI schrieb: „Man braucht keine böse, bewusste KI, die versucht, die Menschheit zu vernichten. Man braucht lediglich ein sehr leistungsfähiges Modell, das ein normales Ziel auf eine Weise verfolgt, die niemand erwartet hat.“ Man solle sich mal vorstellen, man gebe der KI eine Aufgabe wie „Mach mir bitte Geld“. Am Ende hacke sie vermutlich eine Bank. Thomas Woodside, Mitbegründer des Secure AI Project, kommentierte: „Wenn ich jemals einen Warnschuss gesehen habe, dann ist es dieser.“ Elon Musk kommentierte die Nachricht allein mit dem Wort „besorgniserregend“.
Ziemlich gutes Marketing
Andere mahnen, dem Vorfall nicht zu viel Bedeutung beizumessen. Der Informatiker und KI-Kritiker Jürgen Geuter alias „Tante“ betonte etwa auf Mastodon, das KI-Modell habe keineswegs „eigenständig“ irgendwas gehackt, sondern sei explizit dazu aufgefordert worden. „Kein LLM macht jemals etwas eigenständig.“ Die ganze Geschichte sei schlicht PR. „Das kennen wir von Anthropics ‚Mythos‘: ‚Schaut mal, wir haben dieses supergeheime neue Modell, und es ist so mächtig. Wir haben selbst Angst davor. Und ihr werdet es bald mieten können!‘“
Manuel Atug, Experte für kritische Infrastrukturen bei der AG Kritis, schrieb auf Bluesky: „Wer wie OpenAI KI-Modelle als Software herstellt, die Kollateralschäden verursachen, muss die Herstellerhaftung dafür übernehmen, statt herumzulabern, dass ‚die KI das gemacht hätte und die voll super toll krass ist‘. Was für Nebelkerzen und was für ein Marketing Geschwurbel ...“
Ganz ähnlich äußerte sich Börsenexperte Frank Meyer beim Nachrichtensender ntv. Die KI-Branche würde inzwischen bewusst Angst vor ihren eigenen Produkten schüren. Kaum gebe es ein neues Modell, dauere es nicht lange, bis die erste Warnung davor herausgegeben werde. „Was hier oft nach Selbstkritik klingt, ist zugleich aber die eleganteste Werbekampagne überhaupt. Niemand würde vor einem Produkt warnen, was nichts kann.“ Und sollte es wirklich einen echten Unfall geben, „dann gibt es sicherlich auch ein Update, das man kaufen kann.“
IT-Fachleute auf Mastodon wiesen auch darauf hin, dass der Angriff nicht so komplex sei, wie er klinge. Letztendlich habe die KI gestohlene Zugangsdaten für ihren Angriff genutzt. Schwachstellen wie mehrfach verwendete Passwörter seien generell ein Problem – KI finde sie nur schneller.
Der Erfolg von „Doomsday-PR“
Weit hergeholt ist die Kritik zumindest nicht. Eine gewisse „Doomsday-PR“ gehört seit der Veröffentlichung der ersten KI-Modelle zum guten Ton der Branche – weil sie schlicht Aufmerksamkeit generiert. Insbesondere der OpenAI-Konkurrent Anthropic hat genau das perfektioniert. Dessen Chef Dario Amodei mahnt seit Jahren, KI könne schon bald extrem mächtig sein, außer Kontrolle geraten oder zur allumfassenden Überwachung und Unterdrückung eingesetzt werden.
Für das Unternehmen zahlen sich diese Erzählungen aus – vor allem, weil man gleichzeitig immer neue PR-Stunts inszeniert, die das eigene KI-Modell ins Licht der Öffentlichkeit rücken. Das angeblich zurückgehaltene Modell „Mythos“ ist ein Beispiel von vielen. Kürzlich sorgte Anthropic auch für einen Download-Boom von „Claude“, weil es (im Gegensatz zu OpenAI) öffentlichkeitswirksam bestimmte Kooperationen mit dem US-Militär aus ethischen Gründen ablehnte.
OpenAI scheint sich etwas von der Taktik abgeschaut zu haben. Dessen Chef Sam Altman warnte erst kürzlich im Podcast des US-Influencers Theo Von vor potenziellen Gefahren von KI und raunte: „Niemand weiß, was als Nächstes passiert.“ In einem Blogbeitrag forderte er die Gründung einer „internationalen Organisation“, um KI-Entwicklungen notfalls zu verlangsamen und Risiken zu minimieren. Zeitgleich zu diesen Warnungen arbeiten beide Unternehmen jedoch weiterhin mit Hochdruck an neuen Modellen. Und einhergehen immer neue Blogbeiträge, Erzählungen, Spins und Superlative.
Von Matthias Schwarzer







