Wie KI von OpenAI ausbrach und eine Firma hackte

San Francisco (dpa) - Ein Alptraum-Szenario von Tech-Sicherheitsexperten ist Wirklichkeit geworden: Eine Software mit Künstlicher Intelligenz drang auf eigene Faust in Computersysteme einer anderen KI-Firma ein und verhielt sich dabei wie ein gewiefter Hacker. Zum Glück war es diesmal nur ein schiefgegangener Testlauf, bei dem ein übereifriges neues KI-Modell des ChatGPT-Entwicklers OpenAI zwar zu weit ging - aber letztlich nur harmlos auf ein gutes Prüfungsergebnis aus war. Doch der außergewöhnliche Zwischenfall zeigt drastisch, was passieren kann. Und mit böswilligen Angreifern hätte es ganz anders ausgehen können.

Das betroffene Unternehmen Hugging Face, eine Plattform für quelloffene KI-Anwendungen, berichtete bereits vergangene Woche von einem Cyberangriff und vermutete Künstliche Intelligenz dahinter. Das war korrekt: Wie sich herausstellte, ging die Attacke auf einen internen Versuch bei OpenAI zurück, den die Software ungeplant zu weit trieb. 

Ein Test, der zum Ernstfall wurde 

OpenAI selbst spricht von einem «beispiellosen Cyber-Zwischenfall». Wie so oft bei Unfällen fielen unerwartete Faktoren und das Versagen von Schutzmechanismen zusammen.

OpenAI wollte laut einem Blogeintrag beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software in abgesicherter Umgebung Aufgaben eines Standard-Tests mit dem Namen ExploitGym lösen, der dafür oft in der Branche verwendet wird. Doch die KI-Modelle gingen viel weiter als gedacht, um die Aufgabe zu erfüllen.

Flucht ins offene Internet

Zunächst brach die Software aus der Testumgebung aus, indem sie sich auf eigene Faust Zugang zum offenen Internet verschaffte - und zwar über eine bisher unentdeckt gebliebene Schwachstelle. Während sie eigenständig im Netz unterwegs waren, kamen die Modelle zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Deshalb habe die Software sich Zugang zu «geheimen Informationen» auf der Plattform verschafft, mit denen sie beim ExploitGym-Test schummeln könnte, erläuterte OpenAI. 

Auch dafür setzte die OpenAI-Software unter anderem auf zuvor unentdeckte Sicherheitslücken - aber auch auf gestohlene Zugangsdaten. Hugging Face zufolge führte der KI-Angreifer tausende Schritte aus und wechselte den Standort der digitalen Steuerzentrale der Attacke. Besser hätte ein erfahrener Computer-Hacker auch nicht vorgehen können.

Wie konnte das passieren?

Eigentlich sollte der Test in einer «höchst isolierten Umgebung» verlaufen, erklärte OpenAI. Die KI durfte eigentlich nur selektiv einige Datenpakete aus dem Netz laden, Software eines Spezialanbieters fungierte dabei als eine Art Türwächter. Was jedoch keine wusste: In dieser externen Software schlummerte unerkannt eine Schwachstelle, die das OpenAI-Modell nicht nur entdeckte, sondern auch eiskalt ausnutzte, um sich den Weg ins Internet freizulegen. Die Lücke wurde inzwischen dem Anbieter gemeldet.

Hugging Face hatte dann das Pech, der Ort zu sein, an dem die KI die Antwort auf die ExploitGym-Testaufgaben vermutete - es hätte auch jemand anderes treffen können. Mit freiem Zugang zum offenen Internet konnte das OpenAI-Modell methodisch nach Schwachstellen in den Systemen von Hugging Face suchen. Um hineinzukommen, verknüpfte es sogar mehrere davon zu einer Kette. Hugging Face entdeckte den Angriff, fand es aber schwierig, dagegen anzukämpfen, weil die KI so geschickt agierte. Auch OpenAI fiel nach eigenen Angaben auf, dass etwas falsch lief.

Was bedeutet das nun? 

Experten warnen schon lange vor Cyberattacken mit KI-Software. Branchenveteran Steve Newman, der einst Geburtshelfer von Google Docs war und jetzt Künstliche Intelligenz beim Golden Gate Institute for AI erforscht, sah in dem neuen Vorfall einen überaus präzisen «Warnschuss». 

Auch bei OpenAI ist das Alarmsignal angekommen. Micah Carroll, der dafür zuständig ist, die ChatGPT-Firma auf eine Zukunft vorzubereiten, in der sich KI-Software selbst weiterentwickeln kann, griff zu klaren Worten: Wenn dieser Vorfall jemanden nicht davon überzeugen könne, dass eine potenzielle Diskrepanz zwischen den Absichten der Menschen und der KI-Software in Zukunft zu den größten Risiken gehören werden, «weiß ich auch nicht, was dazu in der Lage wäre», schrieb er auf der Online-Plattform X.

Das Bundesamt für Sicherheit in der Informationstechnik mahnte: «Ein Angriff auf eine kritische Infrastruktur, etwa um einer Stadt den Strom abzustellen, wäre denkbar, wenn dies für die Aufgabenstellung der KI hilfreich ist.»

Rufe nach schärferen Regeln

Sofort wurden in der KI-Führungsmacht USA wieder Stimmen für eine striktere Regulierung Künstlicher Intelligenz lauter. Der Vorfall sei «extrem alarmierend», warnte etwa der demokratische Kongressabgeordnete Greg Casar. KI entwickele sich extrem schnell ohne verlässliche Regulierung für die Sicherheit. 

Präsident Donald Trump hatte in seiner zweiten Amtszeit die Leitplanken-Regeln seines Vorgängers Joe Biden für Künstliche Intelligenz schnell gekippt - im Namen eines Vorteils für US-Entwickler. Spätestens, wenn Trumps Republikaner im November ihre Mehrheiten in Abgeordnetenhaus und Senat an die Demokraten verlieren sollten, dürfte es neue Anläufe für strengere Regeln geben.

In Europa unterdessen sprachen sich EU-Abgeordnete dafür aus, die Abhängigkeit von US-Technologiekonzernen zu verringern. Es brauche eigene leistungsfähige KI und mehr Kontrolle über Schlüsseltechnologien in Europa, sagten mehrere Europapolitiker dem «Spiegel».

Anthropics Wunder-KI löste Debatten aus 

In den vergangenen Monaten hatte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte um Wohl und Risiken Künstlicher Intelligenz angeheizt. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Online-Diensten. Die Schwachstellen konnten in der Folge gestopft werden. Doch zugleich führte das vor Augen, dass solche KI in den falschen Händen als verheerende Cyberwaffe dienen kann.

Anthropic macht die vollen Möglichkeiten von Mythos nur für ausgewählte Behörden und Unternehmen zugänglich. Für andere gibt es eine abgespeckte Version mit dem Namen Fable, der unter anderem die Cybersicherheits-Fähigkeiten fehlen. Nach Warnungen, dass die KI-Modelle von den Zügeln befreit werden könnten, musste Anthropic auf Geheiß der US-Regierung den Zugang zu Mythos und Fable zeitweise sperren. Die Blockade wurde inzwischen aufgehoben.