Nächster Alarm: KI schickte Menschen Phishing-Mails

San Francisco/London (dpa) - Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher Künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren.

Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe «nicht vorhergesehen», dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten.

Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit aufmerksamer beobachten.

Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt.

Fake-Identitäten und Phishing-Mails

In dem jüngsten Test legte die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen.

Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt - und dann versucht, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es.

Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen.

Nicht der erste Vorfall

Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es.

Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern.

Experte kritisiert Sicherheitsarchitektur der Forscher

Für scharfe Kritik aus der Open-Source-Community sorgt vor allem die Art und Weise, wie das Experiment durchgeführt wurde. Tim Hudson, President von OpenSSL - einer der weltweit am weitesten verbreiteten Verschlüsselungs-Bibliotheken -, sieht in dem Vorfall vor allem ein Versagen des Versuchsaufbaus.

«Das Beunruhigende ist nicht, dass eine KI eine Phishing-E-Mail verfasst hat», sagte Hudson. Kriminelle automatisierten Phishing-Angriffe seit Jahren. «Beunruhigend ist vielmehr, dass Forscher ein autonomes System mit dem öffentlichen Internet verbunden, ihm erlaubt haben, Identitäten zu erstellen und mit einer realen Open-Source-Lieferkette zu interagieren, und sein Verhalten erst im Nachhinein entdeckt haben.»

Hudson betonte, dass ein KI-Modell für solche Aktionen weder Bewusstsein noch böse Absicht benötige. «Man sichert einen autonomen Agenten nicht, indem man darauf hofft, dass er die Regeln richtig interpretiert. Dies als Versagen der Schutzmechanismen zu bezeichnen, greift zu kurz. Es handelt sich um ein Versagen der grundlegenden Sicherheitsarchitektur.»

Sorge beim BSI

Auch deutsche Sicherheitsbehörden beobachten die rasanten Fortschritte bei der autonomen Fehlersuche durch Künstliche Intelligenz mit wachsender Sorge. Bereits bei der Ankündigung von Mythos 5 im Frühjahr warnte das Bundesamt für Sicherheit in der Informationstechnik (BSI) vor tiefgreifenden Konsequenzen für die IT-Sicherheit. BSI-Präsidentin Claudia Plattner sprach von «weitreichenden Umwälzungen im Umgang mit Sicherheitslücken und in der Schwachstellenlandschaft insgesamt», die unmittelbare Auswirkungen auf die nationale und europäische Sicherheit haben könnten.