Forscher von Anthropic tritt zurück: Warnung vor unkontrollierbarer KI und hohem Aussterberisiko

Der Forscher Jacob Coxon hat seine Position bei Anthropic aufgegeben und dabei eine deutliche Warnung ausgesprochen: Die führenden Labore arbeiten an Systemen, die sie möglicherweise nicht mehr kontrollieren können. Coxon, der drei Jahre lang in der Vorbereitungsforschung bei OpenAI und Anthropic tätig war, kritisierte, dass beide Unternehmen auf selbstverbessernde Superintelligenz hinarbeiten und dabei Risiken eingehen, die er nicht länger unterstützen möchte.

Sein Rücktritt erregte besondere Aufmerksamkeit, nachdem Evan Hubinger, Leiter der Alignment Science bei Anthropic, äußerte, dass er persönlich die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen töten könnte, auf über 10% schätzt. Diese Einschätzung ist Hubingers persönliche Meinung und nicht die offizielle Prognose von Anthropic. Er betonte, dass die aktuellen Modelle ein relativ geringes Risiko darstellen.

Coxon sieht das Wettrennen als das eigentliche Problem

Coxon argumentiert nicht, dass Anthropic Sicherheitsaspekte ignoriert. In seiner Rücktrittserklärung betonte er, dass die Mitarbeiter bei Anthropic die möglichen Risiken verstehen, jedoch in einem Wettbewerb gefangen sind, der schnelles Handeln belohnt, da sonst ein anderes Labor die Superintelligenz zuerst erreichen könnte. „Sie rasen direkt auf selbstverbessernde Superintelligenz zu und spielen mit unserem Leben“, schrieb Coxon.

Der Forscher hat sich entschieden, die KI-Branche zu verlassen, da er nicht länger an der Entwicklung von Systemen mitwirken möchte, die unkontrollierbar werden könnten. Gegenüber dem Wall Street Journal äußerte er, dass unter aggressiven Szenarien die Kontrolle bis Ende nächsten Jahres verloren gehen könnte. Diese Einschätzung ist Coxons persönliche Meinung. Sein Argument wirft jedoch eine schwierigere Governance-Frage auf: Ein Unternehmen kann Sicherheitsaspekte ernst nehmen und dennoch zu einem gefährlichen Wettrennen beitragen, wenn der Wettbewerbsdruck ein Verlangsamen unmöglich erscheinen lässt.

Hubingers 10%-Schätzung offenbart den Widerspruch

Hubingers Reaktion verwandelte den Rücktritt in eine breitere Debatte über fortschrittliche KI. Der Leiter der Alignment Science bei Anthropic sagte, dass Forscher in der KI-Entwicklung tatsächlich glauben, dass fortgeschrittene KI die Menschheit auslöschen könnte. Seine eigene Schätzung sieht dieses Risiko innerhalb des nächsten Jahrzehnts bei über 10%.

Er erklärte auch, dass Anthropic „sein Bestes versucht“, während er zugab, dass das Unternehmen noch keinen Plan zur Lösung der Ausrichtung für Superintelligenz hat und nicht klar auf dem Weg ist, dies zu erreichen. Hubinger stellte später klar, dass er das Risiko durch gegenwärtige Modelle als gering ansieht. Seine Sorge konzentriert sich auf zukünftige Superintelligenz, die durch rekursive Selbstverbesserung entsteht, bei der KI-Systeme zunehmend dabei helfen, ihre Nachfolger zu entwerfen und zu verbessern.

Anthropic hat öffentlich erklärt, dass rekursive Selbstverbesserung nicht unvermeidlich ist, jedoch früher eintreten könnte, als Institutionen darauf vorbereitet sind, und das Risiko erhöhen könnte, dass Menschen die Kontrolle verlieren. Der Widerspruch ist schwer zu ignorieren: Forscher versuchen, die Ausrichtung zu lösen, während die Systeme, die sie untersuchen, immer leistungsfähiger werden.

Wettbewerb könnte schwieriger zu lösen sein als die Ausrichtung

Coxons Rücktritt weist letztlich über ein einzelnes Unternehmen hinaus. Wenn führende Labore glauben, dass ein Verlangsamen einem Rivalen einen Vorteil verschaffen könnte, könnte ernsthafte interne Besorgnis nicht zu einer langsameren Entwicklung führen. Der KI-Forscher Gary Marcus sagte in Kommentaren, die von Techmeme berichtet wurden, dass er nicht mit jedem Teil von Coxons Argument übereinstimmt, es jedoch als „überzeugend und von innen informiert“ ansieht und es gehört werden sollte.

Das ist ein nützlicher Gegenpol, da Behauptungen über Aussterbewahrscheinlichkeiten und Superintelligenz-Zeitpläne tief unsicher bleiben. Anthropic kann in die Ausrichtungsforschung investieren, Risikoberichte veröffentlichen und Schutzmaßnahmen entwickeln, während es dennoch in einem Markt operiert, in dem OpenAI und andere Konkurrenten die Fähigkeiten vorantreiben. Coxons Abgang wirft die Frage auf, was passiert, wenn Forscher in diesen Laboren glauben, dass die Nachteile erheblich sind, zugeben, dass die Kontrolle nicht gelöst ist, und dennoch Anreize haben, weiterzumachen.