ChatGPT & Co. werden immer »schlauer« – und halluzinieren viel mehr
Prüfen, prüfen, prüfen: Wer eine künstliche Intelligenz wie ChatGPT zu Recherchezwecken nutzt, sollte sich nicht blind auf die gegebenen Informationen verlassen. Dass die Algorithmen zu Halluzinationen neigen, also »Fakten« frei erfinden, ist längst bekannt. Der Entwickler OpenAI gibt nun zu, dass die neuesten »Reasoning«-Systeme noch mehr halluzinieren als zuvor, obwohl sich ihre Funktionsweise immer mehr dem menschlichen Verstand annähert. Wie kann das sein?
Fehlerraten erreichen bis zu 79 Prozent
Über KI-Fantasiewörter in wissenschaftlichen Publikationen haben wir auf Trends der Zukunft bereits berichtet. Jetzt stellt OpenAI bei seinen neuesten KI-Modellen GPT 03 und 04-mini überraschend Fehlerraten von bis zu 79 Prozent fest. Die Leistungsfähigkeit ist indes gestiegen, doch das Zwischenfazit macht Sorgen. Interne Tests belegen, dass GPT 03 zum Beispiel bei Fragen zu öffentlichen Personen zu einem Drittel Falschinformationen herausgibt – die Fehlerquote des Vorgängers lag nur bei der Hälfte. GPT 04-mini irrt sich bei diesem Thema sogar zu 48 Prozent, von Zuverlässigkeit kann also überhaupt keine Rede sein.
Neueste Modelle sind auf Logik und Denkfähigkeit konzipiert
Allgemeine Wissensfragen schlagen mit hohen Halluzinationsraten von 51 Prozent für 03 und bis zu 79 Prozent für 04-mini zu Buche. Dabei sollen die »Reasoning«-Modelle auf Logik und Denkfähigkeit setzen, statt auf reine statistische Wahrscheinlichkeit. Die Systeme sind so konzipiert, dass sie komplexe Fragestellungen in Einzelschritte zerlegen, um die Lösung herauszufinden – ähnlich, wie Menschen es tun.
Die New York Times erklärt dazu: »Die neuesten und leistungsstärksten Technologien – sogenannte Reasoning-Systeme von Unternehmen wie OpenAI, Google und dem chinesischen Start-up DeepSeek – erzeugen mehr Fehler, nicht weniger.« Das liege daran, dass jeder Denkschritt einen Fehler enthalten könne, der sich im Laufe der weiteren Verarbeitung verstärkt. OpenAI-Sprecherin Gaby Raila sagt im selben Artikel: »Halluzinationen sind nicht grundsätzlich häufiger in Reasoning-Modellen, obwohl wir aktiv daran arbeiten, die höheren Halluzinationsraten, die wir bei o3 und o4-mini gesehen haben, zu reduzieren.«
Konsequenzen von Fehlern können erheblich sein
Umso mehr sich die KI zum Beispiel in unserem Bildungs- und Gesundheitswesen verbreitet, desto größer können die Konsequenzen sein, die aus Fehlern resultieren. Entsprechend eifrig arbeiten die Entwickler an der Behebung des Problems. Menschen neigen dazu, dem Chatbot mehr Kompetenzen zuzutrauen, als er eigentlich hat. Blindes Vertrauen ist aber nicht angebracht, vielmehr gilt es, alle KI-«Fakten« grundsätzlich gegenzuchecken. »Man kann nicht behaupten, Zeit und Mühe zu sparen, wenn man genauso lange damit verbringen muss, alles zu überprüfen«, merkt ein Branchenexperte an.
Quelle: winfuture.de
