Studie: Menschen und KI reagieren ähnlich auf verwirrenden Code

Saarbrücken - Forscher der Universität des Saarlandes und des Max-Planck-Instituts für Softwaresysteme haben nachgewiesen, dass Menschen und große Sprachmodelle auf komplexen oder irreführenden Programmcode erstaunlich ähnlich reagieren. Wie die Universität am Donnerstag mitteilte, zeigten sowohl menschliche Testpersonen als auch KI-Systeme an denselben Stellen im Code erhöhte Unsicherheit.

In der Studie verglichen die Wissenschaftler die Hirnaktivität von Probanden, die mit EEG und Eye-Tracking gemessen wurde, mit der Vorhersageunsicherheit von Sprachmodellen. Dabei stellten sie fest, dass die sogenannte "Late Frontal Positivity" im Gehirn genau dort anstieg, wo auch die KI-Modelle Unsicherheitssprünge zeigten. Die Übereinstimmung zwischen menschlicher Hirnaktivität und KI-Unsicherheit war den Forschern zufolge "signifikant".

Auf Basis dieser Erkenntnisse entwickelten die Forscher ein datengetriebenes Verfahren, das unklare Stellen im Code automatisch erkennt. Der Algorithmus identifizierte in Tests erfolgreich über 60 Prozent der bekannten verwirrenden Strukturen und entdeckte mehr als 150 neue Muster.

Die aktuell als Pre-print veröffentlichte Studie wurde bei der "International Conference on Software Engineering" (ICSE), einer der weltweit führenden Fachkonferenzen im Bereich der Softwareentwicklung, zur Veröffentlichung akzeptiert. Die Konferenz wird im April 2026 in Rio de Janeiro stattfinden.