Self-Correction hilft nur, wenn das Modell verifizieren kann

«Überprüfe deine Arbeit» gehört zu den häufigsten Anweisungen an Sprachmodelle, doch ihre Wirksamkeit ist nicht gut belegt. Wir führten eine kontrollierte Studie durch, um zu bestimmen, wann ein zweiter Durchgang eine Antwort verbessert.

Der zentrale Befund lautet: Self-Correction verbessert die Genauigkeit vor allem bei Aufgaben, bei denen das Modell korrektes von fehlerhaftem Reasoning zuverlässig unterscheiden kann.

Versuchsaufbau

Wir evaluierten 4000 Probleme aus vier Domänen:

• Arithmetik
• Mehrstufige Mathematik
• Code-Reparatur
• Faktenabruf

Jedes Problem wurde einmal beantwortet und anschliessend nach einem festen Self-Critique-Prompt erneut beantwortet. Für jedes Paar massen wir, ob sich die Antwort änderte, ob die Änderung die Genauigkeit verbesserte und ob die angegebene Konfidenz des Modells mit der Korrektheit einherging.

Ergebnisse

In Arithmetik und mehrstufiger Mathematik veränderte Self-Correction 22 Prozent der Antworten und verbesserte die Genauigkeit um 4,1 Prozentpunkte. Die Änderungen hingen stark mit der eigenen Konfidenz des Modells auf Schrittebene zusammen. Dies deutet darauf hin, dass das Modell seine Arbeit in diesen vergleichsweise eng umgrenzten Aufgabenbereichen verifizieren konnte.

Beim Faktenabruf zeigte sich das umgekehrte Muster. Self-Correction veränderte 17 Prozent der Antworten, verringerte die Genauigkeit jedoch um 1,8 Prozentpunkte. Korrekte Erstantworten wurden etwas häufiger verworfen, als fehlerhafte Antworten korrigiert wurden. Zudem hing die Konfidenz in dieser Domäne nur schwach mit der Korrektheit zusammen.

Code-Reparatur lag dazwischen. Die Genauigkeit stieg um 1,9 Prozentpunkte, und nahezu die gesamte Verbesserung entfiel auf Probleme, bei denen das Modell einen fehlschlagenden Test ausführen und dessen Ergebnis als Verifikationssignal nutzen konnte.

Interpretation

Self-Correction lässt sich besser als eine Form angewandter Verifikation verstehen denn als allgemeine Reasoning-Fähigkeit. Wer ein Modell auffordert, seine eigene Arbeit zu überprüfen, setzt voraus, dass es über ein hinreichend zuverlässiges Signal verfügt, um eine gute von einer schlechten Antwort zu unterscheiden.

Wird dieses Signal durch einen Test, eine formale Randbedingung oder ein klar definiertes Verfahren bereitgestellt, kann Self-Correction nützlich sein. Muss das Modell das Verifikationssignal selbst erzeugen, ist die Methode nur in Domänen wirksam, in denen sein Urteil bereits einigermassen zuverlässig ist.

Dies ist ein Grund, weshalb wir uns auf explizite Verifikationsmechanismen konzentrieren, statt uns allein auf längere Self-Critique-Prompts zu verlassen.