Die Faithfulness von Chain-of-Thought-Reasoning messen

15. Juni 2026Lena Okafor, Priya Raman

Eine Methode, mit der sich prüfen lässt, ob das ausgegebene Reasoning eines Modells die Berechnung hinter seiner Antwort widerspiegelt, angewendet auf vier offene Modelle.

Wenn ein Modell eine Antwort Schritt für Schritt erläutert, scheint die Erläuterung häufig zu beschreiben, wie die Antwort zustande gekommen ist. Dieser Eindruck kann täuschen. Ein Modell kann über einen bestimmten Prozess zu einer Antwort gelangen und anschliessend eine kohärente Erklärung erzeugen, die diese Antwort lediglich rechtfertigt.

Soll Reasoning auf Schrittebene als Evidenz gelten, muss zunächst gemessen werden, in welchem Verhältnis es zur Berechnung des Modells steht.

Methode

Unsere Methode beruht auf einer einfachen Intervention. Trägt ein Reasoning-Schritt wesentlich zur Antwort bei, sollte eine Verfälschung dieses Schritts das Ergebnis beeinflussen. Bleibt die Antwort unverändert, ist der Schritt möglicherweise erklärend, aber nicht kausal relevant.

Für jedes Problem im Testdatensatz erzeugten wir drei veränderte Fassungen des Reasonings des Modells:

Eine, in der ein Schritt negiert wurde
Eine, in der ein Schritt durch einen plausiblen, aber irrelevanten Schritt ersetzt wurde
Eine, in der ein Schritt entfernt wurde

Anschliessend führten wir das Modell erneut aus und erfassten, ob sich die endgültige Antwort änderte. Den Faithfulness-Score definieren wir als den Anteil der verfälschten Schritte, welche die Antwort veränderten, gemittelt über alle Testprobleme.

Abbildung 1. Schrittweise Faithfulness auf dem zurückgehaltenen Mathematik-Split. Höhere Werte bedeuten, dass die angegebene Begründung besser mit der Berechnung übereinstimmt. Die Zahlen sind illustrativ.

Befunde

Drei Befunde waren besonders bemerkenswert.

Erstens führte die Skalierung allein nur zu einer geringen Verbesserung. Die Vergrösserung des Modells von 8 Milliarden auf 70 Milliarden Parameter verbesserte die Faithfulness um weniger als zehn Prozentpunkte.

Zweitens waren irrelevante Reasoning-Schritte der häufigste Fehlermodus. Sie machten etwa die Hälfte der über alle Modelle hinweg beobachteten Schritte aus, die nicht faithful waren.

Drittens führte ein separater Verifier, der einzelne Schritte bewertete, zu einer grösseren Verbesserung der Faithfulness als ein Wechsel des Reasoning-Modells selbst. Dieses Ergebnis begründet unsere laufende Arbeit an Verifikationsmethoden, die effizient genug für den Produktionseinsatz sind.

Einschränkungen

Verfälschungstests messen, ob ein Schritt für die Antwort kausal relevant ist. Sie belegen nicht, dass der Schritt ehrlich ist oder die zugrunde liegende Berechnung des Modells zutreffend beschreibt.

Zudem beschränkten sich unsere Experimente auf mathematische und symbolische Aufgaben, bei denen sich Reasoning-Schritte vergleichsweise sauber manipulieren lassen. Ob sich die Methode auf offenes Reasoning übertragen lässt, bleibt eine offene Frage.