Prompting-Strategien, die die Kalibrierung nicht verbessert haben

Wir veröffentlichen dieses Ergebnis, weil die hier untersuchten Techniken weithin empfohlen werden und in unseren Experimenten nicht funktioniert haben.

Fünf Prompting-Strategien, welche die Kalibrierung verbessern sollten, also die Übereinstimmung zwischen angegebener Konfidenz und tatsächlicher Genauigkeit, führten in keiner der getesteten Konfigurationen zu einer verlässlichen Verbesserung.

Methoden

Wir untersuchten fünf Strategien:

• Das Modell auffordern, seine Konfidenz vor der Antwort als Prozentwert anzugeben
• Das Modell auffordern, Gründe aufzulisten, aus denen es falschliegen könnte
• Einen zweistufigen Prompt verwenden, bei dem das Modell zunächst antwortet und seine Konfidenz anschliessend neu bewertet
• Dem Modell die Rolle eines vorsichtigen Experten zuweisen
• Few-Shot-Beispiele mit kalibrierten Konfidenzannotationen bereitstellen

Jede Strategie wurde an 6000 Fragen aus den Bereichen Mathematik, Faktenabruf und Leseverständnis evaluiert, jeweils mit drei offenen Modellen.

Die Kalibrierung massen wir anhand des Expected Calibration Error und des Brier-Scores, mit Bootstrap-Konfidenzintervallen auf Basis von 1000 Wiederholungsstichproben.

Ergebnisse

Keine der Strategien bewirkte eine verlässliche Veränderung. Der Expected Calibration Error verschob sich über alle Kombinationen aus Strategie, Modell und Domäne hinweg um weniger als einen halben Prozentpunkt in die eine oder andere Richtung. Keine beobachtete Verschiebung liess sich unter den angegebenen Konfidenzintervallen statistisch von Rauschen unterscheiden.

Zwei Techniken veränderten die Form der Konfidenzangaben des Modells. Der Persona-Prompt führte zu runderen Zahlenwerten, der zweistufige Prompt zu höheren Werten. Keine dieser Veränderungen verbesserte den Zusammenhang zwischen Konfidenz und Korrektheit.

Ein Modell, das eine Konfidenz von 80 Prozent angibt und dabei in 55 Prozent der Fälle richtig liegt, ist nicht kalibriert, unabhängig davon, wie sorgfältig der Prompt formuliert ist.

Warum das wichtig ist

Diese Techniken finden sich in vielen Deployment-Leitfäden. Sie werden häufig in der Annahme übernommen, dass sie mit geringem Aufwand epistemische Disziplin herstellen.

Unsere Ergebnisse stützen diese Annahme nicht. Teams, die eine kalibrierte Konfidenz benötigen, sollten diese an ihrer eigenen Aufgabe messen, die relevante Verzerrung identifizieren und sie mit einem evaluierten Verfahren korrigieren. Die Formulierung eines Prompts allein ersetzt keine Messung.