Forschung
Wir untersuchen das Verhalten von Sprachmodellen und die Bedingungen, unter denen sich ihre Ausgaben evaluieren, verifizieren und verantwortungsvoll nutzen lassen.
Unsere Forschung konzentriert sich auf Schlussfolgern, Faithfulness, Selbstkorrektur, Kalibrierung, Retrieval und Evaluation unter praktischen Bedingungen. Wir veröffentlichen Methoden, Ergebnisse, Grenzen und negative Befunde. Jede Publikation enthält genügend Angaben zu Daten und Vorgehen, um eine kritische Prüfung und, wo möglich, eine Replikation zu ermöglichen.
Publikationen
Die Faithfulness von Chain-of-Thought-Reasoning messen
Eine Methode, mit der sich prüfen lässt, ob das ausgegebene Reasoning eines Modells die Berechnung hinter seiner Antwort widerspiegelt, angewendet auf vier offene Modelle.
Self-Correction hilft nur, wenn das Modell verifizieren kann
Eine kontrollierte Studie dazu, wann die Aufforderung an ein Modell, seine eigene Arbeit zu überprüfen, die Genauigkeit verbessert und wann nicht.
Was uns Deployments in der Produktion über Evaluation gelehrt haben
Notizen zum Deployment von Frage-Antwort-Systemen in realen Organisationen, einschliesslich der Tests, die wir heute vor der Übergabe verlangen.
Prompting-Strategien, die die Kalibrierung nicht verbessert haben
Ein negatives Ergebnis: Fünf häufig empfohlene Prompting-Techniken führten zu keiner verlässlichen Verbesserung des Zusammenhangs zwischen der Konfidenz und der Genauigkeit eines Modells.