Was uns Deployments in der Produktion über Evaluation gelehrt haben

Im vergangenen Jahr haben wir Frage-Antwort-Systeme in drei Organisationen eingeführt, jeweils auf Grundlage ihrer eigenen Dokumente und Infrastruktur. Diese Notiz hält fest, was uns diese Deployments über Evaluation gelehrt haben.

Die meisten unserer Laborbefunde bestätigten sich in der Produktion. Die Ausnahmen waren jedoch so bedeutsam, dass sie verändert haben, wie wir Systeme vor dem Deployment bewerten.

Evaluationsdaten

Jedes Deployment beginnt mit einem repräsentativen Evaluationsdatensatz: echten Fragen der Personen, die das System nutzen werden, mit Antworten, die von jemandem geprüft wurden, der mit dem jeweiligen Material vertraut ist.

Fünfzig Fragen von tatsächlichen Mitarbeitenden waren aufschlussreicher als 500 Fragen, die das Entwicklungsteam verfasst hatte. Reale Nutzende brachten Mehrdeutigkeiten und Muster von Missverständnissen ein, die im Labor schwer vorherzusehen waren.

Der Evaluationsdatensatz wird versioniert und nach jeder wesentlichen Änderung erneut ausgeführt. So lassen sich Regressionen erkennen, bevor sie zu Produktionsvorfällen werden.

Was sich bewährt hat

Antworten mit Quellenangaben beeinflussten, wie die Nutzenden Vertrauen in das System entwickelten. In den ersten zwei Wochen prüften sie die Quellenangaben genau. Sobald sie festgestellt hatten, dass die Quellenangaben zutreffend waren, nutzten sie das System ähnlich, wie sie eine sorgfältige Kollegin oder einen sorgfältigen Kollegen konsultieren würden.

Antwortverweigerungen waren ebenso wichtig. Eine klare Aussage, dass die verfügbaren Dokumente keine Antwort stützten, trug mehr zur Akzeptanz bei als mehrere geringfügige Verbesserungen der Antwortgenauigkeit. Die Nutzenden schätzten die Unterscheidung zwischen einer durch Evidenz gestützten Antwort und einer, die lediglich plausibel war.

Was sich nicht bewährt hat

Gescannte Dokumente schnitten schlechter ab, als unsere Testdatensätze hatten erwarten lassen. Eine Seite, die für einen Menschen lesbar ist, kann bei der Extraktion unvollständigen oder fehlerhaften Text ergeben. Ein System kann keine Informationen abrufen oder zitieren, die es nicht korrekt extrahiert hat.

Heute messen wir die Extraktionsqualität an einer Stichprobe des tatsächlichen Archivs, bevor wir Aussagen über die nachgelagerte Antwortqualität treffen.

Die Aktualität der Dokumente war ein weiteres wiederkehrendes Problem. In mehreren Fällen rief das System eine überholte Richtlinie ab. Dokumentenmanagement und Versionskontrolle wurden deshalb Teil des Mandats, statt als Angelegenheit zu gelten, die allein dem Kunden zugewiesen werden konnte.

Erforderliche Tests vor der Übergabe

Jedes Deployment wird in drei Bereichen bewertet:

• Antwortqualität auf dem repräsentativen Evaluationsdatensatz, einschliesslich einer menschlichen Prüfung einer Stichprobe
• Verweigerungsverhalten bei Fragen, die sich aus den verfügbaren Dokumenten nicht beantworten lassen
• Betriebsbereitschaft, einschliesslich der Frage, ob das Team des Kunden die Administrationsoberfläche nutzen, eine Wissensdatenbank neu indexieren und in Quarantäne gestellte Inhalte ohne Unterstützung prüfen kann

Schlägt einer dieser Tests fehl, ist das Deployment nicht abgeschlossen.