1. Der Richter darf die Quelle nie sehen
Kennt der Richter, was die Ausgabe sagen sollte, bestätigt er, dass sie Sinn ergibt — denn für jemanden, der es schon weiß, tut sie das. Genau diesen Fehler machen wir, wenn wir unsere eigene Arbeit prüfen.
Deshalb sieht der Richter nur das fertige Ergebnis, so wie ein Fremder es sehen würde. Diese eine Entscheidung zählt mehr als alles andere.
2. Nacherzählung statt Punktzahl
„Sechs von zehn“ sagt nicht, was zu tun ist. Der Richter erzählt stattdessen nach, was er verstanden hat. Der Vergleich mit dem, was vermittelt werden sollte, zeigt, wo das Verständnis gerissen ist — welche Szene, welcher Übergang, welches unerklärte Objekt. Eine Punktzahl sagt: schlecht. Eine Nacherzählung sagt: warum — und zeigt auf die Stelle, die man ändern muss.
3. Den Test testen: Positivkontrollen und Selbstübereinstimmung
Bekannt gutes und bekannt schlechtes Material läuft zuerst durch den Richter, um zu prüfen, ob er beides unterscheidet. Ohne das ist ein Bewertungssystem ein Zufallsgenerator mit selbstbewusstem Ton.
Außerdem habe ich gemessen, ob der Richter mit sich selbst übereinstimmt: Zwei Durchläufe korrelieren mit r = 0,78, mittlere absolute Abweichung 0,27. Erst dann habe ich ihm vertraut.
4. Das Instrument lohnt sich, wenn es einem widerspricht
Viermal hat es mich korrigiert:
- Vorschaubilder täuschen. Ich hatte gemeldet, dass eine Figur über generierte Bilder hinweg gleich bleibt. In voller Auflösung waren es drei verschiedene Gesichter für eine Figur (27/100).
- Meine Lieblingsarchitektur verlor. Ein „saubererer“ Ansatz, den ich gerade empfohlen hatte, kam auf 40,0 gegen 48,7 für den bestehenden. Ich habe ihn am selben Tag verworfen.
- Eine Korrektur machte es schlimmer. Eine Änderung gegen unnatürliche Posen senkte den Bildwert von 36 auf 28. Den schädlichen Teil habe ich zurückgenommen.
- Drei Datenpunkte erzählen jede Geschichte. Ein Trend, der bei n = 3 hielt, brach bei n = 5.
5. Der schlimmste Fehler ist eine fehlende Dimension
Ein Stück bekam gute Werte, las sich für einen Menschen aber wie ein Traum: jeder Teil verständlich, nichts hing zusammen. Das System hatte keine Achse für Zusammenhang. Ich habe sie ergänzt, stark gewichtet und alles neu bewertet — gut aussehende Werte fielen deutlich, und das war richtig.
Ein Bewertungssystem ist Software mit Fehlern. Der schlimmste wirft nie eine Fehlermeldung. Er meldet eine gute Punktzahl für Arbeit, die auf eine Weise scheitert, die man zu messen vergessen hat.
Die Zahlen
| Messgröße | Vorher | Nachher |
|---|---|---|
| Verständlichkeit (blinder Richter, /10) | 3,3 | 7,8 |
| Gesamt (Mittelwert, /140) | — | 103,8 |
| Selbstübereinstimmung des Richters (2 Läufe) | — | r = 0,78 |
| Drift des Richters (mittl. abs. Abweichung) | — | 0,27 |
| Dokumentierte Testzyklen | 56 |
Wo das hilft
- Regressionstests für LLM-Ausgaben vor einem Release
- A/B-Vergleich von Prompt- und Modelländerungen
- Qualitätsverlust nach einem Modell-Update erkennen
- Prüfung, die über das hinausgeht, was Menschen lesen können — auch lokal, wenn Inhalte das Haus nicht verlassen dürfen
Dasselbe Prinzip nutze ich im Produktivbetrieb: In meiner Meeting-Pipeline prüft ein Mensch jeden KI-Vorschlag, bevor etwas angelegt wird, und die Modellwahl fällt pro Aufgabe nach Tests auf echten Meetings. Zur Fallstudie →