Faktencheck und Qualitätsschranken

Bevor ein Batch von Insporta-Fragen veröffentlicht wird, durchläuft er eine feste Abfolge von Schranken, die günstigste zuerst: die Selbstkontrolle des Autors, maschinelle Prüfungen von Struktur, Längensignal, verräterischen Merkmalen der Distraktoren und Dubletten, einen Lesedurchgang durch einen Prüfer, der die benachbarten Stufen vor sich hat, und einen Faktencheck durch einen Menschen anhand der Primärquelle, der bei jeder Frage die Lösung und alle drei Distraktoren kontrolliert. Fakten, die dabei bestätigt werden, kommen in ein Register je Sportart, das der nächste Autor als Erstes liest.

Die Selbstkontrolle des Autors

Der Autor prüft seinen eigenen Batch anhand der Regeln, bevor ihn irgendjemand sonst zu sehen bekommt:

• jeder Test enthält genau zehn Fragen, jede Frage vier Antwortoptionen;
• keine Frage verweist auf ein Quelldokument;
• die Fragestämme liegen im Längenkorridor, und die Länge der Lösung verrät über den Batch hinweg nicht die Antwort;
• jeder Distraktor ist als falsch geprüft, nicht nur als „nicht die Lösung“;
• kein Themen-Tag kommt doppelt vor;
• keine zwei Fragen im Batch vermitteln denselben Fakt;
• nichts aus der Liste „bereits behandelt“ wird erneut gefragt;
• umstrittene Aussagen sind als umstritten gekennzeichnet, und Antworten zu Sicherheitsfragen nennen die zuständige Stelle.

Die Liste spiegelt die Regeln, die in Wie Insporta einen Test schreibt beschrieben sind. Sie ist notwendig, und sie reicht nicht aus, deshalb folgen die Schranken.

Die maschinellen Schranken

Struktur. Genau zehn Fragen je Test, vier Antwortoptionen, eine Lösung, jedes Pflichtfeld ausgefüllt und die Fragestämme innerhalb des Korridors, der in Leseaufwand und Länge beschrieben ist.

Längensignal. Über den Batch hinweg darf die Lösung nicht viel häufiger die längste oder die kürzeste Antwortoption sein als in dem Viertel der Fälle, das der Zufall ergibt. Das ist eine Verteilung über den Batch und kein Bestanden oder Nichtbestanden für jede einzelne Frage, denn eine Korrektur an der einzelnen Frage verschiebt das verräterische Merkmal, statt es zu beseitigen.

Verräterische Merkmale der Distraktoren. Erfundene Regeln und Einschränkungen sowie absolute Formulierungen, die in der Lösung nicht vorkommen, werden über den Batch hinweg gezählt, siehe Wie Distraktoren gebaut werden. Beide sind mechanischer Natur, und beide haben überstanden, dass ein Autor jede Zeile gelesen hat.

Eindeutigkeit der Tags. Jedes Themen-Tag muss in der gesamten Sportart eindeutig sein. Die Prüfung wurde als Hygienemaßnahme eingeführt, und sie fand, was nichts anderes gefunden hatte: Über die 1500 Fragen im Triathlon gelegt, brachte sie in Stufe 1 zwei echte Dubletten zutage, die der Überschneidungsprüfung entgangen waren und nach denen kein Leser gesucht hatte. Eine eigens angesetzte Durchsicht fand anschließend 24 Wiederholungen innerhalb von Stufe 1, gegenüber 14 in Stufe 2 und 10 in Stufe 3; die Zahl sank, weil jeder Batch unter mehr Regeln geschrieben wurde als der vorige. Billige Invarianten fangen Dinge ab, für die sie nicht gedacht waren.

Dubletten nach Wortüberschneidung. Jede Frage wird mit dem Batch und mit allem bereits Veröffentlichten verglichen. Die Prüfung greift bei etwa 65 Prozent gemeinsamer Wörter und übersieht dieselbe Frage, wenn sie mit anderen Worten gestellt wird; senkt man die Schwelle, schlägt sie stattdessen bei Fragen an, die zu Recht verschieden sind.

Diese Schranken prüfen die Form, nicht die Wahrheit. Ein sauberer Strukturbericht heißt, dass der Batch formal in Ordnung ist.

Der Lesedurchgang

Ein Prüfer liest den Batch mit den benachbarten Stufen vor Augen und sucht nach dem, was die Überschneidungsprüfung nicht sehen kann: zwei Fragen, die denselben Fakt mit anderen Worten vermitteln, ein Test, der auf einer Perspektive statt auf einem Gegenstand aufgebaut ist, ein Mechanismus, der von der Seite her gefragt wird, die eine andere Frage schon abgedeckt hat. Die Grenzen sind bekannt. Beim eigenen Wiederlesen fand ein Autor in einem Batch fünf von vierzehn Dubletten, alle innerhalb einer einzigen Unterstufe und keines der Paare über Unterstufen hinweg; „Ich habe alles gelesen“ ist keine Schranke. Der eigens angesetzte Durchgang, bei dem der Leser beide Stufen vor sich hat, ist eine. Ein Prüfer kann den Autor auch in der Sache selbst korrigieren, und im ersten Pilot-Batch zum Fußball ist das geschehen, zweimal.

Der Faktencheck

Ein Mensch prüft jede Frage anhand der Primärquelle: der Spielregeln, der Spielbedingungen, der Wettkampfregeln, des technischen Berichts oder des Trainingsfachbuchs, das im Quellenfeld der Frage genannt ist. Geprüft werden alle vier Antwortoptionen. Die meisten Befunde sind keine falschen Lösungen, sondern falsche Antwortoptionen, die sich als wahr herausstellen: im ersten Triathlon-Batch elf Probleme in hundert Fragen, die meisten davon wahre Distraktoren. Ein wahrer Distraktor ist auch der Fehler, der sich am ehesten später zeigt, wenn die Statistik einer Frage daraufhin untersucht wird, ob sie Lernende, die die Sportart kennen, von denen trennt, die sie nicht kennen, siehe Wie man einen Wissenstest im Sport validiert.

Der Faktencheck liest in beide Richtungen: Er sucht nach Aussagen, die bestimmter formuliert sind, als die Evidenz erlaubt, und nach Aussagen, die eingeschränkt werden, obwohl die Evidenz sie stützt, wie in Evidenz, Aussagen und Sicherheit beschrieben. Jeder Korrekturdurchgang, der Fragen umschreibt, wird erneut an dem geprüft, was er geschrieben hat, nicht an dem, was er gemeint hat: Zwei der vierzehn Dubletten in einem Triathlon-Batch hatte die Korrektur des vorangegangenen Batches selbst hineingebracht.

Das Register geprüfter Fakten

Ein Fakt, den ein Prüfer bestätigt oder korrigiert hat, muss den Batch überdauern, sonst kommt er wieder. Eine in Stufe 1 korrigierte Triathlonregel, dass Athleten Verpflegung untereinander teilen dürfen und nur Hilfe von Nichtteilnehmern untersagt ist, kehrte in Stufe 3 als Fehler zurück, weil der neue Autor davon nichts wissen konnte. Jede Sportart führt jetzt ein Register aller Positionen, die anhand einer Primärquelle geprüft wurden, mit den korrigierten Fehlern, den wirklich umstrittenen Aussagen und dem, was nicht übervorsichtig formuliert werden sollte. Autoren lesen es vor dem Schreiben, Prüfer gleichen die Inhalte damit ab, und wer einem Eintrag widerspricht, braucht eine Primärquelle, keine Meinung.

Die Register sind öffentlich: Fußball, Cricket, Futsal, Triathlon.

Was die Schranken beim ersten Mal fanden

Der erste Pilot-Batch von hundert Fußballfragen wurde durch alle diese Schranken geschickt, und unabhängige Prüfer fanden in 69 Fragen etwas: die Lösung als längste Antwortoption in 93, eine erfundene Regel in 36, eine absolute Formulierung, die in der Lösung nie vorkommt, in 31, acht Dublettenpaare, zwei ganze Tests, die auf der falschen Idee aufgebaut waren, und zwei sachliche Fehler, die eine Veröffentlichung ausschlossen. Aus jedem Befund wurde eine Regel oder eine Prüfung. Die Schranken gibt es nicht, weil Autoren nachlässig wären; es gibt sie, weil Länge, verräterische Merkmale und Wiederholungen unsichtbar sind, wenn man auf den Sinn hin liest.