Leseaufwand und Länge

Ein Fragestamm bei Insporta hat 60 bis 180 Zeichen, jede Antwortoption höchstens 80, die Optionen einer Frage liegen höchstens 30 Zeichen auseinander, und über einen Batch hinweg ist die Lösung nicht öfter die längste Option, als der Zufall es ergibt. Eine Frage fragt nach einer Sache. Die Regeln gibt es, weil neben der Richtigkeit auch die Antwortzeit erfasst wird: Alles, was eine Frage langsamer lesbar macht als ihre Nachbarn oder die Lösung an der Länge erkennen lässt, verfälscht die Messung.

Die Korridore

Element	Grenze	Grund
Fragestamm	60 bis 180 Zeichen	Unter 60 fehlt der Frage meist die Situation, die sie braucht; über 180 wird sie zur Leseaufgabe. Länger ist nur erlaubt, wenn das Szenario es wirklich verlangt.
Antwortoption	Höchstens 80 Zeichen	Eine Option ist eine Antwort, kein Absatz.
Spanne innerhalb einer Frage	Keine Option mehr als 30 Zeichen länger als die längste der übrigen	Vier Optionen vergleichbarer Länge geben keinen optischen Hinweis.
Über einen Batch hinweg	Die Lösung ist in etwa einem Viertel der Fragen die längste Option und in etwa einem Viertel die kürzeste	Bei vier Optionen liegt der Zufall bei 25 %. Deutlich darüber sagt die Länge die Antwort voraus.
Umfang	Eine Frage fragt nach einer Sache	Kein „Welche zwei der folgenden“.

Die ersten beiden Grenzen wurden festgelegt, nachdem Inhalte vermessen worden waren, die ohne sie entstanden waren: In einer Stufe reichten die Fragestämme von 24 bis 284 Zeichen, und das ist zu breit, als dass die zehn Fragen eines Tests vergleichbar wären.

Warum die Antwortzeit zählt

Insporta erfasst, wie lange jede Antwort dauert, nicht nur, ob sie richtig war. Geschwindigkeit allein ist ein schwaches Maß, und Heisler und Kollegen (2023) stellten fest, dass eine Rangfolge nach Geschwindigkeit ohne Genauigkeit wenig aussagt; Geschwindigkeit in Verbindung mit Genauigkeit enthält jedoch Information, die Genauigkeit allein nicht liefert, und sie geht in das Profil eines Lernenden ein, siehe Wie Insporta die Forschung anwendet.

Das funktioniert nur, wenn die zehn Fragen eines Tests ungefähr gleich viel Lesezeit kosten. Ist ein Fragestamm dreimal so lang wie der nächste, dann ist der Zeitunterschied zwischen beiden Lesen, nicht Denken, und das Profil nimmt ihn auf, als wäre er Wissen. Erst ein gleichmäßiger Leseaufwand macht die Antwortzeit interpretierbar.

Das verräterische Merkmal der längsten Option

Die Regel auf Batch-Ebene war am schwersten zu lernen. Ein Pilotbatch von einhundert Fußballfragen wurde so geschrieben, dass die Lösung in 93 Fällen die längste Option war, im Durchschnitt zwölf Zeichen länger als der längste Distraktor. Ein Lernender, der stets die längste Antwort gewählt hätte, hätte weit über dem Zufall abgeschnitten, ohne irgendetwas über Fußball zu wissen. Der Autor hatte jede Zeile gelesen und es nicht bemerkt, denn Länge ist unsichtbar, wenn man auf den Sinn hin liest.

Die erste Korrektur verschlimmerte die Sache in eine neue Richtung. Das Kürzen jeder überlangen Lösung ergab einen Batch, in dem die Lösung in 41 von 100 Fällen die kürzeste Option war. Eine Korrektur pro Frage hatte das verräterische Merkmal verschoben, statt es zu beseitigen, und deshalb ist die Regel als Verteilung über den Batch formuliert und nicht als Grenze für jede einzelne Frage.

Die Korrektur, die funktioniert, besteht darin, einen Distraktor zu verlängern und niemals die Lösung zu kürzen. Eine Lösung ist so lang, wie die richtige Antwort es verlangt; einem Distraktor lässt sich ein Nebensatz geben, der ihn spezifischer macht. Diese Verlängerung ist ein inhaltlicher Eingriff und wird als solcher gegengelesen: Bei einem Durchgang durch eine Fußballstufe wurden 145 Distraktoren verlängert, und 29 der Verlängerungen waren fehlerhaft. Drei machten aus einer falschen Option eine wahre (eine Option, der zufolge eine Taktik „mehr Personal verlangt, als Vereine sich leisten können“, wurde zu „als die meisten Vereine sich leisten können“, und das trifft schlicht zu), eine wiederholte die Lösung, und die übrigen lasen sich wie Füllmaterial. Ein verlängerter Distraktor ist ein neuer Distraktor und wird als solcher geprüft, siehe Wie Distraktoren entstehen.

Auch die Prüfung selbst musste einmal berichtigt werden. Eine frühe Fassung maß „kürzeste“ am längsten Distraktor statt an allen vier Optionen; das ist nahezu das Komplement von „längste“ und kein eigenes Signal, sodass ein Batch durchging, in dem die Lösung in 56 von 100 Fällen die längste war. Gezählt wird jetzt gegen den gesamten Satz der Antwortoptionen.

Eine Frage, eine Sache

Ein Fragestamm, der nach „welche zwei der folgenden“ fragt oder „sowohl A als auch B“ anbietet, besteht aus zwei Fragen in einer, und ein Lernender, der die eine Hälfte kennt und die andere nicht, kann keine richtige Antwort geben. Jede Frage hat eine Lösung, und jeder der drei Distraktoren ist für sich genommen falsch, siehe Wie Distraktoren entstehen.

Was diese Regel nicht leistet

Längengrenzen machen eine Frage weder wahr noch neu noch zum Stoff gehörig. Sie beseitigen eine Klasse von Hinweisen, mit denen ein Lernender ohne Wissen punkten kann, sodass übrig bleibt, was Wissen ist. Die anderen Klassen behandeln Eine Frage muss für sich allein stehen und Keine Frage zweimal, und die Prüfungen, die sie alle durchsetzen, stehen in Faktencheck und Qualitätsschranken.