Żadnego pytania dwa razy

Insporta nie pyta dwa razy o ten sam fakt, a warunkiem jest nowość pytania, nie tematu. Temat omówiony w dziesięciu pytaniach mieści jeszcze sto głębszych, ale drugie pytanie, które tę samą rzecz ujmuje innymi słowami, nic nie dodaje do pomiaru i zajmuje jedno z dziesięciu miejsc w teście. Większość autopowtórzeń bierze się z kilku nawyków, a każdy z nich ma tu swoją nazwę.

Dlaczego duplikaty psują pomiar

Uczący się, który zna jeden fakt i zostaje o niego zapytany dwa razy, zdobywa dwa punkty na dwa; ten, kto go nie zna, zero na dwa. Test zużył piątą część swojej długości na pomiar jednej rzeczy, a wynik przestaje odzwierciedlać szerokość wiedzy. Duplikaty między podpoziomami robią to samo w skali poziomu, a duplikaty, które sobie przeczą – jedno pytanie uznaje twierdzenie za poprawną odpowiedź, a drugie podaje je jako błędną – dają uczącemu się, który przyswoił pierwsze, rzeczowy argument za błędną opcją w drugim.

W miarę wzrostu korpusu staje się to wadą dominującą. W triathlonie weryfikacja faktów przy 300 pytaniach wykazała błędy merytoryczne; przy 500 nie znalazła ich prawie wcale, za to znalazła powtórzenia: mniej więcej tuzin poprawek merytorycznych wobec trzydziestu par duplikatów. Im gęstsze pokrycie, tym trudniej autorowi, który nie widzi pracy wszystkich pozostałych autorów, uniknąć powtórzenia czegoś, co już powiedziano.

Nawyki, z których biorą się duplikaty

Pary kontrapozycyjne. Zasada podana w jednym pytaniu, a w drugim to, co się traci bez niej – i o jeden fakt zapytano dwa razy. „Związanie obrońcy utrzymuje linię głęboko” i „bez związania obrońcy linia wychodzi wyżej” pojawiły się jako osobne pytania w tym samym teście z piłki nożnej, i to trzykrotnie.

Jeden fakt w kilku testach. Fakt, który pasuje do kilku tematów testów, trafia do każdego z nich. „Ktoś musi wybiegać za napastnika” pojawiło się w czterech z dziesięciu testów jednego podpoziomu, a korpus uczył tego już trzy razy.

Testy zbudowane wokół perspektywy zamiast tematu. „Typowe błędy”, „diagnoza”, „jak to się ocenia” czy „przeciwko różnym ustawieniom” to spojrzenia na pozostałe testy, a nie tematy, i test oparty na jednym z nich wypełnia się faktami własnego podpoziomu przeformułowanymi jako objawy. Test diagnostyczny w jednym podpoziomie piłkarskim powtarzał osiem z dziesięciu pytań, odwracając tylko treść pytania na „co sprawdzasz najpierw”; test o typowych błędach w innym miał trzy własne pytania na dziesięć. Test dostaje temat, nie perspektywę. Pytania diagnostyczne są uprawnione tylko wtedy, gdy przyczyna błędu nie jest już odpowiedzią na inne pytanie w tym samym podpoziomie.

Ten sam mechanizm z obu stron. Krycie indywidualne, na które odpowiedzią są rotacje, i rotacje, na które odpowiedzią jest krycie indywidualne, to jedno pytanie. Gdy o mechanizm można zapytać od strony atakujących i od strony broniących, nowa jest tylko jedna strona; druga musi przejść do kontry, warunku wstępnego albo kosztu.

Partia musi być spójna

Dwa pytania w jednej partii nie mogą sobie przeczyć. W pilotażu „trzymaj swoją strefę” było poprawną odpowiedzią w jednym teście i błędną opcją w innym. Spójność sprawdza się w całej partii, zanim zostanie przekazana, a fakt będący poprawną odpowiedzią w jednym podpoziomie nie pojawia się jako dystraktor w sąsiednim, chyba że treść pytania wyraźnie wskazuje różnicę.

Jak znajduje się duplikat

Wykrywają je trzy rzeczy i żadna nie wystarcza sama. Każde pytanie ma tag tematyczny, który musi być unikalny w obrębie całego sportu; dwa pytania, które chcą tego samego tagu, to jedno pytanie. Porównanie pokrycia słów wyłapuje przeformułowania względem wszystkiego, co już opublikowano. A czytelnik, który ma przed sobą sąsiednie poziomy, wyłapuje parę mówiącą to samo innymi słowami, czego porównanie słów nie widzi: para pytań o częstotliwość ruchów ramion na wzburzonej wodzie miała 40 procent wspólnych słów przy progu 65, a obniżenie progu powoduje tylko, że zaczyna on łapać pytania rzeczywiście różne.

Metadane często ujawniają duplikat wcześniej niż tekst. W jednej partii stu pytań osiem par uczyło tego samego, a w trzech z nich cytowane źródło było w obu rekordach identyczne.

Co dzieje się z duplikatem

Nie można go po prostu usunąć, bo każdy test ma dokładnie dziesięć pytań. Zostaje zastąpiony, a zastępstwa są zaplanowane w budżecie każdej partii. Którą połowę pary zachować, rozstrzyga się, czytając obie w zestawieniu ze źródłem: dwa pytania o nawodnienie wyglądały na wymienne, dopóki nie okazało się, że jedno poprawnie uzależnia odpowiedź od kolejnej jednostki treningowej w ciągu kilku godzin, a drugie nie.

Jeden wyjątek jest celowy: fakty dotyczące bezpieczeństwa mogą się powtarzać w każdym podpoziomie, który prowadzi do danego zagrożenia, zob. Dowody, twierdzenia i bezpieczeństwo. Kontrole wymuszające unikalność i ich znane ograniczenia opisuje Weryfikacja faktów i progi jakości; o tym, jak planuje się poziomy, żeby każdy sięgał głębiej niż poprzedni, mówi Poziomy i podpoziomy.