Obciążenie czytaniem i długość

Treść pytania w Insporta ma od 60 do 180 znaków, każda opcja odpowiedzi najwyżej 80, opcje w obrębie pytania różnią się długością najwyżej o 30 znaków, a w całej partii poprawna odpowiedź jest najdłuższą opcją nie częściej, niż wynika z przypadku. Jedno pytanie pyta o jedną rzecz. Te zasady istnieją, ponieważ obok poprawności rejestrowany jest czas odpowiedzi, więc wszystko, co sprawia, że jedno pytanie czyta się dłużej niż sąsiednie, albo pozwala długości zdradzić poprawną odpowiedź, zanieczyszcza pomiar.

Korytarze

Element	Limit	Uzasadnienie
Treść pytania	Od 60 do 180 znaków	Poniżej 60 pytaniu zwykle brakuje potrzebnej sytuacji; powyżej 180 staje się ćwiczeniem z czytania. Dłuższa treść jest dopuszczalna tylko wtedy, gdy sytuacja naprawdę tego wymaga.
Opcja odpowiedzi	Najwyżej 80 znaków	Opcja to odpowiedź, nie akapit.
Rozrzut w pytaniu	Żadna opcja nie jest o więcej niż 30 znaków dłuższa od najdłuższej z pozostałych	Cztery opcje porównywalnej długości nie dają żadnej wskazówki wzrokowej.
W całej partii	Poprawna odpowiedź jest najdłuższą opcją w mniej więcej jednej czwartej pytań i najkrótszą w mniej więcej jednej czwartej	Przy czterech opcjach przypadek daje 25 procent. Wyraźnie więcej oznacza, że długość zdradza odpowiedź.
Zakres	Jedno pytanie pyta o jedną rzecz	Bez pytań typu „które dwie z poniższych”.

Pierwsze dwa limity ustalono po zmierzeniu treści pisanych bez nich: treści pytań na jednym poziomie miały od 24 do 284 znaków, a to zbyt szeroki rozrzut, żeby dziesięć pytań testu dało się ze sobą porównać.

Dlaczego liczy się czas odpowiedzi

Insporta rejestruje, ile trwa każda odpowiedź, a nie tylko to, czy była poprawna. Sama szybkość jest słabą miarą – Heisler i współpracownicy (2023) wykazali, że ranking szybkości bez trafności mówi niewiele – ale szybkość połączona z trafnością niesie informację, której sama trafność nie daje, i jest częścią tego, jak powstaje profil uczącego się, zob. Jak Insporta stosuje wyniki badań.

Działa to tylko wtedy, gdy przeczytanie każdego z dziesięciu pytań testu kosztuje mniej więcej tyle samo. Jeśli jedna treść pytania jest trzy razy dłuższa od następnej, różnica czasu między nimi to czytanie, a nie myślenie, a profil przyjmuje ją tak, jakby była wiedzą. Wyrównane obciążenie czytaniem sprawia, że czas odpowiedzi daje się interpretować.

Wskazówka najdłuższej opcji

Zasada na poziomie partii była tą, której najtrudniej było się nauczyć. Pilotażową partię stu pytań z piłki nożnej napisano tak, że poprawna odpowiedź była najdłuższą opcją w 93 z nich, średnio o dwanaście znaków dłuższą od najdłuższego dystraktora. Uczący się, który zawsze wybierałby najdłuższą odpowiedź, uzyskałby wynik daleko powyżej przypadku, nie wiedząc nic o piłce nożnej. Autor przeczytał każdy wiersz i tego nie zauważył, bo długości nie widać, gdy czyta się dla sensu.

Pierwsza naprawa pogorszyła sprawę w nowym kierunku. Skrócenie każdej zbyt długiej poprawnej odpowiedzi dało partię, w której poprawna odpowiedź była najkrótszą opcją w 41 na 100 pytań. Poprawka na poziomie pojedynczego pytania przesunęła wskazówkę, zamiast ją usunąć, i dlatego zasada jest zapisana jako rozkład w całej partii, a nie limit dla każdego pytania.

Skuteczna poprawka polega na wydłużeniu dystraktora, nigdy na skróceniu poprawnej odpowiedzi. Poprawna odpowiedź jest tak długa, jak musi być; dystraktorowi można dodać zdanie podrzędne, które go doprecyzuje. Takie wydłużenie jest zmianą treści i jako taka jest ponownie czytane: przy przeglądzie jednego poziomu piłkarskiego wydłużono 145 dystraktorów, a 29 wydłużeń okazało się wadliwych. Trzy zamieniły fałszywą opcję w prawdziwą (opcja mówiąca, że taktyka „wymaga więcej personelu, niż kluby mogą sobie pozwolić” stała się opcją „niż większość klubów może sobie pozwolić”, co po prostu jest prawdą), jedno powtarzało poprawną odpowiedź, a pozostałe brzmiały jak wypełniacz. Wydłużony dystraktor to nowy dystraktor i sprawdza się go jak nowy, zob. Jak buduje się dystraktory.

Samą kontrolę też trzeba było raz poprawić. Wczesna wersja mierzyła „najkrótszą” względem najdłuższego dystraktora, a nie względem wszystkich czterech opcji, co jest niemal dopełnieniem „najdłuższej” i nie stanowi osobnego sygnału, więc przeszła partia, w której poprawna odpowiedź była najdłuższa w 56 na 100 pytań. Teraz liczy się względem całego zestawu opcji.

Jedno pytanie, jedna rzecz

Treść pytania, która pyta „które dwie z poniższych” albo proponuje „zarówno A, jak i B”, to dwa pytania w jednym, a uczący się, który zna jedną połowę, a drugiej nie, nie ma poprawnej odpowiedzi do udzielenia. Każde pytanie ma jedną poprawną odpowiedź, a każdy z trzech dystraktorów jest błędny sam w sobie, zob. Jak buduje się dystraktory.

Czego ta zasada nie robi

Limity długości nie sprawiają, że pytanie jest prawdziwe, nowe albo mieści się w zakresie. Usuwają jedną klasę wskazówek, które pozwalają zdobyć punkty bez wiedzy, tak aby to, co zostaje, było wiedzą. Pozostałe klasy opisują Pytanie musi być samodzielne i Żadnego pytania dwa razy, a kontrole, które egzekwują je wszystkie, przedstawia Weryfikacja faktów i progi jakości.