Weryfikacja faktów i progi jakości

Zanim partia pytań Insporty zostanie opublikowana, przechodzi ustaloną sekwencję progów, od najtańszego: samokontrolę autora, automatyczne kontrole struktury, sygnału długości, wskazówek zdradzających odpowiedź i duplikatów, lekturę recenzenta, który ma przed sobą sąsiednie poziomy, oraz weryfikację faktów przez człowieka na podstawie źródła pierwotnego, obejmującą poprawną odpowiedź i wszystkie trzy dystraktory każdego pytania. Fakty potwierdzone po drodze trafiają do rejestru prowadzonego dla każdej dyscypliny, który kolejny autor czyta w pierwszej kolejności.

Samokontrola autora

Zanim ktokolwiek inny zobaczy partię, autor sprawdza ją pod kątem zasad:

• każdy test ma dokładnie dziesięć pytań, każde pytanie cztery opcje odpowiedzi;
• żadne pytanie nie odwołuje się do dokumentu źródłowego;
• treść pytań mieści się w korytarzu długości, a długość poprawnej odpowiedzi nie zdradza jej w skali partii;
• każdy dystraktor sprawdzony jako fałszywy, a nie tylko jako różny od poprawnej odpowiedzi;
• żaden tag tematyczny się nie powtarza;
• żadne dwa pytania w partii nie uczą tego samego faktu;
• nic z listy „już omówione” nie zostało zadane ponownie;
• sporne twierdzenia oznaczone jako sporne, a odpowiedzi dotyczące bezpieczeństwa wskazują właściwy kanał.

Lista odzwierciedla zasady opisane w artykule Jak Insporta pisze test. Jest konieczna, ale nie wystarczająca, i dlatego po niej następują kolejne progi.

Progi automatyczne

Struktura. Dokładnie dziesięć pytań w teście, cztery opcje odpowiedzi, jedna poprawna odpowiedź, wszystkie wymagane pola wypełnione, a treść pytań w korytarzu opisanym w artykule Obciążenie czytaniem i długość.

Sygnał długości. W skali partii poprawna odpowiedź nie może być najdłuższą ani najkrótszą opcją znacznie częściej niż w jednej czwartej przypadków, którą daje przypadek. To rozkład w całej partii, a nie kryterium zaliczenia dla każdego pytania osobno, bo poprawka w pojedynczym pytaniu przesuwa wskazówkę, zamiast ją usunąć.

Wskazówki zdradzające odpowiedź. Zmyślone zasady i ograniczenia oraz kategoryczne sformułowania, których nie ma w poprawnej odpowiedzi, są liczone w skali partii, zob. Jak powstają dystraktory. Oba typy da się wykryć automatycznie i oba przetrwały lekturę każdego wiersza przez autora.

Unikalność tagów. Każdy tag tematyczny musi być unikalny w całej dyscyplinie. Kontrolę dodano dla porządku, a wykryła to, czego nie znalazło nic innego: uruchomiona na 1500 pytaniach z triathlonu ujawniła na poziomie 1 dwa rzeczywiste duplikaty, które umknęły kontroli wspólnych słów i których żaden czytelnik nie szukał. Osobny audyt znalazł potem 24 powtórzenia na poziomie 1 wobec 14 na poziomie 2 i 10 na poziomie 3; liczba spadała, w miarę jak każdą kolejną partię pisano według większej liczby zasad. Tanie niezmienniki wychwytują rzeczy, do których wychwytywania nie zostały zaprojektowane.

Duplikaty oparte na wspólnych słowach. Każde pytanie jest porównywane z partią i ze wszystkim, co już opublikowano. Kontrola działa przy około 65 procentach wspólnych słów i nie wychwytuje tego samego pytania zadanego innymi słowami; obniżenie progu sprawia, że zaczyna dopasowywać pytania, które słusznie są różne.

Te progi sprawdzają formę, a nie prawdziwość. Czysty raport strukturalny oznacza, że partia jest poprawnie zbudowana.

Lektura recenzenta

Recenzent czyta partię z otwartymi sąsiednimi poziomami i szuka tego, czego kontrola wspólnych słów nie widzi: dwóch pytań uczących tego samego faktu innymi słowami, testu zbudowanego wokół perspektywy zamiast tematu, mechanizmu, o który pytanie pyta z tej samej strony, z której ujęło go już inne pytanie. Ograniczenia są znane. Autor, czytając własną partię ponownie, znalazł pięć z czternastu duplikatów, wszystkie w obrębie jednego podpoziomu i żadnej z par rozciągających się na różne podpoziomy; „przeczytałem wszystko” nie jest progiem. Jest nim osobna lektura, w której czytelnik ma przed sobą oba poziomy. Recenzent może też poprawić autora w samej materii i w pierwszym pilotażu piłkarskim zrobił to dwukrotnie.

Weryfikacja faktów

Człowiek sprawdza każde pytanie ze źródłem pierwotnym: przepisami, warunkami gry, regulaminem zawodów, raportem technicznym lub kompendium trenerskim wskazanym w polu źródła pytania. Weryfikacja obejmuje wszystkie cztery opcje odpowiedzi. Większość znalezisk to nie błędne poprawne odpowiedzi, lecz błędne opcje, które okazują się prawdziwe: w pierwszej partii triathlonowej jedenaście problemów na sto pytań, w większości prawdziwe dystraktory. Prawdziwy dystraktor to także błąd, który najczęściej ujawnia się później, gdy statystyki pytania są analizowane pod kątem tego, czy oddziela uczących się, którzy znają sport, od tych, którzy go nie znają, zob. Jak walidować test wiedzy sportowej.

Weryfikacja działa w obie strony: wyłapuje twierdzenia sformułowane mocniej, niż pozwalają dowody, i twierdzenia obudowane zastrzeżeniami, choć dowody je potwierdzają, jak opisano w artykule Dowody, twierdzenia i bezpieczeństwo. Każdą rundę poprawek, która przepisuje pytania, sprawdza się ponownie pod kątem tego, co faktycznie napisano, a nie tego, co miano na myśli: dwa z czternastu duplikatów w jednej partii triathlonowej wprowadziła poprawka poprzedniej partii.

Rejestr zweryfikowanych faktów

Fakt potwierdzony lub poprawiony przez recenzenta musi przetrwać dłużej niż partia, inaczej powróci. Zasada triathlonowa poprawiona na poziomie 1, że zawodnicy mogą dzielić się odżywkami, a zakazana jest jedynie pomoc od osób niebiorących udziału w zawodach, wróciła jako błąd na poziomie 3, bo nowy autor nie miał jak się o tym dowiedzieć. Dziś każda dyscyplina prowadzi rejestr wszystkich stanowisk sprawdzonych ze źródłem pierwotnym, z poprawionymi błędami, rzeczywiście spornymi twierdzeniami i kwestiami, których nie należy obudowywać nadmiernymi zastrzeżeniami. Autorzy czytają go przed pisaniem, recenzenci sprawdzają z nim treść, a kto chce zakwestionować wpis, potrzebuje źródła pierwotnego, nie opinii.

Rejestry są publiczne: piłka nożna, krykiet, futsal, triathlon.

Co progi znalazły za pierwszym razem

Pierwszą pilotażową partię stu pytań piłkarskich przepuszczono przez wszystkie te progi, a niezależni recenzenci znaleźli coś do poprawy w 69 pytaniach: poprawna odpowiedź była najdłuższa w 93, zmyślona zasada pojawiła się w 36, kategoryczne sformułowanie, którego poprawna odpowiedź nigdy nie zawiera, w 31, do tego osiem par duplikatów, dwa całe testy zbudowane na błędnym założeniu i dwa błędy merytoryczne blokujące publikację. Każde znalezisko stało się zasadą albo kontrolą. Progi nie istnieją dlatego, że autorzy są niedbali; istnieją dlatego, że długości, wskazówek i powtórzeń nie widać, gdy czyta się dla sensu.