Faktikontroll ja kvaliteediväravad

Enne avaldamist läbib Insporta küsimuste partii kindla väravate jada, alustades odavaimast: autori enesekontroll; masinlikud kontrollid struktuuri, pikkussignaali, distraktorite reetvate vihjete ja duplikaatide kohta; läbivaataja lugemiskord, kus naabertasemed on tal silme ees; ning faktikontroll, mille käigus inimene kontrollib esmaallika põhjal iga küsimuse õiget vastust ja kõiki kolme distraktorit. Teel kinnitatud faktid kantakse spordialapõhisesse registrisse, mida järgmine autor loeb kõigepealt.

Autori enesekontroll

Autor kontrollib oma partiid reeglite järgi enne, kui keegi teine seda näeb:

• igas testis on täpselt kümme küsimust, igas küsimuses neli vastusevarianti;
• ükski küsimus ei viita allikadokumendile;
• küsimuste tüved on pikkuskoridoris ja õige vastuse pikkus ei reeda partii ulatuses vastust;
• iga distraktor on kontrollitud kui väär, mitte üksnes kui mitte-õige vastus;
• ükski teemasilt ei kordu;
• partiis pole kahte küsimust, mis õpetavad sama fakti;
• midagi loendist „juba käsitletud“ ei küsita uuesti;
• vaieldavad väited on märgitud vaieldavaks ja ohutusega seotud vastustes on nimetatud kanal.

Loend peegeldab reegleid, mida kirjeldab artikkel Kuidas Insporta testi kirjutab. See on vajalik, kuid mitte piisav, ning seepärast järgnevad väravad.

Masinlikud väravad

Struktuur. Täpselt kümme küsimust testis, neli vastusevarianti, üks õige vastus, kõik kohustuslikud väljad olemas ja küsimuste tüved koridoris, mida kirjeldab artikkel Lugemiskoormus ja pikkus.

Pikkussignaal. Partii ulatuses ei tohi õige vastus olla pikim ega lühim vastusevariant märgatavalt sagedamini kui juhuse järgi oodatav veerand. See on jaotus üle kogu partii, mitte iga küsimuse kohta antav hinnang „läbis / ei läbinud“, sest küsimusepõhine parandus nihutab reetvat vihjet, mitte ei kõrvalda seda.

Distraktorite reetvad vihjed. Väljamõeldud reegleid ja piiranguid ning absoluutseid sõnastusi, mida õiges vastuses pole, loendatakse kogu partii ulatuses, vt Kuidas distraktoreid koostatakse. Mõlemad kontrollid on masinlikud ja mõlemad vead jäid alles ka pärast seda, kui autor oli iga rea läbi lugenud.

Teemasiltide unikaalsus. Iga teemasilt peab olema kogu spordiala ulatuses unikaalne. See lisati hügieeni mõttes ja leidis selle, mida miski muu polnud leidnud: triatloni 1500 küsimusele rakendatuna tõi see 1. tasemel esile kaks tõelist duplikaati, mis olid kattuvuskontrollist mööda läinud ja mida ükski lugeja polnud otsinud. Seejärel leidis eraldi audit 1. tasemelt 24 kordust, 2. tasemelt 14 ja 3. tasemelt 10 – arv vähenes, mida rohkemate reeglite järgi iga partii kirjutati. Odavad invariandid tabavad asju, mille tabamiseks neid ei loodud.

Sõnakattuvusel põhinevad duplikaadid. Iga küsimust võrreldakse partii ja kogu juba avaldatud materjaliga. Kontroll rakendub umbes 65 protsendi ühiste sõnade juures ega taba sama küsimust, mis on esitatud teiste sõnadega; läve langetamisel hakkab see hoopis kokku viima õigustatult erinevaid küsimusi.

Need väravad kontrollivad vormi, mitte tõesust. Puhas struktuuriaruanne tähendab, et partii on korrektselt vormistatud.

Lugemiskord

Läbivaataja loeb partiid, naabertasemed avatud, ja otsib seda, mida kattuvuskontroll ei näe: kahte küsimust, mis õpetavad sama fakti eri sõnadega, testi, mis on üles ehitatud vaatenurgale, mitte teemale, mehhanismi, mida küsitakse küljelt, mille teine küsimus on juba katnud. Piirid on teada. Autori enda ülelugemine leidis ühes partiis neljateistkümnest duplikaadist viis, kõik ühe alamtaseme sees ja mitte ühtki alamtasemete vahelist paari; „ma lugesin kõik läbi“ ei ole värav. Eraldi lugemiskord, kus lugejal on mõlemad tasemed silme ees, on. Läbivaataja võib autorit parandada ka sisu osas ning esimeses jalgpallipiloodis tegi ta seda kaks korda.

Faktikontroll

Inimene kontrollib iga küsimust esmaallika põhjal: reeglite, mängutingimuste, võistlusjuhendi, tehnilise aruande või treeningalase teatmeallika põhjal, millele küsimuse allikaväljal viidatakse. Kontrollitakse kõiki nelja vastusevarianti. Enamasti ei leita vigaseid õigeid vastuseid, vaid valesid vastusevariante, mis osutuvad tõeseks: esimeses triatlonipartiis oli saja küsimuse peale üksteist probleemi, enamik neist tõesed distraktorid. Tõene distraktor on ka viga, mis kõige tõenäolisemalt hiljem välja tuleb, kui küsimuse statistikat uuritakse, et näha, kas see eristab spordiala tundvaid õppijaid neist, kes seda ei tunne, vt Kuidas spordialaste teadmiste testi valideerida.

Faktikontroll toimib mõlemas suunas: otsitakse väiteid, mis on sõnastatud kindlamalt, kui tõendus lubab, ja väiteid, mida on tarbetult pehmendatud, kuigi tõendus neid toetab, nagu kirjeldab artikkel Tõendus, väited ja ohutus. Iga paranduskorda, mis küsimusi ümber kirjutab, kontrollitakse uuesti selle põhjal, mida see kirjutas, mitte selle põhjal, mida see mõtles: ühe triatlonipartii neljateistkümnest duplikaadist kaks oli sisse toonud eelmise partii enda parandus.

Kontrollitud faktide register

Läbivaataja kinnitatud või parandatud fakt peab partiist kauem elama, muidu tuleb see tagasi. 1. tasemel parandatud triatlonireegel – sportlased võivad toitu omavahel jagada ja keelatud on ainult võistlusel mitteosalejate abi – tuli 3. tasemel veana tagasi, sest uuel autoril polnud võimalik sellest teada. Nüüd peab iga spordiala registrit kõigist esmaallika põhjal kontrollitud seisukohtadest koos parandatud vigade, tõeliselt vaieldavate väidete ja asjadega, mida ei tohi ülemäära ettevaatlikult sõnastada. Autorid loevad seda enne kirjutamist, läbivaatajad kontrollivad sisu selle järgi ning igaüks, kes mõnele kirjele vastu räägib, vajab esmaallikat, mitte arvamust.

Registrid on avalikud: jalgpall, kriket, saalijalgpall, triatlon.

Mida väravad esimesel korral leidsid

Esimene saja jalgpalliküsimusega pilootpartii lasti läbi kõigi nende väravate ning sõltumatud läbivaatajad leidsid midagi 69 küsimuses: õige vastus oli pikim 93 küsimuses, väljamõeldud reegel oli 36-s, absoluutne sõnastus, mida õige vastus kunagi ei sisalda, 31-s, lisaks kaheksa duplikaatpaari, kaks tervet valele ideele üles ehitatud testi ja kaks faktilist blokeerivat viga. Igast leiust sai reegel või kontroll. Väravad ei ole olemas sellepärast, et autorid oleksid hooletud; need on olemas sellepärast, et pikkus, reetvad vihjed ja kordused jäävad nähtamatuks, kui lugeda tähenduse pärast.