Faktantarkistus ja laatuportit

Ennen kuin Insportan kysymyserä julkaistaan, se kulkee kiinteän porttisarjan läpi halvimmasta alkaen: kirjoittajan oma tarkistus, mekaaniset tarkistukset rakenteelle, pituussignaalille, harhauttimien paljastaville vihjeille ja kaksoiskappaleille, tarkastajan lukukierros viereiset tasot nähtävillä sekä ihmisen tekemä faktantarkistus ensisijaista lähdettä vasten, jossa varmistetaan jokaisen kysymyksen oikea vastaus ja kaikki kolme harhautinta. Matkan varrella vahvistetut faktat kirjataan lajikohtaiseen rekisteriin, jonka seuraava kirjoittaja lukee ensimmäiseksi.

Kirjoittajan oma tarkistus

Kirjoittaja tarkistaa oman eränsä sääntöjä vasten ennen kuin kukaan muu näkee sen:

• jokaisessa testissä on tasan kymmenen kysymystä ja jokaisessa kysymyksessä neljä vastausvaihtoehtoa;
• yksikään kysymys ei viittaa lähdeasiakirjaan;
• kysymysosat pysyvät pituushaarukassa, eikä oikean vastauksen pituus paljasta vastausta erän tasolla;
• jokainen harhautin on todettu vääräksi, ei pelkästään sellaiseksi, joka ei ole oikea vastaus;
• yksikään aihetunniste ei toistu;
• erässä ei ole kahta kysymystä, jotka opettavat saman faktan;
• mitään ”jo käsiteltyjen” luettelossa olevaa ei kysytä uudelleen;
• kiistanalaiset väitteet on merkitty kiistanalaisiksi, ja turvallisuutta koskevat vastaukset nimeävät oikean kanavan.

Luettelo vastaa sääntöjä, jotka kuvataan artikkelissa Miten Insporta kirjoittaa testin. Se on välttämätön mutta ei riittävä, ja siksi sitä seuraavat portit.

Mekaaniset portit

Rakenne. Tasan kymmenen kysymystä testiä kohden, neljä vaihtoehtoa, yksi oikea vastaus, kaikki pakolliset kentät täytettyinä ja kysymysosat artikkelissa Lukukuorma ja pituus kuvatun pituushaarukan sisällä.

Pituussignaali. Koko erässä oikea vastaus ei saa olla pisin eikä lyhin vaihtoehto selvästi useammin kuin siinä neljäsosassa tapauksista, jonka sattuma antaa. Kyse on koko erän jakaumasta eikä kysymyskohtaisesta hyväksynnästä tai hylkäyksestä, koska kysymyskohtainen korjaus siirtää paljastavan vihjeen muualle eikä poista sitä.

Harhauttimien paljastavat vihjeet. Keksityt säännöt ja rajoitukset sekä ehdottomat ilmaukset, joita oikeassa vastauksessa ei ole, lasketaan koko erästä, ks. Miten harhauttimet laaditaan. Molemmat ovat mekaanisia, ja molemmat säilyivät, vaikka kirjoittaja luki jokaisen rivin.

Aihetunnisteiden yksilöllisyys. Jokaisen aihetunnisteen on oltava ainutkertainen koko lajin sisällä. Tarkistus lisättiin pelkän järjestyksen vuoksi, ja se löysi jotain, mitä mikään muu ei ollut löytänyt: kun se ajettiin triathlonin 1500 kysymykselle, tasolta 1 paljastui kaksi aitoa kaksoiskappaletta, jotka päällekkäisyystarkistus oli ohittanut ja joita kukaan lukija ei ollut etsinyt. Erillinen tarkastus löysi sen jälkeen tasolta 1 kaikkiaan 24 toistoa, kun tasolla 2 niitä oli 14 ja tasolla 3 10; määrä laski sitä mukaa, kun kukin erä kirjoitettiin useampien sääntöjen mukaan. Halvat invariantit löytävät asioita, joiden löytämiseen niitä ei suunniteltu.

Sanojen päällekkäisyyteen perustuvat kaksoiskappaleet. Jokaista kysymystä verrataan erään ja kaikkeen jo julkaistuun. Tarkistus toimii noin 65 %:n yhteisten sanojen osuudella, eikä se tunnista samaa kysymystä, kun se on esitetty eri sanoin; jos kynnystä lasketaan, se alkaa sen sijaan yhdistää kysymyksiä, jotka aidosti eroavat toisistaan.

Nämä portit tarkistavat muodon, eivät paikkansapitävyyttä. Puhdas rakenneraportti tarkoittaa, että erä on muodoltaan kunnossa.

Lukukierros

Tarkastaja lukee erän viereiset tasot auki edessään ja etsii sitä, mitä päällekkäisyystarkistus ei näe: kahta kysymystä, jotka opettavat saman faktan eri sanoin, testiä, joka on rakennettu näkökulman eikä aiheen varaan, tai mekanismia, jota kysytään siltä puolelta, jonka toinen kysymys on jo kattanut. Rajoitukset tunnetaan. Kirjoittajan oma uudelleenluku löysi yhdestä erästä viisi neljästätoista kaksoiskappaleesta, kaikki saman alatason sisältä eikä yhtään alatasojen välistä paria; ”luin kaiken” ei ole portti. Erillinen lukukierros, jossa molemmat tasot ovat lukijan edessä, on. Tarkastaja voi myös korjata kirjoittajaa itse asiasisällössä, ja ensimmäisessä jalkapallopilotissa niin kävi kahdesti.

Faktantarkistus

Ihminen tarkistaa jokaisen kysymyksen ensisijaista lähdettä vasten: sääntöjä, pelimääräyksiä, kilpailumääräyksiä, teknistä raporttia tai sitä valmennuslähdettä, joka mainitaan kysymyksen lähdekentässä. Tarkistus kattaa kaikki neljä vaihtoehtoa. Useimmat löydökset eivät koske virheellistä oikeaa vastausta vaan väärää vaihtoehtoa, joka osoittautuu todeksi: ensimmäisessä triathlonerässä oli yksitoista ongelmaa sadassa kysymyksessä, ja useimmat niistä olivat tosia harhauttimia. Tosi harhautin on myös se virhe, joka todennäköisimmin tulee esiin myöhemmin, kun kysymyksen tilastoista tutkitaan, erotteleeko se lajin tuntevat oppijat niistä, jotka eivät sitä tunne, ks. Miten urheilutietotesti validoidaan.

Faktantarkistus toimii kumpaankin suuntaan: se etsii väitteitä, jotka on esitetty varmempina kuin näyttö sallii, ja väitteitä, joita on pehmennetty varauksilla, vaikka näyttö tukee niitä, kuten artikkelissa Näyttö, väitteet ja turvallisuus kuvataan. Jokainen korjauskierros, joka kirjoittaa kysymyksiä uudelleen, tarkistetaan sen perusteella, mitä se kirjoitti, eikä sen, mitä sillä tarkoitettiin: yhden triathlonerän neljästätoista kaksoiskappaleesta kaksi oli syntynyt edellisen erän omassa korjauksessa.

Tarkistettujen faktojen rekisteri

Tarkastajan vahvistaman tai korjaaman faktan on elettävä erää pidempään, tai virhe palaa. Tasolla 1 korjattu triathlonsääntö – urheilijat saavat jakaa ravintoa keskenään, ja kiellettyä on vain apu kilpailun ulkopuolisilta – palasi virheenä tasolla 3, koska uudella kirjoittajalla ei ollut mitään keinoa tietää siitä. Nyt jokaisella lajilla on rekisteri kaikista ensisijaista lähdettä vasten tarkistetuista kannoista: korjatuista virheistä, aidosti kiistanalaisista väitteistä ja asioista, joita ei pidä liiaksi pehmentää varauksilla. Kirjoittajat lukevat sen ennen kirjoittamista, tarkastajat vertaavat sisältöä siihen, ja jokainen, joka on ristiriidassa jonkin merkinnän kanssa, tarvitsee tuekseen ensisijaisen lähteen, ei mielipidettä.

Rekisterit ovat julkisia: jalkapallo, kriketti, futsal, triathlon.

Mitä portit löysivät ensimmäisellä kerralla

Ensimmäinen sadan jalkapallokysymyksen pilottierä ajettiin kaikkien näiden porttien läpi, ja riippumattomat tarkastajat löysivät huomautettavaa 69 kysymyksestä: oikea vastaus oli pisin 93 kysymyksessä, keksitty sääntö 36:ssa, ehdoton ilmaus, jota oikeassa vastauksessa ei koskaan ole, 31:ssä, lisäksi kahdeksan kaksoiskappaleparia, kaksi kokonaista väärän idean varaan rakennettua testiä ja kaksi julkaisun estävää asiavirhettä. Jokaisesta löydöksestä tuli sääntö tai tarkistus. Portteja ei ole siksi, että kirjoittajat olisivat huolimattomia, vaan siksi, että pituudet, paljastavat vihjeet ja toistot jäävät näkymättömiin, kun tekstiä luetaan sen merkityksen vuoksi.