Lukukuorma ja pituus

Insportan kysymysosa on 60–180 merkkiä, kukin vastausvaihtoehto enintään 80 merkkiä, saman kysymyksen vaihtoehdot ovat enintään 30 merkin päässä toisistaan, ja kysymyserässä oikea vastaus on pisin vaihtoehto korkeintaan sattuman verran. Yksi kysymys kysyy yhtä asiaa. Säännöt ovat olemassa, koska vastausaika tallennetaan oikeellisuuden rinnalla, joten kaikki, mikä tekee yhdestä kysymyksestä hitaamman lukea kuin sen naapureista tai antaa pituuden paljastaa oikean vastauksen, saastuttaa mittauksen.

Rajat

Osa	Raja	Peruste
Kysymysosa	60–180 merkkiä	Alle 60 merkin kysymyksestä puuttuu yleensä tilanne, jota se tarvitsee; yli 180 merkin kysymyksestä tulee lukutehtävä. Pidempi sallitaan vain, kun tilanne todella sitä vaatii.
Vastausvaihtoehto	Enintään 80 merkkiä	Vaihtoehto on vastaus, ei kappale.
Hajonta kysymyksen sisällä	Mikään vaihtoehto ei ole yli 30 merkkiä pidempi kuin muista pisin	Neljä suunnilleen samanpituista vaihtoehtoa ei anna visuaalista vihjettä.
Koko kysymyserässä	Oikea vastaus on pisin vaihtoehto noin neljänneksessä kysymyksistä ja lyhin noin neljänneksessä	Neljällä vaihtoehdolla sattuman osuus on 25 %. Selvästi sen yli pituus ennustaa vastauksen.
Laajuus	Yksi kysymys kysyy yhtä asiaa	Ei muotoa ”mitkä kaksi seuraavista”.

Kaksi ensimmäistä rajaa asetettiin sen jälkeen, kun oli mitattu ilman niitä kirjoitettua sisältöä: erään tason kysymysosien pituus vaihteli 24 merkistä 284 merkkiin, mikä on liian laaja haarukka, jotta testin kymmenen kysymystä olisivat vertailukelpoisia.

Miksi vastausajalla on merkitystä

Insporta tallentaa, kuinka kauan kuhunkin vastaukseen kuluu, eikä vain sitä, oliko vastaus oikein. Nopeus yksinään on heikko mittari, ja Heisler ja kollegat (2023) havaitsivat, että pelkkä nopeusjärjestys ilman tarkkuutta kertoo vähän; nopeus yhdistettynä tarkkuuteen sisältää kuitenkin tietoa, jota tarkkuus yksinään ei sisällä, ja se on osa sitä, miten oppijan profiili rakennetaan, ks. Miten Insporta soveltaa tutkimusta.

Tämä toimii vain, jos testin kymmenen kysymyksen lukeminen vaatii suunnilleen saman verran. Jos yksi kysymysosa on kolme kertaa seuraavan pituinen, niiden välinen aikaero johtuu lukemisesta eikä ajattelusta, ja profiili kirjaa sen ikään kuin se olisi tietoa. Tasainen lukukuorma tekee vastausajasta tulkittavan.

Pisimmän vaihtoehdon paljastava vihje

Kysymyserän tason sääntö oli vaikein oppia. Sadan jalkapallokysymyksen pilottierässä oikea vastaus oli pisin vaihtoehto 93 kysymyksessä, keskimäärin kaksitoista merkkiä pidempi kuin pisin harhautin. Oppija, joka olisi aina valinnut pisimmän vastauksen, olisi saanut selvästi sattumaa paremman tuloksen tietämättä jalkapallosta mitään. Laatija oli lukenut jokaisen rivin eikä huomannut, koska pituus on näkymätön, kun lukee merkityksen vuoksi.

Ensimmäinen korjaus pahensi tilannetta toiseen suuntaan. Kun jokainen liian pitkä oikea vastaus lyhennettiin, syntyi erä, jossa oikea vastaus oli lyhin vaihtoehto 41 kysymyksessä sadasta. Kysymyskohtainen korjaus oli siirtänyt vihjeen poistamatta sitä, ja siksi sääntö on kirjoitettu jakaumaksi koko kysymyserän yli eikä rajaksi kullekin kysymykselle.

Toimiva korjaus on pidentää harhautinta, ei koskaan lyhentää oikeaa vastausta. Oikea vastaus on niin pitkä kuin oikea vastaus vaatii; harhauttimeen voidaan lisätä sivulause, joka tekee siitä täsmällisemmän. Tällainen pidennys on sisältömuutos, ja se luetaan uudelleen sellaisena: erään jalkapallotason läpikäynnissä pidennettiin 145 harhautinta, ja pidennyksistä 29 oli virheellisiä. Kolme teki väärästä vaihtoehdosta oikean (vaihtoehto, jonka mukaan taktiikka ”vaatii enemmän henkilöstöä kuin seuroilla on varaa”, muuttui muotoon ”kuin useimmilla seuroilla on varaa”, mikä yksinkertaisesti pitää paikkansa), yksi toisti oikean vastauksen, ja loput vaikuttivat täytteeltä. Pidennetty harhautin on uusi harhautin, ja se tarkistetaan sellaisena, ks. Miten harhauttimet laaditaan.

Myös itse tarkistusta jouduttiin kerran korjaamaan. Varhainen versio mittasi ”lyhimmän” suhteessa pisimpään harhauttimeen eikä kaikkiin neljään vaihtoehtoon, mikä on lähes ”pisimmän” komplementti eikä oma signaalinsa, joten erä, jossa oikea vastaus oli pisin 56 kysymyksessä sadasta, läpäisi tarkistuksen. Nykyään laskenta tehdään koko vaihtoehtojoukkoa vasten.

Yksi kysymys, yksi asia

Kysymysosa, joka kysyy ”mitkä kaksi seuraavista” tai tarjoaa vaihtoehdon ”sekä A että B”, on kaksi kysymystä yhdessä, eikä oppijalla, joka tietää toisen puolen mutta ei toista, ole oikeaa vastausta annettavanaan. Jokaisella kysymyksellä on yksi oikea vastaus, ja kukin kolmesta harhauttimesta on väärä jo sellaisenaan, ks. Miten harhauttimet laaditaan.

Mitä tämä sääntö ei tee

Pituusrajat eivät tee kysymyksestä totta, uutta tai aiheeseen kuuluvaa. Ne poistavat yhden vihjeluokan, jonka avulla oppija voi saada pisteitä ilman tietoa, niin että jäljelle jää tieto. Muita luokkia käsitellään artikkeleissa Kysymyksen on oltava itsenäinen ja Ei samaa kysymystä kahdesti, ja niitä kaikkia valvovat tarkistukset kuvataan artikkelissa Faktantarkistus ja laatuportit.