Ei samaa kysymystä kahdesti

Insporta ei kysy samaa faktaa kahdesti, ja vaatimuksena on, että kysymys on uusi, ei että aihe on uusi. Aiheessa, jota on kartoitettu kymmenellä kysymyksellä, on tilaa sadalle syvemmälle, mutta toinen kysymys, joka opettaa saman asian eri sanoin, ei lisää mittaukseen mitään ja tuhlaa yhden testin kymmenestä paikasta. Suurin osa toistosta syntyy muutamasta tottumuksesta, ja jokaisella niistä on tässä oma nimensä.

Miksi kaksoiskappaleet ovat mittausvirhe

Oppija, joka tuntee yhden faktan ja saa sen kysyttäväksi kahdesti, saa kaksi pistettä kahdesta; oppija, joka ei sitä tunne, saa nolla kahdesta. Testi on käyttänyt viidenneksen pituudestaan yhden asian mittaamiseen, eikä tulos enää kuvaa tietojen laajuutta. Alatasojen väliset kaksoiskappaleet tekevät saman koko tason mittakaavassa, ja keskenään ristiriitaiset kaksoiskappaleet, joista toinen merkitsee väitteen oikeaksi vastaukseksi ja toinen tarjoaa sitä vääränä vastauksena, jättävät ensimmäisen opiskelleelle oppijalle puolustettavat perusteet valita jälkimmäisessä väärä vaihtoehto.

Aineiston kasvaessa tästä tulee hallitseva virhe. Triathlonissa faktantarkistus löysi 300 kysymyksen kohdalla asiavirheitä; 500 kysymyksen kohdalla se ei löytänyt niitä juuri lainkaan vaan toistoa: noin tusina asiakorjausta kolmeakymmentä päällekkäistä paria vastaan. Mitä tiheämpi kattavuus, sitä vaikeampi laatijan, joka ei näe kaikkien muiden laatijoiden työtä, on välttää toistamasta jo esitettyä asiaa.

Tottumukset, jotka tuottavat kaksoiskappaleita

Käänteiset parit. Kun periaate esitetään yhdessä kysymyksessä ja se, mitä ilman sitä menetetään, toisessa, yhtä faktaa on kysytty kahdesti. ”Puolustajan sitominen pitää linjan syvällä” ja ”ilman sitomista linja nousee ylös” esiintyivät erillisinä kysymyksinä samassa jalkapallotestissä, peräti kolmesti.

Sama fakta useassa testissä. Fakta, joka sopii useamman testin aiheeseen, kysytään kerran kussakin. ”Jonkun on juostava hyökkääjän ohi” esiintyi neljässä saman alatason kymmenestä testistä, ja aineisto opetti sen jo kolmesti.

Testit, jotka rakentuvat näkökulman eivätkä aiheen varaan. ”Epäonnistumisen tavat”, ”ongelman tunnistaminen”, ”miten sitä arvioidaan” ja ”erilaisia ryhmityksiä vastaan” ovat näkökulmia muihin testeihin eivätkä aiheita, ja niistä jonkin varaan rakennettu testi täyttyy alatason omista faktoista oireiksi muotoiltuina. Erään jalkapallon alatason diagnoositesti toisti kahdeksan kymmenestä kysymyksestään niin, että kysymysosa oli käännetty muotoon ”mikä tarkistetaan ensin”; toisen alatason epäonnistumisen tapoja käsittelevässä testissä oli kymmenestä kysymyksestä vain kolme omaa. Testille annetaan aihe, ei näkökulmaa. Diagnoosikysymykset ovat perusteltuja vain sellaisesta virheestä, jonka syy ei jo ole saman alatason toisen kysymyksen oikea vastaus.

Sama mekanismi molemmilta puolilta. Mies miestä vastaan -puolustus, johon vastataan kierroilla, ja kierrot, joihin vastataan mies miestä vastaan -puolustuksella, ovat yksi kysymys. Kun mekanismista voidaan kysyä sekä hyökkäävän että puolustavan joukkueen kannalta, vain toinen puoli on uusi; toisen on siirryttävä vastakeinoon, edellytykseen tai hintaan.

Kysymyserän on oltava sopusoinnussa itsensä kanssa

Saman kysymyserän kaksi kysymystä eivät saa olla ristiriidassa. Eräässä pilotissa ”pidä oma alueesi” merkittiin yhdessä testissä oikeaksi vastaukseksi ja tarjottiin toisessa vääränä vaihtoehtona. Johdonmukaisuus tarkistetaan koko kysymyserästä ennen sen luovuttamista, eikä yhdellä alatasolla oikeaksi vastaukseksi merkittyä faktaa tarjota harhauttimena viereisellä alatasolla, ellei kysymysosa tee eroa selväksi.

Miten kaksoiskappale löydetään

Niitä löytää kolme keinoa, eikä mikään niistä riitä yksinään. Jokaisella kysymyksellä on aihetunniste, jonka on oltava ainutkertainen koko lajissa; kaksi kysymystä, jotka tarvitsevat saman tunnisteen, ovat yksi kysymys. Sanojen päällekkäisyyttä mittaava vertailu tunnistaa uudelleenmuotoilut kaikkeen jo julkaistuun nähden. Ja lukija, jolla on viereiset tasot edessään, huomaa parin, joka sanoo saman asian eri sanoin ja jota päällekkäisyystarkistus ei näe: kahdella kysymyksellä vetotiheydestä aallokossa oli yhteisiä sanoja 40 %, kun kynnys oli 65, ja kynnyksen laskeminen alkaa vain tunnistaa aidosti erillisiä kysymyksiä.

Metatiedot paljastavat kaksoiskappaleen usein ennen tekstiä. Eräässä sadan kysymyksen erässä kahdeksan paria opetti saman asian, ja kolmessa niistä lähdeviite oli molemmissa tietueissa täsmälleen sama.

Mitä kaksoiskappaleelle tapahtuu

Sitä ei voi yksinkertaisesti poistaa, koska jokaisessa testissä on tasan kymmenen kysymystä. Se korvataan, ja korvaavat kysymykset on budjetoitu jokaiseen kysymyserään. Se, kumpi parin kysymyksistä säilytetään, ratkaistaan lukemalla molemmat lähdettä vasten: kaksi nesteytystä koskevaa kysymystä näyttivät keskenään vaihdettavilta, kunnes kävi ilmi, että toinen oli oikein sidottu toiseen harjoitukseen muutaman tunnin sisällä ja toinen ei.

Yksi poikkeus on tarkoituksellinen: turvallisuutta koskevat faktat saavat toistua jokaisella alatasolla, joka johtaa vaaratilanteeseen, ks. Näyttö, väitteet ja turvallisuus. Ainutkertaisuutta valvovat tarkistukset ja niiden tunnetut rajat kuvataan artikkelissa Faktantarkistus ja laatuportit; se, miten tasot suunnitellaan niin, että kukin menee syvemmälle kuin sen alapuolinen, kerrotaan artikkelissa Tasot ja alatasot.