Kuidas valideerida spordialaste teadmiste testi

Spordialaste teadmiste testi valideeritakse samamoodi nagu mis tahes talentide väljaselgitamise mõõtevahendit, ja valdkond on kirja pannud, mida see nõuab. Bergkamp jt (2019) tuvastasid neli metodoloogilist probleemi, mis õõnestavad enamikku jalgpallitalentide uuringuid: edukuse kriteerium on määratletud lõdvalt, üksikuid näitajaid uuritakse eraldi, valimid piirduvad juba valitud mängijatega ja täpsust esitatakse ilma baasmäärata. Williams, Ford ja Drust (2020) lisavad, et usaldusväärne uurimistöö peab olema multidistsiplinaarne ja pikiajaline. Insporta peab neid kahte artiklit standardiks iga väite puhul, mida ta oma testide kohta esitab.

Bergkamp jt 2019: neli probleemi, mis tuleb lahendada enne valiidsuse väitmist

Groningeni ülikooli psühhomeetrikute rühm vaatas ajakirjas Sports Medicine läbi jalgpallitalentide väljaselgitamise kirjanduse ja leidis samad neli nõrkust ikka ja jälle.

1. Kriteeriumi operatsionaliseerimine

Mis loetakse eduks? Professionaalsele tasemele jõudmine? Mänguminutid? Löödud väravad? See, et akadeemia jätab mängija veel üheks hooajaks? Iga määratlus annab samast ennustajast erineva tulemuse ning uuringud, mis kriteeriumi eelnevalt ei fikseeri, võivad tagantjärele valida selle, mis näib kõige parem. See on peamine põhjus, miks kaks ülevaadet võivad efekti suuruse osas eriarvamusel olla, nagu Murr (2018) ja Ivarsson (2020) artiklis kas spordialased teadmised ennustavad tulevast taset.

Teadmiste testi puhul tähendab distsipliin seda, et kriteerium sõnastatakse enne andmete kogumist. Insporta jaoks oleks loomulik kriteerium edasiliikumine spordiala raskustasemetel kindla aja jooksul, kuue, kaheteistkümne või kahekümne nelja kuu vältel, mis on eelnevalt välja kuulutatud ja mida pärast tulemuste saabumist ei muudeta.

2. Keskendumine üksikutele sooritusnäitajatele

Enamik uuringuid kasutab ühte mõõdikut. Bergkamp ja kolleegid väidavad, et mitmemõõtmeline hindamine viie või enama muutuja alusel annab palju stabiilsemaid tulemusi, ning Höner jt (2021) näitasid 13 869 mängija andmetel, et ükski üksik ennustaja ei olnud parem kui kombinatsioon. Insporta registreerib iga mängija kohta mitu mõõdet: täpsuse, vastamisaja, õigesti ja valesti vastatud teemade profiili ning teadmiste püsimise ajas. Iga valideerimisuuring peaks kasutama neid koos, mitte esitama ühte ja ülejäänuid eirama.

3. Valimi ulatuse piiratus

Kui uuring mõõdab ainult akadeemiamängijaid, nagu Reinhard, Mann ja Höner (2025) ning enamik teisi, näeb see vaid kitsast osa populatsioonist. Kõik valimis on juba läbinud valikufiltri, nii et võimete hajuvus on kokku surutud ning korrelatsioonid võivad kogu ulatusega võrreldes väheneda, kaduda või isegi vastupidiseks pöörduda. Akadeemiamängijatel hinnatud efektid ei pruugi kirjeldada harrastajaid ja vastupidi.

Avalikul testil, mida võib teha igaüks, on siin struktuurne eelis: selle populatsioon ulatub juhuslikest fännidest professionaalideni. See on tugevus ainult siis, kui analüüsis säilitatakse kogu ulatus, mitte ei kärbita seda tipuni.

4. Baasmäär

Verburgh jt (2014) klassifitseerisid andekad ja harrastajatest mängijad 89 % täpsusega. See kõlab veenvalt. Kuid oletame, et tegelik edukuse määr populatsioonis on 5 %. 1000 mängijast saavutab edu 50. Test, mis on õige 89 % juhtudest, märgib õigesti enamiku neist 50-st, kuid märgib ekslikult ka umbes 11 % ülejäänud 950-st ehk ligikaudu 105 mängijat. Valepositiivseid on tõeliselt positiivsetest kaks korda rohkem. Höner jt (2021) leidsid riiklikus talendikogumis 9 % edukuse määra, nii et tegemist ei ole hüpoteetilise olukorraga.

Iga täpsusnäitaja, mille Insporta esitab, tuleb koos baasmäära arvutusega.

Williams, Ford ja Drust 2020: kavandamise põhimõtted

Williams, Ford ja Drust vaatasid ajakirjas Journal of Sports Sciences läbi kahe aastakümne talendiuuringud, võrreldes neid nelja põhimõttega, mis sõnastati esmakordselt 2000. aastal, ja leidsid, et valdkond on neile vastanud vaid osaliselt.

Põhimõte	Mida see nõuab sellisel testil nagu Insporta
Multidistsiplinaarne, mitte ühe mõõdikuga	Ühendada teadmised aja, püsimise ja kontekstiga, mitte esitada üht tulemust
Pikiuuring, mitte läbilõige	Jälgida samu mängijaid aja jooksul; üksik hetkepilt ei suuda arengut näidata ega ennustada
Laiendada uurimist naisjalgpallile	Mitte eeldada, et meeste kohta saadud tulemused kehtivad ka naistele; Reinhard jt (2025) nimetavad naiste andmete puudumist oma uuringu piiranguna
Uurida skautide ja treenerite subjektiivseid kriteeriume	Registreerida treeneri hinnang eraldi muutujana ja võrrelda seda testitulemustega, sest Höner (2021) näitas, et see lisab teavet

Pikiajalisuse põhimõtet täidab kirjandus kõige sagedamini halvasti. Prospektiivsed uuringud on kallid ja aeglased, mistõttu neid on nii vähe ja mistõttu Reinhard jt, kelle valimis oli 110 mängijat, nõuavad suuremaid valimeid. Platvorm, mis registreerib iga testi, mille mängija kuude ja aastate jooksul teeb, kogub just sedalaadi andmeid, mille puudumisele need autorid osutavad. See on võimalus, aga ka kohustus neid korralikult analüüsida.

Standard, millest Insporta lähtub

Kokku annavad need kaks artiklit kontrollnimekirja, mida Insporta rakendab iga oma testide valiidsust puudutava väite puhul, kooskõlas oma uurimispõhimõtetega:

1. Kriteerium kuulutatakse välja eelnevalt ja seda ei muudeta pärast andmete kogumist.
2. Mitut mõõdet analüüsitakse koos, mitte ühte peamist tulemust.
3. Säilitatakse mängijate kogu ulatus algajast professionaalini ning tulemused esitatakse ulatuse kaupa, kui need erinevad.
4. Täpsust ei esitata kunagi ilma baasmäärata.
5. Reliaablust mõõdetakse, seda ei eeldata: pikem hindamine vajab enne reliaabluse näitaja esitamist samal rühmal test-kordustesti kontrolli, võrdlusalusena r = 0,78 Hönerilt jt (2023).
6. Vanust kontrollitakse mängijate igas võrdluses, Vestbergi (2017) ja Heisleri (2023) eeskujul.
7. Andmed jaotatakse soo järgi, et naiste spordi kohta saadud tulemusi saaks esitada eraldi, mitte neid eeldada.

Midagi sellest ei ole Insporta puhul veel tõendatud. See on standard, mille järgi teste hinnatakse, kui andmeid on hindamiseks piisavalt, ja põhjus, miks selle jaotise tõenduste pool kirjeldab seda, mida kirjandus toetab, mitte seda, mida Insporta on tõestanud. Mida tõendus juba praegu ülesehituse kohta ütleb, on kirjas artiklis kuidas Insporta uurimistulemusi rakendab.