Mitkä ovat lahjakkuuksien tunnistamisen tutkimuksen neljä metodologista ongelmaa?

Bergkampin ym. (2019) mukaan menestyskriteerin epämääräinen operationalisointi, yksittäisiin suoritusindikaattoreihin nojaaminen, vaihteluvälin rajautuminen, kun tutkitaan vain valikoituja pelaajia, sekä perusosuuden sivuuttaminen tarkkuutta raportoitaessa.

Miksi 89-prosenttisesti tarkka testi tuottaa silti paljon vääriä positiivisia?

Perusosuuden vuoksi. Jos populaatiosta menestyy vain 5 %, luokittelija, jonka tarkkuus on 89 %, voi luokitella menestyjiksi paljon enemmän ei-menestyjiä kuin todellisia menestyjiä. Tarkkuusluvut on raportoitava yhdessä perusosuuden kanssa.

Mitä vaihteluvälin rajautuminen tarkoittaa?

Sitä, että tutkitaan vain kapeaa osaa populaatiosta, esimerkiksi pelkkiä akatemiapelaajia. Tämän osajoukon sisällä korrelaatiot voivat olla paljon pienempiä tai erilaisia kuin koko vaihteluvälillä harrastajista ammattilaisiin.

Mitä Williams, Ford ja Drust suosittelevat?

Että lahjakkuustutkimus olisi monitieteistä eikä yhden mittarin varassa, pitkittäistä eikä poikkileikkaavaa, että se ulotettaisiin naisten jalkapalloon ja että siinä tutkittaisiin niitä subjektiivisia kriteerejä, joita kykyjenetsijät ja valmentajat todellisuudessa käyttävät.

Miten urheilutietotesti validoidaan

Bergkampin ym. (2019) nimeämät neljä metodologista ongelmaa sekä Williamsin, Fordin ja Drustin (2020) periaatteet standardina, jota Insporta noudattaa.

Urheilutietotesti validoidaan samalla tavalla kuin mikä tahansa lahjakkuuksien tunnistamisen väline, ja ala on kirjannut, mitä se edellyttää. Bergkamp ym. (2019) tunnistivat neljä metodologista ongelmaa, jotka heikentävät suurinta osaa jalkapallon lahjakkuustutkimuksesta: menestyskriteeri määritellään väljästi, yksittäisiä indikaattoreita tutkitaan erillään, otokset rajataan jo valikoituihin pelaajiin ja tarkkuus raportoidaan ilman perusosuutta. Williams, Ford ja Drust (2020) lisäävät, että uskottavan tutkimuksen on oltava monitieteistä ja pitkittäistä. Insporta pitää näitä kahta artikkelia standardina kaikille väitteille, joita se esittää omista testeistään.

Bergkamp ym. 2019: neljä ongelmaa, jotka on ratkaistava ennen kuin validiteettia voi väittää

Groningenin yliopiston psykometrikkojen ryhmä kävi Sports Medicine -lehdessä läpi jalkapallon lahjakkuuksien tunnistamista käsittelevän kirjallisuuden ja havaitsi samojen neljän heikkouden toistuvan.

1. Kriteerin operationalisointi

Mitä menestys on? Ammattilaistasolle pääsemistä? Peliminuutteja? Tehtyjä maaleja? Sitä, että akatemia pitää pelaajan vielä seuraavan kauden? Jokainen määritelmä tuottaa samasta ennustajasta eri tuloksen, ja tutkimukset, jotka eivät lukitse kriteeriä etukäteen, voivat jälkikäteen valita sen, joka näyttää parhaalta. Tämä on tärkein syy siihen, että kaksi katsausta voi olla eri mieltä vaikutuksen koosta, kuten Murr (2018) ja Ivarsson (2020) artikkelissa ennustaako lajitieto tulevaa tasoa.

Tietotestissä kurinalaisuus tarkoittaa kriteerin ilmoittamista ennen aineiston keruuta. Insportalle luonteva kriteeri on eteneminen lajin vaikeustasoilla määrätyn ajan, kuuden, kahdentoista tai kahdenkymmenenneljän kuukauden, kuluessa. Kriteeri ilmoitetaan etukäteen, eikä sitä muuteta tulosten tultua.

2. Yksittäisiin suoritusindikaattoreihin keskittyminen

Useimmat tutkimukset käyttävät yhtä mittaria. Bergkamp kollegoineen esittää, että moniulotteinen arviointi viidellä tai useammalla muuttujalla antaa paljon vakaampia tuloksia, ja Höner ym. (2021) osoittivat 13 869 pelaajan aineistolla, ettei mikään yksittäinen ennustaja ollut yhdistelmää parempi. Insporta tallentaa jokaisesta pelaajasta useita ulottuvuuksia: tarkkuuden, vastausajan, oikein ja väärin vastattujen aiheiden profiilin sekä tiedon säilymisen ajan mittaan. Validointitutkimuksen tulisi käyttää niitä yhdessä sen sijaan, että se raportoisi yhden ja sivuuttaisi muut.

3. Vaihteluvälin rajautuminen

Jos tutkimus mittaa vain akatemiapelaajia, kuten Reinhard, Mann ja Höner (2025) ja useimmat muut tekevät, se näkee populaatiosta vain kapean siivun. Jokainen otokseen kuuluva on jo läpäissyt valintaseulan, joten kykyjen hajonta on puristunut kokoon, ja korrelaatiot voivat koko vaihteluväliin verrattuna pienentyä, kadota tai jopa kääntyä. Akatemiapelaajilla estimoidut vaikutukset eivät välttämättä kuvaa harrastajia, eikä päinvastoin.

Julkisella testillä, jonka kuka tahansa voi tehdä, on tässä rakenteellinen etu: sen populaatio ulottuu satunnaisista katsojista ammattilaisiin. Se on vahvuus kuitenkin vain, jos koko vaihteluväli pidetään analyysissa eikä sitä karsita kärkeen.

4. Perusosuus

Verburgh ym. (2014) luokittelivat lahjakkaat pelaajat ja harrastajat 89 %:n tarkkuudella. Se kuulostaa ratkaisevalta. Oletetaan kuitenkin, että todellinen menestymisosuus populaatiossa on 5 %. Tuhannesta pelaajasta 50 menestyy. Testi, joka on oikeassa 89 % ajasta, tunnistaa oikein suurimman osan näistä 50:stä mutta merkitsee virheellisesti myös noin 11 % jäljelle jäävistä 950:stä, eli noin 105 pelaajaa. Vääriä positiivisia on kaksi kertaa niin paljon kuin oikeita positiivisia. Höner ym. (2021) havaitsivat kansallisessa lahjakkuuspoolissa 9 %:n menestymisosuuden, joten kyse ei ole hypoteettisesta tilanteesta.

Jokaisen Insportan raportoiman tarkkuusluvun rinnalla esitetään perusosuuslaskelma.

Williams, Ford ja Drust 2020: suunnitteluperiaatteet

Williams, Ford ja Drust kävivät Journal of Sports Sciences -lehdessä läpi kahden vuosikymmenen lahjakkuustutkimuksen ja vertasivat sitä neljään vuonna 2000 esitettyyn periaatteeseen. He totesivat, että ala oli täyttänyt ne vain osittain.

Periaate	Mitä se edellyttää Insportan kaltaiselta testiltä
Monitieteinen, ei yhden mittarin varassa	Yhdistetään tieto aikaan, tiedon säilymiseen ja kontekstiin sen sijaan, että raportoidaan yksi tulos
Pitkittäinen, ei poikkileikkaava	Seurataan samoja pelaajia ajan mittaan; yksittäinen tilannekuva ei pysty osoittamaan kehitystä eikä ennustamaan sitä
Tutkimus ulotetaan naisten jalkapalloon	Ei oleteta miehiä koskevien tulosten siirtyvän sellaisenaan; Reinhard ym. (2025) mainitsevat naisaineiston puuttumisen oman tutkimuksensa rajoituksena
Tutkitaan kykyjenetsijöiden ja valmentajien subjektiivisia kriteerejä	Kirjataan valmentajan arvio omaksi muuttujakseen ja verrataan sitä testituloksiin, sillä Höner (2021) osoitti sen tuovan lisätietoa

Pitkittäisyyden periaate on se, jossa kirjallisuus useimmiten epäonnistuu. Prospektiiviset tutkimukset ovat kalliita ja hitaita, minkä vuoksi niitä on niin vähän ja minkä vuoksi Reinhard ym. pyytävät 110 pelaajan aineistonsa jälkeen suurempia otoksia. Alusta, joka tallentaa jokaisen pelaajan tekemän testin kuukausien ja vuosien ajan, kerryttää juuri sellaista aineistoa, jonka nämä tutkijat sanovat puuttuvan. Se on mahdollisuus mutta myös velvollisuus analysoida aineisto asianmukaisesti.

Standardi, jota Insporta noudattaa

Yhdessä nämä kaksi artikkelia muodostavat tarkistuslistan, jota Insporta soveltaa jokaiseen testiensä validiteettia koskevaan väitteeseen tutkimusperiaatteidensa mukaisesti:

Kriteeri ilmoitetaan etukäteen, eikä se muutu aineiston keruun jälkeen.
Useita ulottuvuuksia analysoidaan yhdessä, ei yhtä näyttävää kokonaistulosta.
Pelaajien koko vaihteluväli säilytetään aloittelijasta ammattilaiseen, ja tulokset raportoidaan tasoittain silloin, kun ne eroavat.
Tarkkuutta ei koskaan raportoida ilman perusosuutta.
Reliabiliteetti mitataan, sitä ei oleteta: pidempi arviointi edellyttää testi–uusintatesti-tarkistusta samalla ryhmällä ennen kuin reliabiliteettilukua esitetään, ja vertailukohtana on Hönerin ym. (2023) r = 0,78.
Ikä vakioidaan kaikissa pelaajien välisissä vertailuissa Vestbergin (2017) ja Heislerin (2023) tapaan.
Aineisto eritellään sukupuolen mukaan, jotta naisurheilua koskevat tulokset voidaan raportoida erikseen sen sijaan, että ne oletetaan.

Mitään tästä ei ole vielä osoitettu Insportan osalta. Tämä on standardi, jolla testejä arvioidaan, kun aineistoa on riittävästi niiden arvioimiseen, ja syy siihen, että tämän osion tutkimusnäyttöä käsittelevä puolisko kuvaa sitä, mitä kirjallisuus tukee, eikä sitä, mitä Insporta on todistanut. Se, mitä näyttö jo nyt sanoo testien suunnittelusta, esitetään artikkelissa miten Insporta soveltaa tutkimusta.