Jak walidować test wiedzy sportowej

Test wiedzy sportowej waliduje się tak samo jak każde narzędzie do identyfikacji talentów, a dziedzina ta spisała już, czego to wymaga. Bergkamp i współpracownicy (2019) wskazali cztery problemy metodologiczne, które podważają większość badań nad talentem w piłce nożnej: kryterium sukcesu jest określone luźno, pojedyncze wskaźniki bada się w oderwaniu od reszty, próby ogranicza się do zawodników już wyselekcjonowanych, a trafność podaje się bez częstości bazowej. Williams, Ford i Drust (2020) dodają, że wiarygodne badania muszą być interdyscyplinarne i podłużne. Insporta traktuje te dwie prace jako standard dla każdego twierdzenia o własnych testach.

Bergkamp i współpracownicy 2019: cztery problemy do rozwiązania przed ogłoszeniem trafności

Zespół psychometrów z Uniwersytetu w Groningen przejrzał na łamach Sports Medicine literaturę o identyfikacji talentów w piłce nożnej i stwierdził, że powtarzają się w niej te same cztery słabości.

1. Operacjonalizacja kryterium

Co uznaje się za sukces? Awans na poziom zawodowy? Rozegrane minuty? Zdobyte bramki? Pozostanie w akademii na kolejny sezon? Każda definicja daje z tego samego predyktora inny wynik, a badania, które nie ustalają kryterium z góry, mogą po fakcie wybrać to, które wypada najlepiej. To główny powód, dla którego dwa przeglądy mogą się różnić w ocenie wielkości efektu, jak Murr (2018) i Ivarsson (2020) w artykule Czy wiedza sportowa przewiduje przyszły poziom.

W przypadku testu wiedzy dyscyplina polega na określeniu kryterium przed zebraniem danych. Naturalnym kryterium dla Insporta jest postęp przez poziomy trudności danego sportu w ustalonym okresie, sześciu, dwunastu lub dwudziestu czterech miesięcy, ogłoszony z góry i niezmieniany po poznaniu wyników.

2. Skupienie na pojedynczych wskaźnikach wydolności

Większość badań bierze pod uwagę jedną miarę. Bergkamp i współpracownicy dowodzą, że wielowymiarowa ocena obejmująca pięć lub więcej zmiennych daje znacznie stabilniejsze wyniki, a Höner i współpracownicy (2021) wykazali na 13 869 zawodnikach, że żaden pojedynczy predyktor nie przewyższył ich kombinacji. Insporta rejestruje dla każdego gracza kilka wymiarów: poprawność, czas odpowiedzi, profil tematów, w których odpowiedzi były poprawne i błędne, oraz utrwalenie wiedzy w czasie. Każde badanie walidacyjne powinno wykorzystywać je łącznie, a nie podawać jeden i pomijać resztę.

3. Ograniczenie zakresu

Jeśli badanie obejmuje wyłącznie zawodników akademii, jak u Reinhard, Manna i Hönera (2025) oraz w większości innych prac, widzi ono wąski wycinek populacji. Każdy w próbie przeszedł już sito selekcji, więc rozrzut umiejętności jest ściśnięty, a korelacje mogą się zmniejszyć, zniknąć, a nawet odwrócić w porównaniu z pełnym zakresem. Efekty oszacowane na zawodnikach akademii mogą nie opisywać amatorów i odwrotnie.

Publiczny test, do którego może przystąpić każdy, ma tu przewagę strukturalną: jego populacja sięga od okazjonalnych kibiców po zawodowców. To jednak atut tylko wtedy, gdy w analizie zachowuje się pełny zakres, zamiast przycinać go do czołówki.

4. Częstość bazowa

Verburgh i współpracownicy (2014) sklasyfikowali zawodników utalentowanych i amatorów z trafnością 89%. Brzmi to przekonująco. Załóżmy jednak, że rzeczywisty odsetek sukcesów w populacji wynosi 5%. Spośród 1000 zawodników sukces odniesie 50. Test, który ma rację w 89% przypadków, poprawnie wskaże większość z tych 50, ale błędnie wskaże też około 11% z pozostałych 950, czyli mniej więcej 105 zawodników. Wyników fałszywie dodatnich jest dwa razy więcej niż prawdziwie dodatnich. Höner i współpracownicy (2021) stwierdzili w krajowej puli talentów odsetek sukcesów na poziomie 9%, więc nie jest to scenariusz hipotetyczny.

Każdej wartości trafności podanej przez Insporta będzie towarzyszyć obliczenie uwzględniające częstość bazową.

Williams, Ford i Drust 2020: zasady projektowania

Williams, Ford i Drust przejrzeli na łamach Journal of Sports Sciences dwie dekady badań nad talentem w świetle czterech zasad sformułowanych po raz pierwszy w 2000 roku i stwierdzili, że dziedzina tylko częściowo im sprostała.

Zasada	Czego wymaga od testu takiego jak Insporta
Interdyscyplinarność zamiast jednego pomiaru	Łączyć wiedzę z czasem, utrwaleniem i kontekstem zamiast podawać jeden wynik
Badania podłużne zamiast przekrojowych	Śledzić tych samych zawodników w czasie; pojedyncza migawka nie pokaże rozwoju ani go nie przewidzi
Rozszerzenie badań na piłkę nożną kobiet	Nie zakładać, że wyniki dotyczące mężczyzn się przenoszą; Reinhard i współpracownicy (2025) wymieniają brak danych o kobietach jako ograniczenie własnego badania
Badanie subiektywnych kryteriów skautów i trenerów	Rejestrować ocenę trenera jako osobną zmienną i porównywać ją z wynikami testu, bo Höner (2021) wykazał, że wnosi ona dodatkową informację

Zasadę badań podłużnych literatura narusza najczęściej. Badania prospektywne są drogie i powolne, dlatego jest ich tak mało i dlatego Reinhard i współpracownicy, mając 110 zawodników, apelują o większe próby. Platforma, która rejestruje każdy test zawodnika przez miesiące i lata, gromadzi dokładnie takie dane, jakich według tych autorów brakuje. To szansa, ale też obowiązek, by je rzetelnie przeanalizować.

Standard, którego trzyma się Insporta

Razem obie prace dają listę kontrolną, którą Insporta stosuje do każdego twierdzenia o trafności swoich testów, zgodnie ze swoimi zasadami badawczymi:

1. Kryterium ogłasza się z góry i nie zmienia się go po zebraniu danych.
2. Kilka wymiarów analizuje się łącznie, a nie jeden wynik na pierwszą stronę.
3. Zachowuje się pełny zakres zawodników, od początkujących po zawodowców, a tam, gdzie wyniki się różnią, podaje się je osobno dla poszczególnych przedziałów.
4. Trafności nigdy nie podaje się bez częstości bazowej.
5. Rzetelność się mierzy, a nie zakłada: dłuższa ocena wymaga sprawdzenia metodą test-retest na tej samej grupie, zanim poda się wartość rzetelności, a punktem odniesienia jest r = 0,78 z badania Hönera i współpracowników (2023).
6. W każdym porównaniu zawodników kontroluje się wiek, za Vestbergiem (2017) i Heislerem (2023).
7. Dane segmentuje się według płci, aby wyniki dotyczące sportu kobiet można było podawać osobno, a nie zakładać.

Niczego z tego nie wykazano jeszcze dla Insporta. To standard, według którego testy będą oceniane, gdy zbierze się wystarczająco dużo danych, by je ocenić, i powód, dla którego część tego działu poświęcona dowodom opisuje, co potwierdza literatura, a nie co udowodniła Insporta. Co dowody mówią już o samej konstrukcji testów, przedstawiamy w artykule Jak Insporta stosuje wyniki badań.