Как валидировать тест на знание спорта

Тест на знание спорта валидируют так же, как любой инструмент выявления талантов, и что для этого требуется, в этой области уже записано. Bergkamp et al. (2019) выделили четыре методологические проблемы, которые подрывают большинство исследований футбольных талантов: критерий успеха определяется нестрого, отдельные показатели изучаются изолированно, выборки ограничены уже отобранными игроками, а точность сообщается без базовой частоты. Williams, Ford и Drust (2020) добавляют, что заслуживающая доверия работа должна быть мультидисциплинарной и лонгитюдной. Insporta считает эти две статьи стандартом для любого утверждения о собственных тестах.

Bergkamp et al. 2019: четыре проблемы, которые нужно решить, прежде чем заявлять о валидности

Группа психометриков из Гронингенского университета разобрала в журнале Sports Medicine литературу о выявлении талантов в футболе и обнаружила, что в ней повторяются одни и те же четыре слабых места.

1. Операционализация критерия

Что считать успехом? Выход на профессиональный уровень? Сыгранные минуты? Забитые голы? То, что академия оставила игрока ещё на сезон? При одном и том же предикторе каждое определение даёт свой результат, и исследования, которые не фиксируют критерий заранее, могут потом выбрать тот, что выглядит лучше всего. Это главная причина, по которой два обзора могут расходиться в оценке размера эффекта, как расходятся Murr (2018) и Ivarsson (2020) в статье Предсказывает ли знание спорта будущий уровень.

Для теста на знания дисциплина состоит в том, чтобы назвать критерий до сбора данных. Естественный критерий для Insporta — продвижение по уровням сложности вида спорта за фиксированный срок, шесть, двенадцать или двадцать четыре месяца, объявленный заранее и не меняющийся после того, как получены результаты.

2. Внимание к изолированным показателям результативности

В большинстве исследований берут одну метрику. Bergkamp и его коллеги утверждают, что многомерная оценка по пяти и более переменным даёт гораздо более устойчивые результаты, а Höner et al. (2021) показали на 13 869 игроках, что ни один отдельный предиктор не превзошёл их сочетание. Insporta записывает по каждому игроку несколько измерений: точность, время ответа, профиль тем, на вопросы по которым он ответил верно и неверно, и сохранение знаний со временем. Любое валидационное исследование должно использовать их вместе, а не сообщать одно и игнорировать остальные.

3. Ограничение диапазона

Если исследование измеряет только игроков академий, как у Reinhard, Mann и Höner (2025) и у большинства других, оно видит узкий срез популяции. Все в выборке уже прошли фильтр отбора, поэтому разброс способностей сжат, и корреляции по сравнению с полным диапазоном могут ослабнуть, исчезнуть или даже сменить знак. Эффекты, оценённые на игроках академий, могут не описывать любителей, и наоборот.

У открытого теста, который может пройти кто угодно, здесь есть структурное преимущество: его популяция простирается от случайных болельщиков до профессионалов. Но это сильная сторона только тогда, когда в анализе сохраняется весь диапазон, а не одна его верхушка.

4. Базовая частота

Verburgh et al. (2014) классифицировали талантливых игроков и любителей с точностью 89%. Звучит убедительно. Но предположим, что истинная доля успеха в популяции составляет 5%. Из 1000 игроков успеха добьются 50. Тест, который прав в 89% случаев, верно отметит большинство из этих 50, но ошибочно отметит и около 11% из оставшихся 950, то есть примерно 105 игроков. Ложноположительных результатов вдвое больше, чем истинно положительных. Höner et al. (2021) получили долю успеха 9% в национальном пуле талантов, так что это не умозрительный пример.

Любой показатель точности, который сообщит Insporta, будет сопровождаться расчётом с базовой частотой.

Williams, Ford и Drust 2020: принципы дизайна

Williams, Ford и Drust в журнале Journal of Sports Sciences сопоставили два десятилетия исследований талантов с четырьмя принципами, впервые сформулированными в 2000 году, и нашли, что область соответствует им лишь отчасти.

Принцип	Чего он требует от такого теста, как Insporta
Мультидисциплинарность, а не один показатель	Сочетать знания со временем, сохранением знаний и контекстом, а не сообщать один балл
Лонгитюдность, а не поперечный срез	Следить за одними и теми же игроками во времени; один моментальный снимок не может ни показать развитие, ни предсказать его
Распространить исследования на женский футбол	Не считать, что данные о мужчинах переносятся; Reinhard et al. (2025) называют отсутствие данных о женщинах ограничением собственного исследования
Изучать субъективные критерии скаутов и тренеров	Записывать суждение тренера как отдельную переменную и сравнивать его с результатами тестов, поскольку Höner (2021) показал, что оно добавляет информацию

Лонгитюдный принцип литература нарушает чаще всего. Проспективные исследования дороги и идут медленно, поэтому их так мало и поэтому Reinhard et al., у которых было 110 игроков, просят о более крупных выборках. Платформа, которая записывает каждый пройденный игроком тест на протяжении месяцев и лет, накапливает именно те данные, которых, по словам этих авторов, не хватает. Это возможность, но и обязательство анализировать их как следует.

Стандарт, которого придерживается Insporta

Вместе две статьи дают контрольный список, который Insporta применяет к любому утверждению о валидности своих тестов, в соответствии со своими исследовательскими принципами:

1. Критерий объявляется заранее и не меняется после того, как данные собраны.
2. Несколько измерений анализируются вместе, а не один броский балл.
3. Сохраняется весь диапазон игроков, от начинающего до профессионала, а там, где результаты различаются, они сообщаются по диапазонам.
4. Точность никогда не сообщается без базовой частоты.
5. Надёжность измеряется, а не предполагается: прежде чем называть показатель надёжности более длинной оценки, нужна тест-ретестовая проверка на одной и той же группе, а ориентиром служит r = .78 из Höner et al. (2023).
6. Возраст контролируется в любом сравнении игроков, вслед за Vestberg (2017) и Heisler (2023).
7. Данные сегментируются по полу, чтобы результаты для женского спорта можно было сообщать отдельно, а не предполагать.

Для Insporta ничего из этого пока не показано. Это стандарт, по которому о тестах будут судить, когда данных для суждения станет достаточно, и причина, по которой часть этого раздела, посвящённая доказательствам, описывает то, что подтверждает литература, а не то, что доказала Insporta. Что доказательства уже говорят о дизайне, изложено в статье Как Insporta применяет исследования.