Что может измерять вопрос

Вопрос Insporta измеряет знание своего вида спорта и ничего больше: правила этого вида спорта, его тактику, мастерство игры, типичные приёмы соперников, его историю и контекст. Он не измеряет общий интеллект, исполнительные функции, скорость реакции и вообще ничего, что относится к телу спортсмена. Вопрос о чём-либо из этого считается дефектом, как бы хорошо он ни был написан, потому что он меняет смысл результата.

Конструкт из двух половин

Знание вида спорта бывает двух видов, и Insporta проверяет оба.

Декларативное знание отвечает на вопрос «что»: что вратарь может удерживать мяч восемь секунд, что шестой набранный фол команды в футзале наказывается штрафным ударом без стенки, что первый тестовый матч был сыгран в 1877 году. Это вопросы на воспроизведение.

Процедурное знание отвечает на вопросы «как» и «когда»: какое действие будет правильным в данной ситуации или что, согласно Правилу, происходит дальше. Это прикладные вопросы. Защитник неосторожно атакует соперника в собственной штрафной площади, когда мяч в игре: как возобновляется игра? Спортсмена тошнит на поздней стадии жаркой гонки на длинной дистанции: как ему поступить со своей бутылкой воды?

Метаанализ Kalén и коллег (2021) показал, что такие показатели, специфичные для своей области, различают игровые уровни гораздо лучше общих и что самые большие различия между экспертами и новичками лежат именно в слое знаний своего вида спорта. Этот вывод и объясняет, почему границы конструкта проведены именно так; подробности в статье Три уровня когнитивных способностей.

Что остаётся за рамками и почему

За пределами конструкта находятся три класса материала, и вопрос о них удаляется, как бы хорошо он ни выглядел.

Общие когнитивные способности: рабочая память, внимание, торможение, скорость обработки информации, время реакции. Insporta их не проверяет и не выдаёт свой результат за их косвенный показатель. Свидетельства того, что такие тесты предсказывают спортивный уровень, слабы, и тест знаний, который заявил бы, что измеряет их, утверждал бы то, чего не может обосновать. Доводы изложены в статьях Исполнительные функции: чего не измеряет тест знаний и Знание своего вида спорта важнее общей тренировки мозга.

Физические и биомеханические характеристики спортсмена: тренировочные нагрузки, силовые протоколы, рекомендуемые веса, механика тела спортсмена. Вопрос о весе штанги звучит одинаково для футбола и баскетбола, поэтому ничего не говорит о знании футбола. Именно по этой причине в одной из ранних партий футбольного контента, сгенерированной по тренерскому документу, оказался целый тест о тренировочных упражнениях и физической подготовке, и он был изъят.

Чтение: вопрос, трудность которого заключена в длине или построении формулировки, измеряет скорость чтения в той же мере, что и знания. Этому посвящена статья Нагрузка на чтение и длина.

Пограничная зона

Спортивная наука, психология и экономика соприкасаются с любым видом спорта, и они допустимы при одном условии: ответом должен быть факт о виде спорта, а не о человеке. В уровне 5 по крикету есть подуровень о группе специалистов по спортивной науке при профессиональной команде, а в уровне 3 по триатлону есть подуровень о физиологии. Оба остаются в рамках, потому что спрашивают, как устроен сам спорт, для чего нужна программа управления нагрузкой, почему на длинной дистанции важна акклиматизация к жаре, а не что конкретному спортсмену делать с собственным телом.

Полезная проверка для пограничных случаев: остались бы вопрос и ответ на него теми же в соседнем виде спорта? Формулировка вопроса, ответ на которую был бы тем же в футболе одиннадцать на одиннадцать, ничему не учит о футзале; формулировка, которая звучала бы одинаково для любой игры с битой и мячом, ничему не учит о крикете. Каждый вопрос должен опираться на то, что этот вид спорта делает иначе.

Почему граница строгая

Тест честен ровно настолько, насколько честно его заявление о себе. Furley, Schütz и Wood (2023) предупреждают, что когнитивные тесты в спорте сплошь и рядом измеряют несколько вещей сразу и что тесты со спортивным названием нередко вообще не содержат спортивных стимулов. Ответ Insporta состоит в том, чтобы сформулировать конструкт узко и удерживать внутри него каждый вопрос, чтобы результат читался как одно: насколько хорошо этот учащийся знает этот вид спорта. Более широкое заявление выглядело бы внушительнее и было бы менее правдивым.

Какое место этот конструкт занимает среди других принципов платформы, описано в статье Как Insporta применяет исследования. Первое из правил, Как Insporta пишет тест, показывает, как из него вытекают остальные.