스포츠 지식 테스트를 검증하는 방법

스포츠 지식 테스트는 다른 재능 발굴 도구와 같은 방식으로 검증하며, 이 분야는 그 요건을 이미 정리해 두었습니다. Bergkamp et al. (2019)은 대부분의 축구 재능 연구를 약화시키는 네 가지 방법론적 문제를 밝혔습니다. 성공 준거가 느슨하게 정의되고, 단일 지표를 따로 떼어 연구하며, 표본이 이미 선발된 선수로 제한되고, 정확도를 기저율 없이 보고한다는 것입니다. Williams, Ford, Drust (2020)는 여기에 신뢰할 만한 연구는 다학제적이고 종단적이어야 한다고 덧붙입니다. Insporta는 자사 테스트에 관해 내세우는 모든 주장에 이 두 논문을 기준으로 삼습니다.

Bergkamp et al. 2019: 타당성을 주장하기 전에 풀어야 할 네 가지 문제

흐로닝언 대학교의 심리측정학자들은 Sports Medicine에 실린 논문에서 축구 재능 발굴 문헌을 검토했고, 같은 네 가지 약점이 되풀이된다는 사실을 발견했습니다.

1. 준거의 조작적 정의

무엇을 성공으로 볼 것인가? 프로 수준에 도달하는 것인가? 출전 시간인가? 득점 수인가? 아카데미에 한 시즌 더 남는 것인가? 정의마다 같은 예측 변수에서 서로 다른 결과가 나오며, 준거를 미리 정해 두지 않은 연구는 사후에 가장 좋아 보이는 것을 고를 수 있습니다. 두 리뷰가 효과 크기를 두고 엇갈리는 주된 이유가 여기에 있으며, 스포츠 지식은 미래의 경기 수준을 예측하는가에서 다루는 Murr (2018)와 Ivarsson (2020)이 그런 예입니다.

지식 테스트에서 지켜야 할 원칙은 데이터를 수집하기 전에 준거를 밝히는 것입니다. Insporta에 자연스러운 준거는 정해진 기간, 즉 6개월, 12개월 또는 24개월 동안 한 종목의 난이도 레벨을 얼마나 올라가는가이며, 이를 미리 공표하고 결과가 나온 뒤에는 바꾸지 않습니다.

2. 고립된 수행 지표에 대한 집중

대부분의 연구는 단 하나의 지표만 사용합니다. Bergkamp와 동료들은 다섯 개 이상의 변수에 걸친 다차원 평가가 훨씬 안정적인 결과를 낸다고 주장하며, Höner et al. (2021)은 13,869명의 선수를 대상으로 어떤 단일 예측 변수도 여러 변수의 조합을 넘어서지 못한다는 것을 보여 주었습니다. Insporta는 선수마다 여러 차원을 기록합니다. 정확도, 응답 시간, 맞힌 주제와 틀린 주제의 프로필, 시간에 따른 기억 유지입니다. 타당성 검증 연구라면 하나만 보고하고 나머지를 무시할 것이 아니라 이들을 함께 사용해야 합니다.

3. 범위 제한

Reinhard, Mann, Höner (2025)를 비롯한 대부분의 연구처럼 아카데미 선수만 측정하는 연구는 모집단의 좁은 일부만 보게 됩니다. 표본에 속한 모든 사람이 이미 선발이라는 필터를 통과했기 때문에 능력의 분포가 압축되고, 상관관계는 전체 범위와 비교해 작아지거나, 사라지거나, 심지어 반대로 나타날 수도 있습니다. 아카데미 선수를 대상으로 추정한 효과가 아마추어에게는 맞지 않을 수 있으며, 그 반대도 마찬가지입니다.

누구나 응시할 수 있는 공개 테스트는 이 점에서 구조적인 이점이 있습니다. 응시자가 가벼운 팬부터 프로 선수까지 아우르기 때문입니다. 다만 이것이 강점이 되려면 분석에서 상위층만 남기지 말고 전체 범위를 유지해야 합니다.

4. 기저율

Verburgh et al. (2014)은 재능 있는 선수와 아마추어 선수를 89%의 정확도로 분류했습니다. 결정적인 결과처럼 들립니다. 그러나 어떤 집단의 실제 성공률이 5%라고 가정해 봅시다. 선수 1,000명 중 50명이 성공합니다. 89%의 확률로 맞히는 테스트는 그 50명 대부분을 올바르게 가려내지만, 나머지 950명 중 약 11%, 즉 약 105명도 잘못 가려냅니다. 위양성이 진양성보다 두 배나 많습니다. Höner et al. (2021)은 한 국가의 재능 풀에서 성공률이 9%라는 것을 확인했으므로, 이는 가정에 그치는 이야기가 아닙니다.

Insporta가 보고하는 모든 정확도 수치에는 기저율 계산이 함께 제시될 것입니다.

Williams, Ford, Drust 2020: 설계 원칙

Williams, Ford, Drust는 Journal of Sports Sciences에서 20년간의 재능 연구를 2000년에 처음 제시된 네 가지 원칙에 비추어 검토했고, 이 분야가 그 원칙을 부분적으로만 지켜 왔다는 사실을 발견했습니다.

원칙	Insporta 같은 테스트에 요구하는 것
단일 측정이 아닌 다학제적 연구	점수 하나만 보고하지 말고 지식을 시간, 기억 유지, 맥락과 결합할 것
횡단 연구가 아닌 종단 연구	같은 선수를 시간에 걸쳐 추적할 것. 한 시점의 스냅숏으로는 발달을 보여 주거나 예측할 수 없음
여자 축구로 연구 확장	남성 대상 결과가 그대로 적용된다고 가정하지 말 것. Reinhard et al. (2025)도 여성 데이터의 부재를 자기 연구의 한계로 꼽음
스카우트와 코치의 주관적 기준 연구	코치의 판단을 별도 변수로 기록하고 테스트 결과와 비교할 것. Höner (2021)는 코치의 판단이 추가 정보를 제공한다는 것을 보여 주었음

문헌이 가장 자주 지키지 못하는 것은 종단 연구 원칙입니다. 전향적 연구는 비용이 많이 들고 오래 걸리기 때문에 그 수가 매우 적으며, 110명의 선수를 연구한 Reinhard et al.이 더 큰 표본을 요구하는 것도 그 때문입니다. 선수가 응시하는 모든 테스트를 몇 달, 몇 년에 걸쳐 기록하는 플랫폼은 바로 이 저자들이 부족하다고 말하는 종류의 데이터를 축적합니다. 이는 기회인 동시에, 그 데이터를 제대로 분석해야 할 의무이기도 합니다.

Insporta가 스스로에게 적용하는 기준

두 논문을 종합하면, Insporta가 자사 연구 원칙에 따라 테스트의 타당성에 관한 모든 주장에 적용하는 점검표가 나옵니다.

1. 준거를 미리 공표하며, 데이터를 수집한 뒤에는 바꾸지 않습니다.
2. 여러 차원을 함께 분석하며, 대표 점수 하나만 보지 않습니다.
3. 입문자부터 프로까지 선수의 전체 범위를 유지하며, 범위에 따라 결과가 다르면 범위별로 보고합니다.
4. 정확도는 결코 기저율 없이 보고하지 않습니다.
5. 신뢰도는 가정하지 않고 측정합니다. 평가 시간이 길어지면 신뢰도 수치를 제시하기 전에 같은 집단을 대상으로 검사-재검사를 실시해야 하며, Höner et al. (2023)의 r = .78을 기준으로 삼습니다.
6. 선수 간 비교에서는 나이를 통제합니다. Vestberg (2017)와 Heisler (2023)를 따른 것입니다.
7. 데이터를 성별로 구분해, 여성 스포츠에 관한 결과를 가정하는 대신 따로 보고할 수 있게 합니다.

이 가운데 Insporta에서 이미 입증된 것은 아직 없습니다. 이것은 판단할 만큼 데이터가 쌓였을 때 테스트를 평가할 기준이며, 이 섹션의 근거 부분이 Insporta가 입증한 것이 아니라 문헌이 뒷받침하는 것을 설명하는 이유이기도 합니다. 근거가 이미 설계에 대해 말해 주는 바는 Insporta는 연구를 어떻게 적용하는가에서 설명합니다.