如何验证一项运动知识测试
Bergkamp 等人（2019）指出的四个方法学问题，以及 Williams、Ford 和 Drust（2020）提出的原则：Insporta 以此作为自身遵循的标准。
Insporta · 更新于 2026年9月6日
运动知识测试的效度验证方式，与任何运动员选材工具相同，而这一领域已经明确写下了其中的要求。Bergkamp 等人（2019）指出了削弱大多数足球人才研究的四个方法学问题：成功效标定义松散，单一指标被孤立研究，样本局限于已入选的球员，报告准确率时不提基础比率。Williams、Ford 和 Drust（2020）补充指出，可信的研究必须是多学科的、纵向的。Insporta 把这两篇论文作为其就自身测试提出任何论断时的标准。
Bergkamp 等人2019：声称具有效度之前须解决的四个问题
格罗宁根大学的一组心理测量学家在 Sports Medicine 上综述了足球运动员选材的文献，发现同样的四个缺陷反复出现。
1. 效标的操作化
什么算成功？达到职业水平？出场分钟数？进球数？被青训学院再留用一个赛季？每一种定义都会让同一个预测指标得出不同的结果，而事先没有确定效标的研究，可以在事后挑选看起来最好的那一个。这正是两篇综述会在效应大小上产生分歧的主要原因，Murr（2018）和 Ivarsson（2020）就是如此，见运动知识能否预测未来竞技水平。
对知识测试而言，应遵循的规范是在收集数据之前说明效标。对 Insporta 来说，一个自然的效标是在固定时期（6个月、12个月或24个月）内在某项运动各难度等级上的进展，事先公布，结果出来后不再更改。
2. 聚焦于孤立的表现指标
大多数研究只采用单一指标。Bergkamp 及其同事认为，涵盖五个或更多变量的多维评估能得到稳定得多的结果；Höner 等人（2021）在13,869名球员身上表明，没有任何单一预测指标胜过指标组合。Insporta 为每名球员记录多个维度：准确率、作答时间、答对与答错的主题分布，以及随时间推移的保持情况。任何效度验证研究都应综合使用这些维度，而不是只报告其中一个、忽略其余。
3. 全距限制
如果一项研究只测量青训学院球员，就像 Reinhard、Mann 和 Höner（2025）以及大多数其他研究那样，它看到的只是群体中很窄的一部分。样本中的每个人都已通过一道选拔筛选，能力的分布范围因而被压缩，与完整范围相比，相关可能缩小、消失，甚至反转。在青训学院球员身上估计出的效应，未必适用于业余球员，反之亦然。
一项人人都能参加的公开测试在这方面具有结构性优势：其群体从普通球迷一直延伸到职业球员。但只有在分析中保留完整范围、而不是只截取顶端时，这才是一项优势。
4. 基础比率
Verburgh 等人（2014）以89%的准确率区分了有天赋的球员和业余球员。这听起来很有说服力。但假设某一群体中真实的成功率为5%。在1000名球员中，有50人会成功。一项89%的时候判断正确的测试，会正确标记出这50人中的大多数，同时也会错误地标记其余950人中约11%，即大约105名球员。假阳性的数量是真阳性的两倍。Höner 等人（2021）在一个国家级人才库中发现的成功率为9%，因此这并非假设。
Insporta 报告的任何准确率数字，旁边都会附上基础比率的计算。
Williams、Ford 和 Drust 2020：设计原则
Williams、Ford 和 Drust 在 Journal of Sports Sciences 上，对照2000年首次提出的四项原则，综述了二十年来的人才研究，发现这一领域只部分做到了这些原则。
| 原则 | 对 Insporta 这类测试的要求 |
|---|---|
| 多学科，而非单一测量 | 将知识与时间、保持情况和背景结合起来，而不是只报告一个分数 |
| 纵向，而非横断面 | 长期追踪同一批球员；单次快照既无法显示发展，也无法预测发展 |
| 将研究扩展到女子足球 | 不要假定男性的研究结果可以迁移；Reinhard 等人（2025）把缺少女性数据列为其自身研究的局限 |
| 研究球探和教练的主观标准 | 将教练的判断作为一个独立变量记录下来，并与测试结果比较，因为 Höner（2021）表明它能提供额外信息 |
纵向原则是文献最常未能做到的一条。前瞻性研究成本高、周期长，这就是此类研究如此之少的原因，也是 Reinhard 等人在只有110名球员的情况下呼吁扩大样本的原因。一个在数月乃至数年间记录球员所做每一项测试的平台，积累的正是这些作者所说的缺失数据。这是一个机会，也是一项必须妥善分析这些数据的义务。
Insporta 为自己设定的标准
综合这两篇论文，可以得出一份检查清单，Insporta 依照其研究原则，把它用于有关其测试效度的任何论断：
- 效标事先公布，数据收集之后不再更改。
- 多个维度综合分析，而不是只看一个总分。
- 保留完整的球员范围，从入门者到职业球员；在结果因范围而异时，按范围分别报告。
- 报告准确率时绝不省略基础比率。
- 信度靠测量，而非假定：较长的评估在引用信度数字之前，需要对同一组人进行重测检验，以 Höner 等人（2023）的 r = .78 为基准。
- 控制年龄因素：在球员之间的任何比较中都如此，遵循 Vestberg（2017）和 Heisler（2023）的做法。
- 数据按性别分组，使女子运动的研究结果能够单独报告，而不是凭假定得出。
以上各项尚未在 Insporta 上得到证明。这是在有足够数据可供评判时用来评判这些测试的标准，也是本栏目证据部分描述文献所支持的内容、而非 Insporta 已证明的内容的原因。现有证据对测试设计已有哪些结论，见Insporta 如何应用研究成果。
来源
- Bergkamp, T. L. G., Niessen, A. S. M., den Hartigh, R. J. R., Frencken, W. G. P., & Meijer, R. R. (2019). Methodological issues in soccer talent identification research. Sports Medicine, 49(9), 1317-1335
- Williams, A. M., Ford, P. R., & Drust, B. (2020). Talent identification and development in soccer since the millennium. Journal of Sports Sciences, 38(11-12), 1199-1210
- Verburgh, L., et al. (2014). PLoS One, 9(3), e91254
- Reinhard, M. L., Mann, D. L., & Höner, O. (2025). Journal of Science and Medicine in Sport, 28(7), 587-593
常见问题
- 运动员选材研究中的四个方法学问题是什么？
- 根据 Bergkamp 等人（2019）的研究：成功效标的操作化定义模糊；依赖孤立的表现指标；只研究已入选的球员而造成全距限制；报告准确率时忽略基础比率。
- 为什么准确率达89%的测试仍会产生大量假阳性？
- 原因在于基础比率。如果一个群体中只有5%的人能够成功，一个准确率为89%的分类器被标记为“成功”的未成功者，可能远多于真正的成功者。准确率数字必须连同基础比率一起报告。
- 什么是全距限制？
- 只研究群体中很窄的一部分，例如只研究青训学院球员。在这一部分内部得到的相关，可能比从业余到职业的完整范围内的相关小得多，甚至完全不同。
- Williams、Ford 和 Drust 提出了哪些建议？
- 人才研究应当是多学科的而非单一测量的，应当是纵向的而非横断面的，应当扩展到女子足球，并应研究球探和教练实际采用的主观标准。