タレント発掘研究における4つの方法論上の問題とは何ですか。

Bergkampら（2019）によれば、成功の基準の操作的定義があいまいなこと、個別のパフォーマンス指標に頼っていること、選抜された選手だけを調べることによる範囲の制限、そして正確度を報告する際に基準率を無視していることの4つです。

正確度89%のテストでも、なぜ多くの偽陽性が出るのですか。

基準率のためです。母集団のうち成功する人が5%しかいなければ、正確度89%の分類器は、実際に成功する人よりもはるかに多くの成功しない人を成功者と判定しかねません。正確度の数値は基準率とあわせて報告しなければなりません。

範囲の制限とは何ですか。

母集団のごく一部、たとえばアカデミーの選手だけを調べることです。その一部の中での相関は、アマチュアからプロまで全範囲での相関よりもずっと小さかったり、異なっていたりすることがあります。

Williams、Ford、Drustは何を推奨していますか。

タレント研究は単一の指標ではなく学際的に、横断的ではなく縦断的に行い、女子サッカーにも対象を広げ、スカウトやコーチが実際に用いている主観的な基準を研究すべきだということです。

スポーツの知識テストを検証する方法

Bergkampら（2019）が指摘した4つの方法論上の問題と、Williams、Ford、Drust（2020）の原則。Insportaはこれを自らの基準としています。

スポーツの知識テストの検証は、他のタレント発掘の手段と同じ方法で行います。そして、そのために何が必要かは、この分野ですでに明文化されています。Bergkampら（2019）は、サッカーのタレント研究の大半を損なっている4つの方法論上の問題を指摘しました。成功の基準の定義があいまいであること、単一の指標が切り離して調べられていること、標本がすでに選抜された選手に限られていること、そして正確度が基準率なしに報告されていることです。Williams、Ford、Drust（2020）はさらに、信頼に足る研究は学際的かつ縦断的でなければならないと付け加えています。Insportaは、自らのテストについて行うあらゆる主張の基準として、この2本の論文を位置づけています。

Bergkampら（2019）：妥当性を主張する前に解決すべき4つの問題

フローニンゲン大学の心理測定学者のグループが、サッカーのタレント発掘に関する文献をSports Medicine誌でレビューし、同じ4つの弱点が繰り返し現れていることを見いだしました。

1. 基準の操作的定義

何をもって成功とするのでしょうか。プロのレベルに到達することでしょうか。出場時間でしょうか。得点数でしょうか。アカデミーにもう1シーズン残留することでしょうか。定義が違えば、同じ予測因子から異なる結果が出ます。基準をあらかじめ固定しない研究は、あとから最も見栄えのよい基準を選ぶことができてしまいます。2つのレビューが効果の大きさについて食い違う主な理由はここにあり、競技特有の認知は、選手の将来のレベルを予測するのかで取り上げたMurr（2018）とIvarsson（2020）の食い違いもその一例です。

知識テストにとっての規律は、データを集める前に基準を明示することです。Insportaにとって自然な基準は、一定の期間（6か月、12か月、または24か月）に、ある競技の難易度レベルをどこまで進んだかです。これを事前に宣言し、結果が出たあとで変えないことが求められます。

2. 個別のパフォーマンス指標への偏り

ほとんどの研究は単一の指標を用いています。Bergkampらは、5つ以上の変数にわたる多次元的な評価のほうがはるかに安定した結果をもたらすと論じており、Hönerら（2021）は13,869人の選手を対象に、単一の予測因子が組み合わせを上回ることはなかったと示しました。Insportaは選手1人につき、正確度、回答時間、正解したトピックと誤答したトピックのプロファイル、時間の経過に伴う記憶の保持という複数の次元を記録しています。妥当性検証の研究では、そのうち1つだけを報告して残りを無視するのではなく、これらをあわせて用いるべきです。

3. 範囲の制限

Reinhard、Mann、Höner（2025）をはじめとする多くの研究のように、アカデミーの選手だけを測定する研究は、母集団のごく一部しか見ていません。標本の全員がすでに選抜というふるいを通過しているため、能力のばらつきが圧縮され、全範囲と比べて相関が小さくなったり、消えたり、逆転したりすることさえあります。アカデミーの選手で推定された効果がアマチュアに当てはまるとは限らず、その逆も同様です。

誰でも受けられる公開のテストには、この点で構造上の利点があります。母集団が気軽なファンからプロにまで及ぶからです。ただし、それが強みになるのは、分析で上位層だけに絞り込まず、全範囲を残した場合に限られます。

4. 基準率

Verburghら（2014）は、才能ある選手とアマチュアの選手を89%の正確度で分類しました。決定的な結果に聞こえます。しかし、母集団における実際の成功率が5%だとしましょう。1,000人の選手のうち、成功するのは50人です。89%の確率で正しく判定するテストは、その50人の大半を正しく拾い上げますが、残りの950人のうち約11%、つまりおよそ105人も誤って拾い上げます。偽陽性が真陽性の2倍にのぼるのです。Hönerら（2021）は、ある国のタレントプールで成功率が9%であることを見いだしており、これは仮定の話ではありません。

Insportaが正確度の数値を報告するときは、必ず基準率の計算を並べて示します。

Williams、Ford、Drust（2020）：設計の原則

Williams、Ford、Drustは、Journal of Sports Sciences誌で20年分のタレント研究を、2000年に初めて示された4つの原則に照らしてレビューし、この分野が原則を部分的にしか満たしてこなかったことを見いだしました。

原則	Insportaのようなテストに求められること
単一の指標ではなく学際的に	1つのスコアだけを報告するのではなく、知識に時間、記憶の保持、背景を組み合わせる
横断的ではなく縦断的に	同じ選手を時間をかけて追跡する。一時点のスナップショットでは発達を示すことも予測することもできない
女子サッカーにも研究を広げる	男子での知見がそのまま当てはまると決めつけない。Reinhardら（2025）は、女子のデータがないことを自らの研究の限界に挙げている
スカウトやコーチの主観的な基準を研究する	Höner（2021）が、コーチの判断が情報を付け加えることを示したため、コーチの判断を独立した変数として記録し、テスト結果と比較する

文献が最も満たせていないのは縦断性の原則です。前向き研究は費用も時間もかかるため数が少なく、110人の選手を対象としたReinhardらがより大きな標本を求めているのもそのためです。選手が受けたすべてのテストを数か月、数年にわたって記録するプラットフォームには、これらの著者たちが欠けていると指摘するまさにその種のデータが蓄積されます。これは好機であると同時に、そのデータを適切に分析する責任でもあります。

Insportaが自らに課す基準

2本の論文をあわせると、ひとつのチェックリストができます。Insportaは自らの研究の原則に沿って、テストの妥当性に関するあらゆる主張にこのチェックリストを適用します。

基準は事前に宣言し、データを集めたあとで変えません。
複数の次元をあわせて分析し、目玉となる1つのスコアだけにはしません。
選手の全範囲を残し、入門者からプロまでを含めます。範囲によって結果が異なる場合は、範囲ごとに報告します。
正確度を基準率なしに報告することはありません。
信頼性は仮定せずに測定します：より長い評価については、信頼性の数値を示す前に、同じ集団で再検査によるチェックを行う必要があります。基準となるのはHönerら（2023）のr = .78です。
選手間のあらゆる比較で年齢を統制します。Vestberg（2017）とHeisler（2023）に従っています。
データは性別で区分し、女子スポーツについての知見を、仮定するのではなく別に報告できるようにします。

これらはいずれも、Insportaについてはまだ実証されていません。これは、判断に足るデータがそろったときにテストを評価するための基準であり、このセクションのエビデンスの部が、Insportaが証明したことではなく文献が裏づけていることを述べている理由でもあります。エビデンスが設計についてすでに何を示しているかは、Insportaは研究をどう生かしているかで説明しています。