Welche vier methodischen Probleme hat die Forschung zur Talentidentifikation?

Nach Bergkamp et al. (2019): eine unscharfe Operationalisierung des Erfolgskriteriums, die Beschränkung auf isolierte Leistungsindikatoren, eine Varianzeinschränkung, weil nur bereits ausgewählte Spieler untersucht werden, und das Übergehen der Basisrate bei der Angabe der Trefferquote.

Warum liefert ein Test mit 89 % Trefferquote trotzdem viele falsch-positive Ergebnisse?

Wegen der Basisrate. Wenn nur 5 % einer Population Erfolg haben, kann ein Klassifikator mit 89 % Trefferquote weit mehr Nichterfolgreiche als erfolgreich einstufen, als es tatsächlich Erfolgreiche gibt. Trefferquoten müssen zusammen mit der Basisrate berichtet werden.

Was ist Varianzeinschränkung?

Die Untersuchung nur eines schmalen Ausschnitts der Population, zum Beispiel nur von Akademiespielern. Korrelationen innerhalb dieses Ausschnitts können deutlich kleiner ausfallen oder anders aussehen als über die gesamte Spannweite vom Amateur bis zum Profi.

Was empfehlen Williams, Ford und Drust?

Dass Talentforschung multidisziplinär statt auf ein einzelnes Maß gestützt und längsschnittlich statt querschnittlich angelegt ist, den Frauenfußball einbezieht und die subjektiven Kriterien untersucht, die Scouts und Trainer tatsächlich anwenden.

Wie man einen Sportwissenstest validiert

Die vier methodischen Probleme, die Bergkamp et al. (2019) benennen, und die Prinzipien von Williams, Ford und Drust (2020): der Maßstab, an den sich Insporta hält.

Ein Sportwissenstest wird auf dieselbe Weise validiert wie jedes Instrument der Talentidentifikation, und das Fach hat aufgeschrieben, was dafür nötig ist. Bergkamp et al. (2019) haben vier methodische Probleme benannt, die den Großteil der Talentforschung im Fußball schwächen: Das Erfolgskriterium ist unscharf definiert, einzelne Indikatoren werden isoliert untersucht, die Stichproben beschränken sich auf bereits ausgewählte Spieler, und die Trefferquote wird ohne die Basisrate berichtet. Williams, Ford und Drust (2020) ergänzen, dass glaubwürdige Arbeiten multidisziplinär und längsschnittlich sein müssen. Insporta behandelt diese beiden Arbeiten als Maßstab für jede Aussage, die es über seine eigenen Tests trifft.

Bergkamp et al. 2019: vier Probleme, die zu lösen sind, bevor man Validität beansprucht

Eine Gruppe von Psychometrikern der Universität Groningen hat in Sports Medicine die Literatur zur Talentidentifikation im Fußball gesichtet und immer wieder dieselben vier Schwächen gefunden.

1. Operationalisierung des Kriteriums

Was zählt als Erfolg? Das Erreichen des Profiniveaus? Gespielte Minuten? Erzielte Tore? Dass eine Akademie den Spieler eine weitere Saison behält? Jede Definition liefert mit demselben Prädiktor ein anderes Ergebnis, und Studien, die das Kriterium nicht vorab festlegen, können sich nachträglich das aussuchen, das am besten aussieht. Das ist der wichtigste Grund, warum zwei Übersichtsarbeiten über die Größe eines Effekts uneins sein können, wie Murr (2018) und Ivarsson (2020) in Sagt sportliches Wissen das künftige Niveau vorher?.

Für einen Wissenstest besteht die Disziplin darin, das Kriterium zu nennen, bevor Daten erhoben werden. Ein naheliegendes Kriterium für Insporta ist der Fortschritt durch die Schwierigkeitsstufen einer Sportart über einen festen Zeitraum von sechs, zwölf oder vierundzwanzig Monaten, vorab erklärt und nicht mehr geändert, sobald Ergebnisse vorliegen.

2. Konzentration auf isolierte Leistungsindikatoren

Die meisten Studien nehmen eine einzige Kennzahl. Bergkamp und Kollegen argumentieren, dass eine mehrdimensionale Erfassung über fünf oder mehr Variablen weit stabilere Ergebnisse liefert, und Höner et al. (2021) zeigten an 13.869 Spielern, dass kein einzelner Prädiktor eine Kombination übertraf. Insporta erfasst je Spieler mehrere Dimensionen: die Richtigkeit der Antworten, die Antwortzeit, das Profil der richtig und der falsch beantworteten Themen und das Behalten über die Zeit. Jede Validierungsstudie sollte sie gemeinsam verwenden, statt eine zu berichten und den Rest zu übergehen.

3. Varianzeinschränkung

Misst eine Studie nur Akademiespieler, wie Reinhard, Mann und Höner (2025) und die meisten anderen es tun, sieht sie einen schmalen Ausschnitt der Population. Jeder in der Stichprobe hat bereits einen Auswahlfilter passiert; die Streuung des Könnens ist daher gestaucht, und Korrelationen können gegenüber der gesamten Spannweite schrumpfen, verschwinden oder sich sogar umkehren. Effekte, die an Akademiespielern geschätzt wurden, beschreiben Amateure möglicherweise nicht, und umgekehrt.

Ein öffentlicher Test, den jeder machen kann, hat hier einen strukturellen Vorteil: Seine Population reicht vom Gelegenheitsfan bis zum Profi. Eine Stärke ist das nur, wenn die gesamte Spannweite in der Auswertung bleibt und nicht auf die Spitze beschnitten wird.

4. Basisrate

Verburgh et al. (2014) klassifizierten talentierte Spieler und Amateure mit einer Trefferquote von 89 %. Das klingt eindeutig. Angenommen aber, die tatsächliche Erfolgsquote in einer Population beträgt 5 %. Von 1000 Spielern werden 50 Erfolg haben. Ein Test, der in 89 % der Fälle richtigliegt, erkennt die meisten dieser 50 korrekt und stuft außerdem etwa 11 % der übrigen 950 fälschlich als erfolgreich ein, das sind rund 105 Spieler. Die falsch-positiven Ergebnisse übertreffen die richtig-positiven im Verhältnis zwei zu eins. Höner et al. (2021) fanden in einem nationalen Talentpool eine Erfolgsquote von 9 %; das Beispiel ist also nicht bloß hypothetisch.

Jede Trefferquote, die Insporta berichtet, wird von der Berechnung der Basisrate begleitet.

Williams, Ford und Drust 2020: die Gestaltungsprinzipien

Williams, Ford und Drust haben im Journal of Sports Sciences zwei Jahrzehnte Talentforschung an vier Prinzipien gemessen, die erstmals im Jahr 2000 formuliert worden waren, und festgestellt, dass das Fach ihnen nur teilweise gerecht geworden ist.

Prinzip	Was es von einem Test wie Insporta verlangt
Multidisziplinär, nicht auf ein einzelnes Maß gestützt	Wissen mit Zeit, Behalten und Kontext verbinden, statt ein einzelnes Ergebnis zu berichten
Längsschnittlich, nicht querschnittlich	Dieselben Spieler über die Zeit begleiten; eine einzelne Momentaufnahme kann Entwicklung weder zeigen noch vorhersagen
Die Forschung auf den Frauenfußball ausdehnen	Nicht annehmen, dass Befunde zu Männern übertragbar sind; Reinhard et al. (2025) nennen das Fehlen von Daten zu Spielerinnen als Einschränkung ihrer eigenen Studie
Die subjektiven Kriterien von Scouts und Trainern untersuchen	Das Urteil eines Trainers als eigene Variable erfassen und mit den Testergebnissen vergleichen, da Höner (2021) gezeigt hat, dass es zusätzliche Information liefert

Das Prinzip des Längsschnitts ist dasjenige, an dem die Literatur am häufigsten scheitert. Prospektive Studien sind teuer und langsam; deshalb gibt es so wenige, und deshalb fordern Reinhard et al. mit ihren 110 Spielern größere Stichproben. Eine Plattform, die jeden Test erfasst, den ein Spieler macht, über Monate und Jahre, sammelt genau die Art von Daten an, die nach Aussage dieser Autoren fehlt. Das ist eine Chance und zugleich eine Verpflichtung, sie sauber auszuwerten.

Der Maßstab, an den sich Insporta hält

Zusammengenommen ergeben die beiden Arbeiten eine Checkliste, die Insporta auf jede Validitätsaussage über seine Tests anwendet, im Einklang mit seinen Forschungsgrundsätzen:

Das Kriterium wird vorab erklärt und ändert sich nicht mehr, sobald Daten erhoben sind.
Mehrere Dimensionen werden gemeinsam ausgewertet, nicht ein einzelnes plakatives Ergebnis.
Die gesamte Spannweite der Spieler bleibt erhalten, vom Anfänger bis zum Profi, und die Ergebnisse werden nach Bereichen getrennt berichtet, wo sie sich unterscheiden.
Die Trefferquote wird nie ohne die Basisrate berichtet.
Reliabilität wird gemessen, nicht angenommen: Ein längeres Testverfahren braucht eine Test-Retest-Prüfung an derselben Gruppe, bevor ein Reliabilitätswert genannt wird, mit r = ,78 aus Höner et al. (2023) als Richtwert.
Das Alter wird kontrolliert, bei jedem Vergleich zwischen Spielern, in Anlehnung an Vestberg (2017) und Heisler (2023).
Die Daten werden nach Geschlecht getrennt, damit Befunde zum Frauensport gesondert berichtet und nicht bloß unterstellt werden.

Nichts davon ist für Insporta bisher nachgewiesen. Es ist der Maßstab, an dem die Tests gemessen werden, sobald genug Daten vorliegen, um sie zu beurteilen, und der Grund, warum die Evidenz-Hälfte dieses Bereichs beschreibt, was die Literatur stützt, und nicht, was Insporta bewiesen hat. Was die Evidenz schon jetzt über die Gestaltung sagt, steht in Wie Insporta die Forschung anwendet.