Jamais deux fois la même question

Insporta ne pose jamais deux fois le même fait, et le critère est que la question soit nouvelle, non que le thème le soit. Un thème survolé en dix questions laisse place à cent questions plus approfondies, mais une seconde question qui enseigne le même point en d’autres termes n’ajoute rien à la mesure et gaspille l’une des dix places d’un test. La plupart des redites viennent d’une poignée d’habitudes, que nous nommons chacune ici.

Pourquoi les doublons faussent la mesure

Un apprenant qui connaît un fait et à qui on le demande deux fois obtient deux sur deux ; celui qui ne le connaît pas obtient zéro sur deux. Le test a consacré un cinquième de sa longueur à mesurer une seule chose, et le score ne reflète plus l’étendue des connaissances. Les doublons d’un sous-niveau à l’autre produisent le même effet à l’échelle du niveau, et les doublons qui se contredisent, l’un donnant une affirmation comme clé et l’autre la proposant comme mauvaise réponse, laissent à l’apprenant qui a étudié le premier un argument défendable en faveur de la mauvaise option du second.

À mesure que le corpus grandit, ce défaut devient prédominant. En triathlon, la vérification des faits a relevé des erreurs factuelles à 300 questions ; à 500, elle n’en a presque plus trouvé, mais a découvert des répétitions : une douzaine de corrections factuelles environ contre trente paires de doublons. Plus la couverture est dense, plus il est difficile pour un auteur qui ne voit pas le travail de tous les autres d’éviter de reformuler un point déjà traité.

Les habitudes qui produisent des doublons

Les paires contraposées. Énoncer le principe dans une question et ce que l’on perd sans lui dans une autre revient à poser deux fois le même fait. « Fixer le défenseur maintient la ligne basse » et « sans fixation, la ligne remonte » figuraient comme deux questions distinctes dans le même test de football, et cela à trois reprises.

Un même fait sous plusieurs tests. Un fait qui convient à plusieurs sujets de test finit posé une fois sous chacun d’eux. « Quelqu’un doit faire l’appel derrière l’attaquant » apparaissait dans quatre des dix tests d’un même sous-niveau, alors que le corpus l’enseignait déjà trois fois.

Les tests bâtis sur un point de vue plutôt que sur un sujet. « Modes de défaillance », « le diagnostiquer », « comment on l’évalue » et « face à différents dispositifs » sont des angles de lecture des autres tests, non des thèmes, et un test construit sur l’un d’eux se remplit des faits du sous-niveau reformulés en symptômes. Dans un sous-niveau de football, un test de diagnostic reprenait huit de ses dix questions en inversant simplement l’énoncé en « quelle vérification vient en premier » ; dans un autre, un test sur les modes de défaillance ne comptait que trois questions propres sur dix. Un test reçoit un sujet, pas un point de vue. Les questions de diagnostic ne sont légitimes que pour une erreur dont la cause n’est pas déjà la réponse à une autre question du même sous-niveau.

Le même mécanisme vu des deux côtés. Le marquage individuel contré par les rotations et les rotations contrées par le marquage individuel ne forment qu’une seule question. Lorsqu’un mécanisme peut être interrogé du côté de l’attaque comme de la défense, un seul côté est nouveau ; l’autre doit porter sur la parade, la condition préalable ou le coût.

Un lot doit être cohérent avec lui-même

Deux questions d’un même lot ne peuvent pas se contredire. Dans un lot pilote, « tenir sa zone » était donné comme clé dans un test et proposé comme mauvaise option dans un autre. La cohérence est vérifiée sur l’ensemble du lot avant sa remise, et un fait donné comme clé dans un sous-niveau n’est pas proposé comme distracteur dans un sous-niveau voisin, sauf si l’énoncé rend la distinction explicite.

Comment repérer un doublon

Trois moyens permettent de les repérer, et aucun ne suffit seul. Chaque question porte une étiquette de thème qui doit être unique dans tout le sport ; deux questions qui réclament la même étiquette n’en font qu’une. Une comparaison du recouvrement lexical détecte les reformulations par rapport à tout ce qui est déjà publié. Enfin, un relecteur qui a sous les yeux les niveaux voisins repère la paire qui dit la même chose en d’autres mots, ce que la comparaison lexicale ne peut pas voir : deux questions sur la cadence de nage en eau agitée partageaient 40 % de leurs mots pour un seuil de 65, et abaisser ce seuil ne fait que commencer à apparier des questions légitimement distinctes.

Les métadonnées révèlent souvent un doublon avant le texte. Dans un lot de cent questions, huit paires enseignaient le même point, et pour trois d’entre elles la source citée était identique dans les deux enregistrements.

Ce que devient un doublon

Il ne peut pas être simplement supprimé, car chaque test contient exactement dix questions. Il est remplacé, et des remplacements sont prévus dans le budget de chaque lot. La moitié de la paire à conserver se décide en lisant les deux questions à la lumière de la source : deux questions sur la réhydratation semblaient interchangeables, jusqu’à ce que l’on constate que l’une était correctement conditionnée à une autre séance dans les heures suivantes, et l’autre non.

Une exception est délibérée : les faits de sécurité peuvent se répéter dans chaque sous-niveau qui mène au danger concerné, voir Données probantes, affirmations et sécurité. Les vérifications qui garantissent l’unicité, et leurs limites connues, sont décrites dans Vérification des faits et contrôles qualité ; la manière dont les niveaux sont planifiés pour que chacun aille plus loin que le précédent est exposée dans Niveaux et sous-niveaux.