Vérification des faits et contrôles qualité

Avant d’être publié, un lot de questions Insporta passe une série fixe de contrôles, des moins coûteux aux plus coûteux : l’autocontrôle de l’auteur, des contrôles mécaniques de la structure, du signal de longueur, des indices dans les distracteurs et des doublons, une relecture par un relecteur qui a les niveaux voisins sous les yeux, et une vérification des faits par une personne, au regard de la source primaire, qui porte sur la clé et sur les trois distracteurs de chaque question. Les faits confirmés en chemin sont consignés dans un registre propre à chaque sport, que l’auteur suivant lit en premier.

L’autocontrôle de l’auteur

L’auteur confronte son propre lot aux règles avant que quiconque d’autre le voie :

• chaque test compte exactement dix questions, chaque question quatre options ;
• aucune question ne renvoie à un document source ;
• les énoncés restent dans la fourchette de longueur, et la longueur de la clé ne trahit pas la réponse à l’échelle du lot ;
• chaque distracteur est vérifié comme faux, et pas seulement comme différent de la clé ;
• aucune étiquette de thème n’est répétée ;
• deux questions du lot n’enseignent jamais le même fait ;
• rien de la liste « déjà traité » n’est redemandé ;
• les affirmations contestées sont signalées comme telles, et les réponses liées à la sécurité nomment le bon interlocuteur.

Cette liste reprend les règles décrites dans Comment Insporta rédige un test. Elle est nécessaire mais pas suffisante, d’où les contrôles qui suivent.

Les contrôles mécaniques

La structure. Exactement dix questions par test, quatre options, une clé, tous les champs obligatoires renseignés, et des énoncés dans la fourchette décrite dans Charge de lecture et longueur.

Le signal de longueur. À l’échelle du lot, la clé ne doit pas être l’option la plus longue, ni la plus courte, beaucoup plus souvent que le quart des cas que donne le hasard. C’est une distribution sur l’ensemble du lot, et non un verdict question par question, car une correction question par question déplace l’indice au lieu de le supprimer.

Les indices dans les distracteurs. Les règles et restrictions inventées, ainsi que les formulations absolues que la clé ne comporte pas, sont décomptées sur l’ensemble du lot (voir Comment sont construits les distracteurs). Les deux se repèrent mécaniquement, et les deux avaient échappé à un auteur qui avait relu chaque ligne.

L’unicité des étiquettes. Chaque étiquette de thème doit être unique pour tout le sport. Ce contrôle a été ajouté par simple hygiène, et il a trouvé ce que rien d’autre n’avait trouvé : appliqué aux 1500 questions de triathlon, il a fait apparaître au niveau 1 deux véritables doublons que le contrôle de recouvrement avait manqués et qu’aucun lecteur n’avait cherchés. Un audit dédié a ensuite relevé 24 répétitions au niveau 1, contre 14 au niveau 2 et 10 au niveau 3, le nombre diminuant à mesure que chaque lot était rédigé sous un plus grand nombre de règles. Des invariants peu coûteux attrapent des choses qu’ils n’étaient pas conçus pour attraper.

Les doublons par recouvrement de mots. Chaque question est comparée au reste du lot et à tout ce qui est déjà publié. Le contrôle opère à environ 65 % de mots communs et manque la même question posée en d’autres termes ; abaisser le seuil revient à faire correspondre des questions légitimement distinctes.

Ces contrôles portent sur la forme, pas sur l’exactitude. Un rapport de structure sans anomalie signifie que le lot est bien formé.

La relecture

Un relecteur lit le lot avec les niveaux voisins ouverts, à la recherche de ce que le contrôle de recouvrement ne voit pas : deux questions qui enseignent le même fait en d’autres termes, un test bâti sur un point de vue plutôt que sur un sujet, un mécanisme abordé sous l’angle qu’une autre question a déjà couvert. Les limites sont connues. La relecture d’un auteur par lui-même a trouvé cinq doublons sur quatorze dans un lot, tous à l’intérieur d’un même sous-niveau et aucune des paires à cheval sur deux sous-niveaux ; « j’ai tout relu » n’est pas un contrôle. La relecture dédiée, avec les deux niveaux sous les yeux, en est un. Un relecteur peut aussi corriger l’auteur sur le fond, et il l’a fait deux fois lors du premier pilote de football.

La vérification des faits

Une personne vérifie chaque question au regard de la source primaire : les Lois, les conditions de jeu, les règles de compétition, le rapport technique ou l’ouvrage de référence d’entraînement cité dans le champ source de la question. La vérification porte sur les quatre options. La plupart des problèmes relevés ne sont pas des clés erronées mais des mauvaises options qui se révèlent vraies : dans le premier lot de triathlon, onze problèmes sur cent questions, pour la plupart des distracteurs vrais. Un distracteur vrai est aussi le défaut le plus susceptible de réapparaître plus tard, quand on examine les statistiques d’une question pour voir si elle distingue les apprenants qui connaissent le sport de ceux qui ne le connaissent pas (voir Comment valider un test de connaissances sportives).

La vérification des faits lit dans les deux sens : elle traque les affirmations énoncées avec plus d’assurance que les données ne le permettent, et celles entourées de réserves alors que les données les étayent, comme décrit dans Données, affirmations et sécurité. Toute passe de correction qui réécrit des questions est revérifiée sur ce qu’elle a écrit, et non sur ce qu’elle voulait dire : dans un lot de triathlon, deux des quatorze doublons avaient été introduits par la correction du lot précédent.

Le registre des faits vérifiés

Un fait qu’un relecteur a confirmé ou corrigé doit survivre au lot, sans quoi il reviendra. Une règle de triathlon corrigée au niveau 1, selon laquelle les athlètes peuvent partager leur ravitaillement et seule l’aide de personnes extérieures à la course est interdite, est revenue sous forme d’erreur au niveau 3, faute pour le nouvel auteur de pouvoir le savoir. Chaque sport tient désormais un registre de toutes les positions vérifiées au regard d’une source primaire, avec les erreurs corrigées, les affirmations réellement contestées et les points qu’il ne faut pas assortir de trop de réserves. Les auteurs le lisent avant d’écrire, les relecteurs y confrontent le contenu, et quiconque contredit une entrée doit produire une source primaire, pas une opinion.

Les registres sont publics : football, cricket, futsal, triathlon.

Ce que les contrôles ont trouvé la première fois

Le premier lot pilote de cent questions de football est passé par tous ces contrôles, et des relecteurs indépendants ont relevé un problème dans 69 questions : la clé la plus longue dans 93, une règle inventée dans 36, une formulation absolue que la clé ne comporte jamais dans 31, huit paires de doublons, deux tests entiers bâtis sur une mauvaise idée et deux erreurs factuelles bloquantes. Chaque constat est devenu une règle ou un contrôle. Les contrôles n’existent pas parce que les auteurs sont négligents ; ils existent parce que la longueur, les indices et les répétitions sont invisibles quand on lit pour le sens.