Charge de lecture et longueur

Un énoncé Insporta compte de 60 à 180 caractères, chaque option au plus 80, les options d’une même question restent à moins de 30 caractères d’écart les unes des autres, et, sur l’ensemble d’un lot, la clé n’est pas l’option la plus longue plus souvent que le hasard ne le voudrait. Une question porte sur une seule chose. Ces règles existent parce que le temps de réponse est enregistré en même temps que l’exactitude : tout ce qui rend une question plus lente à lire que ses voisines, ou laisse la longueur trahir la clé, contamine la mesure.

Les fourchettes

Élément	Limite	Raison
Énoncé	De 60 à 180 caractères	Sous 60, la question manque généralement de la mise en situation dont elle a besoin ; au-delà de 180, elle devient un exercice de lecture. Un énoncé plus long n’est admis que lorsque le scénario l’exige réellement.
Option	Au plus 80 caractères	Une option est une réponse, pas un paragraphe.
Écart au sein d’une question	Aucune option ne dépasse de plus de 30 caractères la plus longue des autres	Quatre options de longueur comparable ne donnent aucun indice visuel.
Sur l’ensemble d’un lot	La clé est l’option la plus longue dans environ un quart des questions, et la plus courte dans environ un quart	Avec quatre options, le hasard donne 25 %. Bien au-delà, la longueur prédit la réponse.
Portée	Une question porte sur une seule chose	Pas de « quelles sont les deux bonnes réponses parmi les suivantes ».

Les deux premières limites ont été fixées après avoir mesuré des contenus rédigés sans elles : dans un même niveau, les énoncés allaient de 24 à 284 caractères, un écart trop grand pour que les dix questions d’un test restent comparables.

Pourquoi le temps de réponse compte

Insporta enregistre le temps que prend chaque réponse, et pas seulement si elle est juste. La vitesse seule est une mauvaise mesure, et Heisler et ses collègues (2023) ont montré qu’un classement fondé sur la vitesse sans l’exactitude apprend peu de chose ; mais la vitesse associée à l’exactitude apporte une information que l’exactitude seule ne fournit pas, et elle entre dans la construction du profil de l’apprenant, voir Comment Insporta applique la recherche.

Cela ne fonctionne que si les dix questions d’un test demandent à peu près le même effort de lecture. Si un énoncé est trois fois plus long que le suivant, l’écart de temps entre eux relève de la lecture, non de la réflexion, et le profil l’intègre comme s’il s’agissait de connaissances. Maintenir une charge de lecture homogène est ce qui rend le temps de réponse interprétable.

L’indice de l’option la plus longue

La règle qui porte sur le lot est celle qui a été la plus difficile à apprendre. Un lot pilote de cent questions de football avait été rédigé avec la clé comme option la plus longue dans 93 d’entre elles, en moyenne douze caractères de plus que le plus long des distracteurs. Un apprenant choisissant toujours la réponse la plus longue aurait obtenu un score très supérieur au hasard sans rien connaître au football. L’auteur avait relu chaque ligne sans rien remarquer, car la longueur est invisible quand on lit pour le sens.

La première correction a aggravé le problème dans une autre direction. Raccourcir chaque clé trop longue a produit un lot où la clé était l’option la plus courte dans 41 questions sur 100. Une correction question par question avait déplacé l’indice au lieu de le supprimer ; c’est pourquoi la règle est formulée comme une répartition sur l’ensemble du lot plutôt que comme une limite propre à chaque question.

La correction qui fonctionne consiste à allonger un distracteur, jamais à raccourcir la clé. Une clé est aussi longue que la bonne réponse l’exige ; on peut en revanche ajouter à un distracteur une proposition qui le rend plus précis. Cet allongement est une modification de contenu et il est relu comme tel : lors d’une passe sur un niveau de football, 145 distracteurs ont été allongés et 29 de ces allongements étaient défectueux. Trois d’entre eux ont rendu vraie une option fausse (une option affirmant qu’une tactique « exige plus de personnel que les clubs ne peuvent se le permettre » est devenue « que la plupart des clubs ne peuvent se le permettre », ce qui est tout simplement exact), un reformulait la clé, et les autres sonnaient comme du remplissage. Un distracteur allongé est un nouveau distracteur et il est vérifié comme tel, voir Comment les distracteurs sont construits.

La vérification elle-même a dû être corrigée une fois. Une première version mesurait l’option « la plus courte » par rapport au plus long des distracteurs plutôt que par rapport aux quatre options, ce qui revient presque au complément de « la plus longue » et ne constitue pas un signal à part entière ; un lot où la clé était la plus longue dans 56 questions sur 100 passait donc le contrôle. Le décompte se fait désormais sur l’ensemble des options.

Une question, une seule chose

Un énoncé qui demande « quelles sont les deux bonnes réponses parmi les suivantes » ou qui propose « A et B à la fois » réunit deux questions en une, et l’apprenant qui connaît une moitié mais pas l’autre n’a aucune bonne réponse à donner. Chaque question a une seule clé, et les trois distracteurs sont faux chacun pour lui-même, voir Comment les distracteurs sont construits.

Ce que cette règle ne fait pas

Les limites de longueur ne rendent une question ni vraie, ni nouvelle, ni conforme au périmètre. Elles éliminent une catégorie d’indices qui permettent à un apprenant de marquer des points sans connaissances, afin que ce qui reste soit bien la connaissance. Les autres catégories sont traitées dans Une question doit se suffire à elle-même et Jamais deux fois la même question, et les vérifications qui les font toutes respecter sont décrites dans Vérification des faits et contrôles qualité.