Carico di lettura e lunghezza

Un enunciato di Insporta è lungo da 60 a 180 caratteri, ogni opzione ne ha al massimo 80, le opzioni di una stessa domanda restano entro 30 caratteri l’una dall’altra e, su un lotto, la chiave non è l’opzione più lunga più spesso di quanto dia il caso. Una domanda chiede una sola cosa. Queste regole esistono perché il tempo di risposta viene registrato insieme alla correttezza: tutto ciò che rende una domanda più lenta da leggere delle altre, o che lascia alla lunghezza il compito di svelare la chiave, contamina la misurazione.

Le fasce di lunghezza

Elemento	Limite	Motivo
Enunciato	Da 60 a 180 caratteri	Sotto i 60 alla domanda manca di solito la situazione di cui ha bisogno; sopra i 180 diventa un esercizio di lettura. Si può superare il limite solo quando lo scenario lo richiede davvero.
Opzione	Al massimo 80 caratteri	Un’opzione è una risposta, non un paragrafo.
Scarto all’interno di una domanda	Nessuna opzione supera di più di 30 caratteri la più lunga delle altre	Quattro opzioni di lunghezza comparabile non offrono indizi visivi.
Sull’intero lotto	La chiave è l’opzione più lunga in circa un quarto delle domande, e la più corta in circa un quarto	Con quattro opzioni il caso dà il 25%. Molto oltre questa quota, la lunghezza permette di prevedere la risposta.
Ambito	Una domanda chiede una sola cosa	Niente «quali due tra le seguenti».

I primi due limiti sono stati fissati dopo aver misurato contenuti scritti senza di essi: in un livello gli enunciati andavano da 24 a 284 caratteri, un intervallo troppo ampio perché le dieci domande di un test fossero confrontabili.

Perché conta il tempo di risposta

Insporta registra quanto tempo richiede ogni risposta, non solo se è corretta. La velocità da sola è una misura povera, e Heisler e colleghi (2023) hanno rilevato che una classifica per velocità senza accuratezza dice poco; ma la velocità combinata con l’accuratezza porta informazioni che l’accuratezza da sola non dà, ed è parte del modo in cui si costruisce il profilo di un allievo, vedi come Insporta applica la ricerca.

Questo funziona solo se le dieci domande di un test costano più o meno lo stesso sforzo di lettura. Se un enunciato è lungo il triplo del successivo, la differenza di tempo tra i due è lettura, non ragionamento, e il profilo la assorbe come se fosse conoscenza. Mantenere uniforme il carico di lettura è ciò che rende interpretabile il tempo di risposta.

L’indizio dell’opzione più lunga

La regola a livello di lotto è stata la più difficile da imparare. Un pilota di cento domande di calcio era stato scritto con la chiave come opzione più lunga in 93 casi, in media dodici caratteri più lunga del distrattore più lungo. Un allievo che avesse scelto sempre la risposta più lunga avrebbe ottenuto un punteggio ben al di sopra del caso senza sapere nulla di calcio. L’autore aveva letto ogni riga senza accorgersene, perché la lunghezza è invisibile quando si legge per il significato.

La prima correzione ha peggiorato le cose in un’altra direzione. Accorciare ogni chiave troppo lunga ha prodotto un lotto in cui la chiave era l’opzione più corta in 41 casi su 100. Una correzione domanda per domanda aveva spostato l’indizio invece di eliminarlo, ed è per questo che la regola è formulata come una distribuzione sull’intero lotto e non come un limite per ogni domanda.

La soluzione che funziona è allungare un distrattore, mai accorciare la chiave. Una chiave è lunga quanto serve alla risposta corretta; a un distrattore si può aggiungere una proposizione che lo renda più specifico. Quell’allungamento è una modifica di contenuto e come tale viene riletto: in una revisione di un livello di calcio sono stati allungati 145 distrattori, e 29 allungamenti erano difettosi. Tre trasformavano un’opzione falsa in una vera (un’opzione secondo cui una tattica «richiede più personale di quanto i club possano permettersi» era diventata «di quanto la maggior parte dei club possa permettersi», il che è semplicemente vero), uno ripeteva la chiave e i restanti suonavano come riempitivi. Un distrattore allungato è un nuovo distrattore e va verificato come tale, vedi Come si costruiscono i distrattori.

Anche il controllo stesso ha dovuto essere corretto una volta. Una prima versione misurava la «più corta» rispetto al distrattore più lungo anziché rispetto a tutte e quattro le opzioni, il che è quasi il complemento di «più lunga» e non un segnale a sé, così un lotto con la chiave più lunga in 56 casi su 100 passava il controllo. Oggi il conteggio si fa sull’intero insieme delle opzioni.

Una domanda, una cosa sola

Un enunciato che chiede «quali due tra le seguenti» o propone «sia A sia B» è due domande in una, e un allievo che conosce una metà e non l’altra non ha una risposta giusta da dare. Ogni domanda ha una sola chiave, e i tre distrattori sono ciascuno sbagliato di per sé, vedi Come si costruiscono i distrattori.

Che cosa questa regola non fa

I limiti di lunghezza non rendono una domanda vera, nuova o pertinente. Eliminano una classe di indizi che permette a un allievo di fare punti senza conoscenza, così che ciò che resta sia la conoscenza. Le altre classi sono trattate in Una domanda deve reggersi da sola e Nessuna domanda due volte, e i controlli che le fanno rispettare tutte sono descritti in Verifica dei fatti e controlli di qualità.