Verifica dei fatti e controlli di qualità

Prima di essere pubblicato, un lotto di domande di Insporta supera una sequenza fissa di controlli, dal meno costoso al più costoso: l’autoverifica dell’autore; controlli automatici su struttura, segnale di lunghezza, indizi nei distrattori e duplicati; una lettura da parte di un revisore che ha davanti i livelli adiacenti; e una verifica dei fatti, condotta da una persona sulla fonte primaria, che controlla la chiave e tutti e tre i distrattori di ogni domanda. I fatti confermati lungo il percorso vengono annotati in un registro per ciascuno sport, che l’autore successivo legge per primo.

L’autoverifica dell’autore

L’autore controlla il proprio lotto rispetto alle regole prima che chiunque altro lo veda:

• ogni test contiene esattamente dieci domande, ogni domanda quattro opzioni;
• nessuna domanda rimanda a un documento fonte;
• enunciati entro l’intervallo di lunghezza, e una lunghezza della chiave che nell’insieme del lotto non segnali la risposta;
• ogni distrattore verificato come falso, non semplicemente come diverso dalla chiave;
• nessuna etichetta tematica ripetuta;
• nessuna coppia di domande del lotto che insegni lo stesso fatto;
• nulla di quanto figura nell’elenco «già trattato» chiesto di nuovo;
• affermazioni controverse segnalate come tali, e risposte sulla sicurezza che indichino il canale a cui rivolgersi.

L’elenco rispecchia le regole descritte in Come Insporta scrive un test. È necessario ma non sufficiente, ed è per questo che seguono gli altri controlli.

I controlli automatici

Struttura. Esattamente dieci domande per test, quattro opzioni, una chiave, tutti i campi obbligatori presenti, ed enunciati entro l’intervallo descritto in Carico di lettura e lunghezza.

Segnale di lunghezza. Nell’insieme del lotto, la chiave non deve essere l’opzione più lunga, o la più corta, molto più spesso di un caso su quattro, la frequenza attesa per pura probabilità. Si tratta di una distribuzione sull’intero lotto, non di un esito superato o non superato per ogni domanda, perché una correzione domanda per domanda sposta l’indizio invece di eliminarlo.

Indizi nei distrattori. Regole e restrizioni inventate, e assoluti che la chiave non contiene, vengono contati sull’intero lotto, vedi Come si costruiscono i distrattori. Entrambi sono difetti meccanici, ed entrambi erano sopravvissuti a un autore che aveva letto ogni riga.

Unicità delle etichette. Ogni etichetta tematica deve essere unica nell’intero sport. Il controllo era stato aggiunto per semplice ordine, e ha trovato ciò che nient’altro aveva trovato: applicato alle 1500 domande del triathlon, ha portato alla luce nel livello 1 due veri duplicati che il controllo di sovrapposizione aveva mancato e che nessun lettore aveva cercato. Una verifica mirata ha poi trovato 24 ripetizioni all’interno del livello 1, contro 14 nel livello 2 e 10 nel livello 3, un numero calato man mano che ogni lotto veniva scritto seguendo un numero maggiore di regole. Le invarianti a basso costo intercettano cose per cui non erano state pensate.

Duplicati per sovrapposizione di parole. Ogni domanda viene confrontata con il resto del lotto e con tutto ciò che è già pubblicato. Il controllo funziona intorno al 65% di parole in comune e non coglie la stessa domanda posta con parole diverse; abbassando la soglia, comincia invece ad accoppiare domande legittimamente distinte.

Questi controlli verificano la forma, non la verità. Un rapporto strutturale pulito significa che il lotto è ben formato.

La lettura di revisione

Un revisore legge il lotto con i livelli adiacenti aperti, cercando ciò che il controllo di sovrapposizione non può vedere: due domande che insegnano lo stesso fatto con parole diverse, un test costruito su un punto di vista anziché su un argomento, un meccanismo chiesto dal lato già coperto da un’altra domanda. I limiti sono noti. La rilettura dell’autore stesso ha trovato cinque duplicati su quattordici in un lotto, tutti all’interno di un unico sottolivello e nessuna delle coppie tra sottolivelli diversi; «ho letto tutto» non è un controllo. La lettura dedicata, con entrambi i livelli davanti al revisore, lo è. Un revisore può anche correggere l’autore sul merito, e nel primo pilota di calcio lo ha fatto due volte.

La verifica dei fatti

Una persona controlla ogni domanda sulla fonte primaria: le Regole, le playing conditions, il regolamento di gara, il rapporto tecnico o il riferimento sull’allenamento citato nel campo fonte della domanda. La verifica riguarda tutte e quattro le opzioni. La maggior parte dei riscontri non sono chiavi sbagliate ma opzioni errate che si rivelano vere: nel primo lotto di triathlon, undici problemi su cento domande, per lo più distrattori veri. Un distrattore vero è anche il difetto che più probabilmente emerge in seguito, quando si esaminano le statistiche di una domanda per capire se distingue gli allievi che conoscono lo sport da quelli che non lo conoscono, vedi Come validare un test di conoscenza sportiva.

La verifica dei fatti legge in entrambe le direzioni: cerca affermazioni formulate con più sicurezza di quanto le evidenze consentano e affermazioni attenuate che le evidenze invece sostengono, come descritto in Evidenze, affermazioni e sicurezza. Ogni passaggio di correzione che riscrive domande viene ricontrollato su ciò che ha effettivamente scritto, non su ciò che intendeva scrivere: due dei quattordici duplicati di un lotto di triathlon erano stati introdotti proprio dalla correzione del lotto precedente.

Il registro dei fatti verificati

Un fatto che un revisore ha confermato o corretto deve sopravvivere al lotto, altrimenti si ripresenterà. Una regola del triathlon corretta nel livello 1, secondo cui gli atleti possono condividere l’alimentazione ed è vietata solo l’assistenza da parte di chi non è in gara, è ricomparsa come errore nel livello 3, perché il nuovo autore non aveva modo di saperlo. Oggi ogni sport tiene un registro di ogni posizione controllata su una fonte primaria, con gli errori corretti, le affermazioni davvero controverse e ciò che non va attenuato oltre il necessario. Gli autori lo leggono prima di scrivere, i revisori vi confrontano i contenuti, e chi contraddice una voce deve portare una fonte primaria, non un’opinione.

I registri sono pubblici: calcio, cricket, futsal, triathlon.

Che cosa hanno trovato i controlli la prima volta

Il primo lotto pilota di cento domande di calcio è passato attraverso tutti questi controlli, e revisori indipendenti hanno trovato qualcosa in 69 domande: la chiave più lunga in 93, una regola inventata in 36, un assoluto che la chiave non contiene mai in 31, otto coppie di duplicati, due test interi costruiti sull’idea sbagliata e due errori fattuali bloccanti. Ogni riscontro è diventato una regola o un controllo. I controlli non esistono perché gli autori siano distratti; esistono perché lunghezze, indizi e ripetizioni sono invisibili quando si legge per il senso.