Verificación y controles de calidad

Antes de publicarse, un lote de preguntas de Insporta pasa una secuencia fija de controles, del más barato al más caro: la autocomprobación del autor, comprobaciones mecánicas de la estructura, la señal de longitud, los indicios en los distractores y los duplicados, una lectura a cargo de un revisor que tiene delante los niveles vecinos y una verificación hecha por una persona con la fuente primaria, que comprueba la clave y los tres distractores de cada pregunta. Los datos confirmados por el camino se anotan en un registro por deporte que el siguiente autor lee antes que nada.

La autocomprobación del autor

El autor contrasta su propio lote con las reglas antes de que nadie más lo vea:

• cada test contiene exactamente diez preguntas y cada pregunta, cuatro opciones;
• ninguna pregunta remite a un documento fuente;
• los enunciados están dentro del intervalo de longitud y la longitud de la clave no delata la respuesta en el conjunto del lote;
• cada distractor se ha comprobado como falso, no solo como distinto de la clave;
• ninguna etiqueta de tema se repite;
• no hay en el lote dos preguntas que enseñen el mismo dato;
• no se vuelve a preguntar nada de la lista de lo «ya tratado»;
• las afirmaciones controvertidas están marcadas como tales y las respuestas sobre seguridad nombran el cauce.

La lista refleja las reglas descritas en Cómo escribe Insporta un test. Es necesaria y no es suficiente, y por eso vienen después los controles.

Los controles mecánicos

Estructura. Exactamente diez preguntas por test, cuatro opciones, una clave, todos los campos obligatorios presentes y los enunciados dentro del intervalo descrito en Carga de lectura y longitud.

Señal de longitud. En el conjunto del lote, la clave no debe ser la opción más larga, ni la más corta, con mucha más frecuencia que la cuarta parte que da el azar. Se trata de una distribución sobre el lote, no de un apto o no apto para cada pregunta, porque un arreglo pregunta por pregunta desplaza el indicio en lugar de eliminarlo.

Indicios en los distractores. Las reglas y restricciones inventadas, y los términos absolutos que la clave no lleva, se cuentan en todo el lote; véase Cómo se construyen los distractores. Los dos son mecánicos, y los dos sobrevivieron a un autor que leyó cada línea.

Unicidad de las etiquetas. Cada etiqueta de tema debe ser única en todo el deporte. Se añadió como medida de higiene y encontró lo que nada más había encontrado: aplicada a las 1500 preguntas de triatlón, sacó a la luz dos duplicados auténticos en el nivel 1 que la comprobación de coincidencias había pasado por alto y que ningún lector había buscado. Una auditoría específica encontró después 24 repeticiones dentro del nivel 1, frente a 14 en el nivel 2 y 10 en el nivel 3: la cifra bajaba a medida que cada lote se escribía con más reglas en vigor. Los invariantes baratos detectan cosas para las que no fueron diseñados.

Duplicados por coincidencia de palabras. Cada pregunta se compara con el lote y con todo lo ya publicado. Funciona a partir de aproximadamente un 65 % de palabras compartidas y no detecta la misma pregunta formulada con otras palabras; si se baja el umbral, empieza a emparejar preguntas legítimamente distintas.

Estos controles comprueban la forma, no la verdad. Un informe estructural limpio significa que el lote está bien formado.

La lectura de revisión

Un revisor lee el lote con los niveles vecinos abiertos y busca lo que la comprobación de coincidencias no puede ver: dos preguntas que enseñan el mismo dato con palabras distintas, un test construido sobre una perspectiva y no sobre un tema, un mecanismo preguntado desde el lado que otra pregunta ya cubría. Los límites se conocen. La relectura del propio autor encontró cinco de catorce duplicados en un lote, todos dentro de un mismo subnivel y ninguno de los pares entre subniveles distintos; «lo he leído todo» no es un control. La lectura específica, con los dos niveles delante del lector, sí lo es. Un revisor puede además corregir al autor en la materia misma, y en el primer piloto de fútbol lo hizo, dos veces.

La verificación

Una persona comprueba cada pregunta con la fuente primaria: las Reglas, las condiciones de juego, el reglamento de competición, el informe técnico o la obra de referencia para entrenadores que se cita en el campo de fuente de la pregunta. La verificación comprueba las cuatro opciones. La mayoría de los hallazgos no son claves erróneas, sino opciones incorrectas que resultan ser verdaderas: en el primer lote de triatlón, once problemas en cien preguntas, la mayoría distractores verdaderos. Un distractor verdadero es también el defecto que con más probabilidad aparecerá más tarde, cuando se examinen las estadísticas de una pregunta para ver si separa a los alumnos que conocen el deporte de los que no; véase Cómo validar un test de conocimientos deportivos.

La verificación lee en los dos sentidos: busca afirmaciones formuladas con más firmeza de la que permite la evidencia y afirmaciones matizadas que la evidencia respalda, como se describe en Evidencia, afirmaciones y seguridad. Toda pasada de corrección que reescribe preguntas se vuelve a comprobar con lo que escribió, no con lo que pretendía: dos de los catorce duplicados de un lote de triatlón los introdujo la propia corrección del lote anterior.

El registro de datos verificados

Un dato que un revisor ha confirmado o corregido tiene que sobrevivir al lote, o volverá. Una regla de triatlón corregida en el nivel 1, la de que los deportistas pueden compartir su alimentación y solo está prohibida la ayuda de quienes no participan, regresó como error en el nivel 3 porque el nuevo autor no tenía forma de saberlo. Cada deporte mantiene ahora un registro de todas las posiciones comprobadas con una fuente primaria, con los errores corregidos, las afirmaciones realmente controvertidas y lo que no conviene matizar en exceso. Los autores lo leen antes de escribir, los revisores contrastan el contenido con él, y quien contradiga una entrada necesita una fuente primaria, no una opinión.

Los registros son públicos: fútbol, críquet, fútbol sala, triatlón.

Lo que encontraron los controles la primera vez

El primer lote piloto de cien preguntas de fútbol pasó por todos estos controles, y los revisores independientes encontraron algo en 69 preguntas: la clave era la más larga en 93, había una regla inventada en 36, un término absoluto que la clave nunca lleva en 31, ocho pares de duplicados, dos tests enteros construidos sobre una idea equivocada y dos errores de hecho que impedían publicar. Cada hallazgo se convirtió en una regla o en una comprobación. Los controles no existen porque los autores sean descuidados; existen porque la longitud, los indicios y las repeticiones son invisibles cuando se lee atendiendo al sentido.