Carga de lectura y longitud

Un enunciado de Insporta tiene entre 60 y 180 caracteres, cada opción tiene como máximo 80, las opciones de una misma pregunta no difieren entre sí en más de 30 caracteres y, en el conjunto de un lote, la clave no es la opción más larga con más frecuencia que el azar. Una pregunta pregunta una sola cosa. Las reglas existen porque el tiempo de respuesta se registra junto con el acierto, de modo que todo lo que hace que una pregunta se lea más despacio que sus vecinas, o que permite que la longitud revele la clave, contamina la medición.

Los márgenes

Elemento	Límite	Motivo
Enunciado	De 60 a 180 caracteres	Por debajo de 60, a la pregunta le suele faltar la situación que necesita; por encima de 180 se convierte en una tarea de lectura. Solo se permite más cuando el escenario lo exige de verdad.
Opción	Como máximo 80 caracteres	Una opción es una respuesta, no un párrafo.
Dispersión dentro de una pregunta	Ninguna opción supera en más de 30 caracteres a la más larga de las demás	Cuatro opciones de longitud comparable no dan ninguna pista visual.
En el conjunto de un lote	La clave es la opción más larga en aproximadamente una cuarta parte de las preguntas, y la más corta en aproximadamente otra cuarta parte	Con cuatro opciones, el azar es el 25 %. Muy por encima de eso, la longitud predice la respuesta.
Alcance	Una pregunta pregunta una sola cosa	Nada de «cuáles dos de las siguientes».

Los dos primeros límites se fijaron después de medir contenido escrito sin ellos: los enunciados de un nivel iban de 24 a 284 caracteres, un intervalo demasiado amplio para que las diez preguntas de un test sean comparables.

Por qué importa el tiempo de respuesta

Insporta registra cuánto tarda cada respuesta, no solo si fue correcta. La velocidad por sí sola es una mala medida, y Heisler y sus colaboradores (2023) hallaron que una clasificación por velocidad sin precisión dice poco; pero la velocidad combinada con la precisión aporta una información que la precisión sola no da, y forma parte de cómo se construye el perfil de un alumno, véase Cómo aplica Insporta la investigación.

Eso solo funciona si leer las diez preguntas de un test cuesta más o menos lo mismo. Si un enunciado triplica la longitud del siguiente, la diferencia de tiempo entre ambos es lectura, no reflexión, y el perfil la absorbe como si fuera conocimiento. Mantener uniforme la carga de lectura es lo que hace interpretable el tiempo de respuesta.

La pista de la opción más larga

La regla a escala de lote es la que más costó aprender. Un piloto de cien preguntas de fútbol se escribió con la clave como opción más larga en 93 de ellas, de media doce caracteres más larga que el distractor más largo. Un alumno que eligiera siempre la respuesta más larga habría puntuado muy por encima del azar sin saber nada de fútbol. El autor había leído cada línea y no lo había notado, porque la longitud es invisible cuando se lee atendiendo al sentido.

La primera reparación lo empeoró en una dirección nueva. Recortar todas las claves demasiado largas produjo un lote en el que la clave era la opción más corta en 41 de 100. Un arreglo pregunta a pregunta había desplazado la pista en lugar de eliminarla, y por eso la regla está escrita como una distribución en el conjunto del lote y no como un límite para cada pregunta.

El arreglo que funciona consiste en alargar un distractor, nunca en recortar la clave. Una clave es tan larga como necesita serlo la respuesta correcta; a un distractor se le puede añadir una cláusula que lo haga más específico. Esa ampliación es una edición de contenido y se relee como tal: en la revisión de un nivel de fútbol se alargaron 145 distractores y 29 de las ampliaciones resultaron defectuosas. Tres convirtieron una opción falsa en verdadera (una opción que decía que una táctica «requiere más personal del que los clubes pueden permitirse» pasó a decir «del que la mayoría de los clubes puede permitirse», lo cual es sencillamente cierto), una repetía la clave y el resto se leía como relleno. Un distractor alargado es un distractor nuevo y se comprueba como tal, véase Cómo se construyen los distractores.

También la propia comprobación tuvo que corregirse una vez. Una versión temprana medía «la más corta» frente al distractor más largo y no frente a las cuatro opciones, lo que es casi el complemento de «la más larga» y no una señal propia, de modo que un lote con la clave como opción más larga en 56 de 100 pasó la comprobación. Ahora el recuento se hace frente al conjunto completo de opciones.

Una pregunta, una cosa

Un enunciado que pregunta «cuáles dos de las siguientes» u ofrece «tanto A como B» son dos preguntas en una, y un alumno que conoce una mitad y no la otra no tiene ninguna respuesta correcta que dar. Cada pregunta tiene una clave, y cada uno de los tres distractores es incorrecto por sí solo, véase Cómo se construyen los distractores.

Lo que esta regla no hace

Los límites de longitud no hacen que una pregunta sea verdadera, ni nueva, ni que esté dentro del alcance. Eliminan una clase de pista que permite a un alumno puntuar sin conocimiento, para que lo que quede sea el conocimiento. Las demás clases se tratan en Una pregunta debe sostenerse por sí sola y Ninguna pregunta dos veces, y las comprobaciones que las imponen todas están en Verificación y controles de calidad.