Нагрузка на чтение и длина

Формулировка вопроса в Insporta занимает от 60 до 180 знаков, каждый вариант ответа не длиннее 80, варианты внутри одного вопроса различаются по длине не больше чем на 30 знаков, а в партии вопросов верный ответ оказывается самым длинным вариантом не чаще, чем при случайном выборе. Один вопрос спрашивает об одном. Эти правила существуют потому, что вместе с правильностью записывается время ответа, и всё, из-за чего один вопрос читается медленнее соседних или длина выдаёт верный ответ, искажает измерение.

Коридоры

Элемент	Предел	Причина
Формулировка вопроса	От 60 до 180 знаков	Если знаков меньше 60, вопросу обычно не хватает нужной ему ситуации; если больше 180, он превращается в задание на чтение. Длиннее можно, только когда этого действительно требует ситуация.
Вариант ответа	Не больше 80 знаков	Вариант ответа — это ответ, а не абзац.
Разброс внутри вопроса	Ни один вариант не длиннее самого длинного из остальных больше чем на 30 знаков	Четыре варианта сопоставимой длины не дают зрительной подсказки.
В пределах партии	Верный ответ оказывается самым длинным вариантом примерно в четверти вопросов и самым коротким тоже примерно в четверти	При четырёх вариантах случайность даёт 25 процентов. Если доля намного выше, по длине можно угадать ответ.
Охват	Один вопрос спрашивает об одном	Никаких «какие два из перечисленных».

Первые два предела установлены после того, как измерили материал, написанный без них: в одном уровне формулировки занимали от 24 до 284 знаков, а при таком разбросе десять вопросов теста нельзя сравнивать между собой.

Почему важно время ответа

Insporta записывает, сколько времени занял каждый ответ, а не только то, был ли он верным. Сама по себе скорость измеряет плохо: Heisler с коллегами (2023) установили, что ранжирование по скорости без учёта точности говорит мало. Но скорость вместе с точностью несёт сведения, которых одна точность не даёт, и из них в том числе складывается профиль ученика, см. Как Insporta применяет исследования.

Это работает только тогда, когда на чтение каждого из десяти вопросов теста уходит примерно одинаково. Если одна формулировка втрое длиннее следующей, разница во времени между ними — это чтение, а не размышление, и профиль впитывает её так, будто это знание. Время ответа можно истолковать именно потому, что нагрузка на чтение держится ровной.

Самый длинный вариант как подсказка

Правило для партии далось труднее всех. В пробной сотне футбольных вопросов верный ответ был самым длинным вариантом в 93 случаях и в среднем на двенадцать знаков превышал самый длинный дистрактор. Ученик, который всегда выбирал бы самый длинный ответ, набрал бы намного больше случайного результата, ничего не зная о футболе. Автор прочитал каждую строку и ничего не заметил, потому что длины не видно, когда читаешь ради смысла.

Первая починка ухудшила дело в другую сторону. Когда все слишком длинные верные ответы подрезали, получилась партия, где верный ответ был самым коротким вариантом в 41 случае из 100. Правка каждого вопроса по отдельности не убрала подсказку, а перенесла её, и поэтому правило записано как распределение по партии, а не как предел для каждого вопроса.

Работает другое решение: удлинять дистрактор и никогда не подрезать верный ответ. Верный ответ имеет ту длину, какая нужна правильному ответу; дистрактору можно добавить оборот, который делает его конкретнее. Такое удлинение — правка содержания, и перечитывают его как правку содержания: при сплошной проверке одного футбольного уровня удлинили 145 дистракторов, и 29 удлинений оказались с дефектом. Три превратили ложный вариант в истинный (вариант, где говорилось, что тактика «требует больше персонала, чем клубы могут себе позволить», стал звучать «чем большинство клубов может себе позволить», а это просто так и есть), одно повторило верный ответ, а остальные читались как пустая набивка. Удлинённый дистрактор — это новый дистрактор, и проверяют его как новый, см. Как строятся дистракторы.

Однажды пришлось исправлять и саму проверку. Ранняя версия определяла «самый короткий» относительно самого длинного дистрактора, а не всех четырёх вариантов, а это почти дополнение к «самому длинному», но не самостоятельный сигнал, и партия, где верный ответ был самым длинным в 56 случаях из 100, проверку прошла. Теперь подсчёт ведётся по всему набору вариантов.

Один вопрос — одна вещь

Формулировка, которая спрашивает «какие два из перечисленных» или предлагает «и А, и Б», — это два вопроса в одном, и ученику, который знает одну половину и не знает другую, нечего ответить правильно. У каждого вопроса один верный ответ, а каждый из трёх дистракторов неверен сам по себе, см. Как строятся дистракторы.

Чего это правило не делает

Пределы длины не делают вопрос ни истинным, ни новым, ни уместным по теме. Они убирают один класс подсказок, позволяющих ученику набирать баллы без знания, чтобы осталось только знание. Об остальных классах рассказано в статьях Вопрос должен быть самодостаточным и Ни одного вопроса дважды, а проверки, которые обеспечивают соблюдение всех этих правил, описаны в статье Проверка фактов и контроль качества.