Ни одного вопроса дважды

Insporta не спрашивает об одном факте дважды, и планка такова: новым должен быть вопрос, а не тема. В теме, обзор которой уложился в десять вопросов, есть место для сотни более глубоких, но второй вопрос, который учит тому же другими словами, ничего не добавляет к измерению и занимает одно из десяти мест в тесте впустую. Большинство самоповторов рождается из нескольких привычек, и у каждой здесь есть название.

Почему дубликаты — это дефект измерения

Ученик, который знает один факт и дважды о нём спрошен, получает два из двух; ученик, который не знает, получает ноль из двух. Тест потратил пятую часть своей длины на измерение одного и того же, и результат уже не отражает широту знаний. Дубликаты в разных подуровнях делают то же самое в масштабе уровня, а дубликаты, которые противоречат друг другу, когда один вопрос делает утверждение верным ответом, а другой предлагает его как неверный, дают ученику, выучившему первый, обоснованный довод в пользу неверного варианта во втором.

По мере роста корпуса этот дефект становится главным. В триатлоне проверка фактов на 300 вопросах находила фактические ошибки; на 500 она не нашла их почти вовсе, а нашла повторы: примерно дюжина фактических исправлений против тридцати пар дубликатов. Чем плотнее охват, тем труднее автору, который не видит работы всех остальных авторов, не повторить уже высказанную мысль.

Привычки, из которых рождаются дубликаты

Пары «от обратного». Сформулируйте принцип в одном вопросе, а в другом — то, что теряется без него, и об одном факте спрошено дважды. «Если сковать защитника, линия остаётся глубоко» и «если защитника не сковать, линия поднимается» появились как отдельные вопросы в одном и том же тесте по футболу, причём трижды.

Один факт в нескольких тестах. О факте, который подходит к темам нескольких тестов, спрашивают по разу в каждом. «Кто-то должен бежать за спину нападающему» появилось в четырёх из десяти тестов одного подуровня, а корпус уже трижды этому учил.

Тесты, построенные на ракурсе, а не на теме. «Типичные сбои», «диагностика», «как это оценивается» и «против разных построений» — это взгляды на остальные тесты, а не темы, и тест, построенный на одном из них, заполняется фактами своего же подуровня, переформулированными как симптомы. Тест на диагностику в одном футбольном подуровне повторил восемь из десяти своих вопросов, перевернув формулировку на «что проверить в первую очередь»; в тесте о типичных сбоях в другом подуровне собственных вопросов было три из десяти. Тесту дают тему, а не ракурс. Диагностические вопросы оправданны только для такой ошибки, причина которой ещё не служит ответом на другой вопрос того же подуровня.

Один и тот же механизм с двух сторон. Персональная опека, на которую отвечают ротациями, и ротации, на которые отвечают персональной опекой, — это один вопрос. Когда о механизме можно спросить и со стороны атаки, и со стороны обороны, новой будет только одна сторона; другой придётся перейти к контрмере, к предпосылке или к цене.

Партия должна быть согласована сама с собой

Два вопроса в одной партии не могут противоречить друг другу. В одной пилотной партии «держите свою зону» было верным ответом в одном тесте и предлагалось как неверный вариант в другом. Согласованность проверяется по всей партии до того, как её сдают, и факт, который служит верным ответом в одном подуровне, не предлагается как дистрактор в соседнем, если только формулировка вопроса явно не проводит различие.

Как находят дубликат

Их находят три средства, и ни одного из них в одиночку не хватает. У каждого вопроса есть тег темы, который должен быть уникальным в пределах всего вида спорта; два вопроса, претендующие на один тег, — это один вопрос. Сравнение по совпадению слов ловит повторы относительно всего уже опубликованного. А читатель, держащий перед собой соседние уровни, ловит пару, которая говорит одно и то же разными словами и которую проверка на совпадение слов увидеть не может: в паре вопросов о частоте гребков на неспокойной воде совпало 40 процентов слов при пороге 65, а если порог снизить, под него начнут попадать вопросы, различающиеся по праву.

Метаданные часто выдают дубликат раньше, чем текст. В одной партии из ста вопросов восемь пар учили одному и тому же, и в трёх из них ссылка на источник в обеих записях была одинаковой.

Что происходит с дубликатом

Его нельзя просто удалить, потому что в каждом тесте ровно десять вопросов. Его заменяют, и замены закладываются в каждую партию заранее. Какую половину пары оставить, решают, сверив обе с источником: два вопроса о восполнении жидкости казались взаимозаменяемыми, пока не выяснилось, что один из них правильно оговаривает условие — ещё одну тренировку в ближайшие несколько часов, — а другой нет.

Одно исключение сделано намеренно: факты о безопасности могут повторяться в каждом подуровне, который подводит к опасности, см. Доказательства, утверждения и безопасность. Проверки, которые обеспечивают уникальность, и их известные пределы описаны в статье Проверка фактов и контроль качества; о том, как уровни планируются так, чтобы каждый шёл глубже предыдущего, — в статье Уровни и подуровни.