Проходят ли вопросы Insporta проверку фактов?

Да, каждый вопрос проверяет человек по первоисточнику. Проверяются верный ответ и все три неверных варианта, потому что самая частая находка — неверный вариант, который оказывается правдой.

Какой контроль качества проходит партия вопросов?

Структура, сигнал длины, приметы дистракторов, уникальность тегов темы и дубли по совпадению слов проверяются механически. Затем рецензент ищет смысловые дубли, а проверяющий факты сверяет каждый вариант ответа с источником.

Что такое реестр проверенных фактов?

Открытый список фактов по каждому виду спорта, сверенных с первоисточником при рецензировании: в нём есть исправленные ошибки, спорные утверждения и то, что не нужно обставлять лишними оговорками. Авторы читают его перед работой.

Подтверждают ли автоматические проверки, что вопрос верен?

Нет. Они проверяют форму: количество, длину, приметы и совпадения. Истинность проверяет человек по источнику. Чистый отчёт о структуре означает, что партия правильно оформлена, а не что она верна.

Какую часть партии обычно приходится переделывать?

В первой пилотной партии, написанной по этим правилам, независимые рецензенты нашли замечания к 69 вопросам из 100. Правила и проверки, появившиеся после этого пилота, с тех пор резко снизили эту цифру.

Проверка фактов и контроль качества

Партия вопросов проходит проверку структуры, проверку сигнала длины, подсчёт примет дистракторов, поиск дублей и проверку фактов человеком по первоисточнику.

Прежде чем партия вопросов Insporta будет опубликована, она проходит постоянную последовательность этапов контроля, от самого дешёвого к самому дорогому: самопроверку автора, механические проверки структуры, сигнала длины, примет дистракторов и дублей, вычитку рецензентом, у которого перед глазами соседние уровни, и проверку фактов человеком по первоисточнику, при которой сверяются верный ответ и все три дистрактора каждого вопроса. Факты, подтверждённые по ходу работы, заносятся в реестр по виду спорта, и следующий автор начинает с его чтения.

Самопроверка автора

Автор сверяет свою партию с правилами до того, как её увидит кто-то ещё:

в каждом тесте ровно десять вопросов, в каждом вопросе четыре варианта ответа;
ни один вопрос не отсылает к исходному документу;
формулировки вопросов укладываются в коридор длины, а длина верного ответа в масштабе партии не подсказывает ответ;
каждый дистрактор проверен как ложный, а не просто как не совпадающий с верным ответом;
ни один тег темы не повторяется;
никакие два вопроса в партии не учат одному и тому же факту;
ничего из списка «уже пройдено» не спрашивается повторно;
спорные утверждения помечены как спорные, а в ответах о безопасности назван тот, к кому нужно обратиться.

Этот список повторяет правила, описанные в статье Как Insporta пишет тест. Он необходим, но его недостаточно, поэтому за ним следуют этапы контроля.

Механические проверки

Структура. Ровно десять вопросов в тесте, четыре варианта ответа, один верный ответ, все обязательные поля заполнены, а формулировки вопросов укладываются в коридор, описанный в статье Нагрузка на чтение и длина.

Сигнал длины. В масштабе партии верный ответ не должен оказываться самым длинным или самым коротким вариантом заметно чаще, чем в четверти случаев, которую даёт случайность. Это распределение по всей партии, а не «прошёл или не прошёл» для каждого вопроса, потому что правка отдельного вопроса переносит примету в другое место, а не убирает её.

Приметы дистракторов. Выдуманные правила и ограничения, а также категоричные формулировки, которых нет в верном ответе, подсчитываются по всей партии, см. Как строятся дистракторы. И то и другое проверяется механически, и то и другое уцелело, хотя автор читал каждую строку.

Уникальность тегов. Каждый тег темы должен быть уникален в пределах всего вида спорта. Эту проверку добавили ради порядка, а она нашла то, чего не нашло ничто другое: на 1500 вопросах по триатлону она выявила в уровне 1 два настоящих дубля, которые пропустила проверка совпадений и которых не искал ни один читавший. Затем отдельный аудит нашёл 24 повтора внутри уровня 1 против 14 в уровне 2 и 10 в уровне 3: число падало по мере того, как каждую следующую партию писали с учётом всё большего числа правил. Дешёвые инварианты ловят то, для чего их не придумывали.

Дубли по совпадению слов. Каждый вопрос сравнивается с партией и со всем, что уже опубликовано. Проверка срабатывает примерно при 65 процентах общих слов и пропускает тот же вопрос, заданный другими словами; если снизить порог, она начинает сводить в пары вопросы, которые различаются по праву.

Эти этапы проверяют форму, а не истинность. Чистый отчёт о структуре означает, что партия правильно оформлена.

Вычитка

Рецензент читает партию, держа открытыми соседние уровни, и ищет то, чего не видит проверка совпадений: два вопроса, которые учат одному и тому же факту разными словами, тест, построенный вокруг точки зрения, а не предмета, механизм, о котором спрашивают с той стороны, которую уже закрыл другой вопрос. Пределы метода известны. Перечитывая собственный текст, автор нашёл в одной партии пять дублей из четырнадцати, все внутри одного подуровня, и ни одной пары из разных подуровней; «я всё прочитал» — это не контроль качества. А отдельная вычитка, когда перед читающим лежат оба уровня, — контроль. Рецензент может поправить автора и по существу предмета, и в первом пилоте по футболу так и произошло, дважды.

Проверка фактов

Человек сверяет каждый вопрос с первоисточником: Правилами игры, регламентом проведения матчей, правилами соревнований, техническим отчётом или тренерским пособием, указанным в поле источника вопроса. Проверяются все четыре варианта ответа. Чаще всего находят не неверные верные ответы, а неверные варианты, которые оказываются правдой: в первой партии по триатлону было одиннадцать проблем на сто вопросов, и большинство из них — истинные дистракторы. Истинный дистрактор — ещё и тот дефект, который вероятнее всего проявится позже, когда статистику вопроса изучают, чтобы понять, отделяет ли он учеников, знающих вид спорта, от тех, кто его не знает, см. Как валидировать тест на знание спорта.

Проверка фактов идёт в обе стороны: ищут утверждения, высказанные твёрже, чем позволяют данные, и утверждения с оговорками там, где данные их подтверждают, как описано в статье Доказательства, утверждения и безопасность. Любая правка, при которой вопросы переписываются, перепроверяется по тому, что в ней написано, а не по тому, что имелось в виду: два из четырнадцати дублей в одной партии по триатлону появились из-за исправлений в предыдущей партии.

Реестр проверенных фактов

Факт, который рецензент подтвердил или исправил, должен пережить партию, иначе он вернётся. Правило триатлона, исправленное в уровне 1 (спортсмены могут делиться питанием, запрещена только помощь от тех, кто не участвует в гонке), вернулось ошибкой в уровне 3, потому что новому автору неоткуда было об этом узнать. Теперь по каждому виду спорта ведётся реестр всех положений, сверенных с первоисточником: с исправленными ошибками, действительно спорными утверждениями и тем, что не нужно обставлять лишними оговорками. Авторы читают его перед работой, рецензенты сверяют с ним содержание, а тому, кто возражает против записи, нужен первоисточник, а не мнение.

Реестры открыты: футбол, крикет, футзал, триатлон.

Что контроль нашёл в первый раз

Первую пилотную партию из ста вопросов по футболу провели через все эти этапы, и независимые рецензенты нашли замечания к 69 вопросам: верный ответ был самым длинным в 93, выдуманное правило встретилось в 36, категоричная формулировка, которой никогда нет в верном ответе, — в 31, нашлось восемь пар дублей, два теста, целиком построенных на неверной идее, и две фактические ошибки, не позволявшие публиковать вопрос. Каждая находка стала правилом или проверкой. Контроль существует не потому, что авторы небрежны, а потому, что длина, приметы и повторы невидимы, когда читаешь ради смысла.