事实核查与质量关卡

一批 Insporta 题目在发布之前，要按固定顺序通过一系列关卡，成本最低的排在最前：作者自查；对结构、长度信号、干扰项答案线索和重复题的机器检查；由审核者对照相邻等级进行的审读；最后由人对照一手来源进行事实核查，验证每道题目的正确答案和全部三个干扰项。过程中确认的事实会记入各运动项目的登记册，下一位作者动笔前要先读它。

作者自查

在任何其他人看到之前，作者先对照规则检查自己的批次：

• 每项测试恰好十道题目，每道题目四个选项；
• 没有题目引用来源文件；
• 题干在长度区间之内，且在整个批次中，正确答案的长度不会暴露答案；
• 每个干扰项都确认为错误，而不仅仅是“不是正确答案”；
• 主题标签没有重复；
• 批次中没有两道题目讲解同一个事实；
• 没有重复考查“已覆盖”清单中的内容；
• 有争议的论断标明有争议，涉及安全的答案指明求助渠道。

这份清单与Insporta 如何编写测试中所述的规则一一对应。它是必要的，但并不充分，所以后面还有其他关卡。

机器检查关卡

结构。每项测试恰好十道题目，四个选项，一个正确答案，所有必填字段齐全，题干在阅读负荷与长度所述的区间之内。

长度信号。在整个批次中，正确答案是最长或最短选项的频率，不得明显高于随机情况下的四分之一。这是对整个批次分布的检查，而不是逐题判定通过与否，因为逐题修正只会转移答案线索，而不能消除它。

干扰项答案线索。凭空编造的规则和限制，以及正确答案中不含有的绝对化表述，都要在整个批次中计数，见干扰项如何构建。这两类问题都可以机器检查，而且在作者逐行通读之后依然存在。

标签唯一性。每个主题标签在整个运动项目中都必须唯一。这项检查原本只是为了规范，却发现了其他检查都没有发现的问题：在铁人三项的1500道题目上运行时，它在等级1中找出了两组真正的重复题，重合度检查漏掉了它们，也没有审读者专门去找。随后的一次专项审计在等级1中发现了24处重复，等级2为14处，等级3为10处；每个批次在编写时遵循的规则越多，这个数字就越低。低成本的不变量检查，能发现它们原本并非为之设计的问题。

字词重合造成的重复题。每道题目都要与本批次及所有已发布的题目进行比较。这一检查在共享字词约达65%时起作用，但无法发现用不同措辞提出的同一个问题；而一旦降低阈值，它就会转而匹配本来确实不同的题目。

这些关卡检查的是形式，而不是内容是否属实。结构报告没有问题，只说明这个批次格式规范。

审读

审核者在打开相邻等级的情况下审读整个批次，寻找重合度检查看不到的问题：两道题目用不同措辞讲解同一个事实；一项测试围绕某个视角而不是某个主题构建；某个机制从另一道题目已经覆盖过的角度再问一遍。这种方法的局限是已知的。在一个批次中，作者自己重读只发现了十四组重复题中的五组，而且全都在同一个子等级之内，跨子等级的重复一组也没有发现；“我全都读过了”不能算作一道关卡。由审读者在面前同时摆着两个等级进行的专门审读，才是关卡。审核者还可以在内容本身上纠正作者，在第一个足球试点中就发生过两次。

事实核查

由人对照一手来源核查每一道题目：规则、比赛条件、竞赛规程、技术报告，或题目来源字段中引用的执教参考资料。核查要验证全部四个选项。大多数问题并不是正确答案有误，而是错误选项其实是对的：在铁人三项的第一个批次中，一百道题目里有十一个问题，其中大部分是干扰项其实正确。干扰项其实正确，也是最有可能在后来暴露出来的缺陷：届时要检查题目的统计数据，看它能否区分懂这项运动和不懂这项运动的学习者，见如何验证运动知识测试。

事实核查从两个方向进行：一是表述比证据所允许的更绝对的论断，二是证据足以支持却被过度设限的论断，详见证据、论断与安全。任何改写题目的修正轮次，都要按它实际写出的内容重新核查，而不是按它本来想写的内容：在铁人三项的一个批次中，十四组重复题里有两组正是上一个批次自己的修正所引入的。

已核实事实登记册

审核者确认或纠正过的事实必须在批次结束后继续保留，否则错误还会再出现。铁人三项的一条规则在等级1中得到了纠正：运动员之间可以分享营养补给，被禁止的只是来自非参赛者的协助；可到了等级3，这个错误又出现了，因为新作者无从得知。现在，每个运动项目都有一份登记册，记录每一个对照一手来源核查过的结论，包括已纠正的错误、确实存在争议的论断，以及不应过度设限的内容。作者在写题前先阅读它，审核者对照它检查内容；任何人若要推翻其中一条，需要拿出一手来源，而不是个人看法。

这些登记册是公开的：足球、板球、五人制足球、铁人三项。

关卡第一次发现了什么

第一个试点批次包含一百道足球题目，它通过了上述全部关卡，独立审核者在其中69道题目中发现了问题：93道题目中正确答案是最长选项，36道含有编造的规则，31道含有正确答案中从未出现的绝对化表述，另有八组重复题、两项整体建立在错误思路上的测试，以及两个事实性的严重错误。每一项发现都变成了一条规则或一项检查。设置这些关卡，并不是因为作者粗心，而是因为在为理解意思而阅读时，长度、答案线索和重复是看不见的。