跳到正文
Insporta Book
zh

方法论 · 出题规则

阅读负荷与长度

题干为60—180个字符,选项不超过80个字符且彼此相差不超过30个字符;正确答案作为最长选项的频率不得高于随机水平。

Insporta · 更新于 2026年9月6日

Insporta 的题干为60—180个字符,每个选项最多80个字符,同一道题的选项彼此相差不超过30个字符;在一个批次中,正确答案作为最长选项的频率不高于随机水平。一道题只问一件事。之所以有这些规则,是因为作答时间与正误一同被记录,任何让某道题比相邻题目读得更慢、或让长度泄露正确答案的因素,都会污染测量。

长度区间

要素 限制 理由
题干 60—180个字符 少于60个字符,题目通常缺少所需的情境;超过180个字符,就变成了阅读任务。只有情境确实需要时才允许更长
选项 最多80个字符 选项是答案,不是段落
同一道题内的差距 任何选项都不比其余选项中最长的那个多出30个字符以上 长度相近的四个选项不提供视觉线索
整个批次 约四分之一的题目中正确答案是最长选项,约四分之一中是最短选项 四个选项时,随机水平为25%。明显高于这个比例,长度就能预示答案
范围 一道题只问一件事 不出“以下哪两项”

前两条限制是在测量了没有这些限制时写出的内容之后设定的:某个等级的题干长度从24个字符到284个字符不等,跨度太大,一项测试中的十道题无法相互比较。

为什么作答时间很重要

Insporta 记录的不只是每次作答是否正确,还有用了多长时间。单看速度是一个糟糕的指标,Heisler 及其同事(2023)发现,不结合准确率的速度排名说明不了多少问题;但速度与准确率结合起来,所携带的信息是单凭准确率所没有的,它也是构建学习者画像的一部分,见Insporta 如何应用这些研究。

前提是一项测试中十道题的阅读成本大致相同。如果一个题干是下一个的三倍长,二者之间的时间差就来自阅读,而不是思考,而画像会把它当作知识吸收进去。保持阅读负荷均衡,作答时间才能得到解读。

最长选项的答案线索

批次层面的这条规则是最难学会的。一次包含一百道足球题的试点中,有93道题的正确答案是最长选项,平均比最长的干扰项多出12个字符。一名总是选最长答案的学习者,即使对足球一无所知,得分也会远高于随机水平。作者逐行读过每道题却没有察觉,因为按意思阅读时,长度是看不见的。

第一次修补又在新的方向上把问题弄得更糟。把每个过长的正确答案都删短之后,得到的批次中有41道(共100道)的正确答案是最短选项。逐题修正只是挪动了答案线索,并没有消除它,这就是为什么这条规则写成整个批次上的分布,而不是对每道题的限制。

有效的修正方法是加长干扰项,而不是删短正确答案。正确答案该有多长,就由正确内容的需要决定;干扰项则可以添加一个分句,让它更具体。这种加长属于内容修改,也要按内容修改重新审读:在对某个足球等级的一次全面修订中,有145个干扰项被加长,其中29处加长存在缺陷。有三处把错误选项变成了正确选项(一个选项说某种战术“需要的人手超过俱乐部所能负担”,改成了“超过大多数俱乐部所能负担”,而这恰恰是事实),有一处重述了正确答案,其余的读起来像是凑字数。加长后的干扰项就是一个新的干扰项,要按新的干扰项来检查,见干扰项是如何设计的。

检查本身也曾修正过一次。早期版本衡量“最短”时,是与最长的干扰项比较,而不是与全部四个选项比较,这几乎就是“最长”的反面,算不上一个独立信号,结果一个正确答案在100道中有56道是最长选项的批次也通过了检查。现在统计是针对整个选项组进行的。

一道题,一件事

一个问“以下哪两项”或给出“A 和 B 都对”的题干,是把两道题合成了一道;一名只懂其中一半的学习者,没有正确答案可选。每道题只有一个正确答案,三个干扰项各自独立地错误,见干扰项是如何设计的。

这条规则不能做什么

长度限制不能让一道题变得正确、新颖或切题。它只消除一类让学习者不靠知识也能得分的线索,使剩下的部分就是知识。其他几类线索分别见一道题必须独立成立和同一个问题不问两次,而执行所有这些规则的检查见事实核查与质量关卡。

来源

  • Heisler et al. (2023). Speed and accuracy in sport-specific decision-making tests

常见问题

在 Insporta 上,最长的答案通常就是正确答案吗?
不是。在一个批次中,正确答案约有四分之一的情况是最长选项,这正是四个选项时随机出现的比例。最短选项也是如此。长度无法预示答案。
Insporta 的一道题有多长?
题干为60—180个字符,只有情境确实需要时才会更长。每个选项最多80个字符,同一道题中任何选项都不会比其余选项中最长的那个多出30个字符以上。
Insporta 为什么在意题目长度?
因为每次作答都会记录作答时间。一个比相邻题目长一倍的题干,测到的阅读速度和知识一样多;而长短不一的选项组,不需要任何知识就会泄露正确答案。
一道题会要求选两个答案吗?
不会。一道题只问一件事,只有一个正确答案。没有“以下哪两项”,也没有“以上都对”。