読解負荷と長さ

Insportaの問題文は60〜180文字、各選択肢は最大80文字で、1つの問題の選択肢同士の長さの差は30文字以内に収めます。また、バッチ全体で正答が最も長い選択肢になる頻度は、偶然の水準を超えません。1つの問題は1つのことを問います。これらのルールがあるのは、正誤と並んで回答時間も記録しているためです。ある問題を隣の問題より読むのに時間がかかるものにしたり、長さで正答がわかってしまったりする要素は、測定を汚染します。

許容範囲

要素	上限	理由
問題文	60〜180文字	60文字未満では、問題に必要な場面設定が欠けていることが多い。180文字を超えると読解の課題になる。それ以上の長さは、場面設定が本当に必要とする場合に限って認める
選択肢	最大80文字	選択肢は答えであり、段落ではない
問題内のばらつき	ほかの選択肢のうち最も長いものより30文字を超えて長い選択肢を作らない	長さが同程度の4つの選択肢なら、見た目の手がかりにならない
バッチ全体	正答が最も長い選択肢になるのは問題のおよそ4分の1、最も短い選択肢になるのもおよそ4分の1	選択肢が4つなら、偶然の確率は25パーセント。それを大きく上回ると、長さで答えが予測できてしまう
範囲	1つの問題は1つのことを問う	「次のうち2つを選べ」は不可

最初の2つの上限は、これらの制約なしに書かれたコンテンツを測定したうえで決めました。あるレベルの問題文は24〜284文字にわたっており、1つのテストの10問を比較できるものにするには幅が広すぎました。

回答時間が重要な理由

Insportaは、正解したかどうかだけでなく、各回答にかかった時間も記録します。速さだけでは測定として不十分で、Heislerらの研究（2023年）は、正確さを伴わない速さの順位からはほとんど何もわからないことを示しました。しかし、速さを正確さと組み合わせると、正確さだけでは得られない情報が得られ、それは学習者のプロフィールを構築する要素の一つになっています。Insportaは研究をどう活かしているかを参照してください。

これが成り立つのは、テストの10問を読む負担がおおむね同じである場合だけです。ある問題文が次の問題文の3倍の長さなら、両者の時間差は考える時間ではなく読む時間であり、プロフィールはそれを知識であるかのように取り込んでしまいます。読解負荷をそろえることで、回答時間を解釈できるものになります。

最も長い選択肢という手がかり

バッチ単位のルールは、身につけるのが最も難しかったものです。サッカーの問題100問のパイロットでは、そのうち93問で正答が最も長い選択肢になっており、最も長い誤答選択肢より平均12文字長くなっていました。常に最も長い答えを選ぶ学習者は、サッカーをまったく知らなくても偶然をはるかに上回るスコアを取れたはずです。執筆者はすべての行を読んでいながら気づきませんでした。意味を追って読んでいると、長さは目に入らないからです。

最初の修正は、別の方向に事態を悪化させました。長すぎる正答をすべて切り詰めた結果、100問中41問で正答が最も短い選択肢になったのです。問題ごとの修正は手がかりを取り除くのではなく、移動させただけでした。ルールが各問題の上限ではなく、バッチ全体の分布として定められているのはそのためです。

効果のある修正は、誤答選択肢を長くすることであり、正答を切り詰めることでは決してありません。正答の長さは正しい答えに必要なだけの長さです。誤答選択肢には、より具体的にする節を加えることができます。この延長は内容の編集であり、編集として読み直します。あるサッカーのレベルを一通り見直した際、145の誤答選択肢を延長し、そのうち29件の延長に欠陥がありました。3件は誤った選択肢を正しい選択肢に変えてしまい（ある戦術は「クラブが負担できる以上のスタッフを必要とする」という選択肢が「大半のクラブが負担できる以上の」となり、それは単に事実でした）、1件は正答を言い直しており、残りは水増しのように読めました。長くした誤答選択肢は新しい誤答選択肢であり、新しいものとして確認します。誤答選択肢のつくり方を参照してください。

チェックそのものも一度修正が必要でした。初期の版は「最も短い」を4つの選択肢全体ではなく最も長い誤答選択肢と比べて判定していました。これは「最も長い」のほぼ裏返しであり、独立した指標にはなりません。そのため、正答が100問中56問で最も長いバッチが通過してしまいました。現在は選択肢全体を対象に数えています。

1つの問題は1つのことを問う

「次のうち2つを選べ」と問う問題文や、「AとBの両方」を選択肢に含む問題文は、2つの問題を1つにまとめたものです。片方は知っていてもう片方を知らない学習者には、答えるべき正答がありません。各問題の正答は1つで、3つの誤答選択肢はそれぞれ単独で誤りです。誤答選択肢のつくり方を参照してください。

このルールがしないこと

長さの上限は、問題を正しいものにも、新しいものにも、範囲内のものにもしません。知識なしにスコアを取らせてしまう手がかりの一種類を取り除き、残るものが知識になるようにするだけです。ほかの種類については問題はそれだけで成り立たなければならないと同じ問題は二度出さないで扱い、それらすべてを担保するチェックはファクトチェックと品質ゲートで説明しています。