同じ問題は二度出さない

新しい問題の基準は、テーマではなく問題そのものが新しいことです。対偶の組、複数のテストにまたがる同じ事実、視点で組んだテストはいずれもこの基準を満たしません。

Insportaは同じ事実を二度問いません。基準となるのは、テーマが新しいことではなく、問題そのものが新しいことです。10問で概観したテーマには、さらに深い問題を100問出す余地があります。しかし、同じポイントを言い換えて教えるだけの2問目は測定に何も加えず、テストの10問の枠を1つ無駄にします。自己重複の大半は少数の習慣から生まれており、ここではその一つひとつに名前を付けています。

重複が測定上の欠陥である理由

ある事実を知っている学習者が同じことを2回問われれば2問中2問正解し、知らない学習者は2問中0問です。テストは全体の5分の1を1つのことの測定に費やしたことになり、スコアはもはや知識の幅を反映しません。サブレベルをまたぐ重複はレベル全体で同じことを引き起こします。さらに、互いに矛盾する重複、つまりある問題ではある主張を正答とし、別の問題では同じ主張を誤答として示す場合には、最初の問題で学んだ学習者が2問目の誤答選択肢を選んでも、それを正当化できてしまいます。

コーパスが大きくなるにつれ、これが主要な欠陥になります。トライアスロンでは、300問の時点のファクトチェックで事実の誤りが見つかりましたが、500問の時点では誤りはほとんど見つからず、代わりに繰り返しが見つかりました。事実の修正が12件ほどだったのに対し、重複の組は30組でした。網羅が密になるほど、他の執筆者の仕事をすべて見渡せない執筆者にとって、すでに述べられたポイントの言い直しを避けることは難しくなります。

重複を生む習慣

対偶の組。ある問題で原則を述べ、別の問題でその原則がない場合に失われるものを問えば、1つの事実を2回問うことになります。「ディフェンダーを釘付けにすればラインは深い位置にとどまる」と「釘付けにしなければラインは押し上げてくる」が、同じサッカーのテストで別々の問題として出題され、しかもそれが3回繰り返されていました。

複数のテストにまたがる同じ事実。複数のテストの主題に当てはまる事実は、それぞれのテストで1回ずつ問われがちです。「誰かがフォワードの背後へ走らなければならない」は、あるサブレベルの10件のテストのうち4件に登場し、コーパスはすでにそれを3回教えていました。

主題ではなく視点で組んだテスト。「失敗のパターン」「その診断」「どう判定されるか」「異なる陣形に対して」は他のテストの見方であってテーマではありません。こうした視点で組んだテストは、サブレベル自身の事実を症状として言い換えた問題で埋まってしまいます。あるサッカーのサブレベルの診断テストは、10問中8問を問題文だけ「最初に確認すべきことは何か」に反転させて言い直していました。別のサブレベルの失敗パターンのテストでは、独自の問題は10問中3問だけでした。テストには視点ではなく主題を与えます。診断の問題が正当なのは、その原因が同じサブレベルの別の問題の答えになっていない誤りについてだけです。

両側から見た同じ仕組み。マンツーマンマークへの答えとしてのローテーションと、ローテーションへの答えとしてのマンツーマンマークは、1つの問題です。ある仕組みを攻撃側と守備側の両方から問える場合、新しいのは片側だけです。もう片側は、対抗策、前提条件、あるいは代償へと問いを移す必要があります。

バッチは内部で一致していなければならない

1つのバッチ内の2つの問題が矛盾してはなりません。あるパイロットでは、「自分のゾーンを守る」をあるテストで正答とし、別のテストでは誤答選択肢として示していました。一貫性は引き渡しの前にバッチ全体で確認します。あるサブレベルで正答とした事実は、問題文がその違いを明示しない限り、隣のサブレベルで誤答選択肢として示しません。

重複はどう見つけるか

重複を見つける手段は3つあり、どれも単独では不十分です。すべての問題には、競技全体で一意でなければならないトピックタグが付きます。同じタグを必要とする2つの問題は、1つの問題です。単語の重なりの比較は、すでに公開されたすべての問題に対する言い直しを捉えます。そして、隣接するレベルを手元に置いた読み手は、同じことを別の言葉で述べている組を捉えます。これは重なりのチェックでは見えません。波の荒い水面でのストロークレートに関する2問は、しきい値65パーセントに対して単語の重なりが40パーセントでした。しきい値を下げても、正当に異なる問題同士が一致し始めるだけです。

メタデータは、本文よりも先に重複を示すことがよくあります。100問のあるバッチでは8組が同じポイントを教えており、そのうち3組では両方の記録の出典表記がまったく同じでした。

重複はどう扱われるか

単純に削除することはできません。どのテストもちょうど10問で構成されるからです。重複は差し替えられ、差し替えの分はすべてのバッチの計画にあらかじめ見込まれています。組のどちらを残すかは、両方を出典と照らして読んで決めます。水分補給に関する2問は入れ替え可能に見えましたが、一方は数時間以内に次のセッションがあるという条件を正しく付けており、もう一方は付けていませんでした。

意図的な例外が1つあります。安全に関する事実は、その危険につながるすべてのサブレベルで繰り返してかまいません。エビデンス、主張、安全を参照してください。一意性を担保するチェックとその既知の限界はファクトチェックと品質ゲートで、各レベルがその下のレベルよりも深く掘り下げるようにレベルをどう計画するかはレベルとサブレベルで説明しています。