ファクトチェックと品質ゲート

Insportaの問題のバッチは、公開される前に、コストの低いものから順に一連の決まったゲートを通過します。作成者によるセルフチェック、構造、長さによる手がかり、誤答選択肢の手がかり、重複についての機械的なチェック、隣接するレベルを手元に置いたレビュアーによる通読、そして人が一次資料と照合し、すべての問題の正答と3つの誤答選択肢を確認するファクトチェックです。その過程で確認された事実は競技ごとの登録簿に記録され、次の作成者はまずそれを読みます。

作成者のセルフチェック

作成者は、ほかの誰かが目を通す前に、自分のバッチをルールと照らし合わせて確認します。

• どのテストもちょうど10問で、どの問題も選択肢が4つあること
• 出典の文書に言及する問題がないこと
• 問題文が長さの範囲内に収まり、バッチ全体で正答の長さが答えの手がかりになっていないこと
• すべての誤答選択肢について、正答でないことだけでなく、誤りであることを確認していること
• トピックタグが重複していないこと
• バッチ内の2つの問題が同じ事実を教えていないこと
• 「出題済み」リストにある内容を再び問うていないこと
• 異論のある主張にはその旨を明記し、安全に関わる答えでは相談先を示していること

このリストは、Insportaはテストをどう作るかで説明しているルールに対応しています。必要ではあっても十分ではなく、だからこそ後続のゲートがあります。

機械的なゲート

構造。テストごとにちょうど10問、選択肢は4つ、正答は1つで、必須の項目がすべてそろい、問題文が読解負荷と長さで説明している範囲に収まっていること。

長さによる手がかり。バッチ全体で、正答が最も長い選択肢または最も短い選択肢になる頻度が、偶然による4分の1を大きく上回ってはなりません。これは問題ごとの合否ではなく、バッチ全体の分布として見ます。問題ごとに修正しても、手がかりはなくならず、別の場所に移るだけだからです。

誤答選択肢の手がかり。存在しないルールや制限、そして正答には含まれない断定的な表現を、バッチ全体で数えます。誤答選択肢のつくり方を参照してください。どちらも機械的なチェックで、どちらも作成者がすべての行を読んだあとでも残っていたものです。

タグの一意性。トピックタグは、その競技全体で一意でなければなりません。これは衛生管理として加えたチェックでしたが、ほかのどのチェックでも見つからなかったものを見つけました。トライアスロンの1,500問に適用したところ、重なりのチェックが見逃し、どの読み手も探していなかった本物の重複がレベル1で2件見つかったのです。その後の専用の監査では、レベル1の中で24件の重複が見つかり、レベル2では14件、レベル3では10件でした。バッチがより多くのルールのもとで書かれるにつれて、件数は減っていきました。手間のかからない不変条件は、想定していなかったものまで捕らえます。

語の重なりによる重複。すべての問題を、同じバッチの問題とすでに公開されているすべての問題と比較します。共通する語がおよそ65%の水準で機能しますが、同じ問題を別の言葉で問うものは見逃します。しきい値を下げると、今度は正当に別個の問題まで一致と判定されるようになります。

これらのゲートが確認するのは形式であり、内容の正しさではありません。構造チェックの結果に問題がなければ、それはバッチの形式が整っていることを意味します。

通読

レビュアーは隣接するレベルを開いた状態でバッチを読み、重なりのチェックでは見えないものを探します。同じ事実を別の言葉で教えている2つの問題、主題ではなく視点にもとづいて組み立てられたテスト、別の問題がすでに扱った仕組みを反対側から問う問題などです。この方法の限界はわかっています。あるバッチでは、作成者自身の読み直しで見つかった重複は14件中5件にとどまり、すべて1つのサブレベル内のもので、サブレベルをまたぐ組は1つも見つかりませんでした。「全部読んだ」はゲートではありません。両方のレベルを手元に置いた専用の通読こそがゲートです。レビュアーは題材そのものについて作成者を正すこともでき、サッカーの最初の試作では実際に2回そうしました。

ファクトチェック

人がすべての問題を一次資料と照合します。一次資料とは、問題の出典欄に記された競技規則、プレーイング・コンディション、競技会規定、テクニカルレポート、または指導書です。チェックでは4つの選択肢すべてを確認します。見つかる問題の多くは正答の誤りではなく、誤答のはずの選択肢が実は正しかったというものです。トライアスロンの最初のバッチでは100問中11件の問題が見つかり、その大半が正しい誤答選択肢でした。正しい誤答選択肢は、あとになって表面化しやすい欠陥でもあります。問題の統計を調べ、その競技を知っている学習者と知らない学習者を区別できているかを確かめる段階で現れるのです。スポーツ知識テストの妥当性を検証する方法を参照してください。

ファクトチェックは両方向から読みます。エビデンスが許す以上に断定的に述べた主張と、エビデンスが裏づけているのに留保をつけた主張の両方です。詳しくはエビデンス、主張、安全性で説明しています。問題を書き直す修正作業は、意図したことではなく実際に書いたことに対して再チェックします。あるトライアスロンのバッチでは、14件の重複のうち2件が、前のバッチ自身の修正によって持ち込まれたものでした。

検証済み事実の登録簿

レビュアーが確認または訂正した事実は、そのバッチを越えて残らなければ、また同じ誤りが戻ってきます。トライアスロンのあるルール、すなわち選手同士は補給食を分け合ってよく、禁じられているのは参加者以外からの支援だけだという点はレベル1で訂正されましたが、レベル3で再び誤りとして現れました。新しい作成者には、それを知る手段がなかったためです。現在では各競技が、一次資料と照合したすべての見解を、訂正した誤り、本当に異論のある主張、過度に留保をつけるべきでない事項とともに登録簿に記録しています。作成者は書く前にそれを読み、レビュアーは内容をそれと照合します。登録簿の記載に反する主張をするには、意見ではなく一次資料が必要です。

登録簿は公開しています：サッカー、クリケット、フットサル、トライアスロン。

ゲートが最初に見つけたもの

サッカーの100問からなる最初の試作バッチをこれらのゲートすべてに通したところ、独立したレビュアーが69問に何らかの問題を見つけました。正答が最も長い選択肢だったものが93問、存在しないルールが36問、正答には決して含まれない断定的な表現が31問、重複が8組、誤った考えにもとづいて組み立てられたテストが丸ごと2件、そして事実に関わる重大な問題が2件です。指摘はすべてルールかチェックになりました。ゲートがあるのは作成者が不注意だからではありません。意味を追って読んでいるとき、長さや正答の手がかり、重複は目に入らないからです。