팩트체크와 품질 게이트

Insporta의 문제 배치는 공개되기 전에 비용이 적게 드는 것부터 차례로 정해진 게이트를 거칩니다. 저자의 자체 점검, 구조·길이 신호·오답 선택지 단서·중복에 대한 기계적 검사, 인접 레벨을 함께 펼쳐 놓은 검토자의 읽기 검토, 그리고 사람이 1차 출처와 대조해 모든 문제의 정답과 오답 선택지 세 개를 모두 확인하는 팩트체크입니다. 이 과정에서 확인된 사실은 종목별 등록부에 기록되며, 다음 저자는 무엇보다 먼저 이 등록부를 읽습니다.

저자의 자체 점검

저자는 다른 사람이 보기 전에 자신의 배치를 규칙에 비추어 점검합니다.

• 모든 테스트는 정확히 열 문제, 모든 문제는 선택지 네 개
• 출처 문서를 언급하는 문제 없음
• 문제 본문은 길이 범위 안에 있고, 배치 전체에서 정답의 길이가 정답을 드러내지 않음
• 모든 오답 선택지는 단지 정답이 아닌 것이 아니라 거짓임을 확인
• 주제 태그의 반복 없음
• 배치 안에서 같은 사실을 가르치는 두 문제 없음
• “이미 다룬 내용” 목록에 있는 것을 다시 묻지 않음
• 논쟁적 주장은 논쟁적이라고 표시하고, 안전 관련 정답에는 해당 창구를 명시

이 목록은 Insporta가 테스트를 쓰는 방법에서 설명한 규칙을 그대로 반영합니다. 필요하지만 충분하지는 않으며, 그래서 그 뒤에 게이트가 이어집니다.

기계적 게이트

구조. 테스트당 정확히 열 문제, 선택지 네 개, 정답 하나가 있어야 하고, 필수 필드가 모두 채워져 있어야 하며, 문제 본문은 읽기 부담과 길이에서 설명한 범위 안에 있어야 합니다.

길이 신호. 배치 전체에서 정답이 가장 긴 선택지이거나 가장 짧은 선택지인 경우가 우연에 따른 4분의 1보다 훨씬 자주 나타나서는 안 됩니다. 이는 문제 하나하나의 합격·불합격이 아니라 배치 전체에 걸친 분포입니다. 문제마다 따로 고치면 단서가 없어지는 것이 아니라 자리만 옮겨 가기 때문입니다.

오답 선택지 단서. 지어낸 규칙과 제한, 그리고 정답에는 없는 절대적 표현을 배치 전체에서 집계합니다. 오답 선택지를 만드는 방법을 참고하십시오. 둘 다 기계적으로 셀 수 있는 것이며, 둘 다 저자가 모든 줄을 읽었는데도 살아남았던 것들입니다.

태그 고유성. 모든 주제 태그는 종목 전체에서 고유해야 합니다. 이 검사는 기본적인 관리 차원에서 추가되었지만, 다른 어떤 검사도 찾지 못한 것을 찾아냈습니다. 트라이애슬론 문제 1,500개에 적용하자, 겹침 검사가 놓치고 어떤 검토자도 찾으려 하지 않았던 레벨 1의 실제 중복 두 건이 드러났습니다. 이어진 전용 감사에서는 레벨 1 안에서 반복 24건이 발견되었고, 레벨 2에서는 14건, 레벨 3에서는 10건이었습니다. 배치마다 더 많은 규칙을 적용해 작성할수록 그 수가 줄었습니다. 비용이 적게 드는 불변 조건이 원래 잡도록 설계되지 않은 것까지 잡아냅니다.

단어 겹침에 따른 중복. 모든 문제를 같은 배치의 문제, 그리고 이미 공개된 모든 문제와 비교합니다. 공유 단어가 약 65%일 때 작동하며, 같은 문제를 다른 말로 물은 경우는 놓칩니다. 기준을 낮추면 대신 정당하게 서로 다른 문제들이 걸리기 시작합니다.

이 게이트들은 참이 아니라 형식을 검사합니다. 구조 보고서에 이상이 없다는 것은 배치의 형식이 올바르다는 뜻입니다.

읽기 검토

검토자는 인접 레벨을 펼쳐 놓고 배치를 읽으며, 겹침 검사가 볼 수 없는 것을 찾습니다. 같은 사실을 다른 말로 가르치는 두 문제, 주제가 아니라 관점을 바탕으로 만든 테스트, 다른 문제가 이미 다룬 쪽에서 다시 묻는 메커니즘 같은 것들입니다. 한계는 알려져 있습니다. 한 배치에서 저자가 스스로 다시 읽어 찾아낸 중복은 14건 중 5건뿐이었고, 모두 하나의 하위 레벨 안에 있었으며 하위 레벨을 넘나드는 쌍은 하나도 없었습니다. “전부 읽었다”는 게이트가 아닙니다. 두 레벨을 모두 앞에 둔 전용 검토가 게이트입니다. 검토자는 주제 자체에 대해 저자를 바로잡을 수도 있으며, 첫 축구 시범에서는 실제로 두 번 그랬습니다.

팩트체크

사람이 모든 문제를 1차 출처, 즉 규칙, 플레잉 컨디션, 대회 규정, 기술 보고서, 또는 문제의 출처 필드에 인용된 코칭 참고 자료와 대조합니다. 이 확인은 선택지 네 개를 모두 검증합니다. 발견되는 결함 대부분은 틀린 정답이 아니라 알고 보니 참인 오답 선택지입니다. 첫 트라이애슬론 배치에서는 문제 100개에서 결함 11건이 나왔고, 그 대부분이 참인 오답 선택지였습니다. 참인 오답 선택지는 나중에 드러날 가능성이 가장 큰 결함이기도 합니다. 문제의 통계를 살펴 그 문제가 종목을 아는 학습자와 모르는 학습자를 구별하는지 확인할 때입니다. 스포츠 지식 테스트를 검증하는 방법을 참고하십시오.

팩트체크는 양방향으로 읽습니다. 근거, 주장, 안전에서 설명한 대로, 근거가 허용하는 것보다 단정적으로 서술된 주장과 근거가 뒷받침하는데도 유보적으로 서술된 주장을 모두 찾습니다. 문제를 고쳐 쓰는 수정 작업은 모두 의도한 내용이 아니라 실제로 쓴 내용을 기준으로 다시 확인합니다. 한 트라이애슬론 배치에서 나온 중복 14건 중 2건은 이전 배치의 수정 작업 자체가 만들어 낸 것이었습니다.

검증된 사실 등록부

검토자가 확인하거나 바로잡은 사실은 배치보다 오래 남아야 합니다. 그렇지 않으면 다시 돌아옵니다. 레벨 1에서 바로잡은 트라이애슬론 규칙, 즉 선수끼리는 영양 보급품을 나눌 수 있고 금지되는 것은 참가자가 아닌 사람의 도움뿐이라는 규칙이 레벨 3에서 다시 오류로 등장했습니다. 새 저자에게는 그 사실을 알 방법이 없었기 때문입니다. 이제 각 종목은 1차 출처와 대조해 확인한 모든 입장을 담은 등록부를 두며, 여기에는 바로잡은 오류, 실제로 논쟁 중인 주장, 지나치게 유보해서는 안 되는 사항이 포함됩니다. 저자는 쓰기 전에 등록부를 읽고, 검토자는 내용을 등록부에 비추어 확인하며, 등록부 항목과 어긋나는 주장을 하려면 의견이 아니라 1차 출처가 필요합니다.

등록부는 공개되어 있습니다: 축구, 크리켓, 풋살, 트라이애슬론.

게이트가 처음 찾아낸 것

축구 문제 100개로 이루어진 첫 시범 배치를 이 모든 게이트에 통과시킨 결과, 독립 검토자들은 69개 문제에서 무언가를 발견했습니다. 정답이 가장 긴 선택지인 경우 93개, 지어낸 규칙 36개, 정답에는 없는 절대적 표현 31개, 중복 쌍 8개, 잘못된 발상 위에 통째로 만들어진 테스트 2개, 그리고 사실관계상 치명적인 결함 2건이었습니다. 모든 발견은 규칙이나 검사가 되었습니다. 게이트가 있는 이유는 저자가 부주의해서가 아닙니다. 의미를 따라 읽을 때는 길이, 정답 단서, 반복이 보이지 않기 때문입니다.