같은 문제는 두 번 내지 않는다

Insporta는 같은 사실을 두 번 묻지 않으며, 그 기준은 주제가 새로운지가 아니라 문제가 새로운지입니다. 열 문제로 훑어본 주제에는 더 깊이 들어가는 문제를 백 개라도 낼 여지가 있습니다. 그러나 같은 요점을 다른 말로 가르치는 두 번째 문제는 측정에 아무것도 더하지 못하고, 테스트의 열 자리 가운데 하나를 허비할 뿐입니다. 자기 중복은 대부분 몇 가지 습관에서 생기며, 여기서는 그 습관마다 이름을 붙였습니다.

중복이 측정상의 결함인 이유

어떤 사실 하나를 아는 학습자가 그것을 두 번 질문받으면 두 문제를 모두 맞히고, 모르는 학습자는 두 문제를 모두 틀립니다. 테스트는 길이의 5분의 1을 한 가지를 측정하는 데 써 버린 셈이고, 점수는 더 이상 지식의 폭을 반영하지 못합니다. 하위 레벨 사이의 중복은 레벨 전체에서 같은 결과를 낳습니다. 서로 어긋나는 중복, 즉 한 문제에서는 어떤 주장을 정답으로 두고 다른 문제에서는 같은 주장을 오답으로 내놓는 경우에는, 첫 번째 문제로 공부한 학습자가 두 번째 문제의 오답 선택지를 고른 것이 정당하다고 주장할 근거를 갖게 됩니다.

문제 은행이 커질수록 이것이 가장 큰 결함이 됩니다. 트라이애슬론에서 문제가 300개일 때의 팩트체크에서는 사실 오류가 발견되었지만, 500개일 때는 사실 오류가 거의 없고 대신 반복이 발견되었습니다. 사실 수정은 십여 건이었던 반면 중복 쌍은 서른 개였습니다. 다루는 범위가 촘촘해질수록, 다른 저자의 작업을 모두 볼 수 없는 저자가 이미 나온 요점을 되풀이하지 않기는 더 어려워집니다.

중복을 낳는 습관

대우 관계의 문제 쌍. 한 문제에서 원칙을 제시하고 다른 문제에서 그 원칙이 없을 때 잃는 것을 묻는다면, 하나의 사실을 두 번 물은 것입니다. “수비수를 묶어 두면 수비 라인이 깊게 유지된다”와 “묶어 두지 않으면 수비 라인이 올라온다”가 같은 축구 테스트에 별개의 문제로 실렸고, 이런 일이 세 번이나 있었습니다.

여러 테스트에 걸친 같은 사실. 여러 테스트의 주제에 들어맞는 사실은 테스트마다 한 번씩 출제되기 쉽습니다. “누군가는 공격수 뒤쪽으로 침투해야 한다”는 내용이 한 하위 레벨의 테스트 10개 가운데 4개에 나왔고, 문제 은행에서는 이미 세 번이나 다룬 내용이었습니다.

주제가 아니라 관점을 바탕으로 만든 테스트. “실패 유형”, “문제 진단”, “판정 방식”, “여러 대형에 맞서기” 같은 것은 주제가 아니라 다른 테스트를 바라보는 관점이며, 이런 관점으로 만든 테스트는 하위 레벨의 사실을 증상으로 바꿔 말한 문제들로 채워집니다. 어느 축구 하위 레벨의 진단 테스트는 문제 본문을 “무엇부터 확인해야 하는가”로 뒤집었을 뿐, 열 문제 가운데 여덟 문제가 다른 문제를 되풀이한 것이었습니다. 다른 하위 레벨의 실패 유형 테스트에서는 열 문제 가운데 고유한 문제가 세 개뿐이었습니다. 테스트에는 관점이 아니라 주제를 부여합니다. 진단 문제는 그 원인이 같은 하위 레벨의 다른 문제의 정답이 아닌 결함을 다룰 때에만 정당합니다.

양쪽에서 본 같은 메커니즘. 대인 마크에 대한 답으로 로테이션을, 로테이션에 대한 답으로 대인 마크를 묻는 것은 한 문제입니다. 어떤 메커니즘을 공격하는 쪽과 수비하는 쪽 모두에서 물을 수 있을 때, 새로운 것은 한쪽뿐입니다. 다른 쪽은 대응책, 전제 조건 또는 대가로 초점을 옮겨야 합니다.

배치는 그 자체로 일관되어야 한다

한 배치 안의 두 문제는 서로 어긋나서는 안 됩니다. 한 시범 배치에서는 “자기 구역을 지켜라”가 한 테스트에서는 정답이었고 다른 테스트에서는 오답 선택지로 제시되었습니다. 일관성은 배치를 넘기기 전에 배치 전체에 걸쳐 확인하며, 한 하위 레벨에서 정답으로 둔 사실은 문제 본문이 그 차이를 분명히 밝히지 않는 한 이웃 하위 레벨에서 오답 선택지로 쓰지 않습니다.

중복을 찾는 방법

중복을 찾는 수단은 세 가지이며, 어느 하나만으로는 충분하지 않습니다. 모든 문제에는 해당 종목 전체에서 고유해야 하는 주제 태그가 붙습니다. 같은 태그가 필요한 두 문제는 사실상 한 문제입니다. 단어 중복 비교는 이미 공개된 모든 문제와 대조해 바꿔 말한 문제를 잡아냅니다. 그리고 이웃 레벨을 앞에 펼쳐 놓은 검토자는 같은 내용을 다른 말로 표현한 문제 쌍을 잡아내는데, 이는 단어 중복 검사로는 볼 수 없는 것입니다. 거친 물에서의 스트로크 레이트에 관한 문제 쌍은 단어가 40퍼센트만 겹쳐 기준치 65에 못 미쳤고, 기준치를 낮추면 정당하게 서로 다른 문제까지 걸리기 시작할 뿐입니다.

메타데이터가 텍스트보다 먼저 중복을 드러내는 경우도 많습니다. 100문제짜리 한 배치에서 여덟 쌍이 같은 요점을 가르쳤는데, 그중 세 쌍은 두 기록의 출처 인용까지 똑같았습니다.

중복 문제의 처리

모든 테스트는 정확히 열 문제로 이루어지므로 중복 문제를 그냥 삭제할 수는 없습니다. 중복 문제는 교체하며, 교체할 몫은 모든 배치에 미리 예산으로 잡아 둡니다. 쌍 가운데 어느 쪽을 남길지는 두 문제를 출처와 대조해 읽고 결정합니다. 수분 보충에 관한 두 문제는 서로 바꿔도 될 것처럼 보였지만, 알고 보니 한 문제는 몇 시간 안에 다른 훈련 세션이 있다는 조건을 올바르게 달고 있었고 다른 문제는 그렇지 않았습니다.

의도적인 예외가 하나 있습니다. 안전에 관한 사실은 위험으로 이어지는 모든 하위 레벨에서 반복될 수 있습니다. 근거, 주장, 안전을 참고하십시오. 고유성을 강제하는 검사와 그 알려진 한계는 팩트체크와 품질 게이트에서 설명합니다. 각 레벨이 아래 레벨보다 더 깊이 들어가도록 레벨을 계획하는 방법은 레벨과 하위 레벨에서 다룹니다.