문제는 그 자체로 성립해야 한다

Insporta의 모든 문제는 해당 종목을 아는 사람이라면 눈앞에 문서가 없어도 답할 수 있습니다. ‘본문’, ‘지문’, ‘문서’에 무엇이 쓰여 있는지 묻는 문제는 그 글을 가진 사람만 답할 수 있으므로, 지식이 아니라 출처에 접근할 수 있는지를 측정하게 됩니다. 모든 문제에는 출처가 표시되지만, 문제 안에 들어가는 일은 결코 없습니다.

결함

하나의 문서를 바탕으로 쓴 콘텐츠에서 가장 흔한 결함은 그 문서가 문제 본문으로 새어 들어가는 것입니다. “내용에 따르면 압박 능력을 기르는 드릴은 무엇인가?” “지문은 두 번째 단계에 무엇을 권하는가?” 경력 30년의 코치도 둘 중 어느 것에도 답하지 못합니다. 정답은 그 문서가 마침 무엇이라고 썼느냐에 달려 있기 때문입니다.

이것은 Insporta가 물려받은 콘텐츠에서 가장 흔한 단일 결함이었습니다. 축구 문제 100개로 된 시범 배치에서는 29개가, 기존 레벨 하나에서는 380개 중 150개가 작성 근거가 된 문서를 언급했습니다. 이 문제들은 모두 출처 없이는 답할 수 없으며, 모두 레벨 사다리에서 삭제되었습니다. 대조해 보면 유익합니다. 현재 규칙에 따라 작성한 레벨에서는 1,000개 중 이런 문제가 하나도 없었습니다.

출처를 두는 자리

각 문제에는 출처 항목이 있습니다. “IFAB Laws of the Game 2025/26, 제12조”, “MCC Laws of Cricket 2017 code(제3판, 2022년), 제21조”, “World Triathlon Competition Rules 2.2”와 같은 식입니다. 출처 정보는 바로 이곳에 있으며, 학습자가 답한 뒤 해설과 함께 표시됩니다.

문제 본문은 그 대신 종목 자체의 개념을 언급합니다. “제12조는 주의, 배려 또는 조심성이 부족한 상태에서 하는 도전을 어떤 용어로 부르는가?”는 축구에 관한 문제입니다. 여기서 ‘규칙’은 경기 규칙을 가리키며, 축구를 아는 사람이라면 누구나 그 존재를 압니다. “문서는 그런 도전을 무엇이라고 부르는가?”는 문서에 관한 문제입니다.

이 규칙의 더 넓은 의미

그 자체로 성립한다는 것은 문제가 옆의 다른 문제에 기대지 않는다는 뜻이기도 합니다. 학습자는 한 테스트의 문제 10개를 어떤 순서로든 볼 수 있으므로, 한 문제가 다른 문제에서 묻는 사실을 알려 주어서는 안 됩니다. 또한 문제 본문이 필요한 상황을 스스로 담고 있어야 한다는 뜻이기도 합니다. 크리켓 문제의 정답이 경기 형식에 따라 달라진다면 본문에 테스트, ODI, T20 중 무엇인지 밝힙니다. 형식을 밝히지 않은 본문에는 대개 정답이 둘 이상 있기 때문입니다.

왜 중요한가

Insporta는 점수가 종목에 대한 지식을 반영한다고 주장하며, 이는 문제가 측정해도 되는 것에서 설명합니다. 문서 의존형 문제는 이 주장을 소리 없이 무너뜨립니다. 종목을 가장 잘 아는 학습자가 오히려 가장 낮은 점수를 받을 수 있습니다. 그런 사람은 글이 아니라 경기를 바탕으로 답하기 때문입니다. 이 규칙은 지키기도 쉽고 확인하기도 쉬우며, 배치를 점검할 때 가장 먼저 확인하는 항목 중 하나입니다. 팩트체크와 품질 게이트를 참조하십시오.

문제를 작성할 때 바탕으로 삼는 출처의 목록과 각 출처를 표시하는 방법은 문제 작성에 쓰는 출처에 나와 있습니다.