오답 선택지를 만드는 방법

Insporta의 문제마다 오답 선택지가 세 개 있으며, 각각은 주제를 어설프게 아는 사람에게는 그럴듯하고 제대로 아는 사람에게는 모호함 없이 틀려야 합니다. 오답 선택지는 결코 지어낸 규칙이 아니고, 정답에 없는 절대적 표현도 아니며, 정답을 단순히 부정한 것도, 누가 봐도 터무니없는 말도 아닙니다. 세 개의 오답은 정답 못지않게 측정을 떠맡기 때문에 정답만큼 꼼꼼하게 검토합니다.

오답 선택지의 역할

그럴듯한 선택지 하나와 그럴듯하지 않은 선택지 세 개로 된 문제는 4지선다 문제가 아닙니다. 터무니없는 선택지를 걸러 낼 줄 아는 학습자는 한두 개의 후보 가운데서만 고르게 되고, 점수는 더 이상 그 학습자가 답을 알았는지를 보여 주지 못합니다. 난이도를 떠받치는 것은 오답 선택지입니다. 오답 선택지는 부분적으로 아는 학습자가 실제로 고민할 만한 대안이어야 합니다.

그래서 오답 선택지의 기준은 두 부분으로 나뉩니다. 어설프게 아는 사람에게 그럴듯할 것: 그 종목의 용어를 올바르게 쓰고, 상황에 들어맞으며, 주제에 대해 들어 본 적 있는 학습자가 믿을 법해야 합니다. 제대로 아는 사람에게 틀릴 것: 규칙이나 원리를 아는 사람이라면 망설임 없이 배제할 수 있어야 하고, 팩트체크에서 정답과 다르기만 한 것이 아니라 실제로 틀렸다고 확인되어야 합니다. 팩트체크와 품질 게이트를 참조하십시오.

슬그머니 참인 오답 선택지

팩트체크에서 가장 흔히 발견되는 것은 참인 오답 선택지입니다. 트라이애슬론의 첫 배치 100문제에서 팩트체크는 문제점 11개를 찾아냈는데, 대부분은 사실 맞는 말인 오답 선택지였습니다. 선택지가 금지된다고 한 것을 규칙은 허용하고 있었습니다. 참인 오답 선택지가 있으면 문제에 옹호할 수 있는 답이 두 개가 되고, 정답으로 지정되지 않은 쪽을 고른 학습자는 옳았는데도 틀렸다고 채점됩니다.

이런 선택지는 나중에도 문제를 망가뜨립니다. 충분히 많은 학습자가 답하고 나면 각 문제의 통계를 살펴, 그 문제가 종목을 아는 사람과 모르는 사람을 가려내는지 확인합니다. 참인 선택지가 두 개인 문제는 학습자와 아무 관계없는 이유로 이 검토를 통과하지 못합니다. 그래서 팩트체크는 선택지 네 개를 모두 검증합니다. 특히 조심해야 할 경우는 같은 배치의 다른 문제가 가르치는 내용 때문에 참이 되는 오답 선택지입니다. 작성자가 방금 그것을 참으로 만드는 사실을 직접 써 넣은 것입니다.

지어낸 규칙 금지

오답 선택지를 틀리게 만들려고 조항, 심판의 행동, 행정상의 제한을 지어내는 일은 없습니다. “하프마다 한 번을 넘을 수 없다.” “대부분의 연맹에서 허용되지 않는다.” “마크하던 선수는 오프사이드 판정을 받는다.” “계약상 전방 압박을 해야 한다.” 정답은 결코 이런 식으로 쓰이지 않으므로, 이런 부류의 선택지는 종목을 몰라도 통째로 버릴 수 있고, 테스트를 몇 번 본 학습자는 그렇게 버리는 법을 익힙니다. 축구 문제 100개로 된 시범 배치에서는 36문제에 이런 종류의 지어낸 규칙이 들어 있었습니다.

지어낸 숫자도 마찬가지입니다. 골키퍼를 몇 번까지 바꿀 수 있는지, 코너킥 때 골라인에 수비수가 몇 명까지 설 수 있는지를 제한하는 조항이 없다면, 그런 제한이 있다고 말하는 오답 선택지는 오답이 아니라 정답 단서입니다.

절대적 표현은 정답에 있을 때만

“항상”, “절대”, “오직”, “반드시”, “어떤 경우에도”. 오답 선택지에 이런 표현이 있고 정답은 유보적이라면, 절대적 표현이 오답을 오답이라고 표시해 주고, 학습자는 유보적인 답을 고르는 법을 배웁니다. 같은 시범 배치에는 이런 유형의 문제가 31개 있었습니다. 절대적 표현은 정답이 같은 강도의 주장을 할 때에만 오답 선택지에 쓸 수 있습니다. 그래야 어느 쪽도 표현만으로는 가려낼 수 없습니다.

정답을 뒤집은 것은 안 됨

“오프사이드다”와 “오프사이드가 아니다”는 하나의 사실을 뒤집어 묻는 것에 불과합니다. 정답을 부정해서 오답 선택지를 만들면, 둘 사이의 구분이 바로 그 문제가 시험하려는 내용이 아닌 한, 미끼 두 개가 붙은 2지선다 문제가 됩니다. 어떤 원리를 양쪽에서 물을 수 있을 때 새로운 문제가 되는 것은 한쪽뿐이고, 다른 한쪽은 대응책, 전제 조건, 대가를 묻는 데 써야 합니다. 같은 문제는 두 번 내지 않는다를 참조하십시오.

지어낸 헛소리보다 실제 오해

가장 좋은 오답 선택지는 사람들이 실제로 믿는 것입니다. 운동성 열사병이 뜨겁고 건조한 피부로 나타난다는 믿음이 그렇습니다. 실제로는 선수가 대개 여전히 땀을 많이 흘립니다. 트라이애슬론의 뒤따르기(드래프팅)가 누군가의 바로 뒤에서 주행하는 것뿐이라는 믿음도 그렇습니다. 뒤따르기 영역에는 폭이 있으므로 옆에서 나란히 주행하는 것도 뒤따르기입니다. 골키퍼가 볼을 6초 동안 잡고 있을 수 있다는 믿음도 있는데, 이는 2025년까지의 규칙이었습니다. 이들은 모두 학습자가 고를 법한 오답이고, 이를 고른 학습자는 해설에서 무언가를 배웁니다. 지어낸 헛소리 선택지는 아무도 고르지 않을 오답이므로, 그런 선택지가 든 문제는 사실상 선택지가 세 개뿐입니다.

선택지를 묶는 선택지 금지

“위의 모든 것”, “해당 없음”, “A와 B 모두”는 쓰지 않습니다. 각 오답 선택지는 그 자체로 틀려야 하고, 문제는 한 가지만 묻습니다. 오답 선택지의 길이도 정답의 길이 범위 안에 머뭅니다. 읽기 부담과 길이를 참조하십시오. 배치의 길이 균형을 다시 맞춰야 할 때 늘리는 쪽은 오답 선택지이며, 늘린 오답 선택지는 새 선택지처럼 다시 읽어 검토합니다.

왜 이것이 측정의 규칙인가

여기서 설명한 정답 단서는 모두 지식 없이 점수를 얻는 방법입니다. 이를 걷어 내면 문제가 측정할 수 있는 것에서 설명한 구성 개념이 남습니다. 종목을 아는 학습자는 정답을 고르고, 모르는 학습자는 자신이 잘못 믿고 있는 것과 맞아떨어지는 선택지에 끌립니다. 이것이 점수가 Insporta가 말하는 바를 실제로 뜻하기 위한 조건이며, 나중에 스포츠 지식 테스트를 검증하는 방법에서 설명한 대로 문제를 보정하기 위한 조건이기도 합니다.