읽기 부담과 길이

Insporta의 문제 본문은 60~180자이고, 각 선택지는 최대 80자이며, 한 문제 안의 선택지는 서로 30자 이내로 맞추고, 배치 전체에서 정답이 가장 긴 선택지인 비율은 우연 수준을 넘지 않습니다. 한 문제는 한 가지만 묻습니다. 이런 규칙을 두는 이유는 정답 여부와 함께 응답 시간이 기록되기 때문입니다. 어떤 문제를 이웃 문제보다 읽기 느리게 만드는 요소나 길이로 정답을 드러내는 요소는 무엇이든 측정을 오염시킵니다.

허용 범위

요소	한도	이유
문제 본문	60~180자	60자 미만이면 대개 필요한 상황 설명이 빠지고, 180자를 넘으면 읽기 과제가 됨. 상황 설명이 꼭 필요할 때에만 더 길게 허용
선택지	최대 80자	선택지는 답이지 단락이 아님
한 문제 안의 길이 차이	어떤 선택지도 나머지 중 가장 긴 것보다 30자 넘게 길지 않음	길이가 비슷한 네 선택지는 시각적 단서를 주지 않음
배치 전체	정답이 가장 긴 선택지인 문제가 약 4분의 1, 가장 짧은 선택지인 문제가 약 4분의 1	선택지가 네 개면 우연 확률은 25퍼센트. 이를 크게 넘으면 길이로 정답을 예측할 수 있음
범위	한 문제는 한 가지만 물음	‘다음 중 두 가지’ 형식 없음

처음 두 한도는 이런 제한 없이 작성된 콘텐츠를 측정한 뒤에 정했습니다. 한 레벨의 문제 본문은 24자에서 284자까지 분포했는데, 이 정도 폭이면 한 테스트의 열 문제를 서로 비교할 수 없습니다.

응답 시간이 중요한 이유

Insporta는 답이 맞았는지뿐 아니라 각 답에 걸린 시간도 기록합니다. 속도만으로는 좋은 척도가 되지 못하며, Heisler와 동료들(2023)은 정확도 없이 속도만으로 매긴 순위로는 알 수 있는 것이 거의 없다는 사실을 밝혔습니다. 그러나 속도를 정확도와 함께 보면 정확도만으로는 얻을 수 없는 정보가 담기며, 이는 학습자의 프로필을 구성하는 요소 가운데 하나입니다. Insporta가 연구를 적용하는 방법을 참고하십시오.

이것은 한 테스트의 열 문제를 읽는 데 드는 부담이 대체로 같을 때에만 의미가 있습니다. 한 문제 본문이 다음 문제의 세 배 길이라면 두 문제의 시간 차이는 생각이 아니라 읽기에서 생긴 것이며, 프로필은 그 차이를 지식인 것처럼 받아들이게 됩니다. 읽기 부담을 고르게 유지해야 응답 시간을 해석할 수 있습니다.

가장 긴 선택지라는 정답 단서

배치 단위의 규칙은 깨닫기가 가장 어려웠던 규칙입니다. 축구 문제 100개로 이루어진 한 시범 배치에서는 93문제에서 정답이 가장 긴 선택지였고, 가장 긴 오답 선택지보다 평균 12자 길었습니다. 늘 가장 긴 답을 고르는 학습자는 축구를 전혀 몰라도 우연 수준을 훨씬 웃도는 점수를 받았을 것입니다. 작성자는 모든 줄을 읽었지만 이를 알아차리지 못했습니다. 의미를 따라 읽을 때는 길이가 눈에 들어오지 않기 때문입니다.

첫 번째 수정은 상황을 다른 방향으로 악화시켰습니다. 지나치게 긴 정답을 모두 줄였더니 100문제 가운데 41문제에서 정답이 가장 짧은 선택지가 되었습니다. 문제별 수정은 정답 단서를 없앤 것이 아니라 옮겨 놓았을 뿐이었고, 그래서 이 규칙은 문제마다 거는 제한이 아니라 배치 전체의 분포로 정해져 있습니다.

효과가 있는 수정은 정답을 줄이는 것이 아니라 오답 선택지를 늘리는 것입니다. 정답은 올바른 답에 필요한 만큼의 길이를 갖습니다. 오답 선택지에는 내용을 더 구체적으로 만드는 구절을 덧붙일 수 있습니다. 이렇게 늘리는 것은 내용 수정이며, 내용 수정으로서 다시 읽습니다. 한 축구 레벨을 일괄 점검하면서 오답 선택지 145개를 늘렸는데, 그중 29개에 결함이 있었습니다. 세 개는 틀린 선택지를 맞는 선택지로 바꿔 놓았고(어떤 전술이 “클럽이 감당할 수 있는 것보다 많은 인력을 필요로 한다”는 선택지가 “대부분의 클럽이 감당할 수 있는 것보다”로 바뀌었는데, 이는 그냥 사실입니다), 하나는 정답을 되풀이했으며, 나머지는 군더더기로 읽혔습니다. 길이를 늘린 오답 선택지는 새 오답 선택지이며, 새 오답 선택지로서 검토합니다. 오답 선택지를 만드는 방법을 참고하십시오.

검사 자체도 한 번 바로잡아야 했습니다. 초기 버전은 “가장 짧은”을 네 선택지 전체가 아니라 가장 긴 오답 선택지와 비교해 측정했는데, 이는 “가장 긴”의 여집합에 가까워 독자적인 신호가 되지 못했습니다. 그래서 100문제 가운데 56문제에서 정답이 가장 긴 선택지였던 배치가 통과했습니다. 지금은 선택지 전체를 기준으로 집계합니다.

한 문제, 한 가지

‘다음 중 두 가지’를 묻거나 ‘A와 B 모두’를 선택지로 내놓는 문제 본문은 두 문제를 하나로 합친 것이며, 절반은 알고 나머지 절반은 모르는 학습자에게는 고를 수 있는 올바른 답이 없습니다. 각 문제에는 정답이 하나 있고, 세 오답 선택지는 각각 그 자체로 틀려야 합니다. 오답 선택지를 만드는 방법을 참고하십시오.

이 규칙이 하지 않는 일

길이 제한은 문제를 참으로 만들거나, 새롭게 만들거나, 범위 안에 들게 하지 않습니다. 길이 제한은 학습자가 지식 없이도 점수를 얻게 하는 단서 가운데 한 종류를 없애, 남는 것이 지식이 되도록 할 뿐입니다. 다른 종류의 단서는 문제는 그 자체로 성립해야 한다와 같은 문제는 두 번 내지 않는다에서 다루며, 이 모든 규칙을 강제하는 검사는 팩트체크와 품질 게이트에서 설명합니다.