全体の70%を合格とする問題選出方法について
Setting a Passing Grade
特集~主催者様からのご質問にお答えします!~
先日、「全体の70%を合格とする問題選出方法について」ある主催者様からご質問をいただきました。
こちらに対するお答えですが、「基本的にはこのような基準で合格判定基準を決めるべきでない」というのが大前提になります。
そもそも試験において合格・不合格という基準は、「2級なら***ができる人」という定義を各試験の主催者様がされていると思います。
全体の70%という数字ありきの話ではなく、「***できる人」はどのような知識を持っていないといけないのか、それらを問う問題を出題し、回答結果が一定の基準を満たす人を合格とすべきということになります。
ですので、この質問への回答は前述の通りなのですが、ご質問をいただいた主催者様は、当然に上記の前提は理解しているが、取り組む必要があり、その場合、数学的にどのように考えれば良いのか?という趣旨でした。ですので、その場合の数学的な方法案について以下にご紹介させていただきます。
方法案
- 得点分布表を作成し、上位70%の受験者が分布している得点を求める。
(分かりやすくするためにこれが60点---(A)だったとします。) - 60点(A)の点数を取った受験者のみの各問題正答率---(B)を出す。
(但し、対象母群として250人くらいは必要ですので、その点数の人が250人未満であれば、前後の得点者も含めて250人くらいに対象を広げて下さい。) - その問題正答率をこれらのターゲット層の正答期待値と考え、この人たちが取れるであろう点数を合格基準点とする。
(例)出題する問題を選出。その問題の正答率(B)が、
正答率80%の問題を5問(25%)
正答率60%の問題を10問(50%)
正答率40%の問題を5問 (25%)
計20問出すとするとこれらの受験者層のテストの得点期待値は、
0.8×0.25+0.6×0.5+0.4×0.25=0.6となります。
つまり上位70%のぎりぎりのラインの人は、このテスト構成では期待値として60点くらいを取るという事になります。
ですので、上記の計算方式であれば、上位70%くらいの人がぎりぎり合格するテストをどのように作成すれば良いかは、選んだテストセットより、これらの受験者層が何点を取るであろうか計算を行い、その点数期待値を合格点にすれば良いということになります。
また、上位70%の人を合格させ、かつ70点を合格ラインにしたいという命題であれば、問題の難易度を調整するという考え方で逆算し、難易度を調整すれば良いことになります。
上記ですと正答率を、例えば10%ずつ上げると
(例)出題する問題を選出。その問題の正答率(B)が、
正答率90%の問題を5問(25%)
正答率70%の問題を10問(50%)
正答率50%の問題を5問 (25%)
計20問出すとすると、
0.9×0.25+0.7×0.5+0.5×0.25=0.7となります。
よって、この問題セットを出題すれば、上位70%くらいの人がちょうど70点くらいを取る試験を作成できることになります。
冒頭の説明の通り、あまりお薦めしたい方法ではありません。しかしながら国家試験や歴史のある試験において、どうしてもこのような基準を守らないといけないといった前提条件がつく場合、このような計算で、想定の受験者が想定の点数を取ることができる問題セットを作成することが可能です。ご質問へのお答えにもなりますので、ご参考にしていただければと思います。
資格・検定研究ラボ「検定のすゝめ」では、主催者様からのお問い合わせで、皆様に広く回答した方が良い質問がありましたら、今回のようにメールマガジンにてお答えしていきたいと思います。
資格・検定運営で取り扱ってほしいテーマがありましたら、弊社サービスに関するお問い合わせよりお気軽にご質問をいただけましたら幸いです。