1. 検定のすゝめ
  2. テスト工学
  3. 試験問題の難易度調整と考え方
代表野口の資格・検定研究ラボ - 検定のすゝめ
テスト工学

試験問題の難易度調整と考え方

Calibrating the Difficulty of Exam Questions

今回は試験の難易度調整についてお伝えしたいと思います。

通常、どの試験回でも同じ難易度に設定することを目標にしているかと思いますが、実際には実現できないことが多いのではないでしょうか。

なぜならば、難易度設定の前に各出題分野があり、その中で何問・何点出すという割合が大体決まっていて、その分野の作問担当の先生方が前回と同じような難易度の問題を感覚で作成するという流れになってしまう事が多いからです。

しかしながら、このような作問フローですと難易度は毎回バラバラになってしまいます。

例であげますと、問題を3問作成する前提で、《簡単な問題を1問-普通を1問-難しいを1問》作成する事になっていたとします。
その場合、問題作成者は個人の感覚で難易度の調整を行うこととなります。

仮に前回の難易度が《80%-60%-40%》 だったとしましょう。
それを今回も同じ感覚で作成したが、実際には、《90%-70%-50%》だったとします。

この作成方法では、《簡単-普通-難しい》 の感覚は守れていますが、正答率の平均値が10%も上がっている事となり、例えば合否判定をする試験で、70点以上を合格とするといった形式で採点を行う場合、致命的となってしまいます。

いやいや、基準はそうだが、偏差値なども見てちゃんと補正をするので問題はない。

そう思う方も多いかと思いますが、偏差値は必ずしも能力値を表現しておらず、あくまでもその受験者母群の中での成績の分散を表しているにすぎません。
受験者母群がたまたま優秀であったり、優秀でなかったりする場合、そもそも信用してはいけない事となります。

ではどうすれば良いのでしょうか?

考え方としては2通りあります。

一つ目は、事前にβテストを行い、実際の難易度を確認してしまう事です。
それにより正答率をある程度推測ではなくデータで確認し、同じ難易度になるように調整することができます。

二つ目は、あくまで新問にこだわる場合、等化処理をすることです。
例えば、採点の基準問題を追加で10%程度出題しておき、その問題の正答率で受験者の能力を推測し、新問の難易度を等化処理し、同じ難易度の基準で何点となるか採点し直す考え方です。
その等化のための一つの答えが項目応答理論(IRT)となります。
こちらを選択する場合、上記の理論で追及していく事が答えになると思います。

次に問題の難易度のばらつきをどうすれば良いのか?についてです。

これについては、合格/不合格を判定する試験なのか、それともその受験者の能力を0~100点で階層的に評価したい試験なのかで大きく異なります。

合格/不合格を判定するのに必要な試験問題は、合否判定力の高い問題を集める事が最適です。

試験として、《簡単-普通-難しい》問題をあるレベルで分布させたい気持ちは分かりますが、この合否判定では、合格すべき人を合格させ、不合格にすべき人を不合格にする事が資格制度として最も重要です。

その場合、誰でも解ける問題や合格すべき人でも解けない難しい問題をいれる事はこの命題に対しては何の意味もありません。
問題数を無駄に使っている事と同じになります。

合否判定力は、合格者の正答率-不合格者の正答率です。
これが0.2以上ある問題を良問と考えております。

このような問題を多く散りばめる事、感覚的には誰も解けない難しい問題や誰でも解ける易しい問題ではなく、正答率70%前後の難易度の問題がその値を多く取ると思いますので、そういった問題の出題を多めにして問題作成を行うべきと思います。

逆に受験者の能力を0~100点で階層的に評価したいTOEICのような試験の場合、この作成ではなく、適正な難易度の問題を同じくらいの比率で出題することが求められます。

70点の合格者だけでなく、80点と90点の能力の人も正しく判定するには、70点の人には解けないが80点の人には解ける問題、80点の人には解けないが90点の人には解ける難易度の問題も必要になるという事です。

逆に20点と30点の人も判定できるように、簡単な問題も出題する必要があります。

この判定を行うためには各難易度の問題を均質に出題していく必要があるため、かなりの問題数を出題しなくてはいけません。

その解決方法として、

CAT(Computer Adaptive Test)=受験者の能力
に見合った試験問題を出題する形式の試験がCBTでは可能です。

つまり、まず合格者を判断する試験なのか、0~100点等の各層の能力を測る試験なのか、それによりまず出題する難易度のばらつき設定が決まり、次にその作成された問題がどのような難易度のものであるかを数学的に事前に確認するか、等化するかによって統一難度を測るという事が 出題者が意識すべき点となります。

是非、問題作成の際の参考にしてみてください。

© 2020 CBT-Solutions Inc - 無断転載・複製を禁ず