1. 検定のすゝめ
  2. テスト工学
  3. 選択肢の出題形式を考える
代表野口の資格・検定研究ラボ - 検定のすゝめ
テスト工学

選択肢の出題形式を考える

Types of Questions

2018-12-16

選択肢の出題形式を考える検定試験の選択肢問題は4肢択一問題がほとんどです。私も4択問題を推奨していますが、他にどのような種類や特徴があり、そして何故4択を推奨しているのかについて考えていきましょう。

択多問題

まず選択肢問題として、択一問題と択多問題があります。択多は複数解答がある問題です。これは全部正解して正解の場合と部分点をつける場合があります。

択多は問題の難易度を上げることに大変有効です。仮に4つの選択肢があるとすると、1つ1つが正解か不正解を判断する必要があり、これは2択の問題を4問解いているのと実体は同じです。更にこれが全部正解のみ正解の場合、4問全ての2択を正解しないと点が取れないことになります。

4択の運での正答率が25%であるのに対して、四肢択多での「正解を全て選べ」は0.5の4乗となるので、6.25%まで落ちることになります。
つまりこの場合、4択全ての正否が完全にわかっている人でないと正解にならない厳しい条件になります。

偶然を排除し、絶対にわかっていないといけない問題として出題するのであれば良いのですが、ほとんどのテストではそうではない場合が想定されます。

4問全てをわからない人も3/4はわかった人も同じ0点になってしまうので、受検者の能力を適正に測るのにはあまり相応しくないと思います。(0点と4点より、0,1,2,3,4点と部分評価した方が受検者の能力診断には適正であるという意味です。だったら、2択問題を4問出した方がいいのでは?とも思います。)

選択肢数

次に択一でも2択、3択、4択、5択といった選択肢数の適正についてです。
それぞれ運で正解する確率は50%、33%、25%、20%となります。

2択の場合、わからない人でも50%は正解できることは少しテストとして問題があると思います。問題を解ける知識がある人と、運で正解をする人の差がつきづらいからです。

ならば選択肢を増やしていけばいいのでは?と思うかもしれませんが、選択肢を増やすことは、問題の開発コストが増えることになります。そのバランスを取るラインが4択なのかもしれません。なぜならば50%と25%は違いますが、25%と20%はそれほどの大差がないだろうと考えているからです。

もう少し具体例をあげてみますと、40%の人が解ける問題で、残りの60%は運で選択をする場合、正答する期待値は順に、2択:70%(40%+60%×1/2)、3択:60%(40%+60%×1/3)、4択:55%(40%+60%×1/4)、5択:52%(40%+60%×1/5)となります。これを見ても4択に対して適正な印象を持てるのではないかと思います。

私が4択を推奨する理由

次に4択を私が推奨する理由ですが、上記の他に、多くの事例や研究がなされており、他の検定などと統計的な比較を取りやすいというものがあります。多くの試験が4択を採用していますので、その正答率や有効選択肢数等の指標を比較しやすく、何がどういう値の場合に良い結果で、悪い結果等を理解しやすい状況にあると思います。

また、試験回を重ねるごとに前回との比較などもするべきですので、それを考えると2択、3択などの選択肢候補数を変更するべきではないと思います。変更してしまいますと比較の前提条件が変わり、本質を見失う可能性が高まるからです。
そのようなことを考えていくと自ずと4択問題を最初から採用することが効率が良いという考え方になります。

なお、4択でも面白い選択肢として、加点方式ではなく減点方式という考え方があります。

減点方式

択一は前述の通り、4択であれば25%で偶然正解されてしまいます。これを排除する考え方が減点方式です。間違えた選択をすると例えば-1点と減点される方式です。これは正解で+1点、未回答で0点、不正解で-1点となります。わからないのに当てずっぽうで選択するとむしろマイナス評価となります。

減点方式は、厚労省系の技能士の試験等で古く採用されていた点数方式らしく、採択の是非を識者に伺ったところ、

「機械等を扱う現場では、知識がないのに触ることで事故を起こしかねないため、わからないなら何もしないが望ましい。4択なので、当てずっぽうで選択させることで点を与えると、わからないのに行動するという人間を育てかねない。なので、わからない場合は行動しないを教えるために、減点方式で技能士系の試験は採点している。」

ということでした。この考え方は非常に共感できたことを覚えています。

というのも私の父が若い頃に、機械を使った仕事中に安易に触れてしまい右腕を切断するという事故に遭遇しております。その後、利き腕でもあったので相当苦労をしたと聞いていましたし、私が子供の頃に片腕で頑張る父の姿を見て、本当に大変そうだなぁとしみじみと感じていたことを思い出しました。

皆さんの現場でも、わからないなら行動させない。という考え方は非常に重要な場合が多いのではないでしょうか?そういう試験は減点方式を検討してみると良いと思います。少なくとも「わからないけれど、とりあえず選択しておけ」での正解は無くすことができます。

まとめると、択多は結局2択の複数問題なので、2択より4択と考えると4肢択一が望ましく、また比較や知見を利用するのも採択の多い4択が望ましいです。当て推量で当たる部分が気になる場合は減点方式という考え方も良いので利用してみましょう。という考え方になります。あくまで私個人の意見ではありますが、ご参考になれば幸いです。

© 2018 CBT-Solutions Inc - 無断転載・複製を禁ず