CAT(Computerized Adaptive Testing) とは？オンライン試験の進化をメリットと導入までのハードルを解説
新型コロナウイルスの流行後、人々の生活様式は大きな変化を求められています。
感染リスクを少なくするためのテレワークやオンライン授業、オンライン説明会・Web面接など、多くのことが非接触型に変化しました。
このような変化に伴い、検定・認定資格のオンライン化を採用・移行する傾向が各業界で見受けられます。
この記事では、現在行われているオンライン試験（CBT試験「Computer Based Testing」）の進化形といわれるCAT(Computerized Adaptive Testing) について解説します。
これまでの方式との違いやメリット、導入に必要な準備まで解説しています。
CATとは
CAT（Computer Adaptive Test）試験とはCBTによって可能になるオンラインテストの一形態であり、適応型試験とも呼ばれます。
受験者のレベルに応じた試験問題を受験者の能力に応じて算出し出題することで、より少ない問題数でかつより正確に受験者の能力を計測することが出来る出題形式のモデルです。
項目応答理論（IRT）によって推定されたパラメータの付与された問題項目をアイテムプールに置き、受験者の回答パターンに応じて、困難度の異なるアイテムを選んで出題することにより、動的、短時間、高精度で受験者特性の測定を判定を行う方法である
CATをより理解するために
CATと似た用語にCBT(Computer Based Test)があるが、これは適応型である必要はなく、コンピュータ上で実施されるテストを指す。
例えば、紙で実施していたテストをデジタル化してコンピュータ上で実施してもCBTと呼ばれる。
CBT（Computer Based Testing）とは
PBT試験と対比して、コンピューターを用いて行う試験が「CBT」と呼ばれています。
項目応答理論（IRT）とは
テスト項目に対する反応（どの選択肢に回答して正答、誤答の答えをだしたかなど）を見て、各項目ごとのモデルから受験者の能力や性格などを分析する理論体系を指します。
詳しくは「IRT（項目反応理論）とは？」をご覧ください
CATの仕組み
適応型の仕組みを理解するには、視力検査の比喩が役立つ。視力検査では、ランドルト環が使われる。それぞれのランドルト環の隙間が一定の距離から見えた場合、1.0、1.5などと視力が判定される。それぞれのランドルト環に与えられた1.0、1.5などが項目困難度に相当する。検査官は被験者の「見える」「見えない」の答えによって、より大きい環やより小さい環を指し示す。これは被験者の回答により、困難度の異なるアイテムを出題するのに相当する。視力検査ではこの過程を繰り返しながら被験者の視力を判定するが、これが適応型の方法に相当する。
CATを導入するメリット
CBT及びCATの導入は、受験者側にも試験の主催者側にも大きなメリットがあります。
ここでは、受験者・主催者それぞれの視点からのメリットを確認していきます。
受験者のメリット・恒常的な受験機会
特定地域で実施していた試験が、CBTでは最寄りの会場での受験が可能になるので、恒常的な受験機会が得られるようになります。
紙媒体の試験では、問題用紙の保管・配布・回収に人手が必要なため、試験の規模によっては地方在住者が遠距離に出向くことになり、日程・費用も考え合わせると受験機会の損失を被ることがありました。
受験者のメリット・受験者ごとに最適な問題が出題される
IRT（項目応答理論）を応用した問題を作成して、受験者ごとに最適な問題が出題されるのは、CATが導入されたとき大きなメリットになります。
問題が固定された形式では、受験者のレベルに関係なく同程度の問題が出題されふるいにかけられていました。
CATでは、自分のレベルに合った問題で、現時点での解答能力で試験に望むことができます。
主催者側のメリット・認知度の向上
CBTを活用した試験では、広範囲に試験機会を提供できるので、試験そのものの認知度を向上させることが可能になります。
受験機会の損失は、人材を発掘する目的の主催者側の損失にもつながります。
主催者側のメリット・精度の高い測定
IRTを応用したCATの導入は、受験者だけでなく主催者側にも大きなメリットをもたらします。
固定問題式では、一定レベル以下を振り落とすことに有効な反面、人材の取りこぼしが懸念されてきました。
CATでは、受験者それぞれに見合った問題を出題することが可能になるため、広範囲の問題を高い精度で測定することが可能となります。
CAT導入までのハードル
受験者・主催者双方にメリットのあるCATですが、導入までにはいくつかのクリアするハードルがあります。
ここでは、導入に必要な要件を解説します。
作成する問題の量
問題固定式の試験であれば、1度のテストに必要な問題数も一定で済みます。
しかし、受験者それぞれに見合った問題を提供するには、相当数の問題を用意する必要があります。
各受験者の正答率に合わせて、設問ごとに難易度の違う問題を用意して、レベルの分岐を全てカバーできるだけの問題を用意するには相当の工数がかかります。
IRTにおけるパラメーターの応用
CAT導入のメリットを解説した章で、IRTの応用について触れました。
IRTの応用はCAT導入の大きなメリットであると同時に、導入までの大きなハードルにもなっています。
IRTは異なる問題も同じ軸上で測定できる方法に導く理論で、受験生を一律に比較可能なスコアに算出することができる手法です。
しかし、海外では既に実用化された理論ですが、日本国内では認知度も低く実用化のノウハウを持っている試験作成者は少数派です。
パラメーターを応用して、実用レベルに持っていけるノウハウの確保が必須要件となります。
CATの導入が検討可能な試験
CATの根本となるオンライン試験では、解答の正誤情報や採点ルールを設定して自動的に採点を行います。そのため、マークシート方式で解答する試験では、CATの導入が検討対象となります。
しかし、採点者が正誤を判定する問題や複数の正答を持つ問題、論述での解答が求められる試験は、現段階での導入は適していないでしょう。
CATを導入する方法
大きなメリットを得るためには、満たすべき要件のハードルも高い。
これが、CAT導入に向けた現状になります。
そこで、CBTソリューションズではCAT導入に向けた相談を随時受け付けています。
スマートCBTサービスを活用した、試験データ分析をはじめ、当社独自のノウハウを提供いたします。
CAT（Computer Adaptive Test）の開発に必要なIRTによる各種問題の識別力や困難度の算出や等化処理から、等化処理された問題セットの作成までトータルでサポート。
運用・導入コストに関しても、柔軟性・スピード感を持って対応いたします。