CASECの試験時間は、30分~40分であると、概要のところで述べた。TOEICが正味120分の試験である。中学生対象の英検の4級でさえ、1次試験は65分である。これらのことを考えると、果たしてこんな短い時間で英語の実力が分かるものなのか、ユーザーとしては疑問だろう。その点について質問をした。
「CASECは、能力推定のアルゴリズムにCAT(Computerized Adaptive Testing)方式を採用してます。CATのシステムは、試験中にコンピュータが常に受験者の能力を計算し、1問ごとに受験者に最適な項目を提示しながらテストします。ですから、少ない実施項目数で、より高精度の測定ができるといえます。瞬時に計算し、能力に合った問題を出題するには、複雑な演算も必要とするので、コンピュータの発展で実用化された形式といえるでしょう」(開発担当)
この説明で、コンピューターが受験者の能力に合わせて出題することは分かったが、テストの主流はペーパーテストである。ペーパーテストとの間のデータ的な関係を示してもらわないと納得しがたい。その点については、「*実験結果からは、通常の紙テストの40%程度の項目数で、同程度の測定精度が得られることが確認されています」(開発担当)
テストの信頼性実験:約500名の受験者に、CASECと紙ベースのテスト(同じデータベース内から構成されるテストセット)を両方受験してもらい、何問で紙ベースのテストの信頼性と同等になるか計測。
システマチックに試験がされることはお分かりいただけたと思うが、短時間でテストが行えること、問題がレベルによってカスタマイズされることに、ユーザーはどう感じているのだろうか?
「所要時間に関しては、6割の方が適当と感じられています(右図:n=33名)。問題が自分のレベルに応じて出題されるので、余計な問題(できて当たり前の問題や、できるはずも無い難題)を解く必要の無い点が好評です」(開発担当)と、ユーザーの不信感や違和感はないようだ。
つづく
感想のメールはこちらまで
CASEC
ブリティッシュ・カウンシル