１次元射影としての試験 - ryamadaの遺伝学・遺伝統計学メモ

昨日の続き
こちらで一問あたりの得点が異なる問題の合算で合格が決まるという試験の対策の話をしている
禁忌選択肢を有する問題などもあるという
試験理論とかマルチプルチョイス理論のようなものがあるかと思ったら、あまりこれと言ったものがない。想像した以上にない。主なものは以下の通り
「推定・予測」などの話をする(こちら)として、「試験による１次元射影」が「試験実施時の個体の『何か』の推定』として、どういうことになっているのか、という「推定」課題と、「試験後のパフォーマンス」の予測として、どういうことになっているのか、ということが興味の１点
もう１点の興味は、「試験を課する」という制度の設置による、(合格者)集団のクオリティコントロールに及ぼす影響の測り方
現状推定はできるが、将来予測は難しいので、保留。集団のクオリティコントロール論も難しいので保留
状況設定は必要なので、その上で考えてみる
- 試験設定
  - 多問題
  - マルチプルチョイス形式
  - 幅広い出題領域
  - 問題の選択肢の設計により、「知識量」と「正解率」との間に非直線的関係を入れる(組み合わせを含めたマルチョイ)
  - 問題・選択肢ごとにスコア重みづけ(１点問題・３点問題・禁忌選択肢・禁忌選択肢含有問題)
- 「試験」を評価する指標
  - 合格者の「能力」との一致の程度
  - 不合格者の「能力」との一致の程度
  - ある亜群(できる亜群)がきちんと合格するかどうか
  - ある亜群(できない亜群)がきちんと不合格するかどうか
考え方
- 変数:問題側
  - 問題数
  - 出題領域数と領域別の問題数分布
  - 問題ごとの「知識-正解」関係の関数
  - 問題ごとの「配点」
  - 選択肢ごとの「特別得点」
  - 総得点ベクトル(ただの総得点なら１次元ベクトル、禁忌選択肢うんぬんなどが入ると複数次元ベクトル)
- 変数:受験者側
  - 受験者の知識・得点能力ベクトル(出題領域ごとのそれ。ベクトル)