蛍光ペンの交差点[別館]

"どの点に関心をもつべきか ―をわれわれが学びとるのは,もっぱら仮説からだけである"

Raschモデルに関する覚書

  • Raschモデルは項目応答理論で扱われる最も単純なモデルの一つ
  • Raschモデルは、形式的には(一般化線形モデルのうち)ロジスティック回帰の一例にすぎない
  •  「人それぞれ(の能力)」を表すパラメタ1つと、nコの問いについて「問いそれぞれ(の難しさ)」を表すnコのパラメタで現象の説明を試みる
  • しかし一般化線形モデルが通常「線形回帰では説明できないような量的な目的変数を回帰するために」としてモデルをデータに合わせることを志向しているのに対して、Raschモデルはデータをモデルに合わせることを目指していて興味深い。
  • Raschモデルが理想とするパラメタ値が何なのかまだ見つけられていないが、このページにあるように、最終的に目標とするのは段階的に選別できる「互いにクロスしないn段階の難しさ(一次元上で定義されたnコの点に関する不変な(不)等号関係)」であるようだ。最終的にはこの(潜在する)枠組みにあったようなデータだけが試験/アンケート/質問として適切、という風にするようで、「簡単すぎてテストにならない」「難しすぎて誰も正解できない」はmeasurementとして不適切ということ
  • 最尤推定の方法が3通りあるようで、まだ理解できていない。特にquadratureとかいう近似用の道具?のデフォルト設定が、Raschは大丈夫だが後述のltmなどでは精度上の問題を引き起こすようで、解析の際は試行錯誤が必要になりそうな気がする。。
  • Rだと{ltm}パッケージ(Latent Trait Model)の作者がわかりやすい解説論文を書いてくれている。ltmではRaschに加えて、同じくロジスティック回帰の応用としてLatent trait model、Three-parameter model、Graded response modelなども利用可能。

 

注意したいと思ったこと

  • Raschモデルの考え方では上に書いた通り「誰もが正解/不正解するような簡単すぎる/難しすぎる問題」には価値を置いていない。しかし、現実のテストでは簡単すぎる問題は解けた受験者の緊張緩和、計算ミスで止まった受験者の焦りにつながり、難しすぎる問題は拘りが出て解く作業から抜けなくなってしまった受験者の総合点下落につながる重要な「仕掛」となる。

    かつて某超有名塾の講師は「ほんとうに頭のいいやつというのは、難しい問題を何のコダワリもなく後回しにできる人間だ」と言っていた。受験指導上は、これらの問題が実は求めている問題解決能力はItem Response Theoryで測りたい対象の外にあることは注目すべきではないだろうか。
  • Item Response Theory(IRT)の枠組みでは問題の並びの情報が消失しているため、例えば時間制限が近づいてきたせいで正答率が低くなってしまった問題を過大に難しいと判断してしまう恐れがある。よってこの理論を使う試験問題は、解答時間が十分に確保されているか、もしくは各問題に対する割当て解答時間が分割されているTOEFLのような形式である必要があるのでは。