- ある事象が何件起きて・・・という観察データに関して尤度関数が指数型分布族で表される
- 一般に、確率密度分布が
と表されている時、ある観察のもとでの
の尤度
であって、形が変わらない(気にするのは、どちらを動かすか、だけ)
- 一般に、指数型分布族の場合
の対数を取って、
で微分してみる。それはスコア関数(対数尤度関数の微分)
は
となるが
は
の期待値であって、また、多項分布の
は各項そのまま(
なので結局
となる
- これは、尤度関数が最大になるのは
のとき、と言っている
- また、前記事で分散共分散行列〜Hessianが半正定値であること、指数型分布族の関数が凸関数であることを書いたが、凸関数で微分して0の点が求まってしまえば、そこが頂上である、ということとも繋がっている
- このように凸であるので、解析的に最尤推定値が出せなくても、山登り法で解が得られることを意味している
- さらにフィッシャー情報行列はスコア関数の2次微分
- 指数型分布族では、パラメタと確率変数との1次の関係が指数関数の肩に乗っている。パラメタと確率変数の1次の関係を1次の関係として取り扱うためには、対数を取ればよいから、スコア関数は対数をとったものを微分している
- フィッシャーの情報行列も、その一環として、指数の肩にあるパラメタと確率変数との1次の関係を表に出して、それの2次微分を問題にして曲面の特性を捉えようとしたものであることがわかる
数学・コンピュータ関連の姉妹ブログ『ryamadaのコンピュータ・数学メモ』
京都大学大学院医学研究科ゲノム医学センター統計遺伝学分野のWiki
講義・スライド
医学生物学と数学とプログラミングの三重学習を狙う学習ツール
駆け足で読む○○シリーズ
ぱらぱらめくるシリーズ
カシオの計算機
オンライン整数列大辞典