ryamadaの遺伝学・遺伝統計学メモ

2013-08-12

指数型表現の利点の確認（７）共役事前分布

指数型分布族フィッシャー情報量情報幾何キュムラント母関数計量接続スコア関数尤度関数最尤推定

$\mathbf{x}$ は観察したり推定したりする確率変数
$\mathbf{\theta}$ は確率分布のパラメタ
確率と尤度を行ったり来たりするときに便利なのが共役事前分布
指数型分布族表現を使うと、これを簡単に理解できる
確率の式を確認する $f(\mathbf{x}|\mathbf{\theta}) = h(\mathbf{x})e^{\mathbf{\theta} \cdot T(\mathbf{x}) - A(\mathbf{\theta})}$
共役事前分布うんぬん、では尤度も必要で、それは、 $f(\mathbf{x}|\mathbf{\theta})=L(\mathbf{\theta}|\mathbf{x})$ を問題にする。 $\mathbf{x},\mathbf{\theta}$ の立場を入れ替えるわけであるから $f(x|\theta)$ の式をなるべく $x,\theta$ に関して対称にするのがよい
$f(\mathbf{x}|\mathbf{\theta}) = e^{-H(\mathbf{x})-A(\mathbf{\theta}) + \mathbf{\theta}\cdot T(\mathbf{x})}$
指数関数が邪魔くさいので対数にし、さらにだったりすることもあるからそこも対称性を持たせて書き換えると
- - ただし上の定義式の場合は $S(\mathbf{\theta}) = (\eta_i)$ と決め打ち
この目で多項分布とディリクレ分布の指数型表記を見よう。対応する関数が互い違いになっていることがわかる(こちら)
- 多項分布
  - $H(\mathbf{x}) = \ln{\frac{n!}{\pi n_i!}}$
  - $A(\mathbf{\theta}) = 0$
  - $S(\mathbf{\theta}) = (\ln{\eta_1}+C,..,\ln{\eta_k}+C)$
  - $T(\mathbf{x}) = (x_1,..,x_k)$
- ディリクレ分布
  - $H(\mathbf{x}) = \ln{1} = 0$
  - $A(\mathbf{\theta}) = \sum_{i=1}^k \ln{\Gamma(\eta_i+1)} - \ln{\Gamma(\sum_{i=1}^k \eta_i)}$
  - $S(\mathbf{\theta}) = (\eta_1,..,\eta_k)$
  - $T(\mathbf{x}) = (\ln{x_1},...,\ln{x_k})$

はてなブログをはじめよう！

ryamada22さんは、はてなブログを使っています。あなたもはてなブログをはじめてみませんか？

はてなブログをはじめる（無料）

はてなブログとは

ryamadaの遺伝学・遺伝統計学メモ

Powered by Hatena Blog | ブログを報告する

引用をストックしました

引用するにはまずログインしてください

引用をストックできませんでした。再度お試しください

限定公開記事のため引用できません。

読者です読者をやめる読者になる読者になる