指数型表現の利点の確認（２）とモーメント - ryamadaの遺伝学・遺伝統計学メモ

$A(\mathbf{\theta})$ とモーメントの関係
がの期待値であることを以下に示す
- $A(\mathbf{\theta})$ は $f(x|\theta)=\frac{h(x)e^{\theta \cdot T(x)}}{e^{A(\theta)}}$ と表されることからもわかるように(確率分布の台全体の積分が１であることより)
- $e^{A(\theta)}=\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)} dx$ であるから
- という関係にある
  - $\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)} dx = Q(\theta)$ とおいて微分してやると…
- $\frac{dA(\theta)}{d\theta} = \frac{1}{Q(\theta)}\frac{dQ(\theta)}{d\theta}$
- $=\frac{\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)} T(x)dx}{\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)} dx}$ となって、さらに、分母分子に $x$ の関数ではない $e^{-A(\theta)}$ をかけてもよいから
- $=\frac{\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)-A(\theta)} T(x)dx}{\int_{x \in \mathcal{X}} h(x)e^{\theta \cdot T(x)-A(\theta)} dx}$ となる
- この分母は、確率密度分布の台全体の積分だから１で、分子は、「 $T(x)$ の値を $x$ の確率で重みづけをして足し合わせたもの」なので、 $T(x)$ の期待値の定義そのもの
同様に $\frac{d^2 A(\theta)}{d\theta^2}$ は $E(T^2(x)) - (E(T(x))^2$ となって、 $T(x)$ の分散( $x$ が単変数の場合)
今、 $T(x)=x$ であるなら、 $x$ の平均と分散が出ることになる
たとえば、二項分布のであるが(こちらを参照)
- $\frac{d A(\theta=(\eta))}{d\theta=(\eta)} = n\frac{e^\eta}{1+\eta}$ であって、 $\eta = \ln{\frac{p}{1-p}}$ を代入すれば、平均 $np$ が確かに得られる。分散も同様
分散を定めない正規分布の場合、 $T(x)=\begin{pmatrix}x\\ x^2\end{pmatrix}$ であり、 $A(\theta)= -\frac{\eta_1^2}{4\eta_2}-\frac{1}{2}\ln{(-2\eta_2)}$ であるが、これを $\eta_1,\eta_2$ でそれぞれ微分すると、 $-\frac{\eta_1}{2\eta_2},\frac{1}{4}\frac{\eta_1^2}{\eta_2^2} -\frac{1}{2\eta_2}$ となって、これを $\mu,\sigma$ で表せば、 $\mu,\mu^2+\sigma^2$ となって、それぞれ $x,x^2$ の期待値になっている