ryamadaの遺伝学・遺伝統計学メモ

2008-11-05

エントロピーを最大にする確率密度分布ラグランジュの乗数法

こちらの記事をどうぞ
$N(x;m,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-m}{\sigma})^2}$
$S=-\int N(x;m,\sigma) ln(N(x;m,\sigma)) dx$
$\int N(x;m,\sigma)dx =1$ に注意すれば
$S=-\int N(x;m,\sigma) ln(N(x;m,\sigma)) dx=ln(\sqrt{2\pi e}\sigma)$
平均がmで、標準偏差がである確率分布は、定義より
- $\int p(x)dx=m$
- $\int p(x)(x-m)^2dx=\sigma^2$
この条件を満たす確率分布で、エントロピーを最大にするのは、正規分布であることが示せる。この後は、上に挙げたリンクそのままなので割愛する
ラグランジュの乗数法が使われている

はてなブログをはじめよう！

ryamada22さんは、はてなブログを使っています。あなたもはてなブログをはじめてみませんか？

はてなブログをはじめる（無料）

はてなブログとは

ryamadaの遺伝学・遺伝統計学メモ

Powered by Hatena Blog | ブログを報告する

引用をストックしました

引用するにはまずログインしてください

引用をストックできませんでした。再度お試しください

限定公開記事のため引用できません。

読者です読者をやめる読者になる読者になる