指数関数族、十分統計量 - ryamadaの遺伝学・遺伝統計学メモ

共役事前分布なるものが存在し、それによって、事前確率→事後確率→事前確率→事後確率→・・・というプロセスを単純に取り扱うことができることを示した。この事前確率・事後確率はベイズの考え方であるが、このベイズの考え方が、ベータ関数・ディリクレ関数に代表される関数群で有用であるということを意味する。このベイズの考え方で有用であるという性格は、これらの関数が指数関数族と呼ばれる関数タイプに属し、それらの式の形が、十分統計量という考え方と合致していることをこの記事では記す。

多変量ベクトルがある。同じ次元の多変量ベクトルがある。確率がであるような事象で、なる観測度数が得られる確率を考える。を条件として、はとの関数として表され、その式表現が指数関数を用いて、次のように書けるとき、その関数を指数関数族に属すると言う。
- についての非減少関数が存在し、そのについての増分が指数関数を用いて、次のように表せるような関数。
  - - ただし、 $p^{T}$ はベクトル $p$ の転置ベクトル、 $T(n)$ はnから計算される『統計量』で、長さが $p$ と同じベクトル。ここに、nは『統計量 $T(n)$ 』を算出した後で初めて $p$ との間で計算がなされ、それ以外には、この式に登場しない。言い換えると、観測度数 $n$ は、 $p$ に関する情報を一切用いずにある統計量 $T(n)$ を計算し、その上で、 $n$ のことは忘れて、 $T(n)$ なるベクトルについて $p$ との間で計算をすることにより、 $n$ を観測する確率が計算できることを示している。このように、 $n$ とから $p$ とは無関係に算出できる統計量であり、かつ、その統計量を中継することによってのみ $n$ と $p$ との両方の影響は算出され、 $T(n)$ の介在を除けば、 $n$ と $p$ が独立であるとき、 $T(n)$ は、 $n$ から、取り出せるだけの統計量を取り出しているという意味で、十分統計量と呼ばれる。
    - ここに、 $-A(p)$ は、Fが確率密度分布になるための補正項の役割を果たしている。

イメージがつかめたら、定義に戻った指数関数族の説明をこちらのページ、十分統計量についての説明をこちらのページなどで確認。