2013-08-12

式を確かめる：指数型分布族

指数型分布族フィッシャー情報量情報幾何キュムラント母関数計量接続スコア関数尤度関数最尤推定

一般式
- $f(\mathbf{x}|\mathbf{\theta}) = h(\mathbf{x}) e^{\mathbf{\theta} \cdot T(\mathbf{x}) - A(\mathbf{\theta})$
表記の説明
- 関数に用いる変数があっちこっちで違うのでページ横断的に式を追いかけるのが大変→Wikiのページのそれで行く(こちら)
- 何を使うか
  - 確率変数 $\mathbf{x}$ は１変数かもしれないし多変数かもしれない
  - パラメタのセットを２組(『パラメタ(のセット) $\mathbf{\lambda}=(\lambda_i)$ 』と『自然パラメタ(のセット) $\mathbf{\theta}=(\eta_i)$ 』)を使う。上記の式では $\mathbf{\theta}$ で表現されている
  - Base measure(carrier)と呼ばれる、『確率分布の核となる本体』関数 $h(\mathbf{x})$
  - 十分統計量と呼ばれる $\mathbf{x}$ (確率変数)の関数(のセット) $T(\mathbf{x})$
  - Log-partitionと呼ばれるパラメタの関数 $A(\mathbf{\theta})$ 。パラメタセットを変えて $A(\mathbf{\lambda})$ とも
少し詳しく説明を足す
- パラメタ・変数に２セットある
  - 通常の表現のパラメタ
    - 『パラメタ』と呼ぶ
    - 正規分布なら $\mu,\sigma$ とか分布によって異なる
    - 便宜的に $\mathbf{\lambda} = (\lambda_i)$ とする( $\mu = \lambda_1,\sigma=\lambda_2$ ということ)
  - 指数型表現のパラメタ
    - 『自然パラメタ(Natural parameters)』と呼ぶ
    - $\mathbf{\theta} =(\eta_i)$ とする
    - パラメタの数は通常表現の数ともちろん同じ
- パラメタセット間の関係
  - 『パラメタ』を『自然パラメタ』の関数で表し
    - $\lambda_i = \Lambda(\mathbf{\theta}=(\eta_j))$
  - また、『自然パラメタ』を『パラメタ』の関数でも表す
    - $\eta_i = \Theta(\mathbf{\lambda}=(\lambda_j))$
- Base measure
  - $h(\mathbf{x})$ は確率変数の関数であって、パラメタを含まない(含んでいるように見える場合には、それは固定値を表している)
- 十分統計量
  - $T(\mathbf{x})$ はパラメタの数の関数のセット
  - パラメタ数が１のときは $T(\mathbf{x})=x$ であることも多く、また、パラメタ数が $T(\mathbf{x})=\begin{pmatrix}x\\x^2\end{pmatrix}$ であることも多いが、そうでない場合もある
- Log-partition
  - ２セットのパラメタセットのそれぞれを用いて書くことができる
  - $A(\mathbf{\lambda}),A(\mathbf{\theta})$
  - 確率変数 $x$ と関係のない成分
  - $T(x)$ を $\eta_i$ で微分すると $T(x)$ の期待値となるのだが、 $T(x)=x$ や $T(x)=x^2$ のときには、それが平均・分散の期待値であることから、キュムラント母関数となっている
  - 確率密度分布の台全体の積分が１となるように調整しているようにも見えることからnormalizerとも言う
もう一度、一般式を見直す
- $f(\mathbf{x}|\mathbf{\theta}) = h(\mathbf{x}) e^{\mathbf{\theta} \cdot T(\mathbf{x}) - A(\mathbf{\theta})$
- 左辺は「１個以上の確率変数 $\mathbf{x}$ の確率分布・密度分布は $\mathbf{\theta}$ というパラメタで定まる」と書いてある
- 右辺は大きく２要素からなる
  - $h(\mathbf{x}$ という $\mathbf{x}$ のみからなり、 $\mathbf{\theta}$ と無縁の部分
  - と指数関数の形をしている部分
    - ここはさらに２つのパートに分かれる
    - $\mathbf{\theta}$ と $\mathbf{x}$ のみからなる $T(\mathbf{x})$ との積…ここが唯一、 $\mathbf{\theta}$ と $\mathbf{x}$ とが共存する成分
    - $A(\mathbf{\theta})$ という $\mathbf{x}$ と無縁の要素