私の第２段階〜あらためて指数型分布族・情報幾何

指数型分布族の性質や諸要素について、色々な呼称・断片的な知識に曝露されつつも、それらの有機的な関係が乏しい段階
指数型分布族の定義
- 定義は１つだが、式の書き方はそうではない
  - すべての項を指数の肩に乗せる書き方と、パラメタ単独項を前に出す書き方の２法が主流である
  - パラメタと確率変数とが関係しあっている項では、 $\theta \cdot T(x)$ のように、パラメタはそのまま、確率変数は関数となっているが、場合によっては、パラメタの方も、関数にする( $U(\theta) \cdot T(x)$ )ことがある
指数型分布族の性質はごちゃごちゃしている
- 共役事前分布を考えやすい
  - お互いに指数型分布族のメンバーなので、「本質的には同じもの同士」
- 最尤推定しやすい
  - 尤度関数が指数型なので対数尤度関数にすればただの足し算。そこにパラメタと変数との線形関係があるだけ
- 一般化線形回帰が説明できる
  - 指数の肩に線形式が入っていることとかんけいがある？
- 正規化項は積率母関数、キュムラント生成関数
  - 積率母関数は確率変数を指数の肩にのせた関数の期待値を関数だが、この「指数の肩」が「指数型」とうまく折り合う
- 正規化項から凸とわかる
  - 尤度を考えパラメタの最尤推定をするときには、正規化項の微分が大事。正規化項は確率密度の積分を１にするための項なので、正
- 情報幾何で使う
  - 観測データが与えられるとパラメタが作る関数の多様体が見える
- フィッシャー情報量
  - 情報多様体の局所曲率のこと。最尤探索しやすいところは曲率が高いところ
- 接続と双対平坦
  - 多様体は局所(の座標の取り方)の他に、隣り合う局所同士の座標の接続具合を定めることで一意になる。その取り方に双対関係にあるよいものがある
- 十分統計量
  - 指数表現にすると、確率変数の「あるべき姿」が見える
- 自然パラメタ
  - パラメタの取り方はいろいろにできるが、指数表現という「すばらしい表現」のときのパラメタにはそれなりの意味がある