私の第1段階〜あらためて指数型分布族・情報幾何

  • 指数型分布族という名前に出会う
  • 以下のようなことを理解する
  • 非常に多くの有名な確率分布がすべて指数型分布族に属する
    • たまに指数型分布族に属さない分布もある。二つの正規分布の混合や、コーシー分布とか。混合正規分布は普通の統計解析アプローチで面倒くさいやつだ、統計的学習やBUGS/STAN学習とかを使う必要があった。コーシー分布は分散が定義されていない、とか何がどう変なのかわからないけれど、異端な分布だった。このような特徴と「指数型分布族」に属さないことに関連があるのか〜とぼんやり思う
  • 多数の分布(離散も連続も、Xがスカラーでもベクトルでも)が指数関数を使った統一された式で表せる
    • その例はこちらにびっしりと書いてある
    • 分布関数はパラメタを用いて表現されていたが、そのパラメタを変えることで指数関数の中に押し込むのが指数型分布族のやりかた
  • 分布関数というのは、「分布の本体」と「その形を実際に決めるパラメタ」とからなる。したがって分布関数はパラメタが作る空間に連続的に広がっている。その広がっている空間ではパラメタの取り方を変えることができる
  • 指数型分布族の定義式を見る
    • パラメタのみの項、確率変数のみの項、パラメタと確率変数とが関係しあっている項の3つの項からなっている
  • 指数型分布族の性質を見る
    • そのうちの1つは、自分が指数型分布族に興味を持ったきっかけなので、意義くらいは分かる
    • それ以外にたくさんの性質があって、どれも、「どうしてそうなるのか」を考えるとくらくらする
    • そもそも、色々な性質の説明文の中に、聞いたことはあるけれど、よくわかっていない単語が立て続けに出てきて、途方に暮れる
  • この段階での理解をまとめると
  • 『たくさんの大事な分布関数は、パラメタの取り方を変えることで、指数関数表現ができる。そのことを通じて、分布関数というものを統一的に理解することができて、とても有意義らしいが、この世界は記載方法があっちこっちでまちまちだし、素敵な諸性質も難しい』