KL divergence

Dually Flat Manifolds

昨日、階層構造を持つ確率分布のための情報幾何について少し書いた 特に、なd元分割表のためのe-平坦、m-平坦なパラメタの取り方について、丁寧に確認してみたい Rでパラメタ変換をしてみるのが、手っ取り早そうなので、それでやってみる Rmd 2重平坦パラメ…

Dually Flat Manifolds

資料 確率分布を点としてもつ多様体を統計多様体という 確率分布をn個のパラメタで表すことにすると、その統計多様体はn次元多様体 多様体には多様体固有の特徴があって、それはリーマン計量だったりするわけで、局所座標系を入れる・入れないに関わらずその…

Fisher 情報量 リーマン計量 Jeffreys Prior KL情報量

メモ 尤度関数はパラメタを動かすと連続的に変わる。その様子は多様体 尤度関数を表すパラメタは、尤度関数の多様体に張り付けた局所座標 多様体上の2点は異なるパラメタ値を持つ2つの尤度関数。その間に「距離」のようなものがあるが、「道のり」の取り方…