Kullback-Leibler divergence
一般的な関係式がある 指数分布族の自然パラメタ表現でのポテンシャル関数によって定まる ミスプリ???要、確認
Information Geometry on Hierarchy of Probability Distributions 補助資料 I. Introduction (あまたある)確率分布が構成する階層構造をInformation geometryという考え方で多様体構造として表現することを目的とする 確率変数同士の関係が見えてくる(独立…
わかりやすいオーバービューをまず読んでからにしよう こちらのこれから始める イントロ 情報幾何はある程度幅のある概念 個々の確率分布(あるいは確率構造)を点とする空間を考えること、そこで微分幾何を用いること、という緩いくくりはある その空間に何が…
2つの分布p,qがある pという分布は、いろいろな観察のそれぞれについて、どれくらいの確率で発生するかを決めている qが観察された それぞれの観察についてpが尤度を決めている 大雑把に言うと、という観察値について、尤度は 対数尤度にすると すべてのに…