Kullback-Leibler divergence

指数型分布族の間のKLd

一般的な関係式がある 指数分布族の自然パラメタ表現でのポテンシャル関数によって定まる ミスプリ???要、確認

確率分布の存在空間。ぱらぱらめくる『Information Geometry on Hierarchy of Probability Distributions』

Information Geometry on Hierarchy of Probability Distributions 補助資料 I. Introduction (あまたある)確率分布が構成する階層構造をInformation geometryという考え方で多様体構造として表現することを目的とする 確率変数同士の関係が見えてくる(独立…

ぱらぱらめくる『情報幾何の基礎概念』

わかりやすいオーバービューをまず読んでからにしよう こちらのこれから始める イントロ 情報幾何はある程度幅のある概念 個々の確率分布(あるいは確率構造)を点とする空間を考えること、そこで微分幾何を用いること、という緩いくくりはある その空間に何が…

カルバック・ライブラー情報量

2つの分布p,qがある pという分布は、いろいろな観察のそれぞれについて、どれくらいの確率で発生するかを決めている qが観察された それぞれの観察についてpが尤度を決めている 大雑把に言うと、という観察値について、尤度は 対数尤度にすると すべてのに…