フィッシャー情報量

旧版 フィッシャー情報量

以下は、旧版 フィッシャー情報量: 統計遺伝学のための情報幾何2作者: ryamada発売日: 2017/02/24メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "Fisher Information Matrix" author: "ryamada" date: "2017年2月25日" output: html_doc…

フィッシャー情報量

シリーズの目次 フィッシャー情報量の色々:遺伝統計学のための情報幾何2作者: ryamada発売日: 2017/03/04メディア: Kindle版この商品を含むブログ (1件) を見る pandocでメモリサイズを変える(こちら) 旧バージョンはこちら --- title: "Fisher Informatio…

わたしのための情報幾何〜双対平坦

暫定Rmdファイル(ただし、更新されない可能性が大) 私のための情報幾何: 情報幾何 二重平坦と計量作者: ryamada発売日: 2016/12/02メディア: Kindle版この商品を含むブログを見る もしくはこちら --- title: "私のための情報幾何 InformationGeometry4Me" au…

Fisher 情報量 リーマン計量 Jeffreys Prior KL情報量

メモ 尤度関数はパラメタを動かすと連続的に変わる。その様子は多様体 尤度関数を表すパラメタは、尤度関数の多様体に張り付けた局所座標 多様体上の2点は異なるパラメタ値を持つ2つの尤度関数。その間に「距離」のようなものがあるが、「道のり」の取り方…

指数型表現の利点の確認(4)Kullback-Leibler divergence

KL divergence は この式も指数型表現で扱うとハンドリングが楽であり、この差を残差と捉えて残差の最小化などの扱いが楽になる

指数型表現の利点の確認(6)情報幾何

情報幾何では分布をパラメタを使って空間の点に対応づける そしてその空間にどういう座標系を置くかがパラメタセットの取り方になる また情報幾何では、「計量」と「接続」の2つが大事 (ちょっと怪しいのだが)フィッシャー情報行列は「計量」であるので、そ…

指数型表現の利点の確認(5)尤度関数、スコア関数と最尤推定とフィッシャー情報行列

ある事象が何件起きて・・・という観察データに関して尤度関数が指数型分布族で表される 一般に、確率密度分布がと表されている時、ある観察のもとでのの尤度であって、形が変わらない(気にするのは、どちらを動かすか、だけ) 一般に、指数型分布族の場合の…

指数型表現の利点の確認(3)の2次微分と分散共分散行列/Hessianと半正定置と凸関数

上の例では、を単変数っぽく扱っていたが、多変数の場合も であるし は分散共分散行列の成分になる この2次の微分が作る行列はHessianだが、それが半正定値なので、は凸関数となる

指数型表現の利点の確認(1)指数分布族の掛け合わせは指数分布族

掛け合わせが指数分布族の関数の形の変化だけで処理できることはハンドリングを楽にする 以下、その確認 の同時分布は ここで次のようにする とタンデムにつなぐ とタンデムにつなぐ ならば、をタンデムにつながずに

指数型分布族

イントロ 式を確認 正規分布を例に 指数型分布族の便利な点(1)指数分布族の掛け合わせは指数分布族 指数型分布族の便利な点(2)とモーメント 指数型分布族の便利な点(3)の2次微分と分散共分散行列/Hessianと半正定値と凸関数のこと 指数型分布族の…

指数型表現の利点の確認(2)とモーメント

とモーメントの関係 がの期待値であることを以下に示す はと表されることからもわかるように(確率分布の台全体の積分が1であることより) であるから という関係にある とおいて微分してやると… となって、さらに、分母分子にの関数ではないをかけてもよいか…

正規分布を例に取る〜指数型分布族

実例で確認する 変数・式を正規分布について確認する(このページの表の"normal distribution"...(known varianceではない方)を参照 確率変数は1変数 『パラメタ』での関数表現(見慣れた式) パラメタと自然パラメタの関係 逆の関係 なんとすら入っていないた…

式を確かめる:指数型分布族

一般式 表記の説明 関数に用いる変数があっちこっちで違うのでページ横断的に式を追いかけるのが大変→Wikiのページのそれで行く(こちら) 何を使うか 確率変数は1変数かもしれないし多変数かもしれない パラメタのセットを2組(『パラメタ(のセット)』と『自…

指数型分布族のイントロ

指数型分布族のイントロ 確率変数の中には、分布をある形式で表せるものが多数あって、そのような形式を「指数型」と呼び、そのような形式で表される一群を「指数型分布族」と言う 指数型で表すことのメリットには次のようなものがある さまざまな分布を同じ…

指数型表現の利点の確認(7)共役事前分布

は観察したり推定したりする確率変数 は確率分布のパラメタ 確率と尤度を行ったり来たりするときに便利なのが共役事前分布 指数型分布族表現を使うと、これを簡単に理解できる 確率の式を確認する 共役事前分布うんぬん、では尤度も必要で、それは、を問題に…

確率分布の存在空間。ぱらぱらめくる『Information Geometry on Hierarchy of Probability Distributions』

Information Geometry on Hierarchy of Probability Distributions 補助資料 I. Introduction (あまたある)確率分布が構成する階層構造をInformation geometryという考え方で多様体構造として表現することを目的とする 確率変数同士の関係が見えてくる(独立…

ぱらぱらめくる『情報幾何の基礎概念』

わかりやすいオーバービューをまず読んでからにしよう こちらのこれから始める イントロ 情報幾何はある程度幅のある概念 個々の確率分布(あるいは確率構造)を点とする空間を考えること、そこで微分幾何を用いること、という緩いくくりはある その空間に何が…