情報幾何

ダイバージェンス

こちらにいろいろなダイバージェンス(2点間の遠近を数値化する方法)について書かれている ぱらぱらめくってメモってみる 大きく2つある Bregman divergence f-divergence 両者の交わりに、α-divergenceがあり、その一つがKLdivergence Bregman divergence …

エントロピーと幾何平均

という積分がある。pが確率密度分布であるとき、この積分はKLdの計算の基礎となっているし、はエントロピーである。 の期待値とも読めるこのであるが、離散的な場合のは次のように式変形できる(こちら) この右辺が重み付き幾何平均であることが知られており…

特性関数・指数型分布族・情報幾何

メモ的なRmdファイル --- title: "特性関数・指数型分布族・情報幾何" author: "ryamada" date: "2018年1月18日" output: html_document: toc: true toc_depth: 6 number_section: true --- ```{r setup, include=FALSE} knitr::opts_chunk$set(echo = TRUE)…

メモ

確率密度関数⇔特性関数 (フーリエ変換、双対、) キュムラント母関数は、2つの定義(こちら) 積率母関数の自然対数 特性関数の自然対数 いずれも、確率変数のモーメントを保持している 指数型分布族の場合、log-partition 関数(正規化項に対する関数,)は、キ…

ぱらぱらめくる『Information Geometry and Population Genetics』

Information Geometry and Population Genetics: The Mathematical Structure of the Wright-Fisher Model (Understanding Complex Systems)作者: Julian Hofrichter,Juergen Jost,Tat Dat Tran出版社/メーカー: Springer発売日: 2017/03/06メディア: ハード…

KLダイバージェンス

シリーズの目次 KLダイバージェンス:遺伝統計学のための情報幾何5作者: ryamada発売日: 2017/03/07メディア: Kindle版この商品を含むブログ (1件) を見る 双対平坦空間では、拡張ピタゴラスの定理が成り立つので、斜辺を共有する直角三角形が、2つの円周(…

指数型分布族と双対座標系

シリーズの目次 指数型分布族と双対座標系:統計遺伝学のための情報幾何4作者: ryamada発売日: 2017/03/05メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "指数型分布族と双対座標系 Exponential Family and dual coordinate systems" aut…

双対平坦、双直交

シリーズの目次 双対平坦、双直交、双対座標系:遺伝統計学のための情報幾何3作者: ryamada発売日: 2017/03/04メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "双対平坦・双直交 Dually flat, dually orthogonal" author: "ryamada" date:…

分布は点である

シリーズの目次 分布は点である: 統計遺伝学のための情報幾何1作者: ryamada発売日: 2017/03/04メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "分布は点である Distributions are points" author: "ryamada" date: "2017年2月24日" outp…

双対平坦座標系が双直交する

具体例がないとわかりにくいので、具体例から入る 正規分布を座標系と座標系で表すことができる 座標系というのは、分布関数を指数族表現したときに現れるパラメタであって、正規分布の場合にはとなるようなそれである 具体的には 他方、座標系というのは、…

旧版 フィッシャー情報量

以下は、旧版 フィッシャー情報量: 統計遺伝学のための情報幾何2作者: ryamada発売日: 2017/02/24メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "Fisher Information Matrix" author: "ryamada" date: "2017年2月25日" output: html_doc…

フィッシャー情報量

シリーズの目次 フィッシャー情報量の色々:遺伝統計学のための情報幾何2作者: ryamada発売日: 2017/03/04メディア: Kindle版この商品を含むブログ (1件) を見る pandocでメモリサイズを変える(こちら) 旧バージョンはこちら --- title: "Fisher Informatio…

尤度関数・指数型分布族

シリーズの目次 この回は大改訂するかもしれません→正規テキストからはずれました 尤度関数・指数型分布族: 統計遺伝学のための情報幾何1作者: ryamada発売日: 2017/02/23メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "尤度関数の空間 …

統計遺伝学分野で生き抜くための数学〜精選〜

統計遺伝学分野で講義・演習形式で学ぶことを分類すると いわゆる、検定・推定、ベイズ いわゆる統計的学習 大規模推定・マルチプルテスティングっぽいこと それを支える数学 線形代数 微積(学部1回生向けの微積のための微積応用を2017年度に補助教材として…

情報幾何

目次 分布は点である フィッシャー情報量のいろいろ 双対平坦、双直交、双対座標系 指数型分布族と双対座標系 KLダイバージェンスと双対座標系

わたしのための情報幾何〜双対平坦

暫定Rmdファイル(ただし、更新されない可能性が大) 私のための情報幾何: 情報幾何 二重平坦と計量作者: ryamada発売日: 2016/12/02メディア: Kindle版この商品を含むブログを見る もしくはこちら --- title: "私のための情報幾何 InformationGeometry4Me" au…

統計多様体 どうして「期待値」を出すの?

統計多様体のフィッシャー情報行列を出しましょうというと とか、『期待値』を計算する どうしてかっていうと、『各点』は確率密度分布で、それぞれの『点』である確率密度分布と、その近傍の『点』である確率密度分布とをつないだときの変化具合は、「分布…

統計多様体 絵にしてみる

参考pdf 統計多様体は、確率密度分布(確率質量分布)の集合である。集合の要素は確率密度分布に相当する。確率密度分布がパラメタで表されているとき、点はパラメタが決めた座標に応じて並んでいる。その並んだものが統計多様体 たとえば、指数分布というも…

私の第3段階〜あらためて指数型分布族・情報幾何

ごちゃごちゃしてきて収集がつかない これをうまく整理するには、やはり数式が必要だし、納得するには式変形を見てみる必要がある 数式とその変形を追いかけると、個々の性質の「意味」がどんどんかすんでいくので、そのあたりの折り合いをどうつけるかが課…

私の第2段階〜あらためて指数型分布族・情報幾何

指数型分布族の性質や諸要素について、色々な呼称・断片的な知識に曝露されつつも、それらの有機的な関係が乏しい段階 指数型分布族の定義 定義は1つだが、式の書き方はそうではない すべての項を指数の肩に乗せる書き方と、パラメタ単独項を前に出す書き方…

私の第1段階〜あらためて指数型分布族・情報幾何

指数型分布族という名前に出会う 以下のようなことを理解する 非常に多くの有名な確率分布がすべて指数型分布族に属する たまに指数型分布族に属さない分布もある。二つの正規分布の混合や、コーシー分布とか。混合正規分布は普通の統計解析アプローチで面倒…

私の第0段階〜あらためて指数型分布族・情報幾何

まだ指数型分布族という名前を知らない 指数分布という名前は知っているかもしれない 確率分布・尤度に関しては、以下のようなことを知っている 確率分布はパラメタを使った関数。積分すると1 関数が分布の「様子」を決め、パラメタがその縮尺などを決める …

あらためて指数型分布族・情報幾何

指数型分布族のことを整理するためにはいろいろな段階があると思う 現時点では、(全部で何段階かあるのかわからないけれど、そのうちの)第3段階あたりに居るような気がする この先、階段を上るためにも、自分の各段階での理解を書いておく 第3段階だけを書…

Dually Flat Manifolds

昨日、階層構造を持つ確率分布のための情報幾何について少し書いた 特に、なd元分割表のためのe-平坦、m-平坦なパラメタの取り方について、丁寧に確認してみたい Rでパラメタ変換をしてみるのが、手っ取り早そうなので、それでやってみる Rmd 2重平坦パラメ…

Dually Flat Manifolds

資料 確率分布を点としてもつ多様体を統計多様体という 確率分布をn個のパラメタで表すことにすると、その統計多様体はn次元多様体 多様体には多様体固有の特徴があって、それはリーマン計量だったりするわけで、局所座標系を入れる・入れないに関わらずその…

Ricci flowとアルファ接続

ここ数日、統計多様体とその2つの平坦なパラメタの取り方について書いている リーマン多様体として形を考えるときにRicci flowというのがあった そこにもアルファ接続が出てくる どういう関係なのか調べよう こちらに資料

情報幾何 Affine接続 捩れ双対接続 双対平坦

資料はこちら リーマン多様体(多様体に計量が乗っている)がある そこに滑らかにつながるベクトル場がある ベクトル場を多様体上で微分したい ベクトル場の微分をするとは、「あるベクトル場」を「別のベクトル場が定める方向」について微分してやり、「新た…

指数型表現の利点の確認(4)Kullback-Leibler divergence

KL divergence は この式も指数型表現で扱うとハンドリングが楽であり、この差を残差と捉えて残差の最小化などの扱いが楽になる

指数型表現の利点の確認(6)情報幾何

情報幾何では分布をパラメタを使って空間の点に対応づける そしてその空間にどういう座標系を置くかがパラメタセットの取り方になる また情報幾何では、「計量」と「接続」の2つが大事 (ちょっと怪しいのだが)フィッシャー情報行列は「計量」であるので、そ…

指数型表現の利点の確認(5)尤度関数、スコア関数と最尤推定とフィッシャー情報行列

ある事象が何件起きて・・・という観察データに関して尤度関数が指数型分布族で表される 一般に、確率密度分布がと表されている時、ある観察のもとでのの尤度であって、形が変わらない(気にするのは、どちらを動かすか、だけ) 一般に、指数型分布族の場合の…