文献メモ Dimension of Marginals of Kronecker Product Models Geometry of hidden-visible products of exponential families arxiv.org TROPICAL VARIETIES FOR EXPONENTIAL SUMS https://www.math.tamu.edu/~rojas/c.pdf Exponential Varieties https://…

メモ的なRmdファイル --- title: "特性関数・指数型分布族・情報幾何" author: "ryamada" date: "2018年1月18日" output: html_document: toc: true toc_depth: 6 number_section: true --- ```{r setup, include=FALSE} knitr::opts_chunk$set(echo = TRUE)…

シリーズの目次 指数型分布族と双対座標系：統計遺伝学のための情報幾何4作者: ryamada発売日: 2017/03/05メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "指数型分布族と双対座標系 Exponential Family and dual coordinate systems" aut…

シリーズの目次 この回は大改訂するかもしれません→正規テキストからはずれました 尤度関数・指数型分布族: 統計遺伝学のための情報幾何１作者: ryamada発売日: 2017/02/23メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "尤度関数の空間 …

一般的な関係式がある 指数分布族の自然パラメタ表現でのポテンシャル関数によって定まる ミスプリ？？？要、確認

指数型分布族は便利 情報幾何で便利 ただし、複数の正規分布の混合とかが合わないので、不便 と書ければよいのだから となるような式を見つければよいのでは… としてを取ることにすれば、結局、確率密度関数の対数をとって、それを多項式近似すればよいので…

ごちゃごちゃしてきて収集がつかない これをうまく整理するには、やはり数式が必要だし、納得するには式変形を見てみる必要がある 数式とその変形を追いかけると、個々の性質の「意味」がどんどんかすんでいくので、そのあたりの折り合いをどうつけるかが課…

指数型分布族の性質や諸要素について、色々な呼称・断片的な知識に曝露されつつも、それらの有機的な関係が乏しい段階 指数型分布族の定義 定義は１つだが、式の書き方はそうではない すべての項を指数の肩に乗せる書き方と、パラメタ単独項を前に出す書き方…

指数型分布族という名前に出会う 以下のようなことを理解する 非常に多くの有名な確率分布がすべて指数型分布族に属する たまに指数型分布族に属さない分布もある。二つの正規分布の混合や、コーシー分布とか。混合正規分布は普通の統計解析アプローチで面倒…

まだ指数型分布族という名前を知らない 指数分布という名前は知っているかもしれない 確率分布・尤度に関しては、以下のようなことを知っている 確率分布はパラメタを使った関数。積分すると１ 関数が分布の「様子」を決め、パラメタがその縮尺などを決める …

指数型分布族のことを整理するためにはいろいろな段階があると思う 現時点では、(全部で何段階かあるのかわからないけれど、そのうちの)第３段階あたりに居るような気がする この先、階段を上るためにも、自分の各段階での理解を書いておく 第３段階だけを書…

こちらで指数型分布族について勉強している 確率分布関数・尤度関数の対数をとったものを と書くとした これをさらに縮めて(ただの書き換え) ただし,としてある ともできるだろう これがどうした、というところがわからないけれど、たとえば、がともに１変数…

KL divergence は この式も指数型表現で扱うとハンドリングが楽であり、この差を残差と捉えて残差の最小化などの扱いが楽になる

情報幾何では分布をパラメタを使って空間の点に対応づける そしてその空間にどういう座標系を置くかがパラメタセットの取り方になる また情報幾何では、「計量」と「接続」の２つが大事 (ちょっと怪しいのだが)フィッシャー情報行列は「計量」であるので、そ…

ある事象が何件起きて・・・という観察データに関して尤度関数が指数型分布族で表される 一般に、確率密度分布がと表されている時、ある観察のもとでのの尤度であって、形が変わらない(気にするのは、どちらを動かすか、だけ) 一般に、指数型分布族の場合の…

上の例では、を単変数っぽく扱っていたが、多変数の場合も であるし は分散共分散行列の成分になる この２次の微分が作る行列はHessianだが、それが半正定値なので、は凸関数となる

掛け合わせが指数分布族の関数の形の変化だけで処理できることはハンドリングを楽にする 以下、その確認 の同時分布は ここで次のようにする とタンデムにつなぐ とタンデムにつなぐ ならば、をタンデムにつながずに

イントロ 式を確認 正規分布を例に 指数型分布族の便利な点（１）指数分布族の掛け合わせは指数分布族 指数型分布族の便利な点（２）とモーメント 指数型分布族の便利な点（３）の２次微分と分散共分散行列/Hessianと半正定値と凸関数のこと 指数型分布族の…

とモーメントの関係 がの期待値であることを以下に示す はと表されることからもわかるように(確率分布の台全体の積分が１であることより) であるから という関係にある とおいて微分してやると… となって、さらに、分母分子にの関数ではないをかけてもよいか…

実例で確認する 変数・式を正規分布について確認する(このページの表の"normal distribution"...(known varianceではない方)を参照 確率変数は１変数 『パラメタ』での関数表現(見慣れた式) パラメタと自然パラメタの関係 逆の関係 なんとすら入っていないた…

一般式 表記の説明 関数に用いる変数があっちこっちで違うのでページ横断的に式を追いかけるのが大変→Wikiのページのそれで行く(こちら) 何を使うか 確率変数は１変数かもしれないし多変数かもしれない パラメタのセットを２組(『パラメタ(のセット)』と『自…

指数型分布族のイントロ 確率変数の中には、分布をある形式で表せるものが多数あって、そのような形式を「指数型」と呼び、そのような形式で表される一群を「指数型分布族」と言う 指数型で表すことのメリットには次のようなものがある さまざまな分布を同じ…

は観察したり推定したりする確率変数 は確率分布のパラメタ 確率と尤度を行ったり来たりするときに便利なのが共役事前分布 指数型分布族表現を使うと、これを簡単に理解できる 確率の式を確認する 共役事前分布うんぬん、では尤度も必要で、それは、を問題に…