最尤推定

へいきん

こちら,こちら,こちら,こちらでやっていることのこと 観測値の標本平均値は これはを最小にする の解 実数直線にという距離の定義を入れ、そのWasserstein distanceの和を最小にするような ( ) 別の見方をすると、平均(分散はなんでもOK)なる正規分布からの…

尤度関数と最尤推定のための微分

シリーズの目次 微分積分2尤度関数・最尤法・接線作者: ryamada発売日: 2017/01/28メディア: Kindle版この商品を含むブログを見る --- title: "Calculus2 Calculus for Likelihood Function and Maximum Likelihood Estimation " author: "ryamada" date: "…

ウィーナー過程の正規分布分散の最尤推定

じゃあ、「ウィーナー過程」であることがわかっているけれど、その時刻t-sの差が分散を1を作るというそのt-sの差の大きさがわからないときにはどうしたらよいか 尤度を計算して最尤推定をすればよい # 適当に時刻を作る t <- sort(runif(100)) # 時刻の差 d…

指数型表現の利点の確認(4)Kullback-Leibler divergence

KL divergence は この式も指数型表現で扱うとハンドリングが楽であり、この差を残差と捉えて残差の最小化などの扱いが楽になる

指数型表現の利点の確認(6)情報幾何

情報幾何では分布をパラメタを使って空間の点に対応づける そしてその空間にどういう座標系を置くかがパラメタセットの取り方になる また情報幾何では、「計量」と「接続」の2つが大事 (ちょっと怪しいのだが)フィッシャー情報行列は「計量」であるので、そ…

指数型表現の利点の確認(5)尤度関数、スコア関数と最尤推定とフィッシャー情報行列

ある事象が何件起きて・・・という観察データに関して尤度関数が指数型分布族で表される 一般に、確率密度分布がと表されている時、ある観察のもとでのの尤度であって、形が変わらない(気にするのは、どちらを動かすか、だけ) 一般に、指数型分布族の場合の…

指数型表現の利点の確認(3)の2次微分と分散共分散行列/Hessianと半正定置と凸関数

上の例では、を単変数っぽく扱っていたが、多変数の場合も であるし は分散共分散行列の成分になる この2次の微分が作る行列はHessianだが、それが半正定値なので、は凸関数となる

指数型表現の利点の確認(1)指数分布族の掛け合わせは指数分布族

掛け合わせが指数分布族の関数の形の変化だけで処理できることはハンドリングを楽にする 以下、その確認 の同時分布は ここで次のようにする とタンデムにつなぐ とタンデムにつなぐ ならば、をタンデムにつながずに

指数型分布族

イントロ 式を確認 正規分布を例に 指数型分布族の便利な点(1)指数分布族の掛け合わせは指数分布族 指数型分布族の便利な点(2)とモーメント 指数型分布族の便利な点(3)の2次微分と分散共分散行列/Hessianと半正定値と凸関数のこと 指数型分布族の…

指数型表現の利点の確認(2)とモーメント

とモーメントの関係 がの期待値であることを以下に示す はと表されることからもわかるように(確率分布の台全体の積分が1であることより) であるから という関係にある とおいて微分してやると… となって、さらに、分母分子にの関数ではないをかけてもよいか…

正規分布を例に取る〜指数型分布族

実例で確認する 変数・式を正規分布について確認する(このページの表の"normal distribution"...(known varianceではない方)を参照 確率変数は1変数 『パラメタ』での関数表現(見慣れた式) パラメタと自然パラメタの関係 逆の関係 なんとすら入っていないた…

式を確かめる:指数型分布族

一般式 表記の説明 関数に用いる変数があっちこっちで違うのでページ横断的に式を追いかけるのが大変→Wikiのページのそれで行く(こちら) 何を使うか 確率変数は1変数かもしれないし多変数かもしれない パラメタのセットを2組(『パラメタ(のセット)』と『自…

指数型分布族のイントロ

指数型分布族のイントロ 確率変数の中には、分布をある形式で表せるものが多数あって、そのような形式を「指数型」と呼び、そのような形式で表される一群を「指数型分布族」と言う 指数型で表すことのメリットには次のようなものがある さまざまな分布を同じ…

指数型表現の利点の確認(7)共役事前分布

は観察したり推定したりする確率変数 は確率分布のパラメタ 確率と尤度を行ったり来たりするときに便利なのが共役事前分布 指数型分布族表現を使うと、これを簡単に理解できる 確率の式を確認する 共役事前分布うんぬん、では尤度も必要で、それは、を問題に…

Solving the Likelihood Euations

昨日の記事の続き 論文はこちら 計算機代数統計的に尤度関数を解くのはこんな感じ 尤度関数は必ずしも凸ではなく、そうすると複数の極大値があり得る 探索すると最大値にたどり着き損ねるので、すべての微分0の点を列挙して それらを比較して最大値を得るこ…

ディリクレ分布とカイ自乗分布とその歪み

総数を固定しなくても… メモ は (スターリングの公式)より であって に注意したり、,に注意したりして変形すると この式の移行関係には、対数尤度比がカイ自乗分布に従うという話がある k <- 5 library(MCMCpack) f <- c(rdirichlet(1,runif(k))) N <- 10000…

メモ

2項分布の連続化:β分布 多項分布の連続化:ディリクレ分布 確率ベクトル、観測度数, 確率 に制約をつけつつ、確率を最大にするようなが知りたいとする Rのoptim()関数で最適化することにする 少し普通ではない変数の置き方をする 長さのベクトルを考える …