分布

Stanサンプリング

参考サイト --- title: "StanDistribution" author: "ryamada" date: "2017年6月10日" output: html_document --- ```{r setup, include=FALSE} knitr::opts_chunk$set(echo = TRUE) library(rstan) ``` # Stanの各種分布の練習 ```{r} .stan_code1 = ' data…

微積

微分積分には大事な概念がたくさんあるが、そこから入ると普通の微積の学び方になってしまう(それでももちろん良いのだろうけれど)ので、統計遺伝学のいつどこでどう使うのかを扱うこととし、そのトピックごとに必要な概念を覚えることにする。理解のために…

F分布

F分布はカイ二乗分布の比と関係がある # 2つのカイ二乗分布乱数を発生させる d1 <- 3 d2 <- 5 q1 <- rchisq(1000,d1) q2 <- rchisq(1000,d2) # カイ二乗分布乱数を自由度で割ったものの比がF統計量 f <- (q1/d1)/(q2/d2) # F統計量は構成元の二つの自由度の…

樹状分布

こちらで濃淡がいろいろな分布とその上のディリクレ分布のことをやっている こちらでフローサイトメータをやっている まずまずな樹状形の分布をランダム発生させてみる 適当に枝分かれルールを作り、枝の長さをつくり、それを順次「生やす」ことで木型を作る…

分布を重ねる

N数が違う分布が似ているかどうか、目で見る Ncis <- 10000 Ntrans <- 100 Xall <- rchisq(Ncis+Ntrans,3,5) Xcis <- Xall[1:Ncis] Xtrans <- Xall[(Ncis+1):(Ncis+Ntrans)] acis <- ppoints(Ncis,0.5) atrans <- ppoints(Ntrans,0.5) par(mfcol=c(2,2)) his…

木の上の分布比較

ルートのある2分岐木状の分布があるとする。その分布は、ノード数がnで(エッジ数がn-1)。すべてのサンプルで木のトポロジーは同じとする 各ノードに確率があって、であるという また、各エッジには長さがあるという サンプルことにが異なるときに、これをど…

密度分布と累積密度分布を結びつける

n <- list() x <- list() k <- 3 library(MCMCpack) for(i in 1:k){ n[[i]] <- rdirichlet(1,rep(0.1,3))*1000 x[[i]] <- runif(n[[i]][1]) x[[i]] <- c(x[[i]],rnorm(n[[i]][2],0.5)) x[[i]] <- c(x[[i]],rexp(n[[i]][3])) } par(mfcol=c(2,k)) s <- sample…

確率分布

ikuro's homepageさん で確率分布・各論のシリーズ記事が出ています。 その1:確率分布関数の分類、左右対称の連続確率分布(正規分布) その2:左右対称の連続確率分布(続き)(コーシー分布、t分布、ロジスティック分布、ラプラス分布) その3:正にゆがんだ…

非独立な確率変数が2つ

あらすじ 独立な2確率変数がガンマ分布に従っているとき、その和もガンマ分布に従うこと、また、和の分布のパラメタは元の2変数のパラメタから計算できることを書いた また、2つの一様分布に従う確率変数が相互に非独立であるその関係は千差万別であるが…

独立な確率変数が2つ

2つのp値を併せることと統計量の和を取ること 2つのp値があったときに、それを総合的に評価したいことがある やり方はいろいろあるだろうけれども、わかりやすいのは、2つのp値の積をとること なぜならば、珍しさと珍しさとが観察されたとき、両方の観察…

検定p値と検定統計量

帰無仮説が成り立つ仮説検定のp値 一様分布。小さいp値も大きいp値も同じくらい頻繁に得られる、同じくらい珍しく得られる p.null <- runif(10000) hist(p.null) p値の独立・非独立と検定統計量の独立・非独立 2つの検定のp値が独立であるということは、片…

p値を併せることととガンマ分布のこと

7月14日から7月18日までの記事でばらばらに書いたことを順序立てて書き直すことにする 検定p値と検定統計量 帰無仮説が成り立つ仮説検定のp値 p値の独立・非独立と検定統計量の独立・非独立 独立な確率変数が2つ 2つのp値を併せることと統計量の和を取るこ…

独立な確率変数の和の分散

2つの独立な確率変数の和を考えるとき、期待値も和、分散も和(こちら) 2つの独立なガンマ分布の和の期待値と分散を考えよう ガンマ分布の期待値と分散はだから 2つのガンマ分布の和については が成り立つから Rで確かめてみる t1 <- runif(1) * 5 t2 <- r…

指数分布とガンマ分布

昨日からの続き ガンマ分布の2つのパラメタを使うと、パラメタが1の指数分布のそれはと表される こちらにあるように、互いに独立で同一な指数分布に従う確率変数を個合わせるとになるという これは、ガンマ分布の2変数としてが個合わさって、になった、と…

ガンマ分布のパラメタと非独立の程度の関係

こちらとその前の日にとある論文での「2つの非独立統計量の和をガンマ分布でp値化する話」にまつわることをやっている 自由度2の観察空間を考える 2つの自由度1の検定を単位ベクトルで表現する 2つの検定の非独立の程度は、単位ベクトルのなす角で表す…

カイ二乗分布と指数分布の交叉

こちらなどで、2つの相互に非独立な検定を組合すときにガンマ分布を持ち込む話をしている ガンマ分布とカイ二乗分布・指数分布との関係などのメモも残しておくことにする ガンマ分布の確率密度分布 カイ二乗分布の確率密度分布 ただし自由度は これは、,の…

Earth Mover's distance

Wasserstein metricは分布の差異を表す指標(Wikiの記事) 1st Mallows and Wasserstein distancesとしてEarth Mover's distance(EMD)がある(Wikiの記事) EMDの計算はRでは、emdistパッケージ EMDはTransportation problem(Wiki記事)を解くことで求められると…

カルバック・ライブラー情報量

2つの分布p,qがある pという分布は、いろいろな観察のそれぞれについて、どれくらいの確率で発生するかを決めている qが観察された それぞれの観察についてpが尤度を決めている 大雑把に言うと、という観察値について、尤度は 対数尤度にすると すべてのに…

距離の分布を調べる

書きかけ! まず、1次元空間の分布を考える library(sde) library(ggplot2) Npt<-1000 d <- expression(5) s <- expression(3) X <- data.frame(x=c(sde.sim(X0=0,drift=d,sigma=s,N=Npt-1))) #gp <- ggplot(data=X,aes(x=x)) + geom_bar() # 平均値を縦線で…

分布のわずかな変化を数値化したい

"multidimensional","subtle"などの単語でgoogle Visualization(TIBCO) Monte_Carlo 分布の違い検出 1次元データならKolmogorov-Smirnov test(これは昨日の記事でも扱った),Liliefors test, Shapiro-Wilk test, t-Test,Anderson-Darling test 多次元(時系列…

Box-cox変換

Box-cox変換が話題になった こんなソースもあるし こんな記事もある 基本的には、このブログの記事に賛成するのだけれど、そうは言っても『常識として、平方根を取る』というその「常識」にも意味があると思う 「こんな分布になるのがふつう」であることを繰…

第4章 Rで分布関数・乱数

確率分布(Wiki) 確率的に「値」をとって、「すべての可能な値」について「確率」を足し合わせると1になる 確率分布のリスト(Wiki) 確率分布を作ってみる 確率分布のチェックポイント 確率分布の色々 そもそも、どうして確率分布があるのか・気になるのか? …

確率分布を作ってみる

離散的で均一な生起確率を持つ確率密度分布 確率変数は、k個の異なる値をとることがあり、それ以外の値は取ることがない k<-sample(1:100,1) vs<-sample(1:100,k) ps<-rep(1/k,k) plot(vs,ps,type="h") plot(sort(vs),cumsum(ps[order(vs)]),type="l",xlim=c…

どうして確率分布があるのか・気になるのか?

確率分布は、 確率変数があって 定義域に確率があって、それを足し合わせる(積分する)と1になるようなもの 多くの確率分布は、1-数個のパラメタ(母数)があって 母数が決まれば、あとは「ルール(関数だったりする)」があって、「確率」が決まる したがって、…

ピアソンの独立性の検定

ピアソンの独立性検定では、適当な座標変換を施すことにより、表を自由度次元空間上の点に対応付けることができる そのうえで、さらに適当な座標変換により、ピアソンの独立性検定のカイ二乗値の平方根を原点からの距離とする、自由度次元空間上の点に対応づ…

検定と検出力、仮説とモデル

今、次元空間を考える この空間に確率密度分布があるとする 定義より にを定義すると、 一方、同じ空間に統計量を定義する 空間に定義されたある確率密度分布があるとき、 を定めることができて、 である ここで、空間において、2つの統計量があったときに…

総集編4

その他 共役事前分布(確率密度分布と尤度分布) 二項分布とベータ分布のような こちら 漸近近似 正規分布近似(大数の法則・中心極限定理) より広い収束は安定分布への収束 安定分布としてはこちらやこちらなど

総集編3

式など 「点」 「複数の点」 (二項分布) 「複数の点」が「列」を成す n連続点でk回生起する確率は 最近接点間距離,(幾何分布) i-th近接点間距離,(負の二項分布) 「1次元空間」 ハザード関数 生起回数は、「世界」を無限に小さくn等分し、そのうちのk箇所に…

総集編2

「世界」の関係 「点」で起きる過程はベルヌーイ(起きるか起きないか) 「点」の数を増やす 場合によっては複数の「点」を1次元空間配置する 無限個の点を1次元に並べる n(整数次元)空間に広げる 1次元のポアッソン過程ではと、距離の1乗に応じて確率が小さ…

総集編1

予備知識:単変量確率分布の関係はこちら 確率過程が起きる「世界」 「世界」の分類 点 複数の点 1次元空間 多次元空間 「世界」の説明 点はゼロ次元。空間も時間も広がっていない 複数の点は、独立した点の集合であることもあり、1列に並んだ点の列である…