2007-03-01から1ヶ月間の記事一覧

平衡と不平衡と独立(たぶんシリーズもの)

確率論的独立性 該当するWikipediaの記事はこちら このWikipediaの記事には、対象が、「事象の集合のとき」、「確率変数のとき」、「完全加法族のとき」、が記載されていて、それぞれについての独立の条件が記載されている。かいつまんで記載するとお茶を濁…

包除の原理 The inclusion-exclusion principle

を係数とする包除の原理。どうしてなんだろう。もちろん、そうだからそうなのだけれども、集合は2進法的な構造だからなんだろうか、とか、そういう意味で、どうしてなんだろう、と思う。

メモ

PDF

Eigenanalysis

先日、Eigenanalysisについての記事(こちら)を書いた。 公開アプリケーションのケース・コントロール解析における、おおまかな実行手順は次の通り 1 ジェノタイプ・フェノタイプ・マーカーに関するファイルを用意する 2 本ツール用のフォーマットに直す 3…

トレンドテスト

補足記事がこちら ※この記事の式とソースは、トレンドカイ自乗テストのそれである。Cochran-Armitage trendテストは補足記事。 SNPジェノタイプデータについて、Armitage's trend testを付け加える用ができた。エクセルはこちら 検算はこちらのサイトの例で…

evd

単変量極値統計・極値分布推定をするとした場合。。。 evd packageの構成 単変数極値分布の関数 分布関数(一般化、Gumbel型、Frechet型、(逆)Weibull型)、および順序統計量 それらの密度関数、Quantile関数、乱数発生関数 モデルフィッティングのための関数 …

7.例題 駆け足で読む極値統計

地学者ではないので、この例題の章では、6章までの議論が、実用において、どんな「勢い(当然のこととして)」使われるかの雰囲気をつかむことを目的とする 『観測データの大きいほうからk番目までのPOT(Peak-over-threshold)解析を行いL積率法にて母数推定を…

6.確率量の誤差推定 駆け足で読む極値統計

デルタ法 Jackknife法 Boostrap法

5.確率分布モデルと推定母数 駆け足で読む極値統計

一般化極値分布の確率分布関すF(x)とその確率密度関数f(x) これらのモーメント、および、PWM法・L法などの積率法における理論的モーメント値の算出式・近似方法も導出されている。積率法によりの近似解を求め、さらに、の推定値を算出する 閾値モデル 指数分…

4.母数の推定方法 駆け足で読む極値統計

最尤法 積率法 理論的に計算されたモーメント値(平均とか分散とか)と、データから計算されるモーメントを比較して一致をよくする母数を探す 不安定な場合が多いそうだ 式で表された極値分布・パレート分布の(理論的)モーメントはこちらなどで。 PWM法(Probab…

3.閾値モデル 駆け足で読む極値統計

観測データから極値の分布を表す関数を推定することを前提に、以下の論議がなされる 閾値超過分布 ある期間やあるブロックの最大値だけを取り出す極値統計解析の手法は、せっかくのデータを使用しないこととなり、もったいない。そのもったいなさから、ある…

2.極値分布モデル 駆け足で読む極値統計

極値分布は、一般化極値分布として式表現することもできるし、それを3つの場合に分けて、Gumbel型、Frechet型、Weibull型として表現することもある。 極値分布を定める母数は3つ。位置母数と尺度母数と形状母数の3つである。形状母数の正負・ゼロの3通り…

駆け足で読む『付録2 統計的手法による作用モデルの構築』

極値統計の概説サイトがなかなかみつからなくて困っていた。日英どちらもよいのが見つからなかった。このPDFはよさそうである。

1.概論 駆け足で読む極値統計

統計学者には2種類。middle manとtail man Fisher & Tippette 極値分布には3種類 (逆)ワイブル分布 グンベル分布 フレッシェ分布 極値分布への吸収と吸引領域 正規分布は極値分布への収束が遅い ほとんどの連続分布は極値分布の吸引領域に属する (逆)ワイ…

Bayesian Logistic Regression

大規模SNPデータのロジスティックリグレッションは、独立変数の数が多く、標本数を(はるかに)越える、という問題がある("short, fat datasets")。そのことは、計算上の負荷が大きいということと、多くの変数を用いるがために起きる、"over-fitting"の問題が…

ロジスティックリグレッション

いくつかの手法を比較している論文「Logistic regression protects against population structure in genetic association studies」by E. Setakis, H. Stirnadel and D.J. Balding はこちら 比較している手法は Armitage's trend test Genomic control Step…

Population structure and eigenanalysis

Population Structure and Eigenanalysis by Nick Patterson, Alkes L. Price and David Reich PLos Genetics (2006) 2 e190 文献はこちら 人数m x SNP数nのジェノタイプデータがあるとする。 データを標準化する 人数m x 人数mの情報にして その主成分分析…

駆け足で読む?

An Introduction to Statistical Modeling of Extreme Values (Springer Series in Statistics) 作者: Stuart Coles 出版社/メーカー: Springer 発売日: 2001/12/15 メディア: ハードカバー

リンク、Rのパッケージ

導入読み物はこちら ブロック法とPeak-over-threshold法 Generalized Pareto Distribution(MathWorksの記事はこちら) Threshold推定法 Mean Excess Plot Parameter stability plot Rのパッケージはこちら S-plus, R, MATLABなどで使える極値統計解析ソフトに…

(まだ)全体像がぼんやりしているメモ、その2

順序統計 ノン‐パラ 均一分布→ベータ分布 Robust estimations L-Estimate(Linear combinations of order statistics) M-Estimate R-Estimate

(まだ)全体像がぼんやりしているメモ

Extreme Value Theory 稀なことはおきにくいが、『正規分布近似』で予想するより起き易い("Heavy-tailed data") この「ずれているtail」の近似は"tail-fitting"問題 Extreme value theorem The first extreme value theorem The second extreme value theore…

サブグループ内の順位、試験の季節に思うこと

今、N個の値の集合があるとする。それらをn個ずつk個の部分集合に分ける。 今、全体N個の中での、順番がi番目の値が、n個の部分集合内で、1番になる確率は、どうなるだろうか。 また、このようにして選ばれる、k個の部分集合内の1番の値の期待値はいくつに…

ランダム性の評価

何がどれくらいランダムかを数値化する必要が出た。 擬似乱数列発生器は、発生する擬似乱数列が乱数列としてどのくらい適切かで評価されるので、乱数列の評価法というのは、擬似乱数列発生器に関するサイトなどで得られる。たとえばこちらの第5章 その方法…

粒度 granularity

気になっている用語 関連サイト こちら こちらも こちらや こちらも

斜めに読む『数学で読み解く統計力学』

教科書 数学で読み解く統計力学―平衡状態とエルゴード仮説 作者: 森真 出版社/メーカー: 共立出版 発売日: 2006/11 メディア: 単行本 多数の要素が持つ状態 第1章 統計力学のモデル 推移確率・推移確率行列 2項定理 平衡状態 相空間(すべては座標に) 理想…