2016-01-01から1年間の記事一覧

準備 ぱらぱらめくる『はじめての統計データ分析』

こちらを参考に、Rコードが動くようにしよう この準備でやっていること Rというソフトウェアをインストールする 『はじめての…』では、rstanという名前のパッケージを使うので、それをインストールしている rstanは統計手法的な「答え」を数学の問題を解くよ…

ぱらぱらめくる『he Elements of Statistical Learning, Second Edition』

The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition (Springer Series in Statistics)作者: Trevor Hastie,Robert Tibshirani,Jerome Friedman出版社/メーカー: Springer発売日: 2008/12/01メディア: ハードカ…

Rで探し物

R

21の探し物ツール Navigation; R-bloggers; Task views; Rdocumentation.org; sos package; Rコマンド・関数 ??; apropos; ls; methods; getAnywhere; 隠れた関数も表示 :::; find; args; grep; %in%; str; getwd; file.choose; Spyglass summary; browser; …

R TaskViewを使って独り立ちする

ある程度Rが使えるようになったら、あとは自分がやりたいことをするための調べ物ができるようになることが大事 短期集中セミナーである程度Rが使えるようになったら、調べ物のやり方について知ることが大事 そんな短期集中セミナーの最終回のテキスト(Rmd フ…

乱数とシミュレーション

Rmd Rで乱数発生とシミュレーション作者: ryamada発売日: 2016/07/22メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "RandomValues and Simulation" author: "ryamada" date: "2016年7月23日" output: html_document --- # Generate Rando…

多次元正規分布を作る

# 多次元正規分布乱数を作る関数を作っておく library(MASS) library(lqmm) # 適当に対称行列を作って正定値行列を作る関数も作っておく # 多次元正規分布は中心座標と分散共分散行列とで決まる # 分散共分散行列のために正定値行列が必要 my.make.positive.…

推移行列・行列の指数関数

Rmd 推移行列・行列の指数関数: Transition Matrix and Matrix Exponential作者: ryamada発売日: 2016/07/21メディア: Kindle版この商品を含むブログ (1件) を見る --- title: "Transition Matrix 状態推移行列" author: "ryamada" date: "Friday, July 22, …

回帰メモ

Rmd 回帰手習い: Introduction to Regression作者: ryamada発売日: 2016/07/21メディア: Kindle版この商品を含むブログを見るもしくはこちら --- title: "Regression 回帰" author: "ryamada" date: "Thursday, July 21, 2016" output: html_document --- # …

超基礎の次に大事なこと:調べものをする-2:データ処理初めの1歩(50分)

「これ、ロジスティック回帰やっといて」と言われたら Google(R ロジスティック回帰)

プログラミングをする:データ処理初めの1歩(50分)

手軽にウェブで、無料で

超基礎の次に大事なこと:調べものをする:データ処理初めの1歩(50分)

データを取ったら図を描こう 図を描きたいけれど、どう描いたらわからない 画像検索を使う Google(R graphics)

補助資料:ファイルの読み込み:データ処理初めの1歩(50分)

コンピュータ上のどこで作業しているか(ワーキング・ディレクトリ)について ワーキング・ディレクトリに置いたファイルの読み込み

データ処理初めの1歩(50分)

大学1回生に50分でデータ処理の「実務」を教えるとき コンテンツ 記録(スプレッドシート) {0,1} 連続値 Rへの読み込み・取り込み 集計・記述統計 視覚化 検定 記録(スプレッドシート、エクセル) ファイル(アクセスしてダウンロード) テキスト形式で保存しよ…

実行:ぱらぱらめくる『統計データ分析 ―ベイズ的〈ポストp値時代〉の統計学―』

実行は、srcAディレクトリのファイルをコピーペーストして実行するだけ 6章分 source('myfunc/myfunc.R') 冒頭でmyfuncディレクトリのmyfunc.Rソースを読み込みます このmyfunc.Rは、myfuncディレクトリ内のそのほかのいろいろなxxx.Rソースを読み込みます …

準備:ぱらぱらめくる『統計データ分析 ―ベイズ的〈ポストp値時代〉の統計学―』

はじめての 統計データ分析 ―ベイズ的〈ポストp値時代〉の統計学―作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2016/06/02メディア: 単行本(ソフトカバー)この商品を含むブログ (11件) を見る 準備 こちらに書籍用の諸ファイルがあります ダウンロード…

Dually Flat Manifolds

昨日、階層構造を持つ確率分布のための情報幾何について少し書いた 特に、なd元分割表のためのe-平坦、m-平坦なパラメタの取り方について、丁寧に確認してみたい Rでパラメタ変換をしてみるのが、手っ取り早そうなので、それでやってみる Rmd 2重平坦パラメ…

Dually Flat Manifolds

資料 確率分布を点としてもつ多様体を統計多様体という 確率分布をn個のパラメタで表すことにすると、その統計多様体はn次元多様体 多様体には多様体固有の特徴があって、それはリーマン計量だったりするわけで、局所座標系を入れる・入れないに関わらずその…

時系列・空間とkrigingとか Time-series/Space and krigign etc.

Conventional analysis depends on independency among values Time series/ spacial data have values that are next to each other are tightly associated and this feature should be absolutely considered. At a glance

MCMC

What is new? This approach requires computers, that was not available in 20th century; that is why MCMC is being used for tasks that could not be solved by the methods before and also MCMC is being used for tasks that have been answered by…

検定からベイズ推定へ Frequentist approach ~ tests and Bayesian approach

日本語説明 reading material on Bayes Statement on p-value (ASA)

Noisy High-Throughput Biological Data

Noisy because Biological phenomena are "noisy" ~ heterogeneity is the important feature of biology. Experiments have many factors that add noise to data. Highthroughput systems realize "highthoughput" by sacrificing preciseness somehow. No…

small n large p

100 samples x 25000 genes You can predict perfectly when you are allowed to use explanatory variables as many as sample size. n <- 10 m <- 10 p <- sample(0:1,n,replace=TRUE) g <- matrix(sample(0:1,n*m,replace=TRUE),n,m) p g lm.out <- lm(p~…

High Dimensionality

Many genes Many features Many biomarkers 検索結果 Sparse cells with 5 markers grid; one cubicle only has 1 cell in average. It is too sparse to estimate density in a regular way. No center, no common individuals N <- 10^4 x <- runif(N)-0.5…

Multiple-Comparison Issue

When you test multiple times, you should not believe nominal p-values of individual tests. 検定を複数行った場合には、個々の検定のp値をそのまま使って解釈できない p <- runif(10^5) hist(p) plot(sort(p),pch=20,cex=0.1) alpha <- 0.05 abline(v=l…

手法・目的の分類オーバービュー〜90分で学ぶ医学・ライフサイエンスの統計学手法のいまどき

Statistical Bioinformatics: For Biomedical and Life Science Researchers(の目次) Quality Control of High-Throughput Data Statistical Tests, Statistical Significance, Error Controlling Classification/Clustering Unsupervised Learning Supervis…

High/multi-dimensional data analysis

Visualization dimension reduction manifold dimension reduction

どんなことが課題か〜90分で学ぶ医学・ライフサイエンスの統計学手法のいまどき

Statistical Bioinformatics: For Biomedical and Life Science Researchers(の目次) Challenge 1 Multiple-Comparison Issue Challenge 2 High-Dimensional Biological Data Challenge 3 Small-n and Large-p Problem Challenge 4 Noisy High-Throughput Bi…

90分で学ぶ医学・ライフサイエンスの統計学手法のいまどき

対象(医科学修士院生1回生) 資料 Statistical Bioinformatics: For Biomedical and Life Science Researchers(の目次) Beyond the hype: Big data concepts, methods, and analytics Big Data Analysis Using Modern Statistical and Machine Learning Meth…

Ricci flowとアルファ接続

ここ数日、統計多様体とその2つの平坦なパラメタの取り方について書いている リーマン多様体として形を考えるときにRicci flowというのがあった そこにもアルファ接続が出てくる どういう関係なのか調べよう こちらに資料

情報幾何 Affine接続 捩れ双対接続 双対平坦

資料はこちら リーマン多様体(多様体に計量が乗っている)がある そこに滑らかにつながるベクトル場がある ベクトル場を多様体上で微分したい ベクトル場の微分をするとは、「あるベクトル場」を「別のベクトル場が定める方向」について微分してやり、「新た…