ノンパラメトリック

ガウシアンカーネル、カーネル・トリック

カーネルトリックというのがある カーネル関数を使って、データの次元を上げてやり、上げた次元で簡単な処理(線形処理)をした結果を返すことで、データのオリジナルな次元空間での非線形な出力を得るような時に使うのだが、トリックなのは、上げた次元での…

ノンパラメトリック・ベイズ実践編

Non-parametric bayesian clustering Data set simulation n <- 1000 d <- 4 k <- 5 s <- sample(1:k,n,replace=TRUE) m <- matrix(rnorm(d*k,sd=6),k,d) X <- matrix(0,n,d) for(i in 1:k){ tmp <- which(s == i) r <- matrix(rnorm(d * length(tmp))) X[tm…

ノンパラ・ベイズ 夏休み集中セミナーメモ

9月1日 パラとノンパラの基礎概念 資料1『Parametric vs Nonparametric Models』 パラは有限個パラメタ、ノンパラは無限個パラメタのモデル 無限個パラメタのモデルとはどういうことかをわかることが大事 ノンパラベイズは無限個パラメタを想定しつつ、実…

ノンパラ・ベイズ 夏休み集中セミナーメモ0

予定 9月1日(パラとノンパラの基礎概念。ノンパラ検定) 9月17日(ノンパラ・ベイズの短いチュートリアル) 9月22日(長文資料のつまみ食い。R・パイソンで遊ぶ、その1) 9月24日(長文資料のつまみ食い。R・パイソンで遊ぶ、その2) 参加者 A(統計遺…

7 The Planar Shape Space ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

Direct Similarity Shape Spacesの中での場合 平面上の形の解析は形解析の基本であり、需要も多いので、取り立てる 二次元平面上の点を複素平面上の点とみなす 複素数重心で標準化すると、重心を中心としたk次元複素ベクトルが形に対応する これを倍すること…

6 Kendall's (Direct) Similarity Shape Spaces ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

d次元球面上の点集合があったときに、m=2,3次元回転を同一視して、商群を取ったもの : 特殊直交群 (mxm直交行列であって、行列式が +1) m=2,3が大事な例 特徴点がm=2次元座標として得られているとする 特徴点の数k=30の例 まず、m=2次元の両軸について原点中…

12 Nonparametric Bayes Inference on Manifolds ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

unit sphereとplanar shape space について記述する ノンパラなのでDirichlet processを使ったり ベイズなので事前分布、尤度、KLdivergenceを使ったりする

5 Landmark Based Shape Spaces ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

m次元空間(多様体)にk > m 個の点があるとき 変換不変量を問題にすることで、k個の点座標の異同を定量して、検定・推定・分類等をする 形空間(Shape spaces)の点として形を扱う Kendall's similarity shape spaces (平行移動と回転を無視。スケール変換で標…

4 Intrinsic Analysis on Manifolds ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

多様体上の距離を測地線に沿ってリーマン計量にのっとって測ることにするのが、すなおな距離のとり方 二乗ノルムをコストにしてFrechetを定めるのが基本。それ以外のコストノルム関数も使える このようにしたとき、IntrinsicなFrechet mean & dispersionが推…

3 Extrinsic Analysis on Manifolds ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

多様体を高次元ユークリッド空間に埋め込む 多様体上の2点の「二乗距離」を、埋め込んだユークリッド空間でのユークリッド二乗距離にしてしまう、というのがExtrinsicなアプローチの基本 式はたくさん出てくるけれど、普通の推定の話 高次元ユークリッド空…

2 Location and Spread on Metric Spaces ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

空間があってそこに確率分布があるとき、その平均(期待値)とばらつきとを扱うのがこの本 ある点があったときに、その点と分布に従う点からのコスト(これの定義の仕方が色々ある)の期待値が最小になるとき、それを「平均」とする、これが基本 コストとしては…

1 Examples ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

円周上の観測点セットから、分布の中心(平均)の点推定・区間推定 球面上の観測点セットから、分布の中心(平均)の点推定・区間推定 ゴリラの頭蓋形の男女差比較・検定、分類器 特徴点の位置の平均を求めるのに、Extrinsicにもできるし、Intrinsicにもできる …

9 Stiefel manifolds ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

この章がここに入っているのはなぜなんだろう??? (Direct) Similarity Shape Spaces と、その変形であるRelfection Shape Spacesは行列であって、その成分の2乗和が1という制約を基本としている これに回転同一視をして、商にしたり、線型独立性制約を…

8 Reflection (Similarity) Shape Spaces ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

m次元k個の座標xを、preshape 上のzに変換し、というの集合をorbitと呼ぶ。ただしは直交変換 このときという同相関係にある ただしで、はそのnon-singular な部分 これは、のうちのnon-singularな部分(これは回転同一視)であって、さらにReflectionについて…

ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』

Nonparametric Inference on Manifolds: With Applications to Shape Spaces (Institute of Mathematical Statistics Monographs)作者: Abhishek Bhattacharya,Rabi Bhattacharya出版社/メーカー: Cambridge University Press発売日: 2012/04/05メディア: ハ…

ぱらぱらめくる『Lecture notes on Bayesian Nonparametrics』

ぱらぱらめくれるか? テキスト Lecture Notes on Bayesian Nonparametrics Peter Orbanz 目次 Chapter 1 Terminology 用語・定義 Chapter 2 クラスタリングとディリクレ過程・チャイニーズ・レストラン過程 Chapter 3 Latent features/買い物記録とインディ…

Chapters 2,3,4 無限次元空間の分布を作る ぱらぱらめくる『Lecture notes on Bayesian Nonparametrics』

無限次元分布発生方法の名前 ディリクレ過程、チャイニーズ・レストラン、Stick-breaking インディアン・ビュッフェ過程 ガウス過程、Kriging、酔歩・ウィーナー過程、ガウシアンランダムフィールド どういう推定課題なのかによる分類 クラスタリング 特徴抽…

Chapter 1 ノンパラベイズとは ぱらぱらめくる『Lecture notes on Bayesian Nonparametrics』

この章では、以下を確認する パラメトリックとノンパラメトリック (パラ・ノンパラの)ベイズ パラメトリックとノンパラメトリック 事象の空間がある(ベルヌーイなら{0,1}のこと、サイコロなら、{1,2,3,4,5,6}のこと、実数全体を事象空間とする確率分布には、…

ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

こちらで一度ぱらぱらめくったのだけれど、消化不良だったので(それと、色々な意味で必要なので)、もう一度、ぱらぱらめくってみる PDFはこちら 書きかけ # わかりたい私のためのGaussian Sequence Model [ぱらぱらめくるシリーズ][分布推定][Wavelet変換][…

Chap 1 イントロ:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

.Additive regression model 1年間365日の気温観測値。スプライン、周期性を考慮してのフーリエ変換など、方法は複数あるが、結果は似たり寄ったり フィットの良さと平滑の良さとはどちらも2次形式。両者の塩梅をするとそれは線形最適化 MMRのスパイクデー…

前書き:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

. Gaussian sequence model どんな内容かをキーワードで表す ノンパラ、関数推定、無限配列モデル、best-worst-case or minimax principle 線形、非線形、カーネル推定、平滑スプライン、丸めこみ、超直方体、楕球、Wavelet変換 Gaussian decision theory、K…

動機:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

どうしてこのPDFを読むのか フローサイトメトリのデータを中心に分布推定のことをやっている いわゆるカーネル分布推定は高次元のときに「すかすか」な問題があるのだけれど、そこを「じぃっ」と考えると、個々の観察点の周囲に多次元正規分布を想定してそれ…

Chap5 Linear Estimators and Pinsker’s Theorem:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

楕球を使って線形推定 KL divergenceが登場、それを使ったPinsker’s Asymptotic Minimaxity Theoremが。 ノルムによって定義されたSobolev space。微分の条件をゆるめると、バナッハ空間として扱える 『ソボレフ空間の重要性は、偏微分方程式の解というもの…

Chap 4 Gaussian decision theory:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

minimax で決断(仮想敵) どこにどれくらい出現するかで重みづけて空間全体で積分してminimax評価する サドルポイントを見つける そのために微分する

Chap 2 The multivariate normal distribution:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

正規分布のパラメタ推定は「基礎」 infinite dimensional Gaussian sequence modelはそれをベースにする。また、それはノンパラな性格を持つ James-Stein推定 n個の観察があってそれぞれ観察誤差があったときに、観察値そのものを推定値とするのはあり 観察…

Chap8 Thresholding and Oracle inequalities:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

ここで足切り、という作業はしばしば行われるが、それってどうやっているの?と言う話 Oracle inequalitiesというのは、それに関連する最近はやりの概念か(Wiki記事はないが、統計・推定・データマイニング関連のPDF等は多いようだ) "'Oracle inequalities' …

Chap7 A Primer on Estimation by Wavelet Shrinkage:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

多段階の解像度処理 Waveletと呼ばれる小さい波関数を使う。Wavelet関数は複数ある Wavelet変換のよい特徴の一つは、アルゴリズム(フーリエ変換よりさらに高速)であること 離散Wavelet変換と連続Wavelet変換とがある Wavelet shrinkage 推定 Shrinkage 推定…

Chap6 Adaptive Minimaxity over Ellipsoids:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

仮説パラメタ空間を楕球に閉じ込めると最適化ができるのでそれに関する話

Chap 3 The infinite Gaussian sequence model:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

あいかわらず正規分布なので、正規分布の確率密度関数と同じ形をした式が登場し、それをもとにminimax評価をする話が続く 「推定側」と「裏をかく側」とのせめぎ合い、ということだが、「裏をかく側」が完全に自由だとパラメタ推定にならないので、制限を入…