ノンパラメトリック
混交正規分布が背景にあるとする パラメトリックに、単純な正規分布を仮定して、推定すると、サンプル数を増やしても、推定結果は1峰性の正規分布であり、背景分布の平均（期待値）と分散は正確になるが、混合正規分布の特徴である複数峰は決して推定されな…
カーネルトリックというのがある カーネル関数を使って、データの次元を上げてやり、上げた次元で簡単な処理（線形処理）をした結果を返すことで、データのオリジナルな次元空間での非線形な出力を得るような時に使うのだが、トリックなのは、上げた次元での…
Non-parametric bayesian clustering Data set simulation n <- 1000 d <- 4 k <- 5 s <- sample(1:k,n,replace=TRUE) m <- matrix(rnorm(d*k,sd=6),k,d) X <- matrix(0,n,d) for(i in 1:k){ tmp <- which(s == i) r <- matrix(rnorm(d * length(tmp))) X[tm…
９月１日 パラとノンパラの基礎概念 資料１『Parametric vs Nonparametric Models』 パラは有限個パラメタ、ノンパラは無限個パラメタのモデル 無限個パラメタのモデルとはどういうことかをわかることが大事 ノンパラベイズは無限個パラメタを想定しつつ、実…
予定 ９月１日(パラとノンパラの基礎概念。ノンパラ検定) ９月１７日(ノンパラ・ベイズの短いチュートリアル) ９月２２日(長文資料のつまみ食い。R・パイソンで遊ぶ、その１) ９月２４日(長文資料のつまみ食い。R・パイソンで遊ぶ、その２) 参加者 A(統計遺…
Direct Similarity Shape Spacesの中での場合 平面上の形の解析は形解析の基本であり、需要も多いので、取り立てる 二次元平面上の点を複素平面上の点とみなす 複素数重心で標準化すると、重心を中心としたk次元複素ベクトルが形に対応する これを倍すること…
d次元球面上の点集合があったときに、m=2,3次元回転を同一視して、商群を取ったもの : 特殊直交群 (mxm直交行列であって、行列式が +1) m=2,3が大事な例 特徴点がm=2次元座標として得られているとする 特徴点の数k=30の例 まず、m=2次元の両軸について原点中…
unit sphereとplanar shape space について記述する ノンパラなのでDirichlet processを使ったり ベイズなので事前分布、尤度、KLdivergenceを使ったりする
m次元空間(多様体)にk > m 個の点があるとき 変換不変量を問題にすることで、k個の点座標の異同を定量して、検定・推定・分類等をする 形空間(Shape spaces)の点として形を扱う Kendall's similarity shape spaces (平行移動と回転を無視。スケール変換で標…
多様体上の距離を測地線に沿ってリーマン計量にのっとって測ることにするのが、すなおな距離のとり方 二乗ノルムをコストにしてFrechetを定めるのが基本。それ以外のコストノルム関数も使える このようにしたとき、IntrinsicなFrechet mean & dispersionが推…
多様体を高次元ユークリッド空間に埋め込む 多様体上の２点の「二乗距離」を、埋め込んだユークリッド空間でのユークリッド二乗距離にしてしまう、というのがExtrinsicなアプローチの基本 式はたくさん出てくるけれど、普通の推定の話 高次元ユークリッド空…
空間があってそこに確率分布があるとき、その平均(期待値)とばらつきとを扱うのがこの本 ある点があったときに、その点と分布に従う点からのコスト(これの定義の仕方が色々ある)の期待値が最小になるとき、それを「平均」とする、これが基本 コストとしては…
円周上の観測点セットから、分布の中心(平均)の点推定・区間推定 球面上の観測点セットから、分布の中心(平均)の点推定・区間推定 ゴリラの頭蓋形の男女差比較・検定、分類器 特徴点の位置の平均を求めるのに、Extrinsicにもできるし、Intrinsicにもできる …
9 Stiefel manifolds ぱらぱらめくる『Nonparametric Inference on Manifolds: With Applications to Shape Spaces』
この章がここに入っているのはなぜなんだろう？？？ (Direct) Similarity Shape Spaces と、その変形であるRelfection Shape Spacesは行列であって、その成分の２乗和が１という制約を基本としている これに回転同一視をして、商にしたり、線型独立性制約を…
m次元k個の座標xを、preshape 上のzに変換し、というの集合をorbitと呼ぶ。ただしは直交変換 このときという同相関係にある ただしで、はそのnon-singular な部分 これは、のうちのnon-singularな部分(これは回転同一視)であって、さらにReflectionについて…
Nonparametric Inference on Manifolds: With Applications to Shape Spaces (Institute of Mathematical Statistics Monographs)作者: Abhishek Bhattacharya,Rabi Bhattacharya出版社/メーカー: Cambridge University Press発売日: 2012/04/05メディア: ハ…
ぱらぱらめくれるか？ テキスト Lecture Notes on Bayesian Nonparametrics Peter Orbanz 目次 Chapter 1 Terminology 用語・定義 Chapter 2 クラスタリングとディリクレ過程・チャイニーズ・レストラン過程 Chapter 3 Latent features/買い物記録とインディ…
無限次元分布発生方法の名前 ディリクレ過程、チャイニーズ・レストラン、Stick-breaking インディアン・ビュッフェ過程 ガウス過程、Kriging、酔歩・ウィーナー過程、ガウシアンランダムフィールド どういう推定課題なのかによる分類 クラスタリング 特徴抽…
この章では、以下を確認する パラメトリックとノンパラメトリック (パラ・ノンパラの)ベイズ パラメトリックとノンパラメトリック 事象の空間がある(ベルヌーイなら{0,1}のこと、サイコロなら、{1,2,3,4,5,6}のこと、実数全体を事象空間とする確率分布には、…
こちらで一度ぱらぱらめくったのだけれど、消化不良だったので(それと、色々な意味で必要なので)、もう一度、ぱらぱらめくってみる PDFはこちら 書きかけ # わかりたい私のためのGaussian Sequence Model [ぱらぱらめくるシリーズ][分布推定][Wavelet変換][…
.Additive regression model １年間365日の気温観測値。スプライン、周期性を考慮してのフーリエ変換など、方法は複数あるが、結果は似たり寄ったり フィットの良さと平滑の良さとはどちらも２次形式。両者の塩梅をするとそれは線形最適化 MMRのスパイクデー…
. Gaussian sequence model どんな内容かをキーワードで表す ノンパラ、関数推定、無限配列モデル、best-worst-case or minimax principle 線形、非線形、カーネル推定、平滑スプライン、丸めこみ、超直方体、楕球、Wavelet変換 Gaussian decision theory、K…
どうしてこのPDFを読むのか フローサイトメトリのデータを中心に分布推定のことをやっている いわゆるカーネル分布推定は高次元のときに「すかすか」な問題があるのだけれど、そこを「じぃっ」と考えると、個々の観察点の周囲に多次元正規分布を想定してそれ…
楕球を使って線形推定 KL divergenceが登場、それを使ったPinsker’s Asymptotic Minimaxity Theoremが。 ノルムによって定義されたSobolev space。微分の条件をゆるめると、バナッハ空間として扱える 『ソボレフ空間の重要性は、偏微分方程式の解というもの…
minimax で決断（仮想敵) どこにどれくらい出現するかで重みづけて空間全体で積分してminimax評価する サドルポイントを見つける そのために微分する
正規分布のパラメタ推定は「基礎」 infinite dimensional Gaussian sequence modelはそれをベースにする。また、それはノンパラな性格を持つ James-Stein推定 n個の観察があってそれぞれ観察誤差があったときに、観察値そのものを推定値とするのはあり 観察…
Chap8 Thresholding and Oracle inequalities：ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』
ここで足切り、という作業はしばしば行われるが、それってどうやっているの？と言う話 Oracle inequalitiesというのは、それに関連する最近はやりの概念か(Wiki記事はないが、統計・推定・データマイニング関連のPDF等は多いようだ) "'Oracle inequalities' …
多段階の解像度処理 Waveletと呼ばれる小さい波関数を使う。Wavelet関数は複数ある Wavelet変換のよい特徴の一つは、アルゴリズム(フーリエ変換よりさらに高速)であること 離散Wavelet変換と連続Wavelet変換とがある Wavelet shrinkage 推定 Shrinkage 推定…
仮説パラメタ空間を楕球に閉じ込めると最適化ができるのでそれに関する話
あいかわらず正規分布なので、正規分布の確率密度関数と同じ形をした式が登場し、それをもとにminimax評価をする話が続く 「推定側」と「裏をかく側」とのせめぎ合い、ということだが、「裏をかく側」が完全に自由だとパラメタ推定にならないので、制限を入…
