2017-06-13

Chapters 2,3,4 無限次元空間の分布を作るぱらぱらめくる『Lecture notes on Bayesian Nonparametrics』

ぱらぱらめくるシリーズノンパラメトリックノンパラメトリックベイズ

無限次元分布発生方法の名前
- ディリクレ過程、チャイニーズ・レストラン、Stick-breaking
- インディアン・ビュッフェ過程
- ガウス過程、Kriging、酔歩・ウィーナー過程、ガウシアンランダムフィールド
どういう推定課題なのかによる分類
- クラスタリング
- 特徴抽出
- 回帰
Chapter 2 クラスタリングディリクレ過程、チャイニーズ・レストラン、Stick-breaking
- ノンパラ、無限個のパラメタ
  - クラスタ数が無限個になりうる。クラスタに確率を持たせると、パラメタ数は無限
- クラスタ数が無限にあり、それらに、確率を持たせ、総和が１であるようにしたい
- そんな無限クラスタへの確率の割付発生法の一つがStick-breaking。それをするときに、ベータ分布 $\beta(1,\alpha)$ を使うのがディリクレ過程
- クラスタに割合が割り振られるが、そのクラスタが確率分布だとすると、その確率分布を決めるパラメタが必要。ディリクレ過程では、先ほどの $\alpha$ と、パラメタ発生させるための元となる分布が必要
- クラスタリングを、標本の帰属クラスタIDの決定についてだけ考えるのであれば、「パラメタ値」は発生させなくてもよい。randam partitionと呼び、チャイニーズ・レストラン過程と言う
- あるクラスタの割合をベータ分布で出し、次のクラスタの割合を、残り確率を１とみなしてその部分割合をベータ分布で指定して定めることを繰り返す
- 別のやり方
  - あくまでも、クラス多数を無限大にして、クラスタの確率の総和を１にしたかっただけ。ディリクレ過程ではベータ分布を使った。それ以外の分布を使うこともある。特に、べき乗則に乗るような「割合の分散の大きな」クラスタ別頻度にするやり方もある

Chapter 3 特徴抽出インディアン・ビュッフェ過程
- ノンパラ、無限個のパラメタ
  - 特徴が無限個になりうる。個々の特徴に頻度を持たせると、パラメタ数は無限。さらに、個々の標本は複数の特徴を持ちうるので、特徴の組み合わせにも頻度を持たせることになり、パラメタ数は、特徴の個数 $n \to \infty$ に対して $\lim_{n \to \infty}2^n-1$ 自由度を持つ。
- チャイニーズ・レストラン過程が
  - 既存のクラスタの１つに帰属させるか、新規のクラスタを１個作ってそれに帰属させるか、と言うプロセスなのに対して
  - 既存のクラスタのそれぞれに、帰属させるか否かを決め、さらに、新規のクラスタをポアソン分布に従って非負整数個生成し、それに追加サンプルを帰属させる、
  - という形式で特徴を増やしていく
Chapter 4 ガウス過程
- ディリクレ過程、インディアンビュッフェ過程が無限個のクラスタ、無限個の特徴と言った「無限個の離散的な事象」を対象にしていたのに対して
- ガウス過程は時空間と言った連続な台を対象にする
- 連続な台なので、どうしても、「無限」に定める必要が出てきて、すなわち、無限次元〜ノンパラ
- 関数を考える
- 関数をd次元空間の点を1次元空間の点への対応付けとみなす
- この関数について、d次元空間の点をn個取り出すことにすれば、それを1次元空間の(たかだか)n個の点に対応付ける、という関数を考えることができる
- このような関数をランダムな存在とみなす
- すると、n個の点の対応先である1次元空間の点はn次元空間のランダムな点になる
- そのn次元空間のランダムな点を確率密度分布とみることもできる
- ここで、このランダムな点をn次元正規分布と仮定しよう、というのがガウス過程
- これは、d次元空間の点に対応する1次元空間の点の座標には、期待値と分散があるということだし、d次元空間の点のペアに対応する1次元空間の点の座標のペアには共分散があるということ
- n次元正規分布なので、期待値(中心座標)と分散共分散行列が定まる
- 近い点同士に対応づく1次元空間座標が近いべきである、という気持ちは共分散の大きさで表され、それは関数で言えば滑らかさに対応する
- ガウス過程は、関数の滑らかさを分散共分散行列で表現しようというモデルであるとも言える
  - より詳しく言うと、分散共分散行列は stationarity, isotropy, smoothness and periodicityを定める(らしい)Wiki
- 分散共分散行列の分布に事前分布を入れることで、関数推定が線型代数処理を通じて得られる
- ガウス過程が仮定しているのは、期待値ベクトルと分散共分散行列。そこに何がしかの観察がなされると、未観察に関して、事後分布が得られるが、その事後分布は共分散によって観察値に引きずられた分布になる。その事後分布は、仮定している分散共分散行列と、実際に観察した値が指し示す分散共分散(その中にランダムエラーも入る)との線型計算
- 酔歩、ガウシアン・ランダムフィールドが含まれる
- 分散共分散行列にいろいろあって、それらが、stationarity, isotropy, smoothness and periodicityの定義と対応づくWikiにそれが書いてあるようだ
Chapter 5
- 組み合わせる
- (無限にある)離散項に重みをつけて、その重み付き和を取ることが混合モデルだった
- 連続に拡張すればそれは重み関数付きの積分
- それは関数の掛け算
- 関数の掛け算は『無限項』に相当するが、関数がパラメタライズされていれば、そのパラメタのハンドリングに簡略化される
Chapter 6 Exchangeability
- 標本がiidなとき、その標本の順序が変えられる
- 無限次元・ノンパラになると、Exchangeabilityとiidとが対応づくわけではなくなるらしい
- 条件付き確率で定義されるらしい