Chapter 1 ノンパラベイズとは ぱらぱらめくる『Lecture notes on Bayesian Nonparametrics』
- この章では、以下を確認する
- パラメトリックとノンパラメトリック
- 事象の空間がある(ベルヌーイなら{0,1}のこと、サイコロなら、{1,2,3,4,5,6}のこと、実数全体を事象空間とする確率分布には、正規分布ある、など)
- ある事象空間に定め得る、ありとあらゆる確率質量/密度分布のことを考える。それらを「分布の集合」として考える
- ありとあらゆるものの中には、「これこれの条件を満たす」というように定義できる分布だけをまとめると、それは部分集合
- この部分集合を統計モデルと呼ぶ
- 今、統計モデルの「これこれの条件を満たす」という部分を、パラメタで表すことにすれば、パラメタで表すことができる
- このようにすることで、統計モデルは、パラメタが作る空間になり、個別の確率分布はこのパラメタが作る空間の点にな
- ただし、このパラメタの数が、有限・一定な定義になっている場合もあれば、どこまででも増えてしまう場合もある。場合がある、というか、そのように定義できる
- 有限個数のパラメタで定義づけした統計モデルをパラメトリックモデル、無限個のパラメタで定義づけした統計モデル(パラメタ数が無限個になりうる定義を持つ統計モデル)をノンパラメトリックモデルと言う
- 有限個数パラメタモデルと無限個数パラメタモデルと呼ぶことにしてもよい
- ベイズ
- 統計モデルは有限個にしろ無限個にしろパラメタを持つ
- パラメタの値について何かを考えたい(データからパラメタ値を決めたりすること)
- ベイズとは、パラメタを確率変数として考えること
- パラメタは何かしらの値を取りうるのだが、それを確率変数と捉え、事前分布・尤度・事後分布が定まる
- 個々の分布は、パラメタの値のセットで決まるので、パラメタが確率変数であるから、個々の分布は、パラメタ空間の(分布に従う)ランダムな点であり、
- 確率事象は、この「個々の分布」から発生するとみなしているから、もう一段、別のランダムなサンプリングを考える
- ノンパラメトリック・ベイズ
