カーネル平均 - ryamadaの遺伝学・遺伝統計学メモ

カーネル関数 $K(x_1,x_2)$ を定めると、それに対応して、このカーネル関数を内積とする関数のヒルベルト空間が定まる
$x_i$ の集合から、このヒルベルト空間(の関数)への写像があるわけであるが、この $x_i$ に対応する関数を $\Phi(x_i)$ と書いたり $K_{x_i}(.)$ と書いたりする
今、確率変数 $X$ が $x_i$ の集合(空間)にあって、そこの確率分布が $P$ であるとき、 $\Phi(x_i)$ もヒルベルト空間の確率分布を成す
$m_X=E(\Phi(X)) = \int K_{x}(.) dP(x)$ がこの関数の確率分布の期待値(期待される)関数である
これがカーネル平均
カーネル平均の、ありがたい性質
- [tex:
  = E\[
  \]]
  - 平均操作( $E[]$ を取る操作)と内積とは交換可能
  - これは、再生性を持つ(カーネルに対応するヒルベルト空間がReproducing Kernel Hilbert Space(RHPK)と呼ばれるように、「再生性」を有するから
- $m_X(u) = \sum c_i E[X^i]u^i$ というモーメント母関数にもなっている
特性的な(characteristic)正定値カーネル
- ある確率変数があると、それに対応する関数がヒルベルト空間の１要素になっている。その平均が平均カーネル。この平均カーネルはXの要素に対してある値を返す関数であるので、確率変数の台を台とした関数になっている。この確率変数の台を台にした関数と確率分布との間に単射の関係がある場合がある。そのような関係をもたらす正定値カーネルを特性的と言う。単射であるとわかっていれば、平均カーネルを知ることと、確率分布を知ることも１対１対応になる
- どんな確率変数にも定義できる「特性関数」は $\phi_X(t) = E[e^{itX}] = E[\cos{tX} + i E[\sin{tX}]$ と定義され、確率変数のフーリエ変換のようなもの。これユークリッド空間上の確率変数の測度(ボレル確率測度)を一意に定める関数(→特性関数)
- この特性関数に対応するのが特性正定値カーネルで、ユークリッド空間に限らない空間での確率変数の確率測度を定めるようだ
- 逆に言うと、特性関数は、ある特別な特性正定値カーネルになっている ?
- カーネルトリックにより、 $\Phi(X)$ を陽に求めなくても期待値が計算できる→推定できる
- 正定値カーネルが特性的である必要十分条件は、任意の確率Pに対して、ヒルベルト空間H + R(実数) という和空間が $L^2(P)$ (確率Pの二乗ノルム)で稠密であること、と示されている。例としてはガウシアンカーネル、ラプラスカーネルがある。多項式カーネルは特性的ではない(モーメントが有限次)
- ユークリッド空間における分散共分散行列は、特性カーネルにおいて、共分散作用素(ヒルベルト空間の要素である関数の「ホモ二乗」「ヘテロ積」の行列)に拡張される