2014-03-26

カーネル推定と特性関数とモーメントとフーリエ変換

カーネル推定特性関数積率母関数モーメントフーリエ変換フーリエ級数畳みこみ

こちらでGaussian Sequence Modelをなぞっている。その一環
カーネル推定は、積分して1になる関数(カーネル関数)を重みづけ関数として、「元の関数(や観測データ)」を畳みこんで推定値(推定関数)を作成する方法
- カーネル関数には、正規分布の確率密度関数や一様分布のそれなど、色々ある
カーネル関数は(負の値を持つ場合もあるが)、確率密度関数のようなものである
確率密度関数には、積率母関数(moment generating function)がある(場合がある)
- $M_X(t) := E(e^{tX})$ と書かれるが、「確率変数Xにこのように定義される関数」のこと
- 積率母関数のt=0の周囲のn階導関数は、 $E(X^n) = M^{(n)}_X(0) = \frac{d^n M_X}{dt^n}(0)$ のように、Xのn次モーメントの期待値が積率母関数Mのn階微分の関数のt=0での式・値になる
この積率母関数は、確率密度関数そのものと同様に、確率変数をきちんと定義づける関数であるが、そのような性質を持つ関数に特性関数がある
- 特性関数はのように指数が複素数になったものであって、積率母関数と同様にモーメントをもたらす
  - この表現自体が「フーリエ変換」と見える(参考)
- $E(X^n) = i^{-n} \phi_X^{(n)}(0) = i^{-n} [\frac{d^n \phi_X(t)}{dt^n}]$ である
確率密度関数にある特性関数はカーネル関数にも定義できる(多分)。そうすると、モーメントの期待値が特性関数のt=0周りの導関数として取り扱える
カーネル関数がq-th order カーネルというとき、においてとなる性質があり、このようなpが大きいとカーネル関数を用いた畳みこみ計算は楽(収束が速い？)になる。
- この $\int_{-\infty}^{\infty} v^p K(v) dv=0$ がモーメントのようなもので、したがって、カーネル関数のモーメントがどうなっているのか、q-th order カーネル関数である、というときのqがわかるとよい。
このqを知るのに、カーネル関数をフーリエ変換してやると、t=0周りのn階微分値を取り出すことは容易であって、カーネル関数の畳みこみにおける挙動の重要な情報が取り出せる
これが、カーネル推定と特性関数とモーメントとフーリエ変換・フーリエ展開との関係
実際には何をminimax推定するかというと、カーネル関数は $K_h(u)=\frac{1}{h}K(\frac{u}{h})$ のように「hという幅が可変」であり、この値として「最適化」をしたいものであるから、それがminimax推定できる枠組みが得られればよい
カーネル関数で畳みこんで、それについて台全体に渡って「ずれ」の積分をすることが「リスク関数値」の算出になる
その計算をするにあたり、テイラー展開をかませると、台の着目値周りにおけるモーメント・導関数が効いてくる。どのくらいのオーダーまで考慮するかで、テイラー展開の精度が影響を受けるが、q-th order関数を用いて、q次まで見てやることにすれば、q-1次までのモーメントが0だから、台全体での積分によって消える(vanishing moments)。残るはq次だけ（それより高い次数は近似という意味合いで省略してある）。結局、ある程度の次数でのテイラー展開という近似をするときに、1,2,...,q次の項のすべてを計算せずに第q次だけの計算でよくなって便利、というのが、q-th orderカーネルの役どころ（らしい）
このようにして計算が楽になったリスクには、カーネル関数の幅を決めるパラメタ $h$ ( $K_h(u)=\frac{1}{h}K(\frac{u}{h})$ )が登場し、この $h$ を小さくすると当てはまりは良くなるが、分散が大きくなる、というminimaxの構図に持ち込まれる