平滑化とフーリエ変換と楕球制約

関数空間フーリエ変換パラメタ空間平滑化

こちらでGaussian Sequence Modelをなぞっている。その一環
Ellipsoid制約をした関数のパラメタ空間とは、と表す
- ある限定した関数の集合 $\Theta$ は無限長ベクトル $\theta$ を要素とする集合であって、無限長ベクトル $a$ と実数 $C$ とで表される楕球の内部と表面とに対応づけられる。もちろん $\sum_0^{\infty} a_k^2 \theta_k^2=C'^2$ というのは、楕球を表す式である
平滑化(Smoothing)は、「滑らかな線(など)を引く」ことと導関数
- じゃあ「滑らか」って何？
- 線があって、途切れていたら、それは「断絶」していて、「絶対に」「滑らか」ではない。したがって、「線」が「つながって」いることは大事
- 「線がつながっている」というのは、「連続」ということで、 $\frac{df(x)}{dx}$ が有限
- 連続なだけでは折れ線になってしまうから、折れ線にならないようにするには $f^{(1)}(x)=\frac{f(x+dx)-f(x)}{dx}$ が連続。ということで $\frac{d f^{(1)}(x)}{dx}$ が有限
- $f^{(1)}(x)$ もがたぼこでなくしようと思うと、 $\frac{df^{(2)}(x)}{dx}$ が有限...
- となって、滑らかの要求の強さに応じて $f^{(\alpha)}(x)$ が有限であってほしくなる
- というわけで、滑らかな関数を推定するときには、 $\alpha$ 階の微分について $\int [f^{(\alpha)}]^2 df \le L^2$ のような条件を付ける
- このような $\theta$ と $a$ とを使って $\Theta_2^{\alpha}(C) = \{\theta:\sum_{0}^{\infty} a_k^2 \theta_k^2 \le C^2\}$ と言う楕球な制約関数空間を定める
平滑化制約
- 導関数を用いてあまたある関数に制約を入れることにします
- $F = F(\alpha, K) = \{f \in L_2[0,1] : \int_0^1 [f^{(\alpha)}(t)]^2 \le K^2\}$
- これは次のような意味である
  - $F$ という関数の部分集合は $\alpha,K$ という２つのパラメタで定まるものである。fは $L_2$ ( $l_2$ ノルムで定義される関数空間 $L_2$ の関数であって、0から1の範囲を台とする(ここでこのような範囲にするのは、以降の有限範囲フーリエ変換での話をするためであって、台の定め方は本質ではない)。その台の範囲について、 $\alpha$ 階導関数の「関数的ノルム」のようなものは上記のような積分で表されるが、それは、もう一つのパラメタ $K$ によって上限がある
平滑化という処理とは、そもそも？
- $x \in [0,1]$ に観察をしたときに、『何かしら滑らかだけれど、乱雑項が入って観察されている』という事前知識を基に、「滑らかな何か」を推定するという作業が、平滑化という処理
- それを式を用いて表すと
  - となる
    - $f$ という(有限な)値を積み重ねてできる滑らかな線があり、そこに乱雑項 $\epsilon w(t)$ が加わって観察される、と
  - 別の書き方をすれば
    - $dY(t) = f(t) dt + \epsilon w(t)$ となる
  - いずれにしても歩数が無限大な酔歩の表現
- このようなと観測データからの推測について、minimax推定するというのは
  - を求めること
    - リスク関数は $F,\epsilon$ で決まっていて、真の関数は $F$ を満足するものとの仮定の上で、最悪のシナリオでのリスク関数値が最小となるような $\hat{f}$ を求めましょう、と。
さて、フーリエ変換とこの話をつなげます
- 区間は $[0,1]$ として
- 関数 $f$ について、 $\theta_k = \langle f, \phi_k \rangle = \int_0^1 f \times \phi_k$ とした上で
- $a_0=1$
- $\phi_{2k-1}(t) = \sqrt{2} \sin{2\pi kt},\phi_{2k}(t)=\sqrt{2} \cos{2\pi kt}; k=1,2,...$ とすると
- これは、がフーリエ変換の係数となる
  - $a_0=1$ なのは、区間 $[0,1]$ での平均を与える分であり、 $\sqrt{2}$ が登場するのは、同区間で $\int_0^1 \phi_k^2 =1$ とするためである
- このような $\phi$ を持ちだすと $\theta$ という無限列ができる
- 続いて、 $a=(a_0,a_1,...)$ という無限列を持ちだす。 $a_0=0,a_{2k-1}=a_{2k}=(2k)^{\alpha};k=1,2,...$
- ここでととを使ってという楕球型の制約関数空間を次のように定める
  - $\Theta_2^{\infty} = \{ \theta : \sum_0^{\infty} a_k^2 \theta_k^2 \le C^2\}$
- ここで、ある関数 $f$ がフーリエ変換で $f=\sum \theta_k \phi_k$ と表されるとする
- そのとき、 $\int \phi_i \times \phi_j = 0;i \ne j$ であるから、 $\int [f^{(\alpha)}]^2 = \sum \alpha_k^2 \int (\phi_k^{(\alpha)})^2$
- また、 $\phi ^{(\alpha)}$ は、 $(2\pi k)^{\alpha}$ が前に出つつ、 $\sin{2\pi kt}$ と $\cos{2\pi k t}$ とが正負を適宜変えながら交代するという簡単な仕組みになっている
- しかも、 $\phi^2$ のとき正負は気にしなくてもよく、 $\sqrt{2}\sin{2\pi kt}$ の $\sqrt{2}$ は区間 $[0,1]$ で積分して1になるような補正係数とみなすこともできたから
- 結局 $\int [f^{(\alpha)}]^2=\sum(2\pi k)^{2\alpha} \theta_k^2$ となるが、ここで $a_k=(2k)^{\alpha}$ であるから
- $\int [f^{(\alpha)}]^2 = \pi^{2\alpha} \sum a_k^2\theta_k^2$ となる
- ここで次の２つの表現は同じこと
  - $\int [f^{(\alpha)}]^2 \le K^2$
  - - $C= \frac{K}{\pi^{\alpha}}$
- 一つ目の表現は関数の滑らか条件
- 二つ目の表現は楕球制約
  - フーリエ変換するということは、「どこまでも滑らか(いくらでも微分できる)」ような平滑化なわけだけれど、フーリエシリーズの有限個の組合せで表すとすれば、それは、「k=...」を切り捨てることにも通じる。また、それを楕球制約の視点からすると、「k=...」な項は0とした上で、 $\frac{K}{\alpha}$ 的な $\alpha$ に関する勢いで制約関数空間を狭くする、という意味合いになっている(ようだ)