平滑化とフーリエ変換と楕球制約

  • こちらでGaussian Sequence Modelをなぞっている。その一環
  • Ellipsoid制約をした関数のパラメタ空間とは、\Theta(a,C)  \{\theta: \sum_{0}^{\infty} a_k ^2 \theta_k^2 \le C^2\}と表す
    • ある限定した関数の集合\Thetaは無限長ベクトル\thetaを要素とする集合であって、無限長ベクトルaと実数Cとで表される楕球の内部と表面とに対応づけられる。もちろん\sum_0^{\infty} a_k^2 \theta_k^2=C'^2というのは、楕球を表す式である
  • 平滑化(Smoothing)は、「滑らかな線(など)を引く」ことと導関数
    • じゃあ「滑らか」って何?
    • 線があって、途切れていたら、それは「断絶」していて、「絶対に」「滑らか」ではない。したがって、「線」が「つながって」いることは大事
    • 「線がつながっている」というのは、「連続」ということで、\frac{df(x)}{dx}が有限
    • 連続なだけでは折れ線になってしまうから、折れ線にならないようにするにはf^{(1)}(x)=\frac{f(x+dx)-f(x)}{dx}が連続。ということで\frac{d f^{(1)}(x)}{dx}が有限
    • f^{(1)}(x)もがたぼこでなくしようと思うと、\frac{df^{(2)}(x)}{dx}が有限...
    • となって、滑らかの要求の強さに応じてf^{(\alpha)}(x)が有限であってほしくなる
    • というわけで、滑らかな関数を推定するときには、\alpha階の微分について\int [f^{(\alpha)}]^2 df \le L^2のような条件を付ける
    • このような\thetaaとを使って\Theta_2^{\alpha}(C) = \{\theta:\sum_{0}^{\infty} a_k^2 \theta_k^2 \le C^2\}と言う楕球な制約関数空間を定める
  • 平滑化制約
    • 導関数を用いてあまたある関数に制約を入れることにします
    • F = F(\alpha, K) = \{f \in L_2[0,1] : \int_0^1 [f^{(\alpha)}(t)]^2 \le K^2\}
    • これは次のような意味である
      • Fという関数の部分集合は\alpha,Kという2つのパラメタで定まるものである。fはL_2(l_2ノルムで定義される関数空間L_2の関数であって、0から1の範囲を台とする(ここでこのような範囲にするのは、以降の有限範囲フーリエ変換での話をするためであって、台の定め方は本質ではない)。その台の範囲について、\alpha導関数の「関数的ノルム」のようなものは上記のような積分で表されるが、それは、もう一つのパラメタKによって上限がある
  • 平滑化という処理とは、そもそも?
    • x \in [0,1]に観察をしたときに、『何かしら滑らかだけれど、乱雑項が入って観察されている』という事前知識を基に、「滑らかな何か」を推定するという作業が、平滑化という処理
    • それを式を用いて表すと
      • Y(t) = \int_0^t f(s) ds + \epsilon w(t)となる
        • fという(有限な)値を積み重ねてできる滑らかな線があり、そこに乱雑項\epsilon w(t)が加わって観察される、と
      • 別の書き方をすれば
        • dY(t) = f(t) dt + \epsilon w(t)となる
      • いずれにしても歩数が無限大な酔歩の表現
    • このようなfと観測データからの推測\hat{f}について、minimax推定するというのは
      • R_N(F,\epsilon) = inf_{\hat{f}} sup_{f \in F} E\int_0^1 [\hat{f}-f]^2を求めること
        • リスク関数はF,\epsilonで決まっていて、真の関数はFを満足するものとの仮定の上で、最悪のシナリオでのリスク関数値が最小となるような\hat{f}を求めましょう、と。
  • さて、フーリエ変換とこの話をつなげます
    • 区間[0,1]として
    • 関数fについて、\theta_k = \langle f, \phi_k \rangle = \int_0^1 f \times \phi_kとした上で
    • a_0=1
    • \phi_{2k-1}(t) = \sqrt{2} \sin{2\pi kt},\phi_{2k}(t)=\sqrt{2} \cos{2\pi kt}; k=1,2,...とすると
    • これは、\thetaフーリエ変換の係数となる
      • a_0=1なのは、区間[0,1]での平均を与える分であり、\sqrt{2}が登場するのは、同区間\int_0^1 \phi_k^2 =1とするためである
    • このような\phiを持ちだすと\thetaという無限列ができる
    • 続いて、a=(a_0,a_1,...)という無限列を持ちだす。a_0=0,a_{2k-1}=a_{2k}=(2k)^{\alpha};k=1,2,...
    • ここで\thetaaとを使って\Theta_2^{\alpha}(C)という楕球型の制約関数空間を次のように定める
      • \Theta_2^{\infty} = \{ \theta : \sum_0^{\infty} a_k^2 \theta_k^2 \le C^2\}
    • ここで、ある関数fフーリエ変換f=\sum \theta_k \phi_kと表されるとする
    • そのとき、\int \phi_i \times \phi_j = 0;i \ne jであるから、\int [f^{(\alpha)}]^2 = \sum \alpha_k^2 \int  (\phi_k^{(\alpha)})^2
    • また、\phi ^{(\alpha)}は、(2\pi k)^{\alpha}が前に出つつ、\sin{2\pi kt}\cos{2\pi k t}とが正負を適宜変えながら交代するという簡単な仕組みになっている
    • しかも、\phi^2のとき正負は気にしなくてもよく、\sqrt{2}\sin{2\pi kt}\sqrt{2}区間[0,1]積分して1になるような補正係数とみなすこともできたから
    • 結局\int [f^{(\alpha)}]^2=\sum(2\pi k)^{2\alpha} \theta_k^2となるが、ここでa_k=(2k)^{\alpha}であるから
    • \int [f^{(\alpha)}]^2 = \pi^{2\alpha} \sum a_k^2\theta_k^2となる
    • ここで次の2つの表現は同じこと
      • \int [f^{(\alpha)}]^2 \le K^2
      • \sum a_k^2 \theta_k^2 \le (\frac{K}{\pi^{\alpha}})^2 = C^2
        • C= \frac{K}{\pi^{\alpha}}
    • 一つ目の表現は関数の滑らか条件
    • 二つ目の表現は楕球制約
      • フーリエ変換するということは、「どこまでも滑らか(いくらでも微分できる)」ような平滑化なわけだけれど、フーリエシリーズの有限個の組合せで表すとすれば、それは、「k=...」を切り捨てることにも通じる。また、それを楕球制約の視点からすると、「k=...」な項は0とした上で、\frac{K}{\alpha}的な\alphaに関する勢いで制約関数空間を狭くする、という意味合いになっている(ようだ)