Covariance Functions

  • 資料
  • Gaussian過程には分散共分散行列を使う
  • それをつくるには、2点に対して値を計算する関数が要る。それがCovariance functions
  • 2点の差ベクトルで決まると考える場合(x-x')
  • 2点間距離で決まると考える場合(r=|x-x'|)
  • それ以外の距離っぽい定義で決まると考える場合(測地線距離、内積など)
  • などがある
  • rで決まるものが考えやすいが、rの関数はあまたある
  • 網羅的にそれを表すのが、Matern class of Covariance Functions
  • k_{Matern;\nu}(r) = \frac{2^{1-r}}{\Gamma(\nu)} (\frac{\sqrt{2\nu}r}{l})^\nu \times K_\nu (\frac{\sqrt{2\nu}r}{l})
    • ただし、K_\nu (x)= \frac{J_\nu(x) \cos{(\nu \pi)} - J_{-\nu}(x)}{\sin{(\nu \pi)}} (第2種ベッセル関数)
    • ただし、J_\nu (x) = \sum_{m=0} ^{\infty} \frac{(-1)^m}{m! (m+\nu +1)}(\frac{x}{2})^{2m+\nu} (第1種ベッセル関数)
    • これっておどろおどろしいのだけれど
      • \nu \to \inftyでSquare exponential covariance matrix(二乗距離に応じた指数関数的減少関数)
      • \nu = p + \frac{1}{2}を取らせると、指数関数とp次多項式で表される関数になる
        • k_{p+1/2}(r) = exp(-\frac{\sqrt{2\nu}r}{l}) \frac{\Gamma(p+1)}{\Gamma(2p+1)} \sum_{i=0}^p \frac{(p+i)!}{i!(p-i)!} (\frac{\sqrt{8\nu}r}{l})^{p-i}
      • \nu微分可能な回数も定めていて、それは、Covariance functionに要請する滑らかさをコントロールする
      • 具体的には(それなりに滑らかにしたいならこの辺りがよい)
        • \nu = 3/2のとき(1+\frac{\sqrt{3} r}{l}) e^{-\frac{\sqrt{3} r}{l}
        • \nu = 5/2のとき(1+\frac{\sqrt{5} r}{l} + \frac{5 r^2}{3 l^2}) e^{-\frac{\sqrt{5} r}{l}
      • もっと粗くするなら\nu = 1/2e^{-\frac{r}{l}}。これは1次元なら酔歩のときの速度の変化モデルであるOrnstein-Uhlenbeck過程