Chap 3 The infinite Gaussian sequence model：ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

あいかわらず正規分布なので、正規分布の確率密度関数と同じ形をした式が登場し、それをもとにminimax評価をする話が続く
「推定側」と「裏をかく側」とのせめぎ合い、ということだが、「裏をかく側」が完全に自由だとパラメタ推定にならないので、制限を入れることにする
そんな制限として、楕球と超直方体が考えるのは悪くない
線形推定っていうのは、観察値列に行列を作用させて、それぞれの観察値に対応する推定値を定める方法全般のこと
- カーネル平均、局所多項式近似、スプライン近似、直交変換、ウィーナーフィルタなど、全部これ
- そうすると、それらのMSEの計算も、その行列を使った式として統一的に表すことができる。行列の定め方の違いのみが手法の違いということになる
が観測値と推定値を結ぶ行列だとする
- 観測値を期待値とする、というのは $M$ が単位行列の場合
- 観測値が平均の周辺のときは、その値につぶして、平均から遠いときだけ、観測値を尊重する、というような場合の $M$ は単位行列の対角成分の一部を０にしたものになる
- これと同様に、単位行列のなかのある一定数の対角成分だけを1にして残りを０にすることもできて、そんな $M$ を用いることもできる
- それ以外にもいろいろな行列による線形変換が考えられる
  - カーネル推定のときは、観測値をその周囲に分配するというルールに従って $M$ を定めることができる
  - 一定値でつぶす、というのもそう
- これと似ているのがスペクトル分解で、スペクトル分解の場合には、回転行列と対角行列と逆回転行列に分解することで、「回転後の軸の重みづけ」をすることができる
  - このような軸回転をしたあとで、「対角成分の小さい部分は０に潰す」と、単位行列の部分を０に潰すのと似たような作用である
  - この場合は、個々の観測値からのそれに対応する推定値を計算するときには、「すべての観測値」に「つぶした効果」が分配されると言う点では、上記の方法とは違うが、「対角成分として一部分だけを採用する」という点では共通している
- 実は、平均の周囲に云々、という話をすると、対角成分としてある部分をのみ採用して残りを０にする、という手心を加えないと、推定値-真値の差の二乗和は「無限モデル」では無限大になってしまう。逆に、手心を加えると、有限に納められる
- その観点から言って、「観測値そのままを推定値とする」というのは「発散」しうると言う点で特別で、それ以外は、みな、「つぶす・端折る」ことによって、あてはまりをそこそこに抑えるという働きをしていることがわかる
そのことについて、理論的に、正規分布に基づいて、色々と示しているのがこの章