2014-03-23

関数空間 lp空間

関数空間ノルム lp lpノルムパラメタ空間

こちらでGaussian Sequence Modelをなぞっている。その一環
第３章 p58に"Suppose that is restricted to lie in a parameter space "っていうフレーズがある。これがわからない…
- 今、考えている『対象』があって、たとえば、１次元空間 $R$ を台とする空間に何か曲線のようなものが『真値』としてあるようだが、その曲線に乱雑項を持って観測されているとする。
- そのとき、『真値』たる曲線を $\theta$ とする。連続空間だから、この $\theta$ を地道にすべての値ペア( $(x,y);x \in R$ )とかで定義することもできるけど、∞の要素数になるし、やってられない。
- それを、限定された数のパラメタで表せる関数に限定する、という意味
- さらに、そのパラメタのセットで表された関数の1つ1つは、パラメタ空間上の点に対応するけれど、その関数が置かれているパラメタ空間は $l_2$ ノルムで定義された $L_2$ 関数空間であって、それを $\Theta$ と書くことにしよう、ということ(らしい)
以下に、この説明に出てくる用語に関する記事へのリンク
関数空間
- 関数の全体を幾何学的な考察の対象としてとらえたもの。その空間において連続・微分可能などの条件を満たせば、その空間上に尤度関数が置かれたりして最大尤度をもたらす関数に対応する点が見つかったりする
空間とは『p-ノルムの自然な一般化を用いることで定義される関数空間である。』(Wikiの空間(こちら))
- ノルム:
  - マンハッタン距離・マンハッタンノルムは $l_1$ ノルム、ユークリッド距離は $l_2$ ノルム
- ノルムの場合は $l_p$ と $l$ を小文字で、ノルムが定義された「普通の空間」は $l_p$ 空間と $l$ を小文字で表し、 $l_p$ ノルムで定義された関数空間としての $L_p$ 空間の場合は $L$ を大文字で表すようだ(？：Wikiの記事ではそうなっている)
- "p = 2 の時、空間 ℓ2 のように、空間はそのクラスの内ただ一つのヒルベルト空間となる。"(Wiki記事)
  - これを、 $l_2$ とか $L_2$ とか $l_2$ ノルムを使った「普通の空間 $l_2$ 」はヒトが慣れた空間で、そこには成り立つ素敵なことがたくさんあるが、それに対応する関数空間としての $L_2$ もそう…という意味の文
さて、このパラメタ空間とノルムうんぬんに引き続いて…
$\Theta$ としてどんなのを取ってもよいとすると、コンパクトでないようなのも取れる(すぐ隣にまったく違う値をとってもよい・・・近隣の情報が役に立たない)が、それを許すような $\Theta$ の場合には、最悪のシナリオを想定するとリスク関数値( $E(||\hat{\theta}-\theta||^2$ )は∞になりうるようにできる。それに対して $\Theta$ をコンパクトであると限定して定めると、さすがに上限があるでしょう、上限があれば、 $\Theta$ の要素ごとにその最大値同士の大小も比較できますね、という話が続いている(ただしコンパクトであることは必要条件ではない)。
実際どんな風に制限するかというと、２つの代表例
- 原点を中心に楕球に制限
- 原点を中心に多次元直方体に制限
ついで、[0,1]区間のホワイトノイズをフーリエ変換(三角関数のシリーズを使ってmean squared errorで取り扱う)する話を関数の微分を介して楕球制限でのminimaxリスク解であることを示している