Chap 2 The multivariate normal distribution:ぱらぱらめくる『Gaussian estimation: Sequence and wavelet models』

  • 正規分布のパラメタ推定は「基礎」
  • infinite dimensional Gaussian sequence modelはそれをベースにする。また、それはノンパラな性格を持つ
  • James-Stein推定
    • n個の観察があってそれぞれ観察誤差があったときに、観察値そのものを推定値とするのはあり
    • 観察値よりも小さく(全標本の真の平均寄りに)shrinkageしてそれを推定値とするのもよい。その場合、真の平均値に近いものの推定値は観測値そのものを推定値とするよりも良くなる(が反対に外れている標本は観測値そのものを推定値にするより推定が悪くなる)
    • 外れていても観測値そのものよりも良くなるような取り方もあって、それがJames-Sterin推定量
    • 全体の平均からのずれを横軸に、その横軸ごとに、最小二乗誤差の期待値がどうなるかを示す。観測値そのままの場合は、横軸に関わらず一定だが、shrinkage法では、近いときはよいが遠いときはだめ、JSは近いときは良く、遠くなっても観測値それ自体よりわるくなることはない、そんな様子が見て取れる

n <- 20
epliron <- 1
theta <- seq(from=-10,to=20,length=1000)
theta.I <- rep(n*epsilon^2,length(theta))
c1 <- 0.25
c2 <- 0.5
c3 <- 0.7
theta.c1 <- c1^2*n*epsilon^2+(1-c1^2)*theta^2
theta.c2 <- c2^2*n*epsilon^2+(1-c2^2)*theta^2
theta.c3 <- c3^2*n*epsilon^2+(1-c3^2)*theta^2
theta.js <- 2*epsilon^2+(n-2)*epsilon^2*theta^2/((n-2)*epsilon^2+theta^2)

Theta <- cbind(theta.I,theta.c1,theta.c2,theta.c3,theta.js)
matplot(theta,Theta,type="l",ylim=c(0,50))
  • ペナルティ関数の意味、二次形式
  • 標本の分布、標本の分布が与えられたときの観測値の分布、などを定義してベイズの枠組みを入れる
  • 正規分布でこれらを扱う限り、行列、分散・共分散行列などで式表現できる
  • 最小二乗法、分散分解
  • 最尤推定とJS推定