5 Standard Posterior Distribution 事後分布が正規分布の場合 ぱらぱらめくる『Mathematical Theory of Bayesian Statistics』

  • モデルが真の分布を含み、推定にあたり、漸近的に正規分布を想定できる場合は簡単。ベイズ推定と最尤推定とがほぼ一致するから
  • 真の分布は正規分布とはみなせないことも多く、その場合は、ベイズ推定のあてはまりがよくなる
  • p(w) \propto exp(-n w_1^{2k_1} w_2^{2k_2} ... w_d^{2k_d})と一般化できる(そうだ)
  • この章では、この表現ができるならば、free energy, generalization lossについて有用なことが証明できることを示す
  • これは、ランダム標本から、その母分布を推定するにあたり、ある確率モデルがwでパラメタライズされているときに、その推定にあたり、wの事後分布の形はこのような形(中心があって、2k_i乗的に減衰するようになっていて、しかも、標本数nによって、その事後分布の集中の良さが指定できる、という式である