統計多様体 どうして「期待値」を出すの?

  • 統計多様体のフィッシャー情報行列を出しましょうというと
    • E[\partial_{\theta_i} \log(p_\theta (w) \partial_{\theta_j}\log_\theta (w) ]とか、『期待値』を計算する
    • どうしてかっていうと、『各点』は確率密度分布で、それぞれの『点』である確率密度分布と、その近傍の『点』である確率密度分布とをつないだときの変化具合は、「分布」と「分布」の違いで見るわけだが、それぞれの分布が台全体に広がっているので、「違い」をスカラーにするには、全体を見渡す必要があって、その見渡すときには、発生確率で重みづけた平均(期待値)が適当だから
  • じゃあ、どうして2階偏微分か、というと、「傾き」に興味があるのではなくて、「傾きがどれくらい曲がっているか・変化しているか」に興味があるから