指数型分布族の間のKLd

  • 一般的な関係式がある
  • 指数分布族の自然パラメタ表現でのポテンシャル関数\phi(\theta)によって定まる
  • p(x|\theta) = e^{C(x)+\eta(\theta) T(x) - \phi(\theta)}
  • KL(q||p) = \phi(\theta_p)-\phi(\theta_q) - (\theta_p-\theta_q)\cdot \nabla \phi(\theta_q)
  • ミスプリ???要、確認