２項分布とベータ分布、生起確率と尤度

• ２項分布
  
  • Aかaかのどちらか片方が確率P(A)、P(a)（;P(A)+P(a)=1)で起きるとする。このような事象がN回、独立に起きるときに、Aがn(A)回、aがN(a)回（;N(A)+N(a)=N)、起きる確率(;２項確率)は次の式で与えられる
    
    • 
      
      • を満たしている。
    • AがN(A)回おきるので、同様にaがN(a)で。これに、N回のうちN(A)回とN(a)回とへの振り分けパターンの項 をかけている。
  • この式には階乗()が用いられている。これは離散関数であるが、これを連続関数で表すこととする。階乗の定義を実数域に拡張したガンマ関数()を用いて表す。
    
    • 
  • ガンマ関数を用いて、２項確率の式を書き直すと
    
    • 
  • ガンマ関数を分子分母に３つ使っている項は定型的なので、これを表したベータ関数(B(a,b))を用いる。
    
    • 
      
      • を思い出せば、であるから
      • 
      • もう１段、変形して、
      • したがって、->こちらも参考に
    • ２項分布が、試行N回の観測事象回数(n=(N(A),N(a)))と事象確率(p=(P(A),P(a)))と、それに基づくベータ関数で表された。
      
      • もちろんを満足している。これは、ある確率分布で起きる事象について、N回の独立事象を観測したときの観測度数の確率分布である。
• ベータ分布
  
  • このような形を持ち、連続関数であり、かつ、確率密度分布となっているものに、ベータ分布がある。
    
    • 
      
      • 
    • この式を、２項確率の方式で表すと、、の対応関係があるから、
      
      • 
      • これは書き換えて、
        
        • 確率密度分布としての性格(pの分布について積分すると１になる)ということは、あるが与えられたときに、それに対応したpの確率密度分布となっていることを意味する。これは、観測データにおける、事象の生起確率の尤度の分布に対応している。
• ２項分布とベータ分布との関係
  
  • 
    
    • 
  • 
    
    • 
  • ２項分布は、事象の生起確率がわかっているときに観測データが得られる確率を与え、ベータ分布は観測データが与えられたときにその事象の生起確率の尤度分布を与えている。前者は、事象の生起確率が与えられたときに、観測データが取りうる範囲(離散空間)について積分して、その総和が１となっていることに対応しているのに対し、後者は、観測データが与えられたときに、事象の生起確率について積分して、その総和が１となっていることに対応している。
  • 前者では事象の生起確率の観測度数乗およびベータ関数に、N(観測事象の総回数)に応じた数(N+1)に関する項があるのに対して、後者には、その項はない。これは、後者がという長さ１の範囲での積分であるのに対して、前者はという長さN+1の離散点に渡る積分であることに由来する項である。
  • 観測データを基に生起確率密度分布を推定し、生起確率密度分布から観測事象を発生させ、また生起確率密度分布を推定して・・・という手順を取るにあたり、ベータ分布を事前を事前確率とした場合、２項分布で発生する事象について、事後確率もベータ分布となる。このような関係にあるとき、ベータ分布を２項分布の共役事前分布と呼ぶ。確率密度分布とその共役事前分布との関係には、２項分布<-ベータ分布のほかに、多項分布<-ディリクレ分布、ポワッソン分布<-ガンマ分布などがある。