Solving the Likelihood Euations

  • 昨日の記事の続き
  • 論文はこちら
  • 計算機代数統計的に尤度関数を解くのはこんな感じ
    • 尤度関数は必ずしも凸ではなく、そうすると複数の極大値があり得る
    • 探索すると最大値にたどり着き損ねるので、すべての微分0の点を列挙して
    • それらを比較して最大値を得ることとする
    • それができるか、というと
    • 複素数解を許せば、得られるべき解の数も決まるし、その数のことをMakimum likelihood degree (of the model) と呼ぶ
    • そのような解の列挙はできるので、複素数空間でひとまず解く
    • そのうえで、有効な解空間内にあるものを拾いだす
  • 確率の単体\Delta_n = \{(p_0,...,p_n) \in \mathbf{R}^{n+1}: p_i  \ge 0 \text{ and } \sum_{i=0}^n p_i = 1\}を考える
  • (p_i)が(対数)尤度関数を構成する
  • 微分が0の条件から、連立多項式ができる(斉次な多項式でないと射影空間で代数多様体として扱えないので斉次が必要)
  • ここで連立多項式の解を複素数の空間で漏れなく列挙するために、連立多項式を複素射影空間\mathbf{P}^n代数多様体として取り扱うこととする(PはProjectiveのP)。こうすることで、「無限遠点」が解である場合などもそれが1個の解として扱われるので、解の個数は条件によらず常に等しくなる
  • また、このような解の個数が構成要素のdegreeの積となるという条件も満たすことから、単純に計算できることも強み
  • そんな、こんなで、尤度関数を代数計算するアルゴリズム(Algorithm 6)と尤度関数の極大を与える点を代数計算するアルゴリズム(Algorithm 8)が作れます(とここまで至るのに、証明とアルゴリズムの説明が続きますが…追えません。けど、気にせず、先へ)
  • 尤度関数が書けて、それについての最尤推定をしてもよいし
  • さらに制約を入れれば、そのうえでの複素射影空間での解の数の列挙を経て最尤推定してもよい