偏微分(駆け足で読む統計学のための数学入門30講 25 26)

• 第25講　偏微分と微分
• 第26講　テイラーの公式と極値問題

微分は１変数において定義されている。偏微分はその多変数への拡張である。１変数における「意味」を「２次元空間上への関数のプロットとその傾きと面積」とすれば、『n多変数への拡張』とは「n+1次元空間への関数のプロットとその減次元空間における傾きとk>=3次元体積」である。

• 偏微分関数はなどと書く
• p個の多変数による累積分布関数(同時累積分布関数)がとあらわされ、のすべての要素について偏微分可能であれば、その同時確率密度関数はとなる
• この同時確率密度関数の対数をとると、対数尤度関数となり、それを、変数で偏微分の値がゼロとしたp個の方程式が対数尤度方程式であり、それらを満足する変数の値のセットが対数尤度関数の極大(小)値を与えることから、最尤推定はこのp次対数尤度方程式を解くことからも求められる。ただし、１変数の場合に対数尤度方程式を解くことは、極大値か極小値のいずれかを求めることであったが、多変数の場合には、『すべての変数について極大』であるか『すべての変数について極小』である場合には、多変数関数として『極大(もしくは)極小』となるものの、『一部の変数で極大、一部の変数で極小』であるとき、それは、『鞍点（峠みたいなところ)』であって、極大でも極小でもない(極値の判定については、後述)
• 合成関数の微分。１次関数とその微分で成立した合成関数の微分が多次元関数とその偏微分でも成り立つ。合成関数につき、
• １次関数で成り立ったテイラーの公式も同様に多次元関数でも成り立つ。ただし、n次微分の項の数は、変数の組み合わせを考慮する必要がある(x,yの２変数のときの２次の項はの３通りである)
  
  • 多変数のテイラーの公式は、偏微分を成分とする行列である「ヘッセ行列」を用いて次のように表せる(２変数の場合を示す）
    
    • ただしは３次以上の剰余項。をヘッセ行列と言う
• 極値の判定
  
  • ヘッセ行列の固有値がすべて負なら(a,b)で極大
  • ヘッセ行列の固有値がすべて正なら(a,b)で極小
  • ヘッセ行列の固有値が正負混在なら(a,b)で鞍点
• 多変量解析にて回帰式の係数を求めることは、係数を変数としてその最小値を求めることであり、偏微分してゼロと置いた方程式を解き、それが極小になっていることを確認する