ベクトル微分と条件付き極値問題(駆け足で読む統計学のための数学入門30講 27)

• 第27講　ベクトル微分と条件付き極値問題

• ベクトル微分

偏微分は多変数にて個別に偏微分をし、また高次の偏微分は変数の順列・組み合わせで偏微分をする。その表記は煩雑になるが、多変数をベクトルとして、また、多変数の組み合わせを行列にて表現することで簡素な表現で済む。微分に線形代数の記法を取り込んだのがベクトル微分である

• 条件付き極値問題

２変数にてイメージをつかみ高次元について理解する。

今、なる関数がある。これは、x-y平面上の点に対して、z値を与え、それが３次元空間に広がる面を表している。今、この３次元空間中の面の極値とは、x-y平面に対して、z軸方向に値が増えもせず減りもしない点である。今、この面上に線を引き、その線における極値を考える。例として、山を表す面があるとする。この極大値は「頂上」である。この山を表す面に頂上を囲むかたちで円を引いたとする。これは３次元空間中の線を表す。この線にも高低の値(z軸方向の値)があるので、線上の極値は存在する。しかしながら、その極値は面の極値(「頂上」）とは異なり、方向を変えると明らかに勾配がある（山の頂上を左手に見ながら山麓をぐるっと一周する道において、たしかに上り詰める点はあるが、そこも山の斜面を横切っているという喩えでよいだろう）。このように面上に引かれた線の極値を考えるのが、「条件付き極値問題」である。このことは、尤度関数で言えば、条件付き確率の最尤推定値を求めることに相当する。３次元空間中の線の極値においては、その微小局所にてz軸方向の値が増えもせず減りもしない。先ほどの山麓の道のたとえで言うと、z軸方向の増減がないのはある向きにおいてのみであり、それ以外の向きにおいては、z軸方向の増減は存在している。それはどういう場合かと言うと、面の傾きが線の向きに対して直行している場合である。面の傾きは「方向」と「勾配」とで決まるが、「方向」はととの比で決まる。今、「線」を関数で表すととなるとする。これは、のx-y平面との交線に相当する。「山麓の道」はこの交線の平面への射影である。面にも面の傾きがあり、両面の傾きの向きが一致することが「山麓の道の方向と斜面の傾きが直行する」ことを意味する（若干飛躍があるが）ので

このことから、についての条件のもとでの極値を解くことはをなるについて解くことに相当し、このをラグランジュ乗数と呼び、これを解くことは、行列の固有値・固有ベクトルを求めることに一致している。