固有値と固有ベクトル、対称行列での利用(駆け足で読む統計学のための数学入門30講 22 23)


p次の西方行列¥bf{A}について¥bf{Ax}=¥lambda¥bf{x}を満足するスカラー¥lambda¥bf{A}固有値と呼ばれ、最大p個存在する。また¥bf{x}固有ベクトルと呼ばれる。¥bf{Ax}=¥lambda¥bf{x}¥bf{x}¥not = ¥bf{0}の解を持つためには、|¥bf{A}-¥bf{I_p}|=0でなくてはならず、これを固有方程式と呼ぶ。固有方程式はp次方程式であり、固有方程式の解がp個の異なる解を持つとき、¥bf{A}¥bf{¥Lambda}なる対角行列が存在して¥bf{P^{-1}AP}=¥bf{¥Lambda}とできるような¥bf{P}が存在する。これらはp次連立方程式線形代数的解法・解釈である

対称行列の固有値が存在するときそれらは実数で、また、異なる固有値に対応する固有ベクトルは相互に直行する。したがって、p次対称行列にp個の異なる固有値が存在するとき、それらに対応するp個の固有ベクトルは、p次ベクトル空間の基底となっている。また、そのような場合、¥bf{W^TAW}=¥Lambdaと対角化でき、それぞれの対角成分に対して、長さ1の固有ベクトルを対応させることで、p個の固有ベクトルのセットを得ることができる。Aをp個の固有値とp個の長さ1の固有ベクトルとを用いて、¥bf{A}=¥bf{W¥Lambda W^T}=¥lambda_1¥bf{w_1w_1^T}+¥lambda_2¥bf{w_2w_2^T}+¥cdots+¥lambda_p¥bf{w_pw_p^T}と書き表すことをスペクトル分解と呼ぶ

  • 統計学では、相対的に大きな固有値と無視できる固有値とが得られるとすると、大きな固有値とその固有ベクトルとその他の小さな成分とにスペクトル分解することは、主成分分析を選りだすことに相当する