射影と射影行列(駆け足で読む統計学のための数学入門30講 21)

  • 第21講 射影と射影行列


k個のp次元ベクトルが張る部分ベクトル空間¥bf{M}があり、その直交補空間¥bf{M^{¥bot}}がある。今、p次元ベクトル空間上の任意のベクトル¥bf{x}¥bf{M},¥bf{M^{¥bot}}上のベクトルに分解できて¥bf{x}=¥bf{x_1}+¥bf{x_2} (¥bf{x_1}¥in¥bf{M},¥bf{x_2}¥in¥bf{M^{¥bot}})と表せる。¥bf{x_1}¥bf{M}への¥bf{x_2}¥bf{M^{¥bot}}への射影と呼ぶ。また¥bf{x_1}=¥bf{P_M x}¥in¥bf{M}なる¥bf{P_M}¥bf{M}への射影行列と呼ぶ

  • 射影行列には次の性質がある
    • ¥bf{P_M}=¥bf{A(A^TA)^{-1}A^T}
    • ¥bf{P_{M^{¥bot}}}=¥bf{B(B^TB)^{-1}}=¥bf{I_p-P_M}
    • ¥bf{P_M},¥bf{P_{M^{¥bot}}}は対称行列でありべき等行列である
    • tr(¥bf{P_M})=k,tr(¥bf{P_{M^{¥bot}}})=p-k
    • rank(¥bf{P_M})=k,rank(¥bf{P_{M^{_¥bot}}})=p-k
  • 統計学の重回帰分析では、目的変数ベクトルを説明変数ベクトルの張る部分ベクトル空間への射影を求めている。また、残差ベクトルは直交補空間への射影となっている