残差平方



  • Multiple correlation coefficientの記事はこちらであるが、この記事で
  • ¥sum_i(Y_i-¥bar{Y})^2=¥sum_i(Y_i-¥hat{Y_i})^2+¥sum_i(¥hat{Y_i}-¥bar{Y})^2(☆)を用いた
  • この関係を式変形で示しておく
  • 前提として、¥hat{Y_i}は、¥hat{Y_i}=¥sum_kb_k X_{ki}+b_0と書き表せて、このとき、a,bは、Y_i=¥sum_k b_kX_{ki}+b_0+¥epsilon_iと表したときに、¥sum_i(Y_i-¥hat{Y_i})^2が最小となるようなb_0,b_1,...,b_Kを最小自乗法で求めた解である。ただし、¥bar{Y}=¥frac{¥sum_iY_i}{n}
  • ¥sum_i(Y_i-¥hat{Y_i})^2式を、最小自乗法の解であるから、変数b_0,b_1,...,b_K偏微分した式は、いずれも0である
    • -2¥sum_i X_{ki}(Y_i-¥hat{Y_i}) = 0...b_k微分したとき(*1)
    • -2¥sum_i (Y_i-¥hat{Y_i}) = 0...b_0微分したとき(*2)
  • (☆)式の左辺と右辺の差を、変換して行くと次のようになる
  • ¥sum_i(Y_i-¥bar{Y})^2-¥sum_i(Y_i-¥hat{Y_i})^2-¥sum_i(¥hat{Y_i}-¥bar{Y})^2
  • ¥sum_i(Y_i^2-2Y_i¥bar{Y}+¥bar{Y}^2 - Y_i^2+2Y_i¥hat{Y_i}-¥hat{Y_i}^2-¥hat{Y_i}^2+2¥hat{Y_i}¥bar{Y}-¥bar{Y}^2)
  • ¥sum_i(-2Y_i¥bar{Y}+2Y_i¥hat{Y_i}-¥hat{Y_i}^2-¥hat{Y_i}^2+2¥bar{Y}¥hat{Y_i})
  • 2¥sum_i(-Y_i¥bar{Y}+Y_i¥hat{Y_i}-¥hat{Y_i}^2+¥bar{Y}¥hat{Y_i})
  • 2¥sum_i(¥hat{Y_i}(Y_i-¥hat{Y_i})-¥bar{Y}(Y_i-¥hat{Y_i}))
  • 2¥sum_i(¥hat{Y_i}(Y_i-¥hat{Y_i}))-2¥bar{Y}¥sum_i(Y_i-¥hat{Y_i})
    • この式の第2項は式(*2)より0
    • この式の第1項は式(*1)(*2)より0
  • したがって、(☆)の左辺と右辺は等しい