行列式(駆け足で読む統計学のための数学入門30講 20)

• 第20講　行列式

正方行列に定義されたスカラー量の１つ。やと表す

• WikiPediaにあるサラスの方法が実計算レベルで一番早いか･･･
• p次正方行列の行列式の特徴
  
  • 
  • 対角行列の行列式は対角成分の積
  • 三角行列の行列式は対角成分の積
  • 
  • が正則ならば
  • が正則ならば
  • 
  • 直交行列の行列式は1または-1
  • が正定値行列ならば、
• 行列式の展開と余因子行列
  
  • p次正方行列の第i行と第j列を抜いた(p-1)行の正方行列をとし、の行列式を用いて、の余因子というものを次のように定義する。
  • 余因子でできたp次正方行列(余因子行列)は
    
    • 注意：通常のijのつき方と逆になる
  • 

射影と射影行列(駆け足で読む統計学のための数学入門30講 21)

• 第21講　射影と射影行列

k個のp次元ベクトルが張る部分ベクトル空間があり、その直交補空間がある。今、p次元ベクトル空間上の任意のベクトルは上のベクトルに分解できてと表せる。をへのをへの射影と呼ぶ。またなるをへの射影行列と呼ぶ

• 射影行列には次の性質がある
  
  • 
  • 
  • は対称行列でありべき等行列である
  • 
  • 
• 統計学の重回帰分析では、目的変数ベクトルを説明変数ベクトルの張る部分ベクトル空間への射影を求めている。また、残差ベクトルは直交補空間への射影となっている

第２部 線形代数

なお、この記事は、『統計学のための数学入門30講』シリーズ 科学のことばとしての数学 永田 靖 著 朝倉書店を教科書とし、遺伝統計学を学ぶための基礎を確認するためのものです。全体の目次はこちら

ベクトルと行列の加減・積(駆け足で読む統計学のための数学入門30講 14 15)

• 第14講　ベクトルと行列の加減
• 第15講　ベクトルと行列の積

• データはサンプルと変数の行列で表される
  
  • ベクトルや行列を使ってプログラミングができるとき(SやR)、大いに力を発揮する。そうでないと、要素単位での処理をすることになり、うまみが小さい
• ベクトル・行列の表記とトレース
  
  • p次縦ベクトル(列ベクトル)
    
    • 
  • p次横ベクトル(行ベクトル)：p次列ベクトルの転置ベクトルがp次行ベクトルであり
    
    • 
  • pxq行列
    
    • 
  • 行列の加減とスカラー倍は、行列の(i,j)要素同士の加減とスカラー倍
  • ゼロベクトル・ゼロ行列(全要素が0であるベクトル・行列)
    
    • 
    • 
  • 正方行列のトレース(対角成分の和)
    
    • 
    • トレースの性質
      
      • 
      • 
      • 
      • のすべての要素の自乗和)
      • 
      • のすべての固有値の和)
• ベクトルの内積と長さと単位ベクトル・行列の積
  
  • との内積は
  • の長さ
  • 単位ベクトルは長さ１のベクトル
    
    • 
  • ベクトルの作る角
    
    • 
  • 行列の積：pxq行列とqxr行列はqが共通なので、行列の積が計算できる
    
    • pxq行列とqxp行列との積は、要素数pのベクトルを用いて,と表すとき
      
      • 
  • ２次形式
    
    • p次元ベクトルとp次正方行列とが作るスカラー量の書き表し方のひとつ
      
      • (これはスカラー)
  • 統計学での使用
    
    • 多変量データをベクトル･行列で表すと、平方和・偏差積和・相関係数・分散共分散行列・相関係数行列などが、単純に書き表せる

[tex:\bf{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_p\end{patrix}]

[tex:\bf{x}][tex:\bf{x}^T]

[tex:\bf{x}^T=(x_1,x_2,\cdots,x_p)]

[tex:\bf{A}=\begin{pmatrix}a_{11}&a_{12}&\cdots&a_{1q}\\a_{21}&a_{22}&\cdots&a_{2q}\\ \vdots&\vdots&\cdots&\vdots\\a_{p1}&a_{p2}&\cdots&a_{pq}\end{pmatrix}]

[tex:\bf{0}=\begin{pmatrix}0\\0\\\vdots\\0\end{pmatrix}]

[tex:\bf{O}=\begin{pmatrix}0&0&\cdots&0\\0&0&\cdots&0\\\vdots&\vdots&\cdots&\vdots\\0&0&\cdots&0\end{pmatrix}]

いろいろな行列(名前のついた行列)(駆け足で読む統計学のための数学入門30講 16)

• 第16講　いろいろな行列

• 単位行列
  
  • 
• 逆行列
  
  • について
  • 
• 直交行列
  
  • のときは直交であるという
  • ベクトルに直交行列をかけても長さは不変
• 対称行列
  
  • のときは対称であるという
• 対角行列
  
  • 対角成分以外が0である正方行列
  • 対称行列の特殊な場合
• 三角行列
  
  • 対角成分の左下の成分がすべて0の正方行列が上三角行列、対角成分の右上の成分が全て0の正方行列が下三角行列
  • 上三角行列同士の積は上三角行列であり、積の対角成分は、対応する２つの上三角行列の対角成分の積になっている。下三角行列の場合も同様
• べき等行列(べき乗がもとの行列と同一である行列)
  
  • 単位行列はべき等行列の特殊型
  • 単位行列でないべき等行列は逆行列をもたない
• 正定値行列・非負定値行列
  
  • p次対象行列で、任意のp次元ベクトルについてを満たすようなを正定値行列と呼ぶ。のようなを非負定値行列と呼ぶ
    
    • 相関係数行列は非負定値行列である

行列の基本変形(駆け足で読む統計学のための数学入門30講 17)

• 第17講　行列の基本変形

• 基本行列
  
  • (i番目の対角成分のみcで、残りは単位行列と同じ)
  • (単位行列の第i列と第j列を入れ替えたもの)
  • (単位行列で(i,j)成分だけをcに置き換えたもの)
  • 基本行列のはたらき
    
    • を右からかけると第i列がc倍される
    • を左からかけると第i行がc倍される
    • を右からかけると第i列と第j列が入れ替わる
    • を左からかけると第i行と第j行が入れ替わる
    • を右からかけると第i列をc倍して第j列に加える
    • を左からかけると第 j 行をc倍して第 i 行に加える

部分ベクトル空間(駆け足で読む統計学のための数学入門30講 18)

• 第18講　部分ベクトル空間

• p次元ベクトルはp個の互いに１次独立なp次元ベクトルの１次結合で表せる(このベクトルのセットを基底と呼ぶ)
  
  • 基底の構成ベクトルは互いに直交する
  • 基底の構成ベクトルは長さが１であると便利であるが、その方法としてグラム・シュミットの直交化法と呼ばれる方法がある
• p個のp次元１次ベクトル(第i成分が１でそれ以外が0であるベクトル：基本ベクトル)は互いに１次独立なp次元ベクトルのセットである(基本ベクトルのセットを標準基底と呼ぶ)
• p次ベクトルはp次元空間を構成し、基底はそのp方向のを決めている。p次元空間には、q()次元の空間(部分ベクトル空間)を内部に持つ。部分ベクトル空間はp次元ベクトル空間の原点を含むものを言う
• p次元ベクトル空間をと表す。その部分ベクトル空間があり、そのに属するすべてのベクトルと直交するベクトルの集合をの直交補集合と呼び、と表す
  
  • 
  • 

[tex:\bf{M}+\bf{M^{\bot}}=\bf{R^p}]

[tex:\bf{M}\cap \bf{M^{\bot}}=\emptyset]

行列のランク(駆け足で読む統計学のための数学入門30講 19)

• 第19講　行列のランク

• p次元ベクトル空間上のn個のp次元ベクトルがあるとする。このn個のベクトルの１次独立な最大数が、q[であるとすると、tex:q\le q]であり、であり、n個のベクトルは次元qのベクトル空間を張っている。このとき、pxn行列のランクと言う
• は、pxn行列なので、n次元ベクトルに左からかけることができる。n次元ベクトル全体に対してを左からかけてできるベクトルの集合は、n次元ベクトル全体を元としているが、なので、q次元の部分ベクトル空間に含まれるし、qとpの関係から、p次元空間に含まれる
  
  • 
  • このことはpxn行列を用いて、n次元ベクトル空間上のすべてのベクトル[tex]\bf{x}]を次元ベクトル空間上のベクトルに変換している。これをはからへの写像を定めているという
  • n次元からp次元へと次元が小さくなる写像においては、n次元上の複数のベクトルがp次元上の単一のベクトルに写像されることがあり、また、n次元上のゼロベクトルでないベクトルがp次元上のゼロベクトルに写像されることがある。p次元ゼロベクトルに写像されるn次元ベクトルの集合を核(kernel)と呼び、と表す
  • 写像行列のランクとカーネルの次元とには次の関係がある
    
    • 
  • 転置行列・直交補空間を用いると
    
    • 
    • 
    • 
  • 行列ランクの性質
    
    • ただしはpxn行列
    • 
    • 
    • 
    • が正則(相互に逆行列)なとき
    • 
    • p次正方行列について、のとき、は正則(逆行列を持つ)

[tex:\bf{M(A)}=\{\bf{y}:\bf{y}=\bf{Ax}=x_1\bf{a_1}+x_2\bf{a_2}+\cdots+x_n\bf{a_n},\bf{x}\in\bf{R^n}\}\subseteq\bf{R^p}]

[tex:\bf{K(A)}=\{\bf{x}:\bf{Ax}=0\}\subseteq\bf{R^n}]

固有値と固有ベクトル、対称行列での利用(駆け足で読む統計学のための数学入門30講 22 23)

• 第22講　固有値と固有ベクトル
• 第23講　対象行列の固有値と固有ベクトル

• 固有値・固有ベクトル

p次の西方行列についてを満足するスカラー量はの固有値と呼ばれ、最大p個存在する。または固有ベクトルと呼ばれる。がの解を持つためには、でなくてはならず、これを固有方程式と呼ぶ。固有方程式はp次方程式であり、固有方程式の解がp個の異なる解を持つとき、はなる対角行列が存在してとできるようなが存在する。これらはp次連立方程式の線形代数的解法・解釈である

• 対称行列の固有値と固有ベクトル

対称行列の固有値が存在するときそれらは実数で、また、異なる固有値に対応する固有ベクトルは相互に直行する。したがって、p次対称行列にp個の異なる固有値が存在するとき、それらに対応するp個の固有ベクトルは、p次ベクトル空間の基底となっている。また、そのような場合、と対角化でき、それぞれの対角成分に対して、長さ１の固有ベクトルを対応させることで、p個の固有ベクトルのセットを得ることができる。Aをp個の固有値とp個の長さ１の固有ベクトルとを用いて、と書き表すことをスペクトル分解と呼ぶ

• 統計学では、相対的に大きな固有値と無視できる固有値とが得られるとすると、大きな固有値とその固有ベクトルとその他の小さな成分とにスペクトル分解することは、主成分分析を選りだすことに相当する

分割行列の加減・積(駆け足で読む統計学のための数学入門30講 24)

• 第24講　分割行列による計算

pxn行列は、縦横に区切りを入れて、p1xn1,p1xn2,p2xn1,p2xn2行列に切り分けられる(ただし、p=p1+p2,n=n1+n2)。切り分けた行列を分割行列と呼び、加減および積が行える

多変量で作る確率密度関数の計算においては、変数のうち、あるものを固定しそれに与えた条件のもとでの確率を計算することがよくある。これは、行列を部分に分解して(ある変数の影響部分を切り離して)計算を進めることに相当し、行列を用いて計算するにあたっては、行列を分割行列に切り分けて計算することに相当する