2019-05-14

正規分布とカイ二乗分布

R資料

2019-04-16

二項分布と尤度

二項分布ベータ分布Ｒ確率分布尤度

Ｒ資料

2019-03-23

ぱらぱらめくる『Free Probability and Random Matrices』

パラパラめくるシリーズ代数的確率論自由確率行列

Free Probability and Random Matrices【電子書籍】[ James A. Mingo ]

ジャンル: 本・雑誌・コミック > 洋書 > COMPUTERS ＆ SCIENCE
ショップ: 楽天Kobo電子書籍ストア
価格: 10,691円

姉妹編[http://users.uoa.gr/~dcheliotis/Seminario/FPSeminar.pdf:title=Lectures on the Combinatrorics of Free Probability

Lectures on the Combinatorics of Free Probability (London Mathematical Society Lecture Note Series)

作者: Alexandru Nica
出版社/メーカー: Cambridge University Press
発売日: 2006/09/07
メディア: ペーパーバック
この商品を含むブログを見る

(PDF)]

Asymptotic Freeness of Gaussian Random Matrices
The Free Central Limit Theorem and Free Cumulants
Free Harmonic Analysis
Asymptotic Freeness for Gaussian, Wigner, and Unitary Random Matrices
Fluctuations and Second Order Freeness
Free Group Factors and Freeness
Free Entropy : The Microstates Approach via Large Deviations
Free Entropy : The on-microstates Approach via Free Fisher Information
Operator-Valued Probability Theory and Block Random Matrices
Deterministic Equivalents, Polynomials in Free Variables, and Analytic Theory of Operator-Valued Convolution
Brown Measure

Asymptotic Freeness of Gaussian Random Matrices

確率測度
- 空集合に対して0を返し、全体集合に対して1を返すもの。ある特定値t付近の微小集合のそれは( $d \nu (t)$ )と書き、それは、いわゆる「確率密度分布の関数の値」に相当し、 $\int_{t \in \Omega} d\nu(t) =1$ であるし、 $\int_{t_1}^{t_2} d\nu(t)$ はt1-t2区間の「確率」。この確率測度 $\nu$ の期待値は $\int_\Omega t d \nu(t)$ と書けるし、n次モーメントは $\int_\Omega t^n d \nu(t)$ と書ける
特性関数
- $\psi(t) = \int e^{ist} d \nu(s); i = \sqrt{-1}$ : 変数sが作っている集合上の確率測度 $\nu$ について、tに関する複素関数を定義して、それを変数sの集合で積分したものとする。これは確率測度 $\nu(s)$ が定めるtの関数で、特性関数と呼ぶ
- $t=0$ のとき $\psi(t=0) = \int e^{is \times 0} \nu(s) = \int 1 \times \nu(s) = 1$ であるから、この連続関数は、0の前後で正の値を取る
- このtの複素関数は0周りで冪級数展開ができて $\psi(t) = \sum_{n \ge 0} \alpha_n \frac{(it)^n}{n!};\alpha_n = i^{-n} \psi^{(n)}(t=0)$ となる。 $\alpha_n$ はn次モーメント
キュムラント母関数。特性関数の対数を取る。特性関数は0周りで正なので対数が取れる。 $\log{\psi(t)} = \sum_{n=1}^m k_n \frac{(it)^n}{n! }+ o(t^m); k_n = i^{-n} \frac{d^n}{dt^n} \log{\psi(t)}|_{t=0}$ 。この係数 $k_n$ が $\nu$ の(古典的な確率論での)キュムラント
モーメントとキュムラントの間には、相互に変換関係が存在する
- $\alpha_n= \sum_{1\cdot r_1 + ...+n \cdot r_n=n;r1...r_n\ge 0} \frac{n!}{(1!)^{r_1}...(n!)^{r_n} r_1!...r_n! } k_1^{r_1}...k_n^{r_n}$
- $k_n = \sum_{1\cdot r_1 + ...+n \cdot r_n=n;r1...r_n\ge 0} \frac{(-1)^{r_1+...+r_n-1}(r_1+...+r_n-1)! n!}{(1!)^{r_1}...(n!)^{r_n}r_1!...r_n!}\alpha_1^{r_1}...\alpha_n^{r_n}$
一次元標準正規確率変数には特徴がある
- 一次モーメントは０、二次モーメントは１
- $a_{2n} = (2n-1)!! = (2n-1)(2n-3)...5\cdot 3 \cdot 1$ 、 $a_{2n-1} = 0$
- このという値は、という集合を２つずつのペアに分ける場合の数になっている
  - そのことは、2n個から、1番を取り出し、その相手方の選び方2n-1通りを考え、残りの2(n-1)個のペアの作り方の場合分けに相当することから $|P_2(2n)| = (2n-1)\times |P_2(2(n-2))|=(2n-1)!!$ という漸化式から示せる
  - ここに、１次元標準正規分布のモーメントが、整数分割・組み合わせと結びついていることが示された
正規分布のモーメント・キュムラントと組み合わせとの関係の導入に引き続き、一般化が以下のようになされる
- 多次元正規確率変数～正規変数ベクトル
  - いわゆる多変量正規分布。期待値が期待ベクトルになる。それを制御するのが分散共分散行列だったりする。 $exp^{-t^2}$ の $t^2$ のところも、行列を使って内積を定義することによって、確率変数を行列が支配する色が見えてくる
  - $\frac{1}{(2\pi)^{n/2} det(B)^{-1/2}} exp(-(Bt)^T t/2)$ なる式表記が出るが、これは、原点を中心とした多変量正規分布の分散共分散行列 $\Sigma$ を使った式 $\frac{1}{(2\pi)^{n/2} det(C)^{1/2}} exp(-t^T C^{-1} t/2)$ と同じこと
- 標準複素正規確率変数
  - 2つの独立な実正規乱数X,Yを使って $Z=\frac{X + i Y}{\sqrt{2}}$ とした確率変数が、標準複素正規確率変数
  - 期待値・平均は、X,Yともに0なので、Zのそれも0+i0
  - 分散は $E(Z \bar{Z}) = \frac{1}{2}E(X^2+Y^2)=1$ となっている
  - さらに $E(Z^m \bar{Z}^n) =0 (m \ne n), m! (m=n)$
  - Rで確かめておく

- ランダムな正規行列(GUE: Gaussian Unitary Ensemble)
  - 行列の各成分 $f_{ij}$ が複素生起乱数であって、その平均は0、分散 $E(|f_{ij}|^2)=1/N$ のもの
  - $f_{ij} = \bar{f_{ji}}$ と、共役転置でもある
  - 共役転置という制約はあるが、それ以外は、行列の成分の実部・虚部の値は(正規分布制約の下で)独立
  - 対角成分の虚部は0なので、都合、 $\frac{N(N-1)}{2} + N=N^2$ 個の正規乱数によって行列が決まる。この $N^2$ 個の乱数を長さ $N^2$ の乱数ベクトルと見ると、多次元正規確率変数と同様の捉え方も可能となる。
  - この長さN^2の正規乱数ベクトルは、N個の平均0、分散1/Nの正規乱数と、N(N-1)/2*2個の平均0、分散1/2Nの正規乱数になっており
  - N^2個の変数同士の共分散は0である
  - したがって、この分散共分散行列の逆行列(対角成分が(N,N,...,2N,2N,...)であって、非対角成分が0の行列)によって指定されるN^2次元正規分布に従う正規変数ベクトルによって定まるランダム行列であることがわかる
  - また、正規変数ベクトルの場合に分散共分散行列が全体を決めていたが、行列の場合には、変数行列の二乗行列のトレースにその性質が備わっているという
  - 具体的には、NxN正規行列は、それを規定する行列B(対角成分が(N,N,...,2N,2N,...)であって、非対角成分が0の行列)を用いて、長さN^2のベクトルとで $(Bt)^T t$ なる内積が決まる。この内積の値は、XをNxN行列として扱って $X^2$ を計算したときのトレースと比例関係にある
  - したがって $\frac{1}{(2\pi)^{n/2} det(B)^{-1/2}} exp(-(Bt)^T t/2)$ が $\frac{1}{(2\pi)^{n/2}det(B)^{-1/2}}exp(-Tr(X^2)/2)$ と行列の二乗のトレースで置き換えて表現できることがわかる
  - Rで確認しておく

- - このあたりの、「行列のべき乗のトレース」を問題にするあたりが、*-代数を使った代数的確率論で、行列を確率変数と見たときの、スペクトルに行列のべき乗のトレースを云々、という話につながる
  - また、隣接行列のk乗の対角成分はk歩でのサイクルの歩き方の場合の数になることなどとも関係してくる。場合の数は、A->Bの歩き方の場合の数と、B->Cの歩き方の場合の数との積がA->B->Cの歩き方の場合の数になったりするから、ペアを作って、それらの積を取る、という処理が歩き方の場合の数の数え上げと関係する
  - 隣接行列と異なるのは、隣接行列の場合には、エッジがあれば１、なければ０というような成分値であるのに対して、正規行列では、平均0、分散1(ないしは1/N,1/2N)というように、「確率変数」になっていること。したがって、「歩き方の場合の数」も数え上げる対象ではなく、「期待値」として取り扱う対象になっていること
なお、特性関数・その係数としてのモーメント、キュムラント母関数・その係数としてのキュムラントの間に、組み合わせ関係・組み合わせを用いた分解公式がある(Cumulants_and_moments)があり、また、高階微分と組み合わせ論との関係にはWick's theoremというものがあり、量子力学で役割を果たすが、そのことについても、この章では触れられている
- 多変量正規分布からのn次元乱数があるとする
- n個から偶数k個を選び出し、k個の変数の値の積の期待値を考える
- 今、k個(偶数)をk/2ペアに分けるわけ方すべてを列挙する。こうすると、変数ペアごとに、ペア変数の積の期待値ができる。分け方ごとに、この期待値の積を取り、その積を分け方すべてについて足し合わせる。そうすると、k個の変数の積の期待値になると言う
- Rでやってみる(こちらに、ペア悉皆列挙のやり方を別途、メモ)

この組み合わせのことを考え、さらにそれを幾何学的組み合わせ論に繋げるには、partitionとかnoncrossing partitionとかいう概念を理解することが有用らしいので、ぱらぱらめくる『Noncrossing partitions』をやってから、戻ってくることにする

The Free Central Limit Theorem and Free Cumulants

この先は、ちょっと今の自分には無理。数学的に正しいことが整然と書かれているのはその通りなようだけれど、そのような構成がどういう『意味』を持っているかについての気持ちがついていかないと、「そー、それで」感に押し流される…
何かあるのだろう。正規分布のモーメントが、整数のペアリングと関係しており、ペアリングには、なんでも蟻のペアリングのnoncrossing partitions的なペアリングとがあり、その両者を区別することと、その区別に対応する、確率事象・統計モデルとの区別があるのだろうと思う
ここまで書くと、「なんでもかんでも自由に組み合わせたり順列できたりする」か、何かしら制約のある中(Noncrossingがその制約)での自由な組み合わせ・順列の場合とで確率変数のモーメントが変わってくる→分布が異なる→「なんでも自由～正規乱数的」と言っても、制約依存だ、とそういう話、なのだろうと想像される
それよりは、整数列の分割がトポロジー的な意味づけができることの方が、幾何には近そうな感じ。特に、曲面の幾何・・・

Free Harmonic Analysis

Asymptotic Freeness for Gaussian, Wigner, and Unitary Random Matrices

Fluctuations and Second Order Freeness

Free Group Factors and Freeness

Free Entropy $\chi$ : The Microstates Approach via Large Deviations

Free Entropy $\chi^*$ : The on-microstates Approach via Free Fisher Information

Operator-Valued Probability Theory and Block Random Matrices

Deterministic Equivalents, Polynomials in Free Variables, and Analytic Theory of Operator-Valued Convolution

Brown Measure

2019-03-04

複体と代数的確率変数

グラフ代数的確率論スペクトル単体複体単体的複体 TDA トポロジカルデータアナリシストポロジー

この文書(non-commutative probability theory for topological data analysis)をぱらぱらめくっている
こちらで、グラフのスペクトル解析と代数的確率論についてメモした
この文書は、、もう少し踏み込んで、単体的複体、その先にあるトポロジカルデータアナリシスにまで代数的確率論を進めている
ものすごく大雑把に言うと
- 行列は確率変数
- この代数的確率変数には、古典的な変数の独立とは異なる独立の概念がある
- 行列はグラフでもある
- グラフは分解・合成ができる
- グラフの分解・合成には、グラフとしての「独立」があり、この「グラフとしての独立性が、行列としての独立性としてどう現れるのか」と言う話と、「確率変数としての独立性が、確率変数を表している行列にどのように現れるのか」とが繋がってくる
- グラフの分解・合成には、グラフスペクトル解析の流れのなかで、隣接行列・ラプラシアン・Normal行列の分解・合成ルールとして議論される
- その先に、「単体的複体」ー「代数的確率」ー「分解・合成」ー「独立」の議論が出てくる模様で、どのように独立で、どのように独立でないか、が、「単体的複体」のトポロジカル解析に結びつく、と言うこと（らしい）
- グラフでは、隣接行列とそのべき乗が、何歩で生き合えるかの情報を表す。特に、対角成分を考えるとそれはサイクルに関すること。この行列のべき乗が代数的確率論ではモーメント。ラプラシアンの場合は、木の情報
- 単体的複体になると、「サイクル」の代わりに、k-次単体となる。グラフにおける、クリーク
- ポセットに話を持っていくと、ベッチ数を係数とした式、オイラー標数とかになってくる
- 単体の頂点、エッジ、faces、高次facesを行・列に対応づけて、その帰属関係に向きも考慮して±１を立てると、単体的複体を表す行列ができる
- 単体的複体はそれをさらに進めることでやはり行列ができる
- 単体のオーバーラップ関係が、そこに行列演算の分離・分解・ルールなどを用いたものとして表現される
- Betti number, Betti curve, Betti forestとか、そんな具合に広がる模様

2019-02-24

グラフ・スペクトル解析と代数的確率論のための雑多なメモ

グラフスペクトル代数的確率論 *-代数隣接行列隣接代数接続行列接続代数ゼータ関数量子分解単体的腹帯作用素物理量観測期待値メビウス関数ラプラシアン母関数モーメント

グラフを考える
- 無向グラフと有向グラフがある。有向グラフの中にはとくにDirected Acyclic Graph(DAG)と呼ばれるものがあり半順序・ポセットと関係がある
- グラフのノード集合は量子力学では、量子の取りうる「場所のようなもの」を表しており、ノード集合に連結情報を持たせたグラフの隣接行列は「物理量」を表しているとされる。行列には変換するものという見方もあり、「物理量は作用素」であるとの見方もされる。あるときにこの物理量を観察すると、状態に応じて「期待値」が観察される。物理量とその状態とから「期待値」が得られるという関係は、代数的確率論としてまとめられている。そのとき、グラフ～物理量～作用素は確率変数であると見られる
- ここで用いたのは隣接行列である。正方行列である
- DAG・ポセットの方では、グラフの接続行列というものを使う。~~ノード数ｘエッジ数の非正方行列である~~
- 半順序関係のTrue/Falseで正方行列の値の1/0を決める
- ポセットのノード集合には離散的確率質量分布の情報幾何的座標（ $\theta,\eta$ 座標)を付与することができる
- $\theta,\eta$ 座標が付与されたポセットは『ある確率的現象』とその『特定の確率質量分布』とを表している
グラフを用いた確率的現象と分布との小まとめ
- グラフ自体は「確率的現象～確率変数」を表している
- グラフのノード数の長さのベクトルはその「確率的現象～確率変数」の特定の状態を表している
- 確率変数の特定の状態を「確率質量・密度（関数）」と呼ぶことにすれば、量子力学・物理量の方では、「状態を表すベクトル」と１対１対応する行列が存在することが知られており、それを「密度行列」と呼ぶ
- DAG・ポセットの方では、各ノードに確率質量を乗せることもできるし、それをポセットの半順序情報に基づいて表現しなおすと $\theta,\eta$ 座標が各ノードに与えられる
グラフの代数
- 隣接行列は隣接代数を有し、それは*-代数であるという
- 接続行列は接続代数を有し、それはHopf代数であるという
- ~~Hopf代数の中に*-代数は含まれる模様~~
- 接続行列が作る代数は、行列が作る代数なので、そう言う意味では（おそらく）*-代数
- Hopf代数って言うのは、代数の中でも、興味深い色々な特徴を有する代数構造で、（少なくとも）Posetが作る接続代数と言うのは、Incidence Hopf algebras"と言うものを構成するらしい(こちら)。これも多分有用なPDF
グラフのゼータ関数
- グラフのゼータ関数と言えば、伊原のゼータ関数。これは「サイクル」の長さ別の列挙総数の母関数
- グラフの隣接行列のk-乗の(i,j)成分はノードi からjへのk歩の歩き方の場合の数になるので、伊原のゼータ関数は、iからiへの歩き方の場合の数という意味では、隣接行列のk=0,1,.....-乗のトレース（対角成分の和）と関係しているとも（多分）言える
- 他方、接続行列・接続代数にもゼータ関数があって、これはまさにポセットで $\theta,\eta$ 座標を扱うときに登場する関数。ゼータ関数は積分的な仕事をする。メビウス関数はその逆で微分的な仕事をする
- ただし、接続代数のゼータ関数が、「リーマンのゼータ関数〜素数の積」と繋がることの理解は、ちょっと難航しそうな感じ。なぜなら、このWiki記事の記載にある通り、接続代数のゼータ関数は「普通と違って」いて、Dirichlet seriesにまで戻らないとゼータ関数との共通性が見えない、と言うことらしいから("Zeta function of an incidence algebra, a function that maps every interval of a poset to the constant value 1. Despite not resembling a holomorphic function, the special case for the poset of integer divisibility (割り切れること) is related as a formal Dirichlet series to the Riemann zeta function." Wikiより引用)
- 他方、隣接行列や、エッジ行列を用いた「グラフの伊原ゼータ関数」の方は、サイクルをPrimesとする母関数である、と言う意味合いでの解釈が可能であり、リーマンのゼータ関数が、全自然数について、素数を用いて理解するための母関数である、と言う側面の対応が取りやすい
- このPDFはこの辺りを理解するために必要そうだ
確率変数の期待値とモーメント
- モーメント列はある意味で確率変数をよく特定する
- 確率変数の１次モーメントは平均値であり、いわゆる確率変数の期待値
- 隣接行列が属する*-代数的確率変数では、状態 $\Psi$ に対して $\langle \Psi, A^m \Psi \rangle = \int_{-\infty}^{+\infty} x^m \mu (dx)$ がm次モーメントを表す
- 量子物理学的には、これが「観察されるモーメントの期待値」。それがスカラー値を持つということは、グラフのノードが「空間の座標」や「エネルギーの強さ」などの何かしらの「値」を持つものと想定していて、その値の平均やバラツキとしてのモーメントを観測する、という文脈（らしい）
- グラフノードに一様な分布があるとき、隣接行列の0乗に関する１次モーメント（平均）は1（ノード数を標準化したもの）になるようだ。隣接行列の1乗に関する１次モーメントはノードの次数の平均値になるだろう（グラフを二次元多様体と考え、ノードが多様体上に均一に分布していると考えれば、面積のようなものになるだろうか）
- 他方、ポセットの接続代数の方にも期待値というものがある。 $\eta$ 座標はそのノードに相当する期待値である。また指数型分布族表現(対数確率分布を線形分解した表現）の言葉では、線形要素（取りうる状態を並べたものに重みを与えたベクトル）に対応する期待値が $\eta$ 座標である
特定のノードを基準にすること
- グラフは全体で一つの情報を表していて、特に１つのノードが特別ということはない、というのが原則である
- ただし、ある一つのノード $\rho$ を取り上げると、そこからのグラフ距離というものが定まる
- 隣接行列・隣接代数では、ある基準ノード $\rho$ からのグラフ距離によって階層的に排他的部分集合に分解して論を進めることがある
- これを利用すると、隣接行列を次の３つに分解することができる
  - ノードx,yの間にエッジがあるとき、隣接行列Aの(x,y)成分は１。今、 $\rho$ からx,yへの距離 $\partial(\rho,x),\partial(\rho,y)$ は、前者が１大きいか、後者が１大きいか、同じかの３通りになる
  - これを用いて $A=A^+ + A^- + A^o$ と分けるというのがその分解方法である
- 他方、ポセットにも基準ノード $\rho$ を定められることがある。例えば、ある１ノードが存在し、ポセット上の全てのノードに到達できるようなポセットや、その逆に、ポセット上の全てのノードからある１ノードに到達できるとしたとき、そのノードを基準ノード $\rho$ にすることで、ポセットの隣接行列の分解が可能になる
グラフから作る正方行列と伊原のゼータ関数
- 基本は隣接行列
- エッジの隣り合わせ関係を表す行列(Edge matrix (エッジ本数x２）行、（エッジ本数x２）列の行列）
- グラフから全域木を取り出し、残ったエッジで作る正方行列も伊原のゼータ関数には使える

~~-グラフから作る非正方行列~~

- ノードとエッジの関係で行列を作るのがOKならば、グラフを単体的複体的に捉え、m次元単体とn次元単体との包含関係行列を考えることができて、。これは接続行列を含む
そのほか
- 隣接代数的に考えるとき、３ノード間のグラフ距離関係を考えることがある。ノードx,y,zがあったときに、 $k =\partial{x,y},i = \partial{x,z},j = \partial{y,z}$ となっているとする。x,y の取り方によらずこのようなノードzの数が $p^k_{ij}$ と一定であるようなグラフをDistance-regularグラフと呼ぶ。単純な素粒子を確率変数と見たときのグラフはこのような性質をもつらしい。逆に言うと隣接代数として見たときに単純な確率変数はdistance-regularだと言うことらしい
- Regularグラフと言うものも、ある。全てのノードの字数が等しいグラフのことで、これも隣接代数とその代数的確率論の展開がやりやすい（漸近的特性が定まりやすい）
独立
- 代数的確率論では、確率変数にいくつかの異なる「独立」の概念がある。これは期待値がある意味で変数ごとに分離して計算できると言うことを意味し、古典的な確率変数の古典的な独立の概念も、代数的確率論の枠組みで再定義できる
- 独立な確率変数は、複雑な確率現象を分解して理解する部品となる可能性の高いものであり、重要（なはず）