個人に複数の観察

lmer とか GEEとかもあるけれど、単純に回帰してもよい？

ぱらぱらめくる『量子ウォーク』

量子ウォーク [ 今野紀雄 ]

• 量子は複数の状態を持ちうる
• 例えば２状態なら上向きスピンと下向きスピンとか
• 複数の状態を持つ量子がランダムウォークするとき、どっちにどのくらいの確率で移動するかと、移動した後、状態が変わるか変わらないか、変わるなら何に変わるかのルールを入れる必要がある
• 量子ウォークはその話
• この本では、簡単な場合（１次元空間、かつ、離散空間）を中心に話を進める
• どっちに移動、と、状態変化をどうするかとの関係性から、それを表す行列表現が変わってくる
• その設定の中に、扱いやすいものがあったり、実際に物理学的に存在する対象があったり、なかったりするようだ
• ここで使う行列はユニタリー行列を使う事になるらしい。それは、状態に作用させた後、やっぱり、状態が「確率の条件〜全部で１」を満足するようになるため
• グラフ上での量子ウォークのためにグローバー行列というのがあって、辺接続情報の行列だが、この場合、ある辺がある頂点に入って行き、その後、その頂点から出て行くのだが、逆戻りにも値を入れる（場合によってはその値が０になることもあるが）事になる。しかも、その逆戻りの値は負だったりもする
• 伊原のゼータ関数でサイクルのことを考えるとき、backtracklessという条件があるが、それは、逆戻りは許さないということなので、グローバー行列とは合致しない
• このような状況なので、伊原の辺接続行列とは、グローバー行列の「正の台」と呼ばれているらしい。「正の台」とは、正の値が入っているセルは１、それ以外はゼロとしたもののこと
• グローバー行列を含む、量子ウォークを表した行列の諸々は、伊原のゼータ関数よりも情報量が多い模様
• 伊原のゼータ関数は基本的には、いわゆるグラフの隣接行列の固有値が決まると、辺接続行列の固有値もそこから決まり（辺接続行列よりも小さい隣接行列の固有値で決まってしまう）、情報量としては、変わらない
• それに対して、グローバー行列は（行列サイズが同じだが、その固有値の数は、グローバー行列のサイズに依存し、そのサイズは辺接続行列のサイズと同じだが、辺接続行列の固有値がさらに小さい隣接行列の固有値で決まるのに対して、行列サイズに見合った数の固有値の情報を持つという意味で）情報量が多い
• この情報量の多さから、グラフの異同情報が増えるらしい
• ちなみに、グローバー行列の2乗の正の台にすると、それはそれで扱いに良い点が現れることもあるという

データの型・タイプ・欠測値・データの取得方法

KLd(Q||P) vs KLd(P||Q)

• Some information is here

wiseodd.github.io

• genotype frequency estimation under the restiction of HWE :

.

ぱらぱらめくる『エントロピーの幾何学』

エントロピーの幾何学 （シリーズ 情報科学における確率モデル　5） [ 田中 勝 ]

目次

• まえがき
• 第１章　本書の構成
• 第２章　測度と確率
• 第３章　アファイン空間
• 第４章　経路順序確率
• 第５章　縮約と計量
• 第６章　くり込みとエントロピー
• 第７章　情報幾何学におけるq-正規分布
• 第８章　アファイン構造の多重性
• 第９章　非加法的エントロピー
• 第１０章　加法的エントロピーへの変換
• 第１１章　ホログラフィー原理
• 第１２章　平均

まえがき

• 指数型分布族だけでなく非指数型分布族が実用上重要な場面が出てきた。また、非指数型分布族を使ってもうまく動くモデル・アルゴリズムの整備も進んできた
• 非指数型分布族を利用した手法を理解するために、測度論的確率論は必要。パラメトリックモデルと十分統計量もわかっておきたい
• 指数型分布族を用いた確率モデルには情報幾何があり、そこには、二重平坦座標系がある
• 非指数型分布族についてはこれだという幾何学は定まっていない
• 非指数型分布族の幾何学の例として情報幾何学と称するものを紹介するのが本書の目的
• 情報幾何学ではというパラメタが重要で双対接続と関係する
• そのと対応するのがだが、このは確率分布族を決定し、エントロピーとダイバージェンスも決定する

第１章　本書の構成

• 第２章：測度論的確率論の基本、その用語の確認
• 第３章：測度空間に平行移動を導入。アファイン構造を持たせる。非指数型分布族が扱えることが見えてくる。BodyとSoulという概念を導入
• 第４章：平行移動導入の副作用である、測度の大きさの非保存に対して、平行移動のやり方によって座標の更新のやり方を調整するという方法を使う
• 第５章：BodyとSoulからRealを導く「縮約」操作。Fisher計量が導かれる
• 第６章：エントロピーを定義する。くり込みを用いて定義する。いわゆる情報幾何学ではエントロピーが指数型分布族のポテンシャル関数と密接な関係にあることにも特徴があるが、情報幾何学では、エントロピーをべき型拡張してあり、ポテンシャルとの関係が変わってくる
• 第７・８章：具体例。q-正規分布
• 第９章：べき型の対数関数とその性質
• 第１０章：エントロピーを共形エントロピーとしてとらえて、いわゆるエントロピーと異なる振る舞いをしているものを、扱う方法を説明する
• 第１１章：エントロピーの扱いで用いたスケール変換で用いるパラメタを座標とみなすことで、ホログラフィー原理としてとらえる
• 第１２章：一般化平均としての平均

第２章　測度と確率

• 試行、事象、根源事象、全事象、空事象、加法族、可測関数、確率変数、可測空間、測度、測度空間、ボレル加法族、ルベーグ測度
• 集合があって、どのように足し合わせをするかの位相があると、可測空間。そこにここはこのくらいの重みがあるよ、という測度を入れると測度空間になる

第３章　アファイン空間～積・商・指数関数・対数関数の一般化

• 演算の冪型拡張
  • 積は
    • 普通の積は、の場合。極限として定義される(があるから
  • 商(f/gに対応する商)は
  • 指数関数は
  • 対数関数は
    • 指数関数の積は１通りだが、対数関数の積は２通りの表現を持つ(が、値は同じ？）
      • 
      • 
    • この非１通り性が、エントロピーの非加法性の素になる

• アファイン構造
  • いわゆるアファイン空間は、集合にベクトルを加える操作を許して作る空間。加えるベクトルたちはいわゆるベクトル空間をなしている
  • ベクトルを加えることを平行移動と言う。平行移動した先も、元の集合の要素
  • 集合の要素にベクトルを加えることで任意の集合の要素に移動できるようにすれば、集合のすべての要素は、ある一つの要素とベクトルとの和としみなせる
  • ベクトル空間の部分空間によって移動できる要素は、元の集合の部分集合。これがアファイン部分空間
  • 平行移動(ベクトルを加える)と言ってきたが、実際には、ベクトルによる平行移動として、冪型拡張した指数関数()を掛ける(冪型積をとる)こととする(いかにも、「確率密度分布、指数型分布族の拡張っぽい話になってきた)
  • 平行移動した後、測度の変化が起きるが、それを座標の変化に吸収させる操作などを使う
• 尤度関数、対数尤度関数、スコア関数(対数尤度関数の偏微分)も、冪型拡張の仕掛けで記載が可能になる
• アファイン構造とその共役空間としてアファイン構造というものを定めると、両者には双対空間と言う関係が
• この共役関係・双対関係の片方にSoul、もう片方にBodyと言う名前がついている
• SoulとBodyとを縮約操作するとRealと言うものが現れるという

第４章　経路順序確率

• アファイン構造では、始点と終点が決まると平行移動量が一意に決まる
• そのベクトルに沿った経過点を経た多段階平行移動という概念もありえる
• 確率分布を指定する座標の変換ルールとして、経路上の逐次変換が定められることが示せる

第５章　縮約と計量

• 共役関係にあるSoulとBodyでの量を単純に掛けて、確率変数について積分すると、通常の意味でのFisher 情報量が出る
• この演算を縮約と定義する
• この定義によって得られるFisher計量には、ミンコフスキーの行列のように、負の対角成分が現れる

第６章　くりこみとエントロピー

• 通常のエントロピーは負の対数尤度の期待値
• くり込みは計算結果が無限大に発散してしまうのを防ぐ数学的な技法であり、場の量子論で使われる
• くり込みを使って、アファイン構造でのエントロピーの発散を抑える
• BodyとSoulとがあるので、エントロピーもそれぞれに定まる
• ダイバージェンスもBodyとSoulとでそれぞれ定まる
• ダイバージェンスは確率分布間の平行移動量に関する２次以上の近似誤差として表現される(分布を平行移動したらそのまま同じであってもよいはずだが、分布が形を変える。その変化量の１次の差は(多分、平行移動そのものがもたらす違いなので)分布の違いには影響せず、分布としての違いは２次以上の差となる、という話なのだろう

第７章以降、省略

GEOquery

• 講義用資料
• 参考にさせていただいたのはこちら

gist.github.com

ぱらぱらめくる『偶然の輝き』ブラウン運動を巡る2000年

偶然の輝き ブラウン運動を巡る2000年 [ 池田　信行 ]

目次

• 第１章　偶然の中に潜む法則
• 第２章　偶然を語る数学の始まり
• 第３章　ブラウン運動をめぐる新たな話の始まり
• 第４章　偶然を語る現代的枠組みの誕生
• 第５章　ブラウン運動
• 第６章　解析や幾何に現れる偶然性
• 第７章　ウィナー空間上の２次形式
• 第８章　偶然現象と非線形方程式

第１章　偶然の中に潜む法則

• 餅屋の製造数
• 浮遊塵
• 水中微粒子の顕微観察
• 賭け事・結果をあらかじめ知ることができないこと

第２章　偶然を語る数学の始まり

• 賭け事。配分問題。不確からしさの定量問題。酔歩の確率論と平衡状態
• 確率事象の大数の(弱)法則。その極限。正規分布。中心極限定理
• 連続関数もばらつきの対象。その極限とスムージング
• メンデルの遺伝の法則。生物学に由来する確率論

第３章　ブラウン運動をめぐる新たな話の始まり

• 物理の問題としての微粒子の運動。ブラウン運動
• ニュートン力学（完全予測）から逸脱する物理現象
• 無秩序性の混入
• 分子運動：多数・相互独立・無記憶な運動、熱関数
• ジグザグ運動、微分可能性・微分不可能性、微分不可能関数とフーリエ級数

第４章　偶然を語る現代的枠組みの誕生

• 加法性、可測空間、確率空間
• 測度、ボレル、ルベーグ
• 独立確率変数の無限列
• 定義の難しさと複雑さ
• 確率計算とフィボナッチ数列（漸化式で表される確率事象）
• 確率事象列、その極限、可測関数の確率による積分
• d次元酔歩と出発点に戻る確率
• 級数の収束・発散で確率事象も解析する
• 方程式の解の一意性とある偶然事象の生起確率が１であることは同等
• 確率変数の素性を知るためにモーメント列を使う
• モンテカルロ実験

第５章　ブラウン運動

• 無限次元である連続関数の空間上の確率測度として微粒子運動を捉える
• ブラウン運動に対応する測度　ウィナー測度
• 概収束
• 級数展開、ウェーブレット展開
• 物理現象と同様に経済現象も
• 軌跡としてのブラウン運動から固有値・固有関数、固有値の漸近状態へ
• ランダムに動き回る分子の動きから容器に関する情報を引き出す話（境界問題はその一つ）

第６章　解析や幾何に現れる偶然性

• 偶然な現象と確率事象とは重なるけれど同じではない
• マルコフ連鎖（無記憶過程）
• 微分できない場でも積分
• 伊藤の公式
• 幾何、リーマン計量、等温座標系が取れる

第７章　ウィナー空間上の二次形式

• グリーンの定理は、曲線で囲まれる領域の面積を曲線の上の一次微分形式の積分に変える
• ブラウン運動の時は、通常の微分・積分を、確率微分・確率積分に置き換える
• 量子力学、波動方程式
• ウィナー空間で考える
• オイラー多項式、ベルヌーイ多項式、オイラー数、ベルヌーイ数
• 直線はブラウン運動。なら、典型的な関数にも確率的運動が対応する

第８章　偶然現象と非線形方程式

• 遺伝現象（遺伝子伝搬現象）という分枝過程を記述すると非線形確率方程式
• 水面波、ソリトン解も非線形確率方程式（らしい）