エントロピー

ぱらぱらめくる『ディープラーニングと物理学』

ディープラーニングと物理学 原理がわかる、応用ができる (KS物理専門書) [ 田中 章詞 ]ジャンル: 本・雑誌・コミック > PC・システム開発 > その他ショップ: 楽天ブックス価格: 3,456円 第1章 はじめに:機械学習と物理学 第1部 物理から見るディープラ…

ぱらぱらめくる『エントロピーの幾何学』

エントロピーの幾何学 (シリーズ 情報科学における確率モデル 5) [ 田中 勝 ]ジャンル: 本・雑誌・コミック > PC・システム開発 > その他ショップ: 楽天ブックス価格: 3,240円 目次 まえがき 第1章 本書の構成 第2章 測度と確率 第3章 アファイン空間~…

エントロピーと幾何平均

という積分がある。pが確率密度分布であるとき、この積分はKLdの計算の基礎となっているし、はエントロピーである。 の期待値とも読めるこのであるが、離散的な場合のは次のように式変形できる(こちら) この右辺が重み付き幾何平均であることが知られており…

復習する:検定・推定・情報量・エントロピー・分布間距離

セミナースライド(こちら) 色々な観測量があって、統合して解析したい(オミックス層のデータ構成) データ構成の組み合わせはいろいろ 独立・関連、情報 分割表の場合 分散分析と分散と情報量 線形解析は、「遠近両用」 非線形解析は、「近のみ重用」 「近の…

n次元のx軸 vs. m次元のy軸で関連の有無を検定する?

メモソース library(FNN) # X is a matrix or a list. # In case of matrix, each row of X represents a sample and a row vector is a point in the dimensional space. The function returns a distance matrix with specifeid distance measure ("method…

エントロピーベースで分布の差異の関連検定〜続き

説明変数群が空間上の点であって、目的変数が分布であるようなときのことを考える 「近い」ことのみを活用する 分布のエントロピーを推定するときに、度数分布を使って局所濃度の推定を介して行う方法がある(次元が大きいとうまくいかないこともあり、現実的…

エントロピーベースで分布の差異の関連検定

昨日のさらに続き このやり方で本当にいいかは未確定 0/1の説明変数があるとする 目的変数は2次元の点座標のデータ 目的変数を20標本分プロットした。説明変数の2群を黒点プロットと赤点プロットで分けた このプロットの心:原点を中心に2次元正規分布す…

エントロピーで関連

昨日のさらに続き 2軸でいわゆる相関係数を取る場合と、エントロピーとを見る場合とで、どんな違いが出るかを、 にあるような例でやってみよう この絵はWikipediaのCorrelationの例の図 上段は傾き45度でばらつきを変えている 中段はばらつきは同じで傾きを…

整理整頓

昨日までに何回か、共通項のある話を書いている 話が発散しているので、改めて、整理整頓 名義カテゴリの場合、それらの「位置」は正単体の頂点座標〜すべてのカテゴリ間の距離は等しい 1次元の量的分布で一峰性(しかも対称性)の場合、値が近いものは近く…

多峰性分布間の比較での分散分析とKL距離

こちらの続き 分散がエントロピーと関係があることや、群内分散と群間分散とへの分解が分散分析であること、分散をエントロピーの代わりとすることは正規分布を仮定していることなどを書いてきた 正規分布とは違う分布として、多峰性の分布を取り上げる。多…

検定・推定・情報量・エントロピー(続き)

こちらの続き 線形回帰と分散分析とで順序関係が等しくなる統計量のことをやっていた 1元配置分散分析で2群のときは、線形回帰そのものだった 1元配置分散分析で3以上の群のときは群内分散・群間分散の割り振り具合と群の数(もしくはそれより1つ少ない…

検定・推定・情報量・エントロピー

こちら(ヒストグラムと情報量)の続き これは、ヒストグラムを推定分布とみなして、その分布の情報量のこと、それと分割表の独立を仮定した生起確率・独立性検定統計量のことをメモした記事 最大エントロピー原理(Wiki)の記事にあるように「情報を得る前」の…

学習・情報量・判断・情報担体としての生命体

こちらで『情報理論』をぱらぱらめくっている 次から次に系列化して起きる事象があるときの情報の取扱いについて「情報源」という術語を用いて説明している そこから考えられる周辺のこと。いずれも情報量的に解釈することが大事そう。 情報源には「テキスト…

いい感じの事前分布

事前分布(Prior)について、Wikiの記事の引用文献は1968年のそれである(Wikiの記事によれば、2009年のに再掲載されている Maximum entropy Probability Distribution(Wiki)の話である 最大エントロピー原理は、ある情報が与えられた状態で(与えられていなくて…

固定する

こちらから 遺伝的浮動においては、ドリフトアウトによって特定のアレルのみに固定していく 固定するのは、アレル頻度pから始まれば、かた方のアレルにpの確率で、もう片方のアレルに(1-p)の確率で固定する エントロピー的に考えればとなるだろう ドリフトア…

情報高分子のコピー

熱学思想の史的展開〈1〉熱とエントロピー (ちくま学芸文庫)作者: 山本義隆出版社/メーカー: 筑摩書房発売日: 2008/12/10メディア: 文庫購入: 2人 クリック: 28回この商品を含むブログ (23件) を見る 「熱とはエネルギーの移動の一形態」「温度とは理想的熱…

エントロピーを最大にする確率密度分布 ラグランジュの乗数法

こちらの記事をどうぞ に注意すれば 平均がmで、標準偏差がである確率分布は、定義より この条件を満たす確率分布で、エントロピーを最大にするのは、正規分布であることが示せる。この後は、上に挙げたリンクそのままなので割愛する ラグランジュの乗数法が…

Renyiエントロピー

Wiki