熱力学の数理 [ 新井朝雄 ]価格: 4180 円楽天で詳細を見る 熱力学は温度を持った物理学的系が起こす現象を記載する形式である 統計力学の立場から、多数の要素が取りうる状態の多寡と乱雑度とを使って説明されることもある 本書は、そうではなく、巨視的熱力…

ディープラーニングと物理学 原理がわかる、応用ができる （KS物理専門書） [ 田中 章詞 ]ジャンル: 本・雑誌・コミック > PC・システム開発 > その他ショップ: 楽天ブックス価格: 3,456円 第１章 はじめに：機械学習と物理学 第１部 物理から見るディープラ…

エントロピーの幾何学 （シリーズ 情報科学における確率モデル 5） [ 田中 勝 ]ジャンル: 本・雑誌・コミック > PC・システム開発 > その他ショップ: 楽天ブックス価格: 3,240円 目次 まえがき 第１章 本書の構成 第２章 測度と確率 第３章 アファイン空間～…

という積分がある。pが確率密度分布であるとき、この積分はKLdの計算の基礎となっているし、はエントロピーである。 の期待値とも読めるこのであるが、離散的な場合のは次のように式変形できる(こちら) この右辺が重み付き幾何平均であることが知られており…

セミナースライド(こちら) 色々な観測量があって、統合して解析したい(オミックス層のデータ構成) データ構成の組み合わせはいろいろ 独立・関連、情報 分割表の場合 分散分析と分散と情報量 線形解析は、「遠近両用」 非線形解析は、「近のみ重用」 「近の…

メモソース library(FNN) # X is a matrix or a list. # In case of matrix, each row of X represents a sample and a row vector is a point in the dimensional space. The function returns a distance matrix with specifeid distance measure ("method…

説明変数群が空間上の点であって、目的変数が分布であるようなときのことを考える 「近い」ことのみを活用する 分布のエントロピーを推定するときに、度数分布を使って局所濃度の推定を介して行う方法がある(次元が大きいとうまくいかないこともあり、現実的…

昨日のさらに続き このやり方で本当にいいかは未確定 0/1の説明変数があるとする 目的変数は２次元の点座標のデータ 目的変数を20標本分プロットした。説明変数の２群を黒点プロットと赤点プロットで分けた このプロットの心：原点を中心に２次元正規分布す…

昨日のさらに続き ２軸でいわゆる相関係数を取る場合と、エントロピーとを見る場合とで、どんな違いが出るかを、 にあるような例でやってみよう この絵はWikipediaのCorrelationの例の図 上段は傾き45度でばらつきを変えている 中段はばらつきは同じで傾きを…

昨日までに何回か、共通項のある話を書いている 話が発散しているので、改めて、整理整頓 名義カテゴリの場合、それらの「位置」は正単体の頂点座標〜すべてのカテゴリ間の距離は等しい １次元の量的分布で一峰性（しかも対称性）の場合、値が近いものは近く…

こちらの続き 分散がエントロピーと関係があることや、群内分散と群間分散とへの分解が分散分析であること、分散をエントロピーの代わりとすることは正規分布を仮定していることなどを書いてきた 正規分布とは違う分布として、多峰性の分布を取り上げる。多…

こちらの続き 線形回帰と分散分析とで順序関係が等しくなる統計量のことをやっていた １元配置分散分析で２群のときは、線形回帰そのものだった １元配置分散分析で３以上の群のときは群内分散・群間分散の割り振り具合と群の数(もしくはそれより１つ少ない…

こちら(ヒストグラムと情報量)の続き これは、ヒストグラムを推定分布とみなして、その分布の情報量のこと、それと分割表の独立を仮定した生起確率・独立性検定統計量のことをメモした記事 最大エントロピー原理(Wiki)の記事にあるように「情報を得る前」の…

こちらで『情報理論』をぱらぱらめくっている 次から次に系列化して起きる事象があるときの情報の取扱いについて「情報源」という術語を用いて説明している そこから考えられる周辺のこと。いずれも情報量的に解釈することが大事そう。 情報源には「テキスト…

事前分布(Prior)について、Wikiの記事の引用文献は1968年のそれである(Wikiの記事によれば、2009年のに再掲載されている Maximum entropy Probability Distribution(Wiki)の話である 最大エントロピー原理は、ある情報が与えられた状態で(与えられていなくて…

こちらから 遺伝的浮動においては、ドリフトアウトによって特定のアレルのみに固定していく 固定するのは、アレル頻度pから始まれば、かた方のアレルにpの確率で、もう片方のアレルに(1-p)の確率で固定する エントロピー的に考えればとなるだろう ドリフトア…

熱学思想の史的展開〈1〉熱とエントロピー (ちくま学芸文庫)作者: 山本義隆出版社/メーカー: 筑摩書房発売日: 2008/12/10メディア: 文庫購入: 2人 クリック: 28回この商品を含むブログ (23件) を見る 「熱とはエネルギーの移動の一形態」「温度とは理想的熱…

こちらの記事をどうぞ に注意すれば 平均がmで、標準偏差がである確率分布は、定義より この条件を満たす確率分布で、エントロピーを最大にするのは、正規分布であることが示せる。この後は、上に挙げたリンクそのままなので割愛する ラグランジュの乗数法が…

Wiki