情報量

復習する:検定・推定・情報量・エントロピー・分布間距離

セミナースライド(こちら) 色々な観測量があって、統合して解析したい(オミックス層のデータ構成) データ構成の組み合わせはいろいろ 独立・関連、情報 分割表の場合 分散分析と分散と情報量 線形解析は、「遠近両用」 非線形解析は、「近のみ重用」 「近の…

n次元のx軸 vs. m次元のy軸で関連の有無を検定する?

メモソース library(FNN) # X is a matrix or a list. # In case of matrix, each row of X represents a sample and a row vector is a point in the dimensional space. The function returns a distance matrix with specifeid distance measure ("method…

エントロピーベースで分布の差異の関連検定〜続き

説明変数群が空間上の点であって、目的変数が分布であるようなときのことを考える 「近い」ことのみを活用する 分布のエントロピーを推定するときに、度数分布を使って局所濃度の推定を介して行う方法がある(次元が大きいとうまくいかないこともあり、現実的…

エントロピーベースで分布の差異の関連検定

昨日のさらに続き このやり方で本当にいいかは未確定 0/1の説明変数があるとする 目的変数は2次元の点座標のデータ 目的変数を20標本分プロットした。説明変数の2群を黒点プロットと赤点プロットで分けた このプロットの心:原点を中心に2次元正規分布す…

エントロピーで関連

昨日のさらに続き 2軸でいわゆる相関係数を取る場合と、エントロピーとを見る場合とで、どんな違いが出るかを、 にあるような例でやってみよう この絵はWikipediaのCorrelationの例の図 上段は傾き45度でばらつきを変えている 中段はばらつきは同じで傾きを…

整理整頓

昨日までに何回か、共通項のある話を書いている 話が発散しているので、改めて、整理整頓 名義カテゴリの場合、それらの「位置」は正単体の頂点座標〜すべてのカテゴリ間の距離は等しい 1次元の量的分布で一峰性(しかも対称性)の場合、値が近いものは近く…

検定・推定・情報量・エントロピー(続き)

こちらの続き 線形回帰と分散分析とで順序関係が等しくなる統計量のことをやっていた 1元配置分散分析で2群のときは、線形回帰そのものだった 1元配置分散分析で3以上の群のときは群内分散・群間分散の割り振り具合と群の数(もしくはそれより1つ少ない…

検定・推定・情報量・エントロピー

こちら(ヒストグラムと情報量)の続き これは、ヒストグラムを推定分布とみなして、その分布の情報量のこと、それと分割表の独立を仮定した生起確率・独立性検定統計量のことをメモした記事 最大エントロピー原理(Wiki)の記事にあるように「情報を得る前」の…

ヒストグラムと情報量推定

昨日の記事で分割表の生起確率と情報量との関係、2つの変数が生起するときの確率密度分布の情報量と2つの変数の非独立性の話を書いた じゃあ、多変量の確率密度分布があると、その情報量は、構成変数間(変数のセットの間でもよい)の非独立性の指標になるこ…

極限まで分割する

2x2表があるとき、その生起確率は。周辺度数が固定しているときに比例している 2つの1次元確率密度分布があるとする。2つの分布に従って生起する事象のペアがあるとする。ペアになる事象が独立であるかそうでないかを考える。独立でない場合には、「偏…

学習・情報量・判断・情報担体としての生命体

こちらで『情報理論』をぱらぱらめくっている 次から次に系列化して起きる事象があるときの情報の取扱いについて「情報源」という術語を用いて説明している そこから考えられる周辺のこと。いずれも情報量的に解釈することが大事そう。 情報源には「テキスト…

機械に教える医学学習6 有用な情報

こちらの続き 今、あるpが与えられたときに、Qの要素q1,...,qnのそれぞれに対して、値が算出できるとする これまでの考え方から言えば、pはある症候であって、Qは診断名の集合、qiは個々の診断名であり、p、Qはグラフ状の知識体系として表現してあり、値はこ…

情報高分子のコピー

熱学思想の史的展開〈1〉熱とエントロピー (ちくま学芸文庫)作者: 山本義隆出版社/メーカー: 筑摩書房発売日: 2008/12/10メディア: 文庫購入: 2人 クリック: 28回この商品を含むブログ (23件) を見る 「熱とはエネルギーの移動の一形態」「温度とは理想的熱…

Renyiエントロピー

Wiki