検出限界

検体数が少ないとき、どんなに帰無仮説から遠い観測結果を得ても、いわゆるP値が有意水準を越えないことはよく知られている。フィッシャーの正確確率検定で頻繁にP=1となることはこれを表している。

今、フィッシャーの正確確率検定P値と同様に、離散的な分布をとるような統計量を使って、多数のテストを有限なサンプル数で行っている場合を考える。

なる離散的な値をとる統計量であるとする。その観測確率をとする。ここでである。この累積確率をとすれば、となり、である。このような確率分布をとる統計量にてN回のテストを繰り返すと、FWERの考え方から、その最小P値が以下となる確率はと与えられる。これをとおくと、最小P値が、まさにと観測される確率はただしとして与えられる。今、が離散的ながら十二分に多数の値をとり、０から１まで満遍なく与える場合には、問題がないが、それが有限であるとき、Nが増えるにしたがって、観測されうる最小値は限定的になってくる。あまりにNが大きくなると、FWER補正後のP値が有意水準を越えることが不可能ではないが、稀になり、FWER補正後P値としては、実質的に有意水準を越え得ない状況が出現する。

その様子を示したのがこちらのエクセル。掲載図のオリジナルはこちら。