ASA Statement on Statistical Significance and P-valuesのメモ

• p値ばっかりを使って判断することの問題点についての論文等が目立っていた昨今、ASAがStatementを出しました
• こちらが簡略版
• こちらが正式版
• p値に関する６つの文とそれのかいつまんだ説明と、それら全体を通しての見解です
• その６つとは
  • 1. P-values can indicate how incompatible the data are with a specified statistical model.
    • p値が表しているのは、ある特定の統計モデルに照らしたときに、あるデータがそのモデルにどれくらい合わないかのその程度
  • この統計モデルの中でよく使われるのが帰無仮説であり、帰無仮説では、群間に違いがないことや、なにかしらに効果がないことを現していることが多いです
  • 2. P-values do not measure the probability that the studied hypothesis is true, or the probability that the data were produced by random chance alone.
    • p値が表しているのは、特定の仮説・確かめたい仮説が正しいであろう確率ではないし、偶然生じるばらつきだけから、観察データが得られる確率についての情報を表しているわけでもない
    • p値は、あることを仮定した上での観察データの解釈を提供している。p値は仮説そのものについてどうこう言っているわけではない
  • 3. Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold.
    • 科学的に何かを結論付けたり、業務上の決定・政策決定を下したりするときに、p値がある特定の閾値を超えるか否かのみを持ってするべきではない
    • p値の大小で真偽がきれいに分かれるわけではない
  • 4. Proper inference requires full reporting and transparency.
    • データを適切に読み取るためには、一部のみを提示したのではだめで、どのように考えてどのように解析したのかがわかるように示す必要がある
    • 例えばマルチプルテスティングについて言えば、マルチプルテスティングの補正をすることが大事というよりは、マルチプルテスティングになっているかどうか・そのマルチプルテスティングの構成がどうなっているかがわかるように提示することで、データの解釈が適切とできる、というようなことを意味する
  • 5. A p-value, or statistical significance, does not measure the size of an effect or the importance of a result.
    • p値(統計的有意さ)は効果の大きさを表すものではないし、結果の重要性を表すものでもない
  • 6. By itself, a p-value does not provide a good measure of evidence regarding a model or hypothesis.
    • p値は仮定したモデルや仮説の確かさを定量的に示すわけではない
    • したがって、p値を出して、「はい、終わり」というようになるわけがない
• Other approaches
  • ではp値に代えてどうするか
  • 統計学的検定(p値を返す手法)でないやり方はいくつかある
    • パラメタ値推定をしたり、区間推定をするやり方
    • ベイズ法を採用して尤度比やベイズ因子を出す方法
    • 決定理論を用いたり、FDRのようにp値に変わる閾値を定めたりする方法
  • これらのp値に依らない方法の特徴は
    • 検定(p値算出)もある仮説に基づいて計算しているが
    • p値に依らない方法は、p値を出す方法よりも、さらに色々な仮定を入れたうえでの計算になっている
    • その代り、効果の強さについての情報をより直接的に提示するし
    • 仮説の真偽に関してより直接的な情報を提供する
    • が、その直接的な情報には、もちろん、不確かさがついている