第3章 1標本パーミュテーションテストの理論
- 3.1 Introduction
- 3.1.1 定義など
- 単一変数が、連続量をとるものとする。観測サンプル数nの次元のユークリッド空間を張る。ある『実験』が、要素数nのの観測データセットをもたらし、そのXは、データセットが張る空間中の点をPermutationで取りうる点として持つ。この個々のデータセットに対応する点が確率密度を定義する。データセットが張る空間中の点は、ボレル集合族Borel sets*1となっている。
- 単一のカテゴリカル変数、多変数について、この定義は追って拡張される
- 帰無仮説において、単一の確率密度が対応する場合は、simpleな帰無仮説であると言い、複数の確率密度が対応するときには、composite(複合の)帰無仮説であると言う
- ありとあらゆる、観測データセットのすべての可能性について、空間は張られている。ひとたび、観測データが得られると、それをpermutationして得られる擬似観測データセットのすべてが、部分空間として定まる。帰無仮説においては、(通常)この部分空間上のそれぞれの点に相当する確率は相互に等しい。また、すべての空間は、orbitsの集合であり、orbit同士には、重なりが存在しない
- 観測データは冗長である。観測データから、ある変換したデータセットを作り出すことを考える。冗長性は排除したいが、情報は失いたくない。第2章の例で、20ペアの観測値YA,YBとその差であるX=YA-YBを考えた。YAとYBをあわせた2x20=40個の数値は、観測データのすべてであり、もちろん、十分な情報量を持っている。しかし、その差Xは20個の値のセットとなっているが、YAとYBとの間に行った介入に関して検定できることからもわかるように、情報は失われていない。情報は減っていないのに、データ量は40から20に半減した。今、20人の異なる個人に対しての観測データから20個の値を得ていることになり、(おそらく)これより少ないデータ数に減らすことは、情報を失うことになるだろう(20人に関して何かしらの情報が得られて、さらにcompressすることを可能にしてくれない限り)。そういう意味で、この20個の値のセットであるXは、最少かつ十分な統計量である。
- 検定統計量を算出する作業は、観測データから、1次元の数値を得る作業である。今、帰無仮説のもとでサンプルが交換可能な条件を満たしているということは、交換について、その確率分布によらず、不変であるような検定統計量を、不変検定と呼ぶ。サンプルの交換可能性のもとで不変であるということと、サンプルの交換可能性を決める条件に基づいて条件付けするということは、(ほぼ)同じことである。この『不変』と『条件付け』という、同じ内容の2面性のどちらに着目して、permutation testを組むかが、正式な2つのアプローチのそれぞれを特徴づける
- n個のデータセットから、sufficient statistics*2の最少セットを用いて解析するということと、不変変換を最多回数実施するということは、表裏の関係にあるが、上項の『不変』と『条件付け』との関係はそのような関係にある
- 3.1.2 0を中央に対象な1変数
- 3.2 パーミュテーションテストにおける統計量の同等性
- [定義]ある観測を考える。その観測からはデータセットが得られる。得られうるデータセットは『サンプル空間』に分布している。今、このようなサンプル空間の1点に相当する観測データセットから、2つの1次元統計量を算出するものとする。が次の条件を満たすときに、両者はパーミュテーション的に同等であるという。
- [定義]ある観測を考える。その観測からはデータセットが得られる。得られうるデータセットは『サンプル空間』に分布している。今、このようなサンプル空間の1点に相当する観測データセットから、2つの1次元統計量を算出するものとする。が次の条件を満たすときに、両者はパーミュテーション的に同等であるという。
- 3.1.1 定義など
- 3.3 パーミュテーションテストの正式の定義
- 3.3.1 Randomized Permutation Tests
- 観測データより、統計量を算出する。ランダムパーミュテーションにより、M個の統計量を算出する。任意の棄却水準について、(整数部分)を定める
- 棄却水準で棄却されるか否か(テスト結果)は、次のように定める
- なら、(棄却)
- なら、以下で与えられる棄却する確率をテスト結果として与える
- この式の説明図はこちら
- なら、(棄却しない)
- これを式で表すと
- 3.3.2 Non-randomized Permutation Tests(全順列しらみつぶし)の場合には、ランダム法のの不確定分が消失する
- 3.3.1 Randomized Permutation Tests
- 3.4 Permutation Testsに関してよく問われることなど
- 3.5 1サンプル問題の諸例
- 例1 対象性のテスト
- 0を中心とした対象性テストは2章の例の通り。再掲すると:
- 順列総数は
- 代替
- ある値を中心とした対象性テストは
- もしくは
- 0を中心とした対象性テストは2章の例の通り。再掲すると:
- 例2 2変数の独立性のテスト
- 順列総数は(2変数の片方の序数だけを順列入れ替えする)、2変数でなくて、q変数になると、のように、全部の変数で順列を独立に入れ替えてやる必要が出ることに留意
- ,
- 例3 データ系列のどこかにフェーズの変わる点があるかどうかのテスト
- 例4 交換可能性のテスト
- q変数、nサンプルのデータセットについては、のパーミュテーションが存在し、一般的に
- なる統計量がある。ただし、は"a suitable non-empty collection of events"である
- 例1 対象性のテスト
- 3.6 その他のパーミュテーションテストに関すること
- 3.6.1 p値
- ある観測データセットについて、帰無仮説にもとづいたパーミュテーションデータセットがとる部分空間において、帰無仮説の下での統計量は、均一の確率分布で存在するが、対立仮説の下での統計量は、非均一に分布する。その逆も然りで、ある対立仮説にもとづいたパーミュテーションデータセットがとる部分空間において、対立仮説の下での統計量は、均一の確率分布で存在するが、帰無仮説の下での問う軽量は、非均一に分布する。
- 帰無仮説(のときと、対立仮説のときとで、パーミュテーションp値は変化するが、 で、のときには、p値はのときより小さくなる。たとえば、2章のデータに準じる例だと、を適当に振ると、こちらのグラフのようになる。X=YA-YBのときは、X>0の関係があるデータであり、X=YB-YAとした場合には、X<0が真の関係である。それに応じて、X=YA−YBのときには、帰無仮説においてP値が0.27程度、X=YB-YAでは0.77となっている。いずれも、ではp値がより小さく、ではp値がより大きくなっている
- 3.6.2 Conditional and Unconditionalなこと
- 3.6.1 p値