集団の同質性検定
仮説検定 1
多項実験においてカテゴリが$C$個のカテゴリ型データを$R$個の母集団から得たと仮定しよう。$i = 1 , \cdots , R$番目の母集団で要素が$j = 1 , \cdots , C$番目のカテゴリに属する確率を$p_{ij}$とするとき、$i$番目の母集団の比率ベクトルを$\mathbf{p}_{i} = \left( p_{i1} , \cdots , p_{iC} \right)$と表そう。ピアソンのカイ二乗検定統計量を用いた次の仮説検定を独立性検定test of independenceという。
- $H_{0}$: すべての母集団の要素の比率が同一である: $$\mathbf{p}_{1} = \cdots = \mathbf{p}_{R}$$
- $H_{1}$: 要素の比率が同一でない母集団が少なくとも一つ存在する。
検定統計量
検定統計量はピアソンのカイ二乗検定統計量を用いる。 $$ \mathcal{X}^{2} = \sum_{i=1}^{R} \sum_{j=1}^{C} {{ \left( O_{ij} - E_{ij} \right)^{2} } \over { E_{ij} }} $$ ここで$i$番目の母集団に属しつつ$j$番目のカテゴリに属するデータの度数$O_{ij}$を観測度数、$i$番目の母集団に属する標本の数$r_{i}$と$j$番目のカテゴリに属する標本の数$c_{j}$の積$r_{i} c_{j}$とサンプルサイズ$n$の比$E := r_{i} c_{j} / n$を期待度数という。この検定統計量はカイ二乗分布に従うが、その自由度は母集団の数$R$とカテゴリの数$C$から$1$ずつ引いた値の積である$(R-1)(C-1)$である。
説明
自由度
$$ \begin{align*} p_{i} = \sum_{j1=1}^{C} p_{ij} = {\frac{ r_{i} }{ n }} \implies & \sum_{i=1}^{R} p_{i} = 1 \\ p_{j} = \sum_{i=1}^{R} p_{ij} = {\frac{ c_{j} }{ n }} \implies & \sum_{j=1}^{C} p_{j} = 1 \end{align*} $$ それぞれの周辺確率を考えてみると上記のような制約条件が伴うので、それぞれの母集団で$R-1$個、カテゴリで$C - 1$個の確率が分かれば残りの一つは決定されるのと同然である。したがって自由度はその積である$(R - 1) (C - 1)$でなければならない。
| X\Y | y1 | y2 |
|---|---|---|
| x1 | 0000 | 0000 |
| x2 | 0000 | 0000 |
| x3 | 0000 | 0000 |
例えば上記のような分割表は母集団が$R = 3$個、カテゴリが$C = 2$個のカテゴリを持つデータを表し、その自由度は$(3-1)(2-1) = 2$となる。
同質性 2
実は同質性検定のプロセスは独立性検定と正確に同じであり、実際に独立性検定の延長と見ることができるが、帰無仮説と対立仮説およびその解釈が異なるだけである。独立性検定では二つのカテゴリが存在してこれらの関係によって行の和$r_{i}$と列の和$c_{j}$がランダムに求められるが、同質性検定では各母集団のサンプルサイズ$r_{i}$は定まっており、比率のベクトル$\mathbf{p}_{i}$に応じて$O_{ij}$がランダムに求められると見る。この比率のベクトル$\mathbf{p}_{i}$が$i$と関係なく一貫性を持つということは母集団による特殊な差がないということであり、結果的には母集団の選択とカテゴリの比率が独立であるということと相通じる。
簡単な例として、ある大学の科目一つで男性と女性という二つの性別によって成績の差があるかを把握するには、次のように分割表を作って同質性検定を行うことができる。
| 性別 | A | B | C | D | F | 計 |
|---|---|---|---|---|---|---|
| 男性 | 29 | 52 | 26 | 17 | 6 | 130 |
| 女性 | 6 | 75 | 98 | 62 | 9 | 250 |
- $H_{0}$: 性別に関係なく成績比率が同一である。
- $H_{1}$: 性別に関係なく成績比率が同一でない。
見ての通り、成績というカテゴリの階級はAからFまで五種類もあるので、これを単純に13:25の比率に当てはめて差を解釈するのは困難である。有意水準$\alpha = 0.05$で男性と女性の成績比率が統計的に同一であると言えるかを確認するには、$R = 2$であり$R = 5$なので自由度$(2-1)(5-1) = 4$のカイ二乗分布から得た$\chi_{1 - \alpha}^{2} (4) \approx 9.49$と検定統計量$\mathcal{X}^{2}$を比較すればよい。実際の計算結果は$\mathcal{X}^{2} \approx 54.889$で$\chi_{1 - \alpha}^{2} (4)$を大きく上回り、有意水準$5\%$で性別による成績の差があると結論づけることができる。
注意すべきことは、このような統計的解釈があくまで「同一でない」ということにとどまるべきだということである。もちろん目があれば誰でもこの仮想の例で男性の成績が優れていることを把握できるだろうし、通りすがりに「男の方がよくできるね」と言えるだろうが、そのような判断は同質性検定ではなく「おそらくAが一番よくてFが一番劣るだろう」という直観から出たものである。たとえそのような情報が与えられたとしても、同質性検定の帰無仮説と対立仮説では優劣に言及していないし、これは実際に数学的なバックグラウンドが実際にそうであるからである。