📂統計的検定

グループの独立性検定

仮説検定 ¹

多項実験において、データが二つの特性 $X$、$Y$ を持ち、$X$ のカテゴリが $R$ つ、$Y$ のカテゴリが $C$ つあるカテゴリカルデータを $n$ 回の独立した試行で得たと仮定する。ピアソンのカイ二乗検定統計量を使用した次の仮説検定を独立性の検定^{test of independence}と呼ぶ。

• $H_{0}$: 二つのカテゴリは独立である。
• $H_{1}$: 二つのカテゴリは従属である。

検定統計量

検定統計量はピアソンのカイ二乗検定統計量を使用する。 $$\mathcal{X}^{2} = \sum_{i=1}^{R} \sum_{j=1}^{C} {{ \left( O_{ij} - E_{ij} \right)^{2} } \over { E_{ij} }}$$ ここで▽eq01◁ が $i$ 番目のカテゴリに属し、 $Y$ が $j$ 番目のカテゴリに属するデータの度数 $O_{ij}$ を観察度数、 $X$ が $i$ 番目のカテゴリに属する標本の数 $r_{i}$ と $Y$ が $j$ 番目のカテゴリに属する標本の数 $c_{j}$ の積 $r_{i} c_{j}$ とサンプルサイズ $n$ の比 $E := r_{i} c_{j} / n$ を期待度数と呼ぶ。この検定統計量はカイ二乗分布に従い、その自由度は $X$ と $Y$ 各カテゴリの数 $R$ および $C$ から $1$ だけ引いた値の積である $(R-1)(C-1)$ である。

説明

自由度

単純に $X$ が $i$ 番目のカテゴリに属し、 $Y$ が $j$ 番目のカテゴリに属するデータの度数 $O_{ij}$ を $n$ で割った比率を $p_{ij}$ とする。 $$\begin{align*} p_{i} = \sum_{j1=1}^{C} p_{ij} = {\frac{ r_{i} }{ n }} \implies & \sum_{i=1}^{R} p_{i} = 1 \\ p_{j} = \sum_{i=1}^{R} p_{ij} = {\frac{ c_{j} }{ n }} \implies & \sum_{j=1}^{C} p_{j} = 1 \end{align*}$$ それぞれの周辺確率を考慮すると上記のような制約が伴うため、それぞれのカテゴリで $R-1$ 個、 $C - 1$ 個の確率を知れば、残りの一つは決定されるも同然である。したがって自由度はその積の $(R - 1) (C - 1)$ であるべきである。

X\Y	y1	y2
x1	0000	0000
x2	0000	0000
x3	0000	0000

たとえば上記のような分割表は $X$ が $R = 3$ 個、 $Y$ が $C = 2$ 個のカテゴリを持つデータを表し、その自由度は $(3-1)(2-1) = 2$ とされる。

独立性

分割表や確率の積のような説明が多くて難しく見えるが、本質的に独立性の検定は適合度検定の延長である。適合度検定の帰無仮説は「与えられたデータが理論的な確率に一致するようにサンプリングされた」とされ、独立性の検定ではまさにその理論的な確率が各カテゴリに対する周辺確率の積として現れるだけである。

事象の独立: 確率空間 $(\Omega , \mathcal{F} , P)$ が与えられていると仮定する。

1. $P(B)>0$ に対して $\displaystyle P (A | B) = {{P(A \cap B)} \over {P(B)}}$ を $B$ に対する $A$ の条件付き確率^{conditional Probability}と呼ぶ。
2. もし $P(A | B) = P(A)$、すなわち $P( A \cap B) = P(A) \cdot P(B)$ なら $A, B$ が互いに独立^independentであるという。

実際には、事象の独立は二つの事象が同時に起こる確率がそれぞれが起こる確率の積に等しいことで定義される。独立性の検定の文脈で、もし帰無仮説が真であれば、 $p_{ij} = p_{i} p_{j}$ であるため、次の関係が成立するはずである。 $$\begin{align*} & {\frac{ O_{ij} }{ n }} = p_{ij} = p_{i} p_{j} \\ \implies & O_{ij} = n p_{i} p_{j} = n {\frac{ r_{i} }{ n }} {\frac{ c_{j} }{ n }} = {\frac{ r_{i} c_{j} }{ n }} = E_{ij} \end{align*}$$ 観察度数 $O_{ij}$ と期待度数 $E_{ij}$ の差が大きいということは、カイ二乗検定統計量の値が大きくなるということ―つまり、理論上本当に二つの特性が独立であれば小さかったはずの $\mathcal{X}^{2}$ の値が大きいということなので、 $p_{ij} = p_{i} p_{j}$ という帰無仮説自体を疑うべきである。

例

メンデルの遺伝法則

(群の適合度検定の投稿に続き)

メンデルの遺伝法則によれば、このように色に関しては黄色が優性、緑が劣性で、丸いものが優性、しわがあるものが劣性のとき、黄色で丸い純系種と緑でしわのある純系種を交配させて得た第一世代の表現型は優性を追い、第二世代には黄色と緑が3対1、丸いものとしわのあるものが3対1の比率で現れ、全体的には9対3対3対1の比率が現れるとされる²。

	黄丸	黄しわ	緑丸	緑しわ
観察度数	773	231	238	59

このように得た第2世代の豆の観察度数が上記のようであるとすると³、全体の標本数は $n = 1301$ で、カテゴリ数は $k = 4$ であるが、独立性の検定では以下のように分割表を作成する必要がある。

色\形	丸	しわ
黄	773	231
緑	238	59

次に有意水準 $\alpha = 0.05$ で、二つの特性が色と形が互いに独立しているか確認してみよう。仮説検定でカイ二乗分布の自由度は $k-1 = 3$ ではなく $R = 2$ であり、 $C = 2$ であるため $(2-1)(2-1) = 1$ に注意する必要がある。

• $H_{0}$: 実験結果において色と形は互いに独立している。
• $H_{1}$: 実験結果において色と形は互いに従属している。

まず帰無仮説と対立仮説は上記の通りで、そのピアソンカイ二乗検定統計量は $$\begin{align*} E_{11} =& {\frac{ (773 + 231) \cdot (773 + 238) }{ 1301 }} \approx 780.2029 \\ E_{12} =& {\frac{ (773 + 231) \cdot (231 + 59) }{ 1301 }} \approx 223.7971 \\ E_{21} =& {\frac{ (238 + 59) \cdot (773 + 238) }{ 1301 }} \approx 230.7971 \\ E_{22} =& {\frac{ (238 + 59) \cdot (231 + 59) }{ 1301 }} \approx 66.2029 \\ \mathcal{X}^{2} =& \sum_{i=1}^{R} \sum_{j=1}^{C} {{ \left( O_{ij} - E_{ij} \right)^{2} } \over { E_{ij} }} \\ \approx & {\frac{ \left( 773 - 780.2029 \right)^{2} }{ 780.2029 }} + {\frac{ \left( 231 - 223.7971 \right)^{2} }{ 223.7971 }} \\ & + {\frac{ \left( 238 - 230.7971 \right)^{2} }{ 230.7971 }} + {\frac{ \left( 59 - 66.2029 \right)^{2} }{ 66.2029 }} \\ \approx & 1.31 \end{align*}$$ のように計算される。与えられた有意水準 $\alpha = 0.05$ に対して、自由度 $1$ のカイ二乗分布に従う棄却域の上限は $\chi_{1 - \alpha}^{2} (1) \approx 3.84$ であるが、$\chi_{1 - \alpha}^{2} > \mathcal{X}^{2}$ なので帰無仮説を棄却することはできない。適合度検定によれば、このデータを通じてメンデルの遺伝法則を支持することはできなかったが、二つの形質が独立であることは主張できることになる。

参考

• ピアソンカイ二乗検定統計量 $\mathcal{X}^{2}$
  • 群の適合度検定
  • 群の独立性の検定
  • 群の同質性の検定