📂統計的検定

ピアソンカイ二乗検定統計量

定義 ¹

$k$ 個のカテゴリがそれぞれ $p_{j} > 0$ の確率で選ばれる多項試験で $n$ 回の独立な試行によって得たカテゴリカルデータが与えられたとする。 $j$ 番目のカテゴリに属するデータの度数 $O_{j}$ を観測度数^{observed cell count}、仮説検定の帰無仮説の下で予想される期待値 $E_{j}$ を期待度数^{expected cell count} と呼ぶ。検定統計量 $$\mathcal{X}^{2} := \sum_{j=1}^{k} {{ \left( O_{j} - E_{j} \right)^{2} } \over { E_{j} }}$$ をピアソンカイ二乗検定統計量^{Pearson Chi-square test statistic}とする。

説明

仮説検定

$\mathcal{X}^{2}$ は1年生から触れることができる代表的な検定統計量であり、ようやく正規分布ないし二項分布を知っている新入生に衝撃と恐怖を与える。経験の少ない初心者の子供たちにカイ二乗分布についていくら詳細に説明しても、データと統計分析に関する直感が定着していなければ理解することは不可能であるため、式を見ても理解できる範囲で簡単に説明する。

1. ほとんどの場合、$\mathcal{X}^{2}$が大きいということは、実際のデータと理論的予想が食い違っているということを意味する。式の分子を見ると、$\left( O_{j} - E_{j} \right)^{2} \ge 0$が最も小さくなるのは、正確に$O_{j} = E_{j}$、つまり理論的に知っている確率$p_{j}$に従い観測されたデータが正確に一致することである。その数値が異なるほど、分子は終わりなく大きくなることができる。
2. このため、$\mathcal{X}^{2}$はデータが帰無仮説 $H_{0}$に合わないほどその値が大きくなり、通常は$\mathcal{X}^{2}$が$\chi^{2}_{1-\alpha}$より大きいときに帰無仮説を棄却する右片側検定^{right-tailed statistical test}のみにする。
3. とにかく、$\mathcal{X}^{2}$が大きいと「何かが大きく違っている」という意味である。カイ二乗はどれだけ大きく間違っているのか、どれだけ散らばっているのか知りたいときに使う分布である。

カテゴリカルデータに対するピアソンカイ二乗検定統計量の用途は、主に次の三つがある：

• 集団の適合度検定
• 集団の独立性検定
• 集団の同質性検定

理論的根拠

ここから読むあなたは、おそらく新入生のレベルを超えているだろう。

よく残差の分布として仮定される正規分布の平方が比例的にカイ二乗分布に従うというのはスチューデントの定理によって知られているが、ある程度数理統計学を学んだ学部生でも$\mathcal{X}^{2}$の形はかなり奇妙に見える。一見すると合理的に見えるが、偏差が正規分布に従うという仮定すらないので単なる経験的な統計量かと感じることもある。もちろん統計学がそのように感覚的に進行するわけではなく、適切に証明があるピアソンの定理が$\mathcal{X}^{2}$のカイ二乗性を保証している。

ピアソンの定理：サンプルサイズ $n \in \mathbb{N}$ と $k \in \mathbb{N}$ 個のカテゴリに対してランダムベクトル $\left( N_{1} , \cdots , N_{k} \right)$が多項分布 $M_{k} \left( n ; \mathbf{p} \right)$に従うとすると、$n \to \infty$ のとき次の統計量$S$ はカイ二乗分布 $\chi^{2} \left( k - 1 \right)$に分布収束する。 $$S = \sum_{j=1}^{k} {{ \left( N_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \overset{D}{\to} \chi^{2} \left( k-1 \right)$$

定義で紹介された多項試験は私たちのデータが多項分布に従うことを正確に仮定しており、ピアソンの定理によりサンプルが十分に多ければカテゴリの種類$k$から$1$を引いた自由度$(k-1)$のカイ二乗分布に近似する。ピアソンの定理の証明は決して簡単ではないが、学部生程度であれば理論的背景をよく知らなくても$\mathcal{X}^{2}$を実際に活用することには大きな問題はない。もちろん大学院進学を決めたならば一日かけて自分で証明できるまで勉強してみることをおすすめする。