📂統計的検定

ピアソンカイ二乗検定統計量

定義 ¹

$k$カテゴリがそれぞれ$p_{j} > 0$の確率で選ばれる多項実験で、$n$回の独立した試行で得られたカテゴリカルデータが与えられているとしよう。$j$番目のカテゴリに属するデータの頻度$O_{j}$を観測度数、仮説検定の帰無仮説下で予想される期待値$E_{j}$を期待度数という。検定統計量 $$ \mathcal{X}^{2} := \sum_{j=1}^{k} {{ \left( O_{j} - E_{j} \right)^{2} } \over { E_{j} }} $$ をピアソンのカイ二乗検定統計量という。

説明

仮説検定

$\mathcal{X}^{2}$は、1年生から接することができる典型的な検定統計量であり、これまでに正規分布あるいは二項分布しか知らなかった新入生にとっては衝撃と恐怖を与える。経験が浅い子供たちに対してカイ二乗分布についてどれだけ詳しく説明しても、データと統計分析に関する直感的な理解がまだなければ、理解することは難しいだろうから、式を見ただけで理解できるレベルまで簡単に説明する。

1. 大半の場合、$\mathcal{X}^{2}$が大きいということは、実際のデータと理論的な予測が食い違っているということを意味する。方程式の分子を見ると、$\left( O_{j} - E_{j} \right)^{2} \ge 0$が最も小さくなるのは、正確に$O_{j} = E_{j}$、つまり理論的に知られている確率$p_{j}$に従って観測されたデータが正確に一致する場合である。これらの数値が違うほど、分子は無限に大きくなる可能性がある。
2. だから、$\mathcal{X}^{2}$はデータが帰無仮説$H_{0}$に合致しないほどその値が大きくなり、通常は$\mathcal{X}^{2}$が$\chi^{2}_{1-\alpha}$よりも大きい場合に帰無仮説を棄却する右片側検定をするだけだ。
3. 要するに、$\mathcal{X}^{2}$が大きいと「何かがかなり間違っている」という意味だ。カイ二乗はどれだけ間違っているのか、散らばっているのかを知りたいときに使う分布だ。

カテゴリカルデータに対するピアソンのカイ二乗検定統計量の用途は主に次の3つである:

• グループの適合度検定
• グループの独立性検定
• グループの均一性検定

理論的根拠

これを読んでいるあなたは、おそらく新入生レベルを超えているだろう。

一般に残差の分布として想定される正規分布の平方が比例的にカイ二乗分布に従うということはスチューデントの定理によって知られているが、ある程度数理統計学を学んだ学部生が見ても$\mathcal{X}^{2}$の形はかなり奇妙に見えるかもしれない。振れ幅が正規分布に従うという仮定さえないため、ただの経験的な統計量なのかと思われるかもしれない。もちろん、統計学というのはそういう風に雑に動いているわけではなく、ちゃんとした証明があるピアソンの定理が$\mathcal{X}^{2}$のカイ二乗性を保証する。

ピアソンの定理: サンプルサイズ$n \in \mathbb{N}$と$k \in \mathbb{N}$カテゴリに対してランダムベクトル$\left( N_{1} , \cdots , N_{k} \right)$が多項分布$M_{k} \left( n ; \mathbf{p} \right)$に従うとする。すると、$n \to \infty$のとき次の統計量$S$はカイ二乗分布$\chi^{2} \left( k - 1 \right)$に分布収束する。 $$ S = \sum_{j=1}^{k} {{ \left( N_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \overset{D}{\to} \chi^{2} \left( k-1 \right) $$

定義で紹介された多項実験は、私たちのデータが多項分布に従うということを正確に仮定しており、ピアソンの定理に従ってサンプルが十分に多い場合、カテゴリの種類$k$から$1$を引いた自由度$(k-1)$のカイ二乗分布に近づく。ピアソンの定理の証明は決して簡単ではないが、学部生であれば、理論的な背景をよく知らなくても$\mathcal{X}^{2}$を実際に使うことには大きな問題はない。もちろん、大学院に進学すると決めたのなら、自分で証明できるようになるまで勉強することをお勧めする。