📂確率分布論

ピアソンの定理の証明

定理

$$ \sum_{i=1}^{k} N_{i} = n \qquad \& \qquad \sum_{i=1}^{k} p_{i} = 1 $$を満たす$\mathbf{p} = \left( p_{1} , \cdots , p_{k} \right) \in [0,1]^{k}$とサンプルサイズ$n \in \mathbb{N}$、$k \in \mathbb{N}$個のカテゴリについて、ランダムベクトル$\left( N_{1} , \cdots , N_{k} \right)$が多項分布$M_{k} \left( n ; \mathbf{p} \right)$に従うとする。このとき$n \to \infty$であるならば、統計量$S$はカイ二乗分布$\chi^{2} \left( k - 1 \right)$に分布収束する。 $$ S := \sum_{j=1}^{k} {{ \left( N_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \overset{D}{\to} \chi^{2} \left( k-1 \right) $$

---

• $[0,1]^{k} = [0,1] \times \cdots \times [0,1]$は$k$-セルである。
• $\overset{D}{\to}$は分布収束を意味する。
• $\chi^{2} \left( r \right)$は自由度$r$のカイ二乗分布を意味する。

説明

正直に言うと、ピアソンの定理という表現がよく使われるわけではない。本当に1回しか見たことがないけど¹、普通は統計量 $$ \mathcal{X}^{2} := \sum_{j=1}^{k} {{ \left( O_{j} - E_{j} \right)^{2} } \over { E_{j} }} $$ をピアソンのカイ二乗統計量^{pearson Chi-squared Statistic}と呼び、これがカイ二乗分布に分布収束するというステートメントだけで紹介されるからだ。定理という認識を持って学ぶよりも実用的な仮説検定の話にすぐ移るので、厳密な数理的証明を軽視されがちだ。

証明 ²

全ての成分が$p_{j} > 0$である$\mathbf{p}$と $$ S := \sum_{j=1}^{k} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} $$ としよう。制約条件$\sum_{j=1}^{k} \left( N_{j} - n p_{j} \right) = 0$に従って最後の$k$番目の項を除くと、 $$ \begin{align*} S =& \sum_{j=1}^{k} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \\ =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( X_{k} - n p_{k} \right)^{2} } \over { n p_{k} }} \\ =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right)^{2} } \over { n p_{k} }} \end{align*} $$ が得られる。このように制約条件がある場合、実際には$N_{k}$は必要なく、$k$番目の成分が切り取られた$\widetilde{N} := \left( N_{1} , \cdots , N_{k-1} \right)$と$\widetilde{\mathbf{p}} := \left( p_{1} , \cdots , p_{k-1} \right)$について、$\widetilde{N}$の共分散行列$\widetilde{\Sigma}$を考えたい。

多項分布の共分散行列: ランダムベクトル$\mathbf{X} := \left( X_{1} , \cdots , X_{k} \right)$が多項分布$M_{k} \left( n, \mathbf{p} \right)$に従うならば、共分散行列は次のようになる。 $$ \operatorname{Cov} \left( \mathbf{X} \right) = n \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k} p_{1} & - p_{k} p_{2} & \cdots & p_{k} \left( 1 - p_{k} \right) \end{bmatrix} $$

$k$番目の成分があってもなくても$\operatorname{Cov} \left( N_{i} , N_{j} \right)$が変わる理由はないので、恒等行列$I_{k-1}$に対して次を得る。 $$ \begin{align*} & {{ 1 } \over { n }} \widetilde{\Sigma} \\ =& {{ 1 } \over { n }} \operatorname{Cov} \left( \widetilde{N} \right) \\ =& \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k-1} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k-1} p_{1} & - p_{k-1} p_{2} & \cdots & p_{k-1} \left( 1 - p_{k-1} \right) \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \begin{bmatrix} - p_{1}^{2} & - p_{1} p_{2} & \cdots & - p_{1} p_{k-1} \\ - p_{2} p_{1} & - p_{2}^{2} & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k-1} p_{1} & - p_{k-1} p_{2} & \cdots & - p_{k-1}^{2} \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \begin{bmatrix} p_{1} \\ p_{2} \\ \vdots \\ p_{k-1} \end{bmatrix} \begin{bmatrix} p_{1} & p_{2} & \cdots & p_{k-1} \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \\ =& I_{k-1} \widetilde{\mathbf{p}} - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \end{align*} $$ ここで、$\widetilde{\mathbf{p}}^{T}$は$\widetilde{\mathbf{p}}$の転置行列を意味する。ここで$\widetilde{P} := I_{k-1} \widetilde{\mathbf{p}}$とする。

シャーマン-モリソン公式: $\left( A + \mathbf{u} \mathbf{v}^{T} \right)^{-1}$が存在する場合、具体的な公式は以下の通りである。 $$ \left( A + \mathbf{u} \mathbf{v}^{T} \right)^{-1} = A^{-1} - {{ A^{-1} \mathbf{u} \mathbf{v}^{T} A^{-1} } \over { 1 + \mathbf{v}^{T} A^{-1} \mathbf{u} }} $$

${{ 1 } \over { n }} \widetilde{\Sigma}$の逆行列を計算すれば、 $$ \widetilde{P} = I_{k-1} \widetilde{\mathbf{p}} = \text{diag} \left( p_{1} , \cdots , p_{k-1} \right) $$ の逆行列は対角成分を逆数にした対角行列$\widetilde{P}^{-1} = \text{diag} \left( p_{1}^{-1} , \cdots , p_{k-1}^{-1} \right)$なので、シャーマン-モリソン公式によれば、 $$ \begin{align*} & \left( {{ 1 } \over { n }} \widetilde{\Sigma} \right)^{-1} \\ =& \left( \widetilde{P} + \left( - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \right) \right)^{-1} \\ =& \widetilde{P}^{-1} + {{ \widetilde{P}^{-1} \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \widetilde{P}^{-1} } \over { 1 - \widetilde{\mathbf{p}}^{T} \widetilde{P}^{-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ I_{k-1} I_{k-1} } \over { 1 - I_{k-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ I_{k-1} I_{k-1} } \over { 1 - I_{k-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ 1 } \over { 1 - p_{1} - \cdots - p_{k-1} }} I_{k-1} \\ =& \widetilde{P}^{-1} + {{ 1 } \over { p_{k} }} I_{k-1} \\ =& \begin{bmatrix} {{ 1 } \over { p_{1} }} + {{ 1 } \over { p_{k} }} & 0 & 0 & \cdots & 0 \\ 0 & {{ 1 } \over { p_{2} }} + {{ 1 } \over { p_{k} }} & 0 & \cdots & 0 \\ 0 & 0 & {{ 1 } \over { p_{3} }} + {{ 1 } \over { p_{k} }} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & {{ 1 } \over { p_{k-1} }} + {{ 1 } \over { p_{k} }} \end{bmatrix} \end{align*} $$ 再び$S$に戻り、行列形式で表すと、 $$ \begin{align*} S =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right)^{2} } \over { n p_{k} }} \\ =& {{ 1 } \over { n }} \left[ \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) {{ 1 } \over { p_{j} }} \left( X_{j} - n p_{j} \right) + \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) {{ 1 } \over { p_{k} }} \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right] \\ =& {{ 1 } \over { n }} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \left( {{ 1 } \over { n }} \widetilde{\Sigma} \right)^{-1} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \\ =& \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \left( \widetilde{\Sigma}^{-1} \right) \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \end{align*} $$

ド・モアブル-ラプラスの定理: $X_i \sim B(1,p)$かつ$Y_n = X_1 + X_2 + \cdots + X_n$であれば、$Y_n \sim B(n,p)$であり、 $$ { { Y_n - np } \over {\sqrt{ np(1-p) } } }\overset{D}{\to} N(0,1) $$

既に$\widetilde{\Sigma}$が$\widetilde{N}$の共分散行列であることを知っているので、 $$ \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \sim \left( \mathbf{0} , \widetilde{\Sigma} \right) $$ ド・モアブル-ラプラスの定理により、多変量正規分布$\mathcal{N}_{k-1}$に対して以下のように表せる。 $$ \widetilde{\Sigma}^{ - 1/2} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \overset{D}{\to} \mathcal{N}_{k-1} \left( \mathbf{0} , I_{k-1} \right) $$ この時点で、分布収束して標準正規分布に従う各成分を$Z_{j} \sim N \left( 0, 1 \right)$で表し、$S$の特性関数を$\phi$と定義しよう。$\left( Z_{1} , \cdots ,Z_{k-1} \right)$の共分散行列が$I_{k-1}$なので、$i \ne j$の時、$Z_{i}$と$Z_{j}$はもちろん独立である。

レヴィの連続性定理: 可測空間$\left( \mathbb{R}^{d} , \mathcal{B} \left( \mathbb{R}^{d} \right) \right)$が与えられているとする。$n \in \overline{\mathbb{N}}$に対する確率測度を$\mu_{n}$とし、それに対応する特性関数を$\varphi_{n}$と表す。次の2つは等価である。

• (a): $\mu_{n}$が$\mu_{\infty}$に弱く収束する。
• (b): 全ての$t \in \mathbb{R}^{d}$に対して $$\lim_{n \to \infty} \varphi_{n} (t) = \varphi_{\infty} (t)$$

$\phi$は$n \to \infty$の時、レヴィの連続性定理により$Z \sim N (0,1)$に対して $$ \begin{align*} \phi (t) =& E \left[ e^{itS} \right] \\ =& E \left[ \exp \left( it \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \widetilde{\Sigma}^{ - 1} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \right) \right] \\ \overset{D}{\to} & E \left[ \exp \left( it \left( Z^{2}_{1} + \cdots + Z^{2}_{k-1} \right) \right) \right] \\ = & \left[ E \left[ \exp \left( it Z^{2} \right) \right] \right]^{k-1} \end{align*} $$

カイ二乗分布の性質:

• 標準正規分布の二乗との関係: $X \sim N(\mu,\sigma ^2)$ならば $$ V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1) $$
• モーメント生成関数: $$m(t) = (1-2t)^{-r/2} \qquad , t < {{ 1 } \over { 2 }}$$

$$ \begin{align*} \phi (t) \overset{D}{\to} & \left[ E \left[ \exp \left( it Z^{2} \right) \right] \right]^{k-1} \\ =& \left[ {{ 1 } \over { \left( 1 - 2it \right)^{1/2} }} \right]^{k-1} \\ =& (1-2it)^{-(k-1)/2} \end{align*} $$ 従って、$S$はカイ二乗分布$\chi^{2} \left( k-1 \right)$に分布収束する。

■