logo

ピアソンの定理の証明 📂確率分布論

ピアソンの定理の証明

定理

∑i=1kNi=n&∑i=1kpi=1 \sum_{i=1}^{k} N_{i} = n \qquad \& \qquad \sum_{i=1}^{k} p_{i} = 1 を満たすp=(p1,⋯ ,pk)∈[0,1]k\mathbf{p} = \left( p_{1} , \cdots , p_{k} \right) \in [0,1]^{k}とサンプルサイズn∈Nn \in \mathbb{N}、k∈Nk \in \mathbb{N}個のカテゴリについて、ランダムベクトル(N1,⋯ ,Nk)\left( N_{1} , \cdots , N_{k} \right)が多項分布Mk(n;p)M_{k} \left( n ; \mathbf{p} \right)に従うとする。このときn→∞n \to \inftyであるならば、統計量SSはカイ二乗分布χ2(k−1)\chi^{2} \left( k - 1 \right)に分布収束する。 S:=∑j=1k(Nj−npj)2npj→Dχ2(k−1) S := \sum_{j=1}^{k} {{ \left( N_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \overset{D}{\to} \chi^{2} \left( k-1 \right)

  • [0,1]k=[0,1]×⋯×[0,1][0,1]^{k} = [0,1] \times \cdots \times [0,1]はkk-セルである。
  • →D\overset{D}{\to}は分布収束を意味する。
  • χ2(r)\chi^{2} \left( r \right)は自由度rrのカイ二乗分布を意味する。

説明

正直に言うと、ピアソンの定理という表現がよく使われるわけではない。本当に1回しか見たことがないけど1、普通は統計量 X2:=∑j=1k(Oj−Ej)2Ej \mathcal{X}^{2} := \sum_{j=1}^{k} {{ \left( O_{j} - E_{j} \right)^{2} } \over { E_{j} }} をピアソンのカイ二乗統計量pearson Chi-squared statisticと呼び、これがカイ二乗分布に分布収束するというステートメントだけで紹介されるからだ。定理という認識を持って学ぶよりも実用的な仮説検定の話にすぐ移るので、厳密な数理的証明を軽視されがちだ。

証明 2

全ての成分がpj>0p_{j} > 0であるp\mathbf{p}と S:=∑j=1k(Xj−npj)2npj S := \sum_{j=1}^{k} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} としよう。制約条件∑j=1k(Nj−npj)=0\sum_{j=1}^{k} \left( N_{j} - n p_{j} \right) = 0に従って最後のkk番目の項を除くと、 S=∑j=1k(Xj−npj)2npj=∑j=1k−1(Xj−npj)2npj+(Xk−npk)2npk=∑j=1k−1(Xj−npj)2npj+(∑j=1k−1(Xj−npj))2npk \begin{align*} S =& \sum_{j=1}^{k} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} \\ =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( X_{k} - n p_{k} \right)^{2} } \over { n p_{k} }} \\ =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right)^{2} } \over { n p_{k} }} \end{align*} が得られる。このように制約条件がある場合、実際にはNkN_{k}は必要なく、kk番目の成分が切り取られたN~:=(N1,⋯ ,Nk−1)\widetilde{N} := \left( N_{1} , \cdots , N_{k-1} \right)とp~:=(p1,⋯ ,pk−1)\widetilde{\mathbf{p}} := \left( p_{1} , \cdots , p_{k-1} \right)について、N~\widetilde{N}の共分散行列Σ~\widetilde{\Sigma}を考えたい。

多項分布の共分散行列: ランダムベクトルX:=(X1,⋯ ,Xk)\mathbf{X} := \left( X_{1} , \cdots , X_{k} \right)が多項分布Mk(n,p)M_{k} \left( n, \mathbf{p} \right)に従うならば、共分散行列は次のようになる。 Cov⁡(X)=n[p1(1−p1)−p1p2⋯−p1pk−p2p1p2(1−p2)⋯−p2p2⋮⋮⋱⋮−pkp1−pkp2⋯pk(1−pk)] \operatorname{Cov} \left( \mathbf{X} \right) = n \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k} p_{1} & - p_{k} p_{2} & \cdots & p_{k} \left( 1 - p_{k} \right) \end{bmatrix}

kk番目の成分があってもなくてもCov⁡(Ni,Nj)\operatorname{Cov} \left( N_{i} , N_{j} \right)が変わる理由はないので、恒等行列Ik−1I_{k-1}に対して次を得る。 1nΣ~=1nCov⁡(N~)=[p1(1−p1)−p1p2⋯−p1pk−1−p2p1p2(1−p2)⋯−p2p2⋮⋮⋱⋮−pk−1p1−pk−1p2⋯pk−1(1−pk−1)]=[p10⋯00p2⋯0⋮⋮⋱⋮00⋯pk−1]−[−p12−p1p2⋯−p1pk−1−p2p1−p22⋯−p2p2⋮⋮⋱⋮−pk−1p1−pk−1p2⋯−pk−12]=[p10⋯00p2⋯0⋮⋮⋱⋮00⋯pk−1]−[p1p2⋮pk−1][p1p2⋯pk−1]=[p10⋯00p2⋯0⋮⋮⋱⋮00⋯pk−1]−p~p~T=Ik−1p~−p~p~T \begin{align*} & {{ 1 } \over { n }} \widetilde{\Sigma} \\ =& {{ 1 } \over { n }} \operatorname{Cov} \left( \widetilde{N} \right) \\ =& \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k-1} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k-1} p_{1} & - p_{k-1} p_{2} & \cdots & p_{k-1} \left( 1 - p_{k-1} \right) \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \begin{bmatrix} - p_{1}^{2} & - p_{1} p_{2} & \cdots & - p_{1} p_{k-1} \\ - p_{2} p_{1} & - p_{2}^{2} & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k-1} p_{1} & - p_{k-1} p_{2} & \cdots & - p_{k-1}^{2} \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \begin{bmatrix} p_{1} \\ p_{2} \\ \vdots \\ p_{k-1} \end{bmatrix} \begin{bmatrix} p_{1} & p_{2} & \cdots & p_{k-1} \end{bmatrix} \\ =& \begin{bmatrix} p_{1} & 0 & \cdots & 0 \\ 0 & p_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & p_{k-1} \end{bmatrix} - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \\ =& I_{k-1} \widetilde{\mathbf{p}} - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \end{align*} ここで、p~T\widetilde{\mathbf{p}}^{T}はp~\widetilde{\mathbf{p}}の転置行列を意味する。ここでP~:=Ik−1p~\widetilde{P} := I_{k-1} \widetilde{\mathbf{p}}とする。

シャーマン-モリソン公式: (A+uvT)−1\left( A + \mathbf{u} \mathbf{v}^{T} \right)^{-1}が存在する場合、具体的な公式は以下の通りである。 (A+uvT)−1=A−1−A−1uvTA−11+vTA−1u \left( A + \mathbf{u} \mathbf{v}^{T} \right)^{-1} = A^{-1} - {{ A^{-1} \mathbf{u} \mathbf{v}^{T} A^{-1} } \over { 1 + \mathbf{v}^{T} A^{-1} \mathbf{u} }}

1nΣ~{{ 1 } \over { n }} \widetilde{\Sigma}の逆行列を計算すれば、 P~=Ik−1p~=diag(p1,⋯ ,pk−1) \widetilde{P} = I_{k-1} \widetilde{\mathbf{p}} = \text{diag} \left( p_{1} , \cdots , p_{k-1} \right) の逆行列は対角成分を逆数にした対角行列P~−1=diag(p1−1,⋯ ,pk−1−1)\widetilde{P}^{-1} = \text{diag} \left( p_{1}^{-1} , \cdots , p_{k-1}^{-1} \right)なので、シャーマン-モリソン公式によれば、 (1nΣ~)−1=(P~+(−p~p~T))−1=P~−1+P~−1p~p~TP~−11−p~TP~−1p~=P~−1+Ik−1Ik−11−Ik−1p~=P~−1+Ik−1Ik−11−Ik−1p~=P~−1+11−p1−⋯−pk−1Ik−1=P~−1+1pkIk−1=[1p1+1pk00⋯001p2+1pk0⋯0001p3+1pk⋯0⋮⋮⋮⋱⋮000⋯1pk−1+1pk] \begin{align*} & \left( {{ 1 } \over { n }} \widetilde{\Sigma} \right)^{-1} \\ =& \left( \widetilde{P} + \left( - \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \right) \right)^{-1} \\ =& \widetilde{P}^{-1} + {{ \widetilde{P}^{-1} \widetilde{\mathbf{p}} \widetilde{\mathbf{p}}^{T} \widetilde{P}^{-1} } \over { 1 - \widetilde{\mathbf{p}}^{T} \widetilde{P}^{-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ I_{k-1} I_{k-1} } \over { 1 - I_{k-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ I_{k-1} I_{k-1} } \over { 1 - I_{k-1} \widetilde{\mathbf{p}} }} \\ =& \widetilde{P}^{-1} + {{ 1 } \over { 1 - p_{1} - \cdots - p_{k-1} }} I_{k-1} \\ =& \widetilde{P}^{-1} + {{ 1 } \over { p_{k} }} I_{k-1} \\ =& \begin{bmatrix} {{ 1 } \over { p_{1} }} + {{ 1 } \over { p_{k} }} & 0 & 0 & \cdots & 0 \\ 0 & {{ 1 } \over { p_{2} }} + {{ 1 } \over { p_{k} }} & 0 & \cdots & 0 \\ 0 & 0 & {{ 1 } \over { p_{3} }} + {{ 1 } \over { p_{k} }} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & {{ 1 } \over { p_{k-1} }} + {{ 1 } \over { p_{k} }} \end{bmatrix} \end{align*} 再びSSに戻り、行列形式で表すと、 S=∑j=1k−1(Xj−npj)2npj+(∑j=1k−1(Xj−npj))2npk=1n[∑j=1k−1(Xj−npj)1pj(Xj−npj)+∑j=1k−1(Xj−npj)1pk∑j=1k−1(Xj−npj)]=1n(N~−np~)T(1nΣ~)−1(N~−np~)=(N~−np~)T(Σ~−1)(N~−np~) \begin{align*} S =& \sum_{j=1}^{k-1} {{ \left( X_{j} - n p_{j} \right)^{2} } \over { n p_{j} }} + {{ \left( \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right)^{2} } \over { n p_{k} }} \\ =& {{ 1 } \over { n }} \left[ \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) {{ 1 } \over { p_{j} }} \left( X_{j} - n p_{j} \right) + \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) {{ 1 } \over { p_{k} }} \sum_{j=1}^{k-1} \left( X_{j} - n p_{j} \right) \right] \\ =& {{ 1 } \over { n }} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \left( {{ 1 } \over { n }} \widetilde{\Sigma} \right)^{-1} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \\ =& \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \left( \widetilde{\Sigma}^{-1} \right) \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \end{align*}

ド・モアブル-ラプラスの定理: Xi∼B(1,p)X_i \sim B(1,p)かつYn=X1+X2+⋯+XnY_n = X_1 + X_2 + \cdots + X_nであれば、Yn∼B(n,p)Y_n \sim B(n,p)であり、 Yn−npnp(1−p)→DN(0,1) { { Y_n - np } \over {\sqrt{ np(1-p) } } }\overset{D}{\to} N(0,1)

既にΣ~\widetilde{\Sigma}がN~\widetilde{N}の共分散行列であることを知っているので、 (N~−np~)∼(0,Σ~) \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \sim \left( \mathbf{0} , \widetilde{\Sigma} \right) ド・モアブル-ラプラスの定理により、多変量正規分布Nk−1\mathcal{N}_{k-1}に対して以下のように表せる。 Σ~−1/2(N~−np~)→DNk−1(0,Ik−1) \widetilde{\Sigma}^{ - 1/2} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \overset{D}{\to} \mathcal{N}_{k-1} \left( \mathbf{0} , I_{k-1} \right) この時点で、分布収束して標準正規分布に従う各成分をZj∼N(0,1)Z_{j} \sim N \left( 0, 1 \right)で表し、SSの特性関数をϕ\phiと定義しよう。(Z1,⋯ ,Zk−1)\left( Z_{1} , \cdots ,Z_{k-1} \right)の共分散行列がIk−1I_{k-1}なので、i≠ji \ne jの時、ZiZ_{i}とZjZ_{j}はもちろん独立である。

レヴィの連続性定理: 可測空間(Rd,B(Rd))\left( \mathbb{R}^{d} , \mathcal{B} \left( \mathbb{R}^{d} \right) \right)が与えられているとする。n∈N‾n \in \overline{\mathbb{N}}に対する確率測度をμn\mu_{n}とし、それに対応する特性関数をφn\varphi_{n}と表す。次の2つは等価である。

  • (a): μn\mu_{n}がμ∞\mu_{\infty}に弱く収束する。
  • (b): 全てのt∈Rdt \in \mathbb{R}^{d}に対して lim⁡n→∞φn(t)=φ∞(t)\lim_{n \to \infty} \varphi_{n} (t) = \varphi_{\infty} (t)

ϕ\phiはn→∞n \to \inftyの時、レヴィの連続性定理によりZ∼N(0,1)Z \sim N (0,1)に対して ϕ(t)=E[eitS]=E[exp⁡(it(N~−np~)TΣ~−1(N~−np~))]→DE[exp⁡(it(Z12+⋯+Zk−12))]=[E[exp⁡(itZ2)]]k−1 \begin{align*} \phi (t) =& E \left[ e^{itS} \right] \\ =& E \left[ \exp \left( it \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right)^{T} \widetilde{\Sigma}^{ - 1} \left( \widetilde{N} - n \widetilde{\mathbf{p}} \right) \right) \right] \\ \overset{D}{\to} & E \left[ \exp \left( it \left( Z^{2}_{1} + \cdots + Z^{2}_{k-1} \right) \right) \right] \\ = & \left[ E \left[ \exp \left( it Z^{2} \right) \right] \right]^{k-1} \end{align*}

カイ二乗分布の性質:

  • 標準正規分布の二乗との関係: X∼N(μ,σ2)X \sim N(\mu,\sigma ^2)ならば V=(X−μσ)2∼χ2(1) V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)
  • モーメント生成関数: m(t)=(1−2t)−r/2,t<12m(t) = (1-2t)^{-r/2} \qquad , t < {{ 1 } \over { 2 }}

ϕ(t)→D[E[exp⁡(itZ2)]]k−1=[1(1−2it)1/2]k−1=(1−2it)−(k−1)/2 \begin{align*} \phi (t) \overset{D}{\to} & \left[ E \left[ \exp \left( it Z^{2} \right) \right] \right]^{k-1} \\ =& \left[ {{ 1 } \over { \left( 1 - 2it \right)^{1/2} }} \right]^{k-1} \\ =& (1-2it)^{-(k-1)/2} \end{align*} 従って、SSはカイ二乗分布χ2(k−1)\chi^{2} \left( k-1 \right)に分布収束する。

■

  1. https://ocw.mit.edu/courses/18-443-statistics-for-applications-fall-2003/708680f9de8209158ca6462577a46a56_lec23.pdf ↩︎

  2. Benhamou. (2018). Seven proofs of the Pearson Chi-squared independence test and its graphical interpretation: https://arxiv.org/abs/1808.09171 ↩︎