📂数理統計学

コクランの定理の証明

定理

サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid で 正規分布 に従うとしよう。ランク が $r_{j}$ の 対称行列 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ に対して 確率変数 $Q_{1} , \cdots , Q_{k}$ が ランダムベクトル二次形式 $Q_{i} := \mathbf{X}^{T} A_{i} \mathbf{X}$ のように表され、サンプルの二乗和が $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ とすると、次が成立する。 $$\forall j , {\frac{ Q_{j} }{ \sigma^{2} }} \sim \chi^{2} \left( r_{j} \right) \land \forall j_{1} \ne j_{2} , Q_{j_{1}} \perp Q_{j_{2}} \iff \sum_{j=1}^{k} r_{j} = n$$ 言い換えると、$Q_{j}$ たちが互いに 独立 であり カイ二乗分布 $\chi^{2} \left( r_{j} \right)$ に従うことと 同値条件 は、ランク $r_{j}$ たちの和がサンプルの大きさ $n$ と等しいということだ。

説明

この定理は F検定 が使用される 分散分析 を支える理論的基盤となる。

証明

$(\implies)$ $Q_{j}$ たちが互いに独立で $Q_{j} / \sigma^{2} \sim \chi^{2} \left( r_{j} \right)$ と仮定しよう。

確率変数の足し算: $X_i \sim \chi^2 ( r_{i} )$ ならば $$\sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right)$$

$Q_{j} / \sigma^{2}$ が 自由度 $r_{j}$ のカイ二乗分布に従うので、これらの確率変数の和は次のようなカイ二乗分布に従う。 $$\sum_{j=1}^{k} {\frac{ Q_{j} }{ \sigma^{2} }} \sim \chi^{2} \left( \sum_{j=1}^{k} r_{j} \right)$$

標準正規分布からのカイ二乗分布の導出: $X \sim N(\mu,\sigma ^2)$ ならば $$V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)$$

$X_{1} , \cdots , X_{n}$ は 正規分布 に従うので $X_{i}^{2} / \sigma^{2} \sim \chi^{2} \left( 1 \right)$ であり、その和は次のようなカイ二乗分布に従う。 $$\sum_{i=1}^{n} {\frac{ X_{i}^{2} }{ \sigma^{2} }} \sim \chi^{2} \left( n \right)$$

大前提で $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ だとしたので、$n = \sum_{j=1}^{k} r_{j}$ でなければならない。

---

$(\impliedby)$ $\sum_{j=1}^{k} r_{j} = n$ だと仮定しよう。

$$\begin{align*} \sum_{j=1}^{k} Q_{j} =& \mathbf{X}^{T} \left( A_{1} + \cdots + A_{k} \right) \mathbf{X} \\ =& \mathbf{X}^{T} \mathbf{X} \\ =& \sum_{i=1}^{n} X_{i}^{2} \end{align*}$$ $\sum_{i=1}^{n} X_{i}^{2} = \sum_{j=1}^{k} Q_{j}$ ということは上記と同様なので、$I_{n} = \sum_{j=1}^{k} A_{j}$ であることがわかる。ここで行列 $B_{j} = I_{n} - A_{j}$ と定義すると、$B_{j}$ は $A_{j}$ 以外の残りの $A_{1} , \cdots , A_{k}$ を足したものに等しい。

行列ランクの準加法性: 行列 の ランク は 準加法性 を持つ。すなわち、二つの行列 $A, B$ に対して次が成立する。 $$\rank \left( A + B \right) \le \rank A + \rank B$$

$R_{j_{0}}$ を $B_{j_{0}}$ のランクとすれば、行列の和のランクは行列ランクの和以下であるため、次の不等式を得る。 $$R_{j_{0}} = \rank B_{j_{0}} \le \rank \left( I_{n} - A_{j_{0}} \right) = \sum_{j=1}^{k} r_{j} - r_{j_{0}} = n - r_{j_{0}}$$ しかし一方で $I_{n} = A_{j_{0}} + B_{j_{0}}$ なので $n \le r_{j_{0}} + R_{j_{0}} \implies n - r_{j_{0}} \le R_{j_{0}}$ であり、正確には $R_{j_{0}} = n - r_{j_{0}}$ が成り立つ。

これは $B_{j_{0}}$ が $R_{j_{0}} = n - r_{j_{0}}$ 個の $0$ ではない 固有値 を持っていることを意味する。$B_{j_{0}}$ の固有値 $\lambda$ は $\det \left( B_{j_{0}} - \lambda I \right) = 0$ を満足し、$B_{j_{0}} = I_{n} - A_{j_{0}}$ なので次のように書き直すことができる。 $$\det \left( I_{n} - A_{j_{0}} - \lambda I_{n} \right) = \det \left( A_{j_{0}} - \left( 1 - \lambda \right) I_{n} \right) = 0$$ したがって $A_{j_{0}}$ の固有値は $B_{j_{0}}$ の固有値と $1$ ずつ差があり、$B_{j_{0}}$ の $0$ の固有値が正確に $r_{j_{0}}$ 個であったので、$A_{j_{0}}$ は $1$ の固有値を正確に $r_{j_{0}}$ 個持ち、残りはすべて $0$ である。

固有値が $0$ と $1$ しかない対称実数行列: 対称行列 $A \in \mathbb{R}^{n \times n}$ の 固有値 がすべて $0$ か $1$ であるならば $A$ は 冪等行列 である。

正規分布ランダムベクトル二次形式のカイ二乗性の同値条件: サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid で 正規分布 に従うとしよう。ランク が $r \le n$ の 対称行列 $A \in \mathbb{R}^{n \times n}$ に対して ランダムベクトル二次形式 を $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ とすれば、次が成立する。 $$Q \sim \chi^{2} (r) \iff A^{2} = A$$

すべての対称実数行列 $A_{1} , \cdots , A_{k}$ は固有値が $0$ と $1$ しかないため、冪等行列であり、ランクが $r_{j}$ なので $Q_{j} / \sigma^{2}$ はカイ二乗分布 $\chi^{2} \left( r_{j} \right)$ に従う。

ホーグ-クレイグ定理: サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid で 正規分布 に従うとしよう。対称行列 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ に対して 確率変数 $Q_{1} , \cdots , Q_{k}$ が ランダムベクトル二次形式 $Q_{i} := \mathbf{X}^{T} A_{i} \mathbf{X}$ のように表され、対称行列 $A$ と確率変数 $Q$ を次のように定義しよう。 $$\begin{align*} A =& A_{1} + \cdots + A_{k} \\ Q =& Q_{1} + \cdots + Q_{k} \end{align*}$$ もし $Q / \sigma^{2}$ が カイ二乗分布 $\chi^{2} \left( r \right)$ に従い、$i = 1 , \cdots , k-1$ に対して $Q_{i} / \sigma^{2} \sim \chi^{2} \left( r_{i} \right)$ であり、$Q_{k} \ge 0$ であれば、$Q_{1} , \cdots , Q_{k}$ は 独立 であり、$Q_{k} / \sigma^{2}$ は自由度が $r_{k} = r - r_{1} - \cdots - r_{k-1}$ のカイ二乗分布 $\chi^{2} \left( r_{k} \right)$ に従う。

ホーグ-クレイグ定理によって $Q_{1} , \cdots , Q_{k}$ は互いに独立である。

■