📂数理統計学

ホッグ・クレイグ定理の証明

定理

サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid より 正規分布 に従うとしよう。対称行列 $A_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n}$ に対して 確率変数 $Q_{1} , \cdots , Q_{k}$ が ランダムベクトル二次形式 のように現れるとし、対称行列 $A$ と確率変数 $Q$ を次のように定義しよう。 $$ \begin{align*} A =& A_{1} + \cdots + A_{k} \\ Q =& Q_{1} + \cdots + Q_{k} \end{align*} $$ もし $Q / \sigma^{2}$ が カイ二乗分布 $\chi^{2} \left( r \right)$ に従い、$i = 1 , \cdots , k-1$ に対して $Q_{i} / \sigma^{2} \sim \chi^{2} \left( r_{i} \right)$ で、$Q_{k} \ge 0$ ならば $Q_{1} , \cdots , Q_{k}$ は 独立 であり、$Q_{k} / \sigma^{2}$ は自由度が $r_{k} = r - r_{1} - \cdots - r_{k-1}$ のカイ二乗分布 $\chi^{2} \left( r_{k} \right)$ に従う。

説明

ステートメントで $Q / n \sigma^{2}$ ではなく $Q / \sigma^{2}$ がカイ二乗分布に従うということは一見奇異に見えるが、実際に足し算がされるのはサンプルの合計ではなく、次のように行列のため、$Q / \sigma^{2}$ を論じるのが正確だ。 $$ \begin{align*} Q =& Q_{1} + \cdots + Q_{k} \\ =& \mathbf{X}^{T} A_{1} \mathbf{X} + \cdots + \mathbf{X}^{T} A_{k} \mathbf{X} \\ =& \mathbf{X}^{T} \left( A_{1} + \cdots + A_{k} \right) \mathbf{X} \\ =& \mathbf{X}^{T} A \mathbf{X} \end{align*} $$

この定理は コクランの定理の証明に使われる。

証明 ¹

数学的帰納法で証明する。まず $k = 2$ としよう。

正規分布ランダムベクトル二次形式のカイ二乗性の同値条件: サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid より 正規分布 に従うとしよう。ランク が $r \le n$ の 対称行列 $A \in \mathbb{R}^{n \times n}$ に対して ランダムベクトル二次形式 を $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ と置くならば、次が成立する。 $$ Q \sim \chi^{2} (r) \iff A^{2} = A $$

$Q / \sigma^{2}$ がカイ二乗分布に従うので、$A$ は 冪等行列 だ。

冪等行列の固有値: 冪等行列 の 固有値 は $0$ または $1$ のみだ。

$A$ は対称行列で実数行列であるから 対角化可能 で、$A$ の固有値は $0$ と $1$ のみなので、サイズが 単位行列 $I_{r} \in \mathbb{R}^{r \times r}$ と 零行列 $O$ に対して次を満たす 直交行列 $\Gamma$ が存在する。 $$ \Gamma^{T} A \Gamma = \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} $$

$A = A_{1} + A_{2}$ を解くと次のようになる。 $$ \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma $$

二次形式と固有値: $A$ が正の二次形式であるための必要十分条件は、$A$ のすべての固有値が正の値であることだ。

$Q_{2} \ge 0$ を仮定したので行列 $A_{2}$ は 正の半定値 であり、$A$ と $A_{1}$ は冪等行列なので固有値が $0$ と $1$ だけであることから、半定値の同値条件により同じく正の半定値である。当然ながら、これらに直交行列が前後に掛かる $\Gamma^{T} A \Gamma$、$\Gamma^{T} A_{1} \Gamma$、$\Gamma^{T} A_{2} \Gamma$ もまた正の半定値である。

正の行列主対角成分の性質: 正の行列 $A = \left( a_{ij} \right) \in \mathbb{C}^{n \times n}$ が与えられているとしよう。$A$ の 主対角成分 $a_{ii}$ の符号は $A$ の符号と同じである。実数 で構成された半定値行列 $A \in \mathbb{R}^{n \times n}$ が 対称行列 だとしよう。$A$ の主対角成分 $a_{ii}$ が $0$ であれば $i$ 番目の行と列は 零ベクトル になる。

正の半定値行列が実数で構成され、対称性がある場合、その主対角成分の中に $0$ があれば、その行と列がすべて $0$ の性質を持つ。これにより、ある $G_{r} \in \mathbb{R}^{r \times r}$ と $H_{r} \in \mathbb{R}^{r \times r}$ に対して次のような表現が可能だ。 $$ \begin{align*} \Gamma^{T} A \Gamma = & \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \end{align*} $$

$Q_{1} / \sigma^{2} \sim \chi^{2} \left( r_{1} \right)$ だから $A_{1}$ も冪等行列であり、次を得る。 $$ \left( \Gamma^{T} A_{1} \Gamma \right)^{2} = \Gamma^{T} A_{1} \Gamma = \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} $$ $\Gamma^{T} A \Gamma = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma$ の両辺に $\Gamma^{T} A_{1} \Gamma$ を掛けると次のようになる。 $$ \begin{align*} \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma =& \Gamma^{T} A_{1} \Gamma \cdot \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} O & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies G_{r} H_{r} =& O \\ \implies \Gamma^{T} A_{1} \Gamma \Gamma^{T} A_{2} \Gamma =& O \\ \implies A_{1} A_{2} =& O \end{align*} $$

クレイグの定理: サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ のように iid より 正規分布 に従うとしよう。対称行列 $A, B \in \mathbb{R}^{n \times n}$ に対して 確率変数 $Q_{1}$ と $Q_{2}$ が ランダムベクトル二次形式 $Q_{1} := \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ および $Q_{2} := \sigma^{-2} \mathbf{X}^{T} B \mathbf{X}$ によって定義されているとするなら、次が成立する。 $$ Q_{1} \perp Q_{2} \iff A B = O_{n} $$

確率変数の加法: $X_i \sim \chi^2 ( r_{i} )$ が成り立つなら $$ \sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right) $$

クレイグの定理により、$Q_{1}$ と $Q_{2}$ は独立であり、$Q_{2}$ は自由度が $\left( r - r_{1} \right)$ のカイ二乗分布に従う。

---

$k = 3$ の場合でも成り立つことを示すだけで十分だ。$A_{3}$ は次を満たす正の半定値行列だとしよう。 $$ A = A_{1} + \left( A_{2} + A_{3} \right) = A_{1} + B_{1} $$ $B_{1} := A_{2} + A_{3}$ で纏めると $B_{1}$ は依然として正の半定値行列であり、$A = A_{1} + B_{1}$ に $k = 2$ の場合の結果を適用すると $A_{1} B_{1} = O$ だから次のように $B_{1}^{2} = B_{1}$ を得る。 $$ \begin{align*} A = A^{2} =& \left( A_{1} + B_{1} \right)^{2} \\ =& A_{1}^{2} + A_{1} B_{1} + B_{1} A_{1} + B_{1}^{2} \\ =& A_{1} + O + B_{1}^{2} \\ \implies B_{1}^{2} =& A - A_{1} = B_{1} \end{align*} $$ 一方で、$B_{1} = A_{2} + A_{3}$ そのものに $k = 2$ の場合の結果を適用して $A_{2} A_{3} = O$ と $A_{3}^{2} = A_{3}$ を得ることができる。このようにして $B_{1}$ で纏める過程を $A = A_{2} + \left( A_{1} + A_{3} \right)$ に適用すると $A_{1} A_{3} = O$ を得ることができ、繰り返すことで証明が完結する。

■