logo

ホッグ・クレイグ定理の証明 📂数理統計学

ホッグ・クレイグ定理の証明

定理

サンプル X=(X1,,Xn)\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)X1,,XniidN(0,σ2)X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right) のように iid より 正規分布 に従うとしよう。対称行列 A1,,AkRn×nA_{1} , \cdots , A_{k} \in \mathbb{R}^{n \times n} に対して 確率変数 Q1,,QkQ_{1} , \cdots , Q_{k}ランダムベクトル二次形式 のように現れるとし、対称行列 AA と確率変数 QQ を次のように定義しよう。 A=A1++AkQ=Q1++Qk \begin{align*} A =& A_{1} + \cdots + A_{k} \\ Q =& Q_{1} + \cdots + Q_{k} \end{align*} もし Q/σ2Q / \sigma^{2}カイ二乗分布 χ2(r)\chi^{2} \left( r \right) に従い、i=1,,k1i = 1 , \cdots , k-1 に対して Qi/σ2χ2(ri)Q_{i} / \sigma^{2} \sim \chi^{2} \left( r_{i} \right) で、Qk0Q_{k} \ge 0 ならば Q1,,QkQ_{1} , \cdots , Q_{k}独立 であり、Qk/σ2Q_{k} / \sigma^{2} は自由度が rk=rr1rk1r_{k} = r - r_{1} - \cdots - r_{k-1} のカイ二乗分布 χ2(rk)\chi^{2} \left( r_{k} \right) に従う。

説明

ステートメントで Q/nσ2Q / n \sigma^{2} ではなく Q/σ2Q / \sigma^{2} がカイ二乗分布に従うということは一見奇異に見えるが、実際に足し算がされるのはサンプルの合計ではなく、次のように行列のため、Q/σ2Q / \sigma^{2} を論じるのが正確だ。 Q=Q1++Qk=XTA1X++XTAkX=XT(A1++Ak)X=XTAX \begin{align*} Q =& Q_{1} + \cdots + Q_{k} \\ =& \mathbf{X}^{T} A_{1} \mathbf{X} + \cdots + \mathbf{X}^{T} A_{k} \mathbf{X} \\ =& \mathbf{X}^{T} \left( A_{1} + \cdots + A_{k} \right) \mathbf{X} \\ =& \mathbf{X}^{T} A \mathbf{X} \end{align*}

この定理は コクランの定理の証明に使われる。

証明 1

数学的帰納法で証明する。まず k=2k = 2 としよう。

正規分布ランダムベクトル二次形式のカイ二乗性の同値条件: サンプル X=(X1,,Xn)\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)X1,,XniidN(0,σ2)X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right) のように iid より 正規分布 に従うとしよう。ランクrnr \le n対称行列 ARn×nA \in \mathbb{R}^{n \times n} に対して ランダムベクトル二次形式Q=σ2XTAXQ = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X} と置くならば、次が成立する。 Qχ2(r)    A2=A Q \sim \chi^{2} (r) \iff A^{2} = A

Q/σ2Q / \sigma^{2} がカイ二乗分布に従うので、AA冪等行列 だ。

冪等行列の固有値: 冪等行列固有値00 または 11 のみだ。

AA は対称行列で実数行列であるから 対角化可能 で、AA の固有値は 0011 のみなので、サイズが 単位行列 IrRr×rI_{r} \in \mathbb{R}^{r \times r}零行列 OO に対して次を満たす 直交行列 Γ\Gamma が存在する。 ΓTAΓ=[IrOOO] \Gamma^{T} A \Gamma = \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix}

A=A1+A2A = A_{1} + A_{2} を解くと次のようになる。 [IrOOO]=ΓTA1Γ+ΓTA2Γ \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma

二次形式と固有値: AA が正の二次形式であるための必要十分条件は、AA のすべての固有値が正の値であることだ。

Q20Q_{2} \ge 0 を仮定したので行列 A2A_{2}正の半定値 であり、AAA1A_{1} は冪等行列なので固有値が 0011 だけであることから、半定値の同値条件により同じく正の半定値である。当然ながら、これらに直交行列が前後に掛かる ΓTAΓ\Gamma^{T} A \GammaΓTA1Γ\Gamma^{T} A_{1} \GammaΓTA2Γ\Gamma^{T} A_{2} \Gamma もまた正の半定値である。

正の行列主対角成分の性質: 正の行列 A=(aij)Cn×nA = \left( a_{ij} \right) \in \mathbb{C}^{n \times n} が与えられているとしよう。AA主対角成分 aiia_{ii} の符号は AA の符号と同じである。実数 で構成された半定値行列 ARn×nA \in \mathbb{R}^{n \times n}対称行列 だとしよう。AA の主対角成分 aiia_{ii}00 であれば ii 番目の行と列は 零ベクトル になる。

正の半定値行列が実数で構成され、対称性がある場合、その主対角成分の中に 00 があれば、その行と列がすべて 00 の性質を持つ。これにより、ある GrRr×rG_{r} \in \mathbb{R}^{r \times r}HrRr×rH_{r} \in \mathbb{R}^{r \times r} に対して次のような表現が可能だ。 ΓTAΓ=ΓTA1Γ+ΓTA2Γ    [IrOOO]=[GrOOO]+[HrOOO] \begin{align*} \Gamma^{T} A \Gamma = & \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \end{align*}

Q1/σ2χ2(r1)Q_{1} / \sigma^{2} \sim \chi^{2} \left( r_{1} \right) だから A1A_{1} も冪等行列であり、次を得る。 (ΓTA1Γ)2=ΓTA1Γ=[GrOOO] \left( \Gamma^{T} A_{1} \Gamma \right)^{2} = \Gamma^{T} A_{1} \Gamma = \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} ΓTAΓ=ΓTA1Γ+ΓTA2Γ\Gamma^{T} A \Gamma = \Gamma^{T} A_{1} \Gamma + \Gamma^{T} A_{2} \Gamma の両辺に ΓTA1Γ\Gamma^{T} A_{1} \Gamma を掛けると次のようになる。 [IrOOO]=[GrOOO]+[HrOOO]    [IrOOO]ΓTA1Γ=ΓTA1ΓΓTA1Γ+[HrOOO]ΓTA1Γ    [IrOOO][GrOOO]=ΓTA1Γ+[HrOOO][GrOOO]    [GrOOO]=[GrOOO]+[GrHrOOO]    [OOOO]=[GrHrOOO]    GrHr=O    ΓTA1ΓΓTA2Γ=O    A1A2=O \begin{align*} \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma =& \Gamma^{T} A_{1} \Gamma \cdot \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \Gamma^{T} A_{1} \Gamma \\ \implies \begin{bmatrix} I_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \Gamma^{T} A_{1} \Gamma + \begin{bmatrix} H_{r} & O \\ O & O \end{bmatrix} \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} & O \\ O & O \end{bmatrix} + \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies \begin{bmatrix} O & O \\ O & O \end{bmatrix} =& \begin{bmatrix} G_{r} H_{r} & O \\ O & O \end{bmatrix} \\ \implies G_{r} H_{r} =& O \\ \implies \Gamma^{T} A_{1} \Gamma \Gamma^{T} A_{2} \Gamma =& O \\ \implies A_{1} A_{2} =& O \end{align*}

クレイグの定理: サンプル X=(X1,,Xn)\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)X1,,XniidN(0,σ2)X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right) のように iid より 正規分布 に従うとしよう。対称行列 A,BRn×nA, B \in \mathbb{R}^{n \times n} に対して 確率変数 Q1Q_{1}Q2Q_{2}ランダムベクトル二次形式 Q1:=σ2XTAXQ_{1} := \sigma^{-2} \mathbf{X}^{T} A \mathbf{X} および Q2:=σ2XTBXQ_{2} := \sigma^{-2} \mathbf{X}^{T} B \mathbf{X} によって定義されているとするなら、次が成立する。 Q1Q2    AB=On Q_{1} \perp Q_{2} \iff A B = O_{n}

確率変数の加法: Xiχ2(ri)X_i \sim \chi^2 ( r_{i} ) が成り立つなら i=1nXiχ2(i=1nri) \sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right)

クレイグの定理により、Q1Q_{1}Q2Q_{2} は独立であり、Q2Q_{2} は自由度が (rr1)\left( r - r_{1} \right) のカイ二乗分布に従う。


k=3k = 3 の場合でも成り立つことを示すだけで十分だ。A3A_{3} は次を満たす正の半定値行列だとしよう。 A=A1+(A2+A3)=A1+B1 A = A_{1} + \left( A_{2} + A_{3} \right) = A_{1} + B_{1} B1:=A2+A3B_{1} := A_{2} + A_{3} で纏めると B1B_{1} は依然として正の半定値行列であり、A=A1+B1A = A_{1} + B_{1}k=2k = 2 の場合の結果を適用すると A1B1=OA_{1} B_{1} = O だから次のように B12=B1B_{1}^{2} = B_{1} を得る。 A=A2=(A1+B1)2=A12+A1B1+B1A1+B12=A1+O+B12    B12=AA1=B1 \begin{align*} A = A^{2} =& \left( A_{1} + B_{1} \right)^{2} \\ =& A_{1}^{2} + A_{1} B_{1} + B_{1} A_{1} + B_{1}^{2} \\ =& A_{1} + O + B_{1}^{2} \\ \implies B_{1}^{2} =& A - A_{1} = B_{1} \end{align*} 一方で、B1=A2+A3B_{1} = A_{2} + A_{3} そのものに k=2k = 2 の場合の結果を適用して A2A3=OA_{2} A_{3} = OA32=A3A_{3}^{2} = A_{3} を得ることができる。このようにして B1B_{1} で纏める過程を A=A2+(A1+A3)A = A_{2} + \left( A_{1} + A_{3} \right) に適用すると A1A3=OA_{1} A_{3} = O を得ることができ、繰り返すことで証明が完結する。


  1. Hogg et al. (2018). Introduction to Mathematical Statistcs(8th Edition): p564. ↩︎