📂数理統計学

正規分布ランダムベクトルの二次形式のモーメント母関数

定理

サンプル $\mathbf{X} = \left( X_{1} , \cdots , X_{n} \right)$ が $X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} N \left( 0, \sigma^{2} \right)$ と同様に iidで 正規分布に従うとする。 ランクが $r \le n$ である 対称行列 $A \in \mathbb{R}^{n \times n}$ に対して、ランダムベクトル二次形式 $Q = \sigma^{-2} \mathbf{X}^{T} A \mathbf{X}$ の 積率生成関数 は以下の通り。 $$M_{Q} (t) = \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} = \det \left( I_{n} - 2 t A \right)^{-1/2} \qquad , | t | < 1 / 2 \lambda_{1}$$ ここで $I_{n} \in \mathbb{R}^{n \times n}$ は 単位行列、$\det$ は 行列式である。$\lambda_{1} \ge \cdots \ge \lambda_{r}$ は $A$ の $0$ ではない 固有値を一般性を失わずに降順で並べたものである。

説明

この定理は ホーグ-クレイグ定理の証明に使われる。

証明 ¹

$n$ 次元の 零ベクトルを $\mathbf{0}_{n}$ と表現する。

スペクトル分解: スペクトル理論で言う $A = Q \Lambda Q^{\ast}$ を以下のように 固有対 $\left\{ \left( \lambda_{k} , e_{k} \right) \right\}_{k=1}^{n}$ の級数形で表現したものを スペクトル分解^{spectral decomposition}という。 $$A = \sum_{k=1}^{n} \lambda_{k} e_{k} e_{k}^{\ast}$$

$A$ は 対称行列であるため、$Q$ はスペクトル分解により以下のように表現できる。 $$\begin{align*} Q =& \sigma^{-2} \mathbf{X}^{T} A \mathbf{X} \\ =& \sigma^{-2} \mathbf{X}^{T} \sum_{i=1}^{n} \lambda_{i} e_{i} e_{i}^{T} \mathbf{X} \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \mathbf{X}^{T} e_{i} \sigma^{-1} \right) \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right) \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{T} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right) \\ =& \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{2} \end{align*}$$ $\Gamma_{1} := \left( e_{1}^{T} , \cdots , e_{r}^{T} \right) \in \mathbb{R}^{r \times n}$ として、ランダムベクトル $\mathbf{W}$ を $\mathbf{W} = \sigma^{-1} \Gamma_{1} \mathbf{X}$ とすると $\mathbf{W} = \left( W_{1} , \cdots , W_{r} \right)$ は $r$ 次元ランダムベクトルとなる。 $$\begin{bmatrix} W_{1} \\ \vdots \\ W_{r} \end{bmatrix} = \mathbf{W} = \sigma^{-1} \Gamma_{1} \mathbf{X} = \begin{bmatrix} \sigma^{-1} e_{1}^{T} \mathbf{X} \\ \vdots \\ \sigma^{-1} e_{n}^{T} \mathbf{X} \end{bmatrix}$$ したがって $Q$ は以下のように表現できる。 $$Q = \sum_{i=1}^{r} \lambda_{i} \left( \sigma^{-1} e_{i}^{T} \mathbf{X} \right)^{2} = \sum_{i=1}^{r} \lambda_{i} W_{i}^{2}$$

一方、ランダムベクトル $\mathbf{X}$ の各成分が正規分布 $N \left( 0 , \sigma^{2} \right)$ に従うため、$\mathbf{X}$ は 多変量正規分布 $N_{n} \left( \mathbf{0}_{n} , \sigma^{2} I_{n} \right)$ に従い、$\Gamma_{1}$ の定義そのもので $\Gamma_{1} \Gamma_{1}^{T} = I_{r}$ である。

多変量正規分布の線形変換の正規性: 行列 $A \in \mathbb{R}^{m \times n}$ と ベクトル $\mathbf{b} \in \mathbb{R}^{m}$ に対して 多変量正規分布に従う ランダムベクトル $\mathbf{X} \sim N_{n} \left( \mu , \Sigma \right)$ の 線形変換 $\mathbf{Y} = A \mathbf{X} + \mathbf{b}$ はやはり多変量正規分布 $N_{m} \left( A \mu + \mathbf{b} , A \Sigma A^{T} \right)$ に従う。

多変量正規分布の線形変換の正規性に従って、$\mathbf{W}$ は次のように $r$ 次元多変量正規分布 $N_{r} \left( \mathbf{0}_{r} , I_{r} \right)$ に従うことがわかる。 $$\begin{align*} \mathbf{W} =& \sigma^{-1} \Gamma_{1} \mathbf{X} + \mathbf{0}_{r} \\ \implies \mathbf{W} \sim & N_{r} \left( \sigma^{-1} \Gamma_{1} \mathbf{0}_{n} + \mathbf{0}_{r} , \left( \sigma^{-1} \Gamma_{1} \right) \left( \sigma^{2} I_{n} \right) \left( \sigma^{-1} \Gamma_{1} \right)^{T} \right) \\ \implies \mathbf{W} \sim & N_{r} \left( \mathbf{0}_{r} + \mathbf{0}_{r} , \Gamma_{1} I_{n} \Gamma_{1}^{T} \right) \\ \implies \mathbf{W} \sim & N_{r} \left( \mathbf{0}_{r} , I_{r} \right) \end{align*}$$

標準正規分布からのカイ二乗分布導出: $X \sim N(\mu,\sigma ^2)$ の場合 $$V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)$$

これは $\mathbf{W}$ の成分 $W_{1} , \cdots , W_{r}$ がすべて iid で 標準正規分布に従うことを意味し、$W_{i}^{2}$ は カイ二乗分布 $\chi^{2} (1)$ に従う。

カイ二乗分布の積率生成関数: 自由度 $r$ のカイ二乗分布に従う確率変数の 積率生成関数 は次の通り。 $$m(t) = (1-2t)^{-r/2} \qquad , t < {{ 1 } \over { 2 }}$$

$Q$ はカイ二乗分布に従う 確率変数の 線形結合であるため、その 積率生成関数 は以下の通り。 $$\begin{align*} & M_{Q} (t) \\ =& E \left[ \exp \left( t Q \right) \right] \\ =& E \left[ t \exp \left( \sum_{i=1}^{r} \lambda_{i} W_{i}^{2} \right) \right] \\ =& \prod_{i=1}^{r} E \left[ \exp \left( t \lambda_{i} W_{i}^{2} \right) \right] \\ =& \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} \qquad , | t | < 1 / 2 \lambda_{1} \end{align*}$$

直交行列の性質: 直交行列の行列式は $1$ または $-1$ である。

最後に直交行列 $\Gamma_{1}$ の行列式は $\pm 1$ であり、 $$1 = \det I_{n} = \det \Gamma_{1}^{T} \det \Gamma_{1}$$ したがって $1$ か $-1$ かに関わらず、$\Gamma_{1}$ と $\Gamma_{1}^{T}$ の行列式は符号が同じである。このため、$I_{n} - 2 t A$ の行列式を求めることで $M_{Q} (t)$ の別の形を得ることができる。 $$\begin{align*} & \det \left( I_{n} - 2 t A \right) \\ =& \det \left( \Gamma_{1}^{T} \Gamma - 2 t \Gamma_{1}^{T} \Lambda \Gamma_{1} \right) \\ =& \det \left( \Gamma_{1}^{T} \left( I_{n} - 2 t \Lambda \right) \Gamma_{1} \right) \\ =& \det \Gamma_{1}^{T} \det \left( I_{n} - 2 t \Lambda \right) \det \Gamma_{1} \\ =& \left( \pm 1 \right) \cdot \det \left( I_{n} - 2 t \Lambda \right) \cdot \left( \pm 1 \right) \\ =& \det \left( I_{n} - 2 t \Lambda \right) \\ =& \det \begin{bmatrix} 1 - 2 t \lambda_{1} & 0 & \cdots & 0 \\ 0 & 1 - 2 t \lambda_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} \\ =& \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right) \\ =& \left[ \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2} \right]^{-2} \end{align*}$$ 両辺に $-2$ 乗を取ることで証明が完了する。 $$\det \left( I_{n} - 2 t A \right)^{-1/2} = \prod_{i=1}^{r} \left( 1 - 2 t \lambda_{i} \right)^{-1/2}$$

■