📂数理統計学

スチューデントの定理の証明

定理¹

確率変数 $X_{1} , \cdots , X_{n}$ がiidで正規分布 $N\left( \mu,\sigma^{2} \right)$に従うとすると

• (a): $$ \overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right) $$
• (b): $$ \overline{X} \perp S^2 $$
• (c): $$ (n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1) $$
• (d): $$ T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } \sim t(n-1) $$

---

• 標本平均 $\overline{X}$と標本分散 $S^{2}$は、次のように定義された確率変数である。

$$ \overline{X} := {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k} \\ S^{2} := {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2} $$

説明

統計学をやる人々は当たり前のように使っているが、実はこれにも名前がある。四つのパートに分かれていて具体的に引用しにくいことも一因である。

(b)は、当然と言えば当然で、奇妙と言えば奇妙な事実である。標本平均も標本分散もどちらも全く同じデータから得られたにもかかわらず、独立だという点がそうである。

小標本に対する母平均の推論

スチューデントの定理の証明は、母平均に対する小標本仮説検定の導出そのものである。

証明

(a)

$\displaystyle \overline{X} = { { (X_1 + X_2 + \cdots + X_n )} \over {n}}$なので、正規分布に従う確率変数たちの和を考えてみると $$ \overline{X} \sim N \left( \mu, {{1} \over {n}} \sigma^2 \right) $$

■

(b)

• $\mathbf{0}$は零ベクトルを表す。
• $\mathbf{1} = (1, \cdots , 1) = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}$はすべての成分が $1$ であるベクトルを表す。
• $I$は単位行列を表す。
• $A^{T}$は行列 $A$ の転置行列を表す。

---

$\displaystyle \mathbf{v} := {{ 1 } \over { n }} \mathbf{1}$としよう。

ランダムベクトル $X := \left( X_{1} , \cdots , X_{n} \right)$は多変量正規分布に従い $$ \begin{align*} \overline{X} =& {{ 1 } \over { n }} \left( X_{1} + \cdots + X_{n} \right) \\ &= {{ 1 } \over { n }} \begin{bmatrix} 1 & \cdots & 1 \end{bmatrix} \begin{bmatrix} X_{1} \\ \vdots \\ X_{n} \end{bmatrix} \\ =& {{ 1 } \over { n }} \mathbf{1}^{T} \mathbf{X} \\ =& \mathbf{v}^{T} \mathbf{X} \end{align*} $$

いま、ランダムベクトル $\mathbf{Y} := \left( X_{1} - \overline{X} , \cdots , X_{n} - \overline{X} \right)$を定義すると、あるランダムベクトル $\mathbf{W}$は次のように表せる。 $$ \mathbf{W} = \begin{bmatrix} \overline{X} \\ \mathbf{Y} \end{bmatrix} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mathbf{X} $$

$\mathbf{W}$は多変量正規分布に従うランダムベクトルたちが線形変換されたものなので、依然として多変量正規分布に従い、その母平均ベクトルは上の等式に期待値を取った $$ E \mathbf{W} = \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \mu \mathbf{1} = \begin{bmatrix} \mu \\ \mathbf{0}_{n} \end{bmatrix} $$ であり、共分散行列 $\Sigma$は $$ \begin{align*} \Sigma =& \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \sigma^{2} I \begin{bmatrix} \mathbf{v}^{T} \\ I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix}^{T} \\ =& \sigma^{2} \begin{bmatrix} 1/n & \mathbf{0}_{n}^{T} \\ \mathbf{0}_{n} & I - \mathbf{1} \mathbf{v}^{T} \end{bmatrix} \end{align*} $$ である。ここで $\overline{X}$は $\mathbf{Y}$と独立であることが分かり $$ S^{2} = {{ 1 } \over { n-1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X} \right)^{2} = {{ 1 } \over { n-1 }} \mathbf{Y}^{T} \mathbf{Y} $$ なので $\overline{X} \perp S^{2}$である。

■

(c)

$\displaystyle V = \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2 $とすると、$\displaystyle { {X_{i} - \mu } \over {\sigma} } \sim N(0,1)$なので $V \sim \chi^2 (n)$であるはずで

$$ \begin{align*} V =& \sum_{i=1}^{n} \left( { {X_{i} - \mu } \over {\sigma} } \right) ^2 \\ =& \sum_{i=1}^{n} \left( { { ( X_{i} -\overline{X} ) + ( \overline{X} - \mu ) } \over {\sigma} } \right) ^2 \\ =& \sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2 \end{align*} $$

ここで $$ \sum_{i=1}^{n} \left( { { X_{i} -\overline{X} } \over {\sigma} } \right) ^2 = { {n-1} \over {\sigma^2} } \sum_{i=1}^{n} { { ( X_{i} -\overline{X} ) ^ 2 } \over {n-1} } = (n-1) { {S^2} \over {\sigma^2} } $$

整理すると $$ V = (n-1) { {S^2} \over {\sigma^2} } + \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) ^2 $$

$V \sim \chi^2 (n)$であり、スチューデントの定理の(a)により $$ \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right) \sim N(0,1) $$ であって、標準正規分布の二乗はカイ二乗分布に従うので $$ \left( { { \overline{X} - \mu } \over {\sigma / \sqrt{n} } } \right)^2 \sim \chi^2 (1) $$

スチューデントの定理の(b)で $\overline{X}$と $S^2$が互いに独立であることを示したので、両辺がモーメント母関数の形になるようにすると $$ (1-2t)^{-n/2} = E \left\{ \exp \left( (n-1) { {S^2} \over {\sigma^2} } t \right) \right\} (1-2t)^{-1/2} $$

したがって $\displaystyle (n-1) { {S^2} \over {\sigma^2} }$のモーメント母関数は $(1-2t)^{-(n-1)/2}$である。

■

(d)

正規分布とカイ二乗分布からのスチューデントのt分布の導出: $W \sim N(0,1)$であり $V \sim \chi^2 (r)$ならば $$ T = { {W} \over {\sqrt{V/r} } } \sim t(r) $$

$$ T = { {\overline{X} - \mu } \over {S / \sqrt{n}} } = { {( \overline{X} - \mu ) / (\sigma / \sqrt{n}) } \over { \sqrt{ (n-1) S^2 / ( \sigma^2 ( n-1 ) ) } } } $$ スチューデントの定理の(a)で $\displaystyle \overline{X} \sim N\left( \mu , { {\sigma^2} \over {n} } \right) $であること、(c)で $\displaystyle (n-1) { {S^2} \over {\sigma^2} } \sim \chi^2 (n-1) $であることを示したので $$ T \sim t(n-1) $$

■