📂数理統計学

不偏推定量

定義 ¹

$\theta$ の推定量 $T$ が次を満たす場合、$T$ は $\theta$ の不偏推定量^{unbiased estimator}と呼ばれる。 $$E T = \theta$$

説明

特に、$\theta$ に対する不偏推定量の中で分散が最も小さい場合、最小分散不偏推定量^{minimum Variance Unbiased Estimator, MVUE}と呼ばれる。

不偏性とは、偏りを持たない性質のことを言う。例えば、$X_{i} \sim \left( \mu , \sigma^{2} \right)$ とする時、$\mu$ の推定量として標本平均 $\displaystyle \overline{X} = {{ 1 } \over { n }} \sum_{i} X_{i}$ を使用する場合、$\displaystyle E \overline{X} = \mu$ であるため、$\overline{X}$ は $\mu$ の不偏推定量になる。これは一見当たり前に見えるが、推定量が母数を正確に示すことは非常に重要な性質であり、当たり前のことではない。例えば、分散と標本分散について見てみよう。

例

$$X_{i} \sim \left( \mu , \sigma^{2} \right)$$ とする場合、分散の不偏推定量は次のようになる。 $$S^{2} := {{1} \over {n-1}} \sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2}$$ 知られているように、標本平均とは異なり、標本分散は偏差の二乗をすべて加算した後、$n$ ではなく $n-1$ で割る。標本分散を求める際に $n-1$ で割る理由には、聞く人のレベルに応じて様々な説明ができるが、最も正確な式で説明するならば、「標本分散が不偏推定量となるため」である。

証明 ²

$$\mu := E \overline{X} \\ \sigma^{2} := E X_{i} ^{2} - \mu^{2}$$ とすると、 $$\begin{align*} E \left( \overline{X}^{2} \right) - \mu^{2} =& E \left( \overline{X}^{2} \right) - \left( E \overline{X} \right)^{2} \\ =& \operatorname{Var} \overline{X} \\ =& \operatorname{Var} \left( {{1} \over {n}} \sum_{i=1}^{n} X_{i} \right) \\ =& {{1} \over {n^{2}}} \sum_{i=1}^{n} \operatorname{Var} X_{i} \\ =& {{1} \over {n^{2}}} n \sigma^{2} \\ =& {{\sigma^{2}} \over {n}} \end{align*}$$ よって、標本分散 $S^{2}$ の期待値は $$\begin{align*} E S^{2} =& (n-1)^{-1} E \sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2} \\ =& (n-1)^{-1} \left[ \sum_{i=1}^{n} E X_{i}^{2} - \sum_{i=1}^{n} E \overline{X} ^{2} \right] \\ =& (n-1)^{-1} \left[ \sum_{i=1}^{n} \left( \sigma^{2} + \mu^{2} \right) - n \left( \mu^{2} + {{\sigma^{2}} \over {n}} \right) \right] \\ =& (n-1)^{-1} \left[ n\sigma^{2} + n \mu^{2} - n \mu^{2} - \sigma^{2} \right] \\ =& (n-1)^{-1} (n-1) \sigma^{2} \\ =& \sigma^{2} \end{align*}$$

■