不偏推定量
定義 1
$\theta$ の推定量 $T$ が次を満たす場合、$T$ は $\theta$ の不偏推定量unbiased Estimatorと呼ばれる。 $$ E T = \theta $$
説明
特に、$\theta$ に対する不偏推定量の中で分散が最も小さい場合、最小分散不偏推定量minimum Variance Unbiased Estimator, MVUEと呼ばれる。
不偏性とは、偏りを持たない性質のことを言う。例えば、$X_{i} \sim \left( \mu , \sigma^{2} \right)$ とする時、$\mu$ の推定量として標本平均 $\displaystyle \overline{X} = {{ 1 } \over { n }} \sum_{i} X_{i}$ を使用する場合、$\displaystyle E \overline{X} = \mu$ であるため、$\overline{X}$ は $\mu$ の不偏推定量になる。これは一見当たり前に見えるが、推定量が母数を正確に示すことは非常に重要な性質であり、当たり前のことではない。例えば、分散と標本分散について見てみよう。
例
$$ X_{i} \sim \left( \mu , \sigma^{2} \right) $$ とする場合、分散の不偏推定量は次のようになる。 $$ S^{2} := {{1} \over {n-1}} \sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2} $$ 知られているように、標本平均とは異なり、標本分散は偏差の二乗をすべて加算した後、$n$ ではなく $n-1$ で割る。標本分散を求める際に $n-1$ で割る理由には、聞く人のレベルに応じて様々な説明ができるが、最も正確な式で説明するならば、「標本分散が不偏推定量となるため」である。
証明 2
$$ \mu := E \overline{X} \\ \sigma^{2} := E X_{i} ^{2} - \mu^{2} $$ とすると、 $$ \begin{align*} E \left( \overline{X}^{2} \right) - \mu^{2} =& E \left( \overline{X}^{2} \right) - \left( E \overline{X} \right)^{2} \\ =& \text{Var} \overline{X} \\ =& \text{Var} \left( {{1} \over {n}} \sum_{i=1}^{n} X_{i} \right) \\ =& {{1} \over {n^{2}}} \sum_{i=1}^{n} \text{Var} X_{i} \\ =& {{1} \over {n^{2}}} n \sigma^{2} \\ =& {{\sigma^{2}} \over {n}} \end{align*} $$ よって、標本分散 $S^{2}$ の期待値は $$ \begin{align*} E S^{2} =& (n-1)^{-1} E \sum_{i=1}^{n} \left( X_{i} - \overline{X} \right)^{2} \\ =& (n-1)^{-1} \left[ \sum_{i=1}^{n} E X_{i}^{2} - \sum_{i=1}^{n} E \overline{X} ^{2} \right] \\ =& (n-1)^{-1} \left[ \sum_{i=1}^{n} \left( \sigma^{2} + \mu^{2} \right) - n \left( \mu^{2} + {{\sigma^{2}} \over {n}} \right) \right] \\ =& (n-1)^{-1} \left[ n\sigma^{2} + n \mu^{2} - n \mu^{2} - \sigma^{2} \right] \\ =& (n-1)^{-1} (n-1) \sigma^{2} \\ =& \sigma^{2} \end{align*} $$
■