📂수리통계학

일치추정량

Consistent Estimator

정의 ¹

확률변수 $X$ 가 누적분포함수 $F ( x ; \theta), \theta \in \Theta$ 를 가진다고 하자. $X_{1} , \cdots , X_{n}$ 을 $X$ 에서 뽑은 샘플이라고 할 때, 통계량 $T_{n}$ 이 다음을 만족하면 모수 $\theta$ 에 대한 일치추정량^{Consistent Estimator}이라 한다.

$$ T_{n} \overset{P}{\to} \theta $$

---

• $\overset{P}{\to}$ 는 확률수렴이다.

예시

$X_{1} , \cdots , X_{n}$ 가 확률분포 $\left( \mu, \sigma^{2} \right)$ 를 따르는 랜덤 샘플, 즉 $X_{1} , \cdots , X_{n} \sim \left( \mu, \sigma^{2} \right)$ 이고 첨도가 존재한다고 하면 표본분산 $S_{n}^{2}$ 은 모분산 $\sigma^{2}$ 의 일치추정량이다.

$$ \begin{align*} S_{n}^{2} =& {{ 1 } \over { n - 1 }} \sum_{k=1}^{n} \left( X_{k} - \overline{X}_{n} \right)^{2} \\ =& {{ n } \over { n - 1 }} \left[ {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k} - \overline{X}_{n}^{2} \right] \end{align*} $$

$n \to \infty$ 일 때 ${{ n } \over { n-1}} \to 1$ 이고, $\lambda(x) = x^{2}$ 는 연속함수이므로 약한 대수의 법칙에 의해 $\overline{X}_{n}^{2} \overset{P}{\to} \mu^{2}$ 이다.

체비셰프 부등식: 확률변수 $X$ 의 분산 $\sigma^2 < \infty$ 가 존재하면 $\mu := E(X)$ 와 어떤 양수 $k>0$ 에 대해 $$ \displaystyle P(|X-\mu| \ge k\sigma) \le {1 \over k^2} $$

체비세프 부등식에서 $\displaystyle k := {{ \varepsilon } \over { \sigma }}$ 라고 두면 앞서 첨도가 존재한다고 가정했으므로 $\sigma^{4}$ 도 존재하고, 모든 $\varepsilon > 0$ 에 대해

$$ P \left( \left| {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} - E \left( X^{2} \right) \right| \ge \varepsilon \right) \le {{ \sigma^{4} } \over { \varepsilon^{2} }} $$

즉 $\displaystyle {{ 1 } \over { n }} \sum_{k=1}^{n} X_{k}^{2} \overset{P}{\to} E \left( X^{2} \right)$ 다. 정리하면 $$ S_{n}^{2} \overset{P}{\to} 1 \cdot \left[ E \left( X^{2} \right) - \mu^{2} \right] = \sigma^{2} $$ 이고, $S_{n}^{2}$ 가 모분산 $\sigma^{2}$ 에 대한 일치추정량임을 알 수 있다.

■