📂수리통계학

약한 대수의 법칙 증명

법칙

$\left\{ X_{k} \right\}_{k=1}^{n}$ 이 iid 확률 변수들이고 확률분포 $\left( \mu, \sigma^2 \right) $를 따른다고 하면 $n \to \infty$ 일 때 $$ \overline{X}_n \overset{P}{\to} \mu $$

---

• $\overset{P}{\to}$ 는확률 수렴을 의미한다.

설명

중심극한정리와 더불어 통계학에서 가장 중요한 정리들로 꼽힌다.

이 정리는 그 어떤 분포든 ‘표본평균은 모평균으로 수렴한다’는 팩트를 함의한다. 생각해보면 당연할 수도 있지만, 자연과학에서 ‘당연하다’는 말만큼 중요한 것도 흔치 않다. 그 쓰임새를 떠나 학문을 추구하는 사람이 보기엔 ‘법칙’이라는 말에 걸맞는 명제인 것이다.

다행스럽게도 중요도에 비해 증명 자체는 쉬운데, 확률 수렴의 정의와 체비셰프 부등식정도만 알면 충분하다.

증명¹

체비세프 부등식을 사용하기 위한 트릭을 사용할 것이다.

모든 $\epsilon > 0$ 에 대해 $$ P(|\overline{X}_n - \mu | \ge \epsilon) = P\left(|\overline{X}_n - \mu | \ge \left( \epsilon \sqrt{n} \over \sigma \right) \left( \sigma \over \sqrt{n} \right) \right) $$

여기서 $\overline{X}_n$ 의 모평균과 모분산은 각각 $\mu$와 $\displaystyle \sigma^2 / n $이다. 우리는 이미 위에서 체비셰프 부등식을 사용할 조건을 만족시켰다.

체비셰프 부등식 $$ P(| X - \mu | \ge k\sigma ) \le {1 \over k^2} $$

따라서 $n \to \infty$ 일 때 $$ P(|\overline{X}_n - \mu | \ge \epsilon) = P\left(|\overline{X}_n - \mu | \ge \left( \epsilon \sqrt{n} \over \sigma \right) {\sigma \over \sqrt{n}} \right) \le {{\sigma^2} \over {n \epsilon^2}} \to 0 $$

■