약한 대수의 법칙 증명

약한 대수의 법칙 증명

법칙

${X_n}$가 iid 확률 변수들이고 확률분포 $\left( \mu, \sigma^2 \right) $를 따른다고 하면 $n \to \infty$ 일 때 $$ \overline{X}_n \overset{P}{\to} \mu $$


설명

이 정리는 그 어떤 분포든 ‘표본평균은 모평균으로 수렴한다’는 팩트를 함의한다. 생각해보면 당연할 수도 있지만, 자연과학에서 ‘당연하다’는 말만큼 중요한 것도 흔치 않다. 그 쓰임새를 떠나 학문을 추구하는 사람이 보기엔 ‘법칙’이라는 말에 걸맞는 명제인 것이다.

다행스럽게도 중요도에 비해 증명 자체는 쉬운데, 확률 수렴의 정의와 체비셰프 부등식정도만 알면 충분하다.

증명1

체비세프 부등식을 사용하기 위한 트릭을 사용할 것이다.

모든 $\epsilon > 0$ 에 대해 $$ P(|\overline{X}_n - \mu | \ge \epsilon) = P\left(|\overline{X}_n - \mu | \ge \left( \epsilon \sqrt{n} \over \sigma \right) \left( \sigma \over \sqrt{n} \right) \right) $$

여기서 $\overline{X}_n$ 의 모평균과 모분산은 각각 $\mu$와 $\displaystyle \sigma^2 / n $이다. 우리는 이미 위에서 체비셰프 부등식을 사용할 조건을 만족시켰다.

체비셰프 부등식 $$ P(| X - \mu | \ge k\sigma ) \le {1 \over k^2} $$

따라서 $n \to \infty$ 일 때 $$ P(|\overline{X}_n - \mu | \ge \epsilon) = P\left(|\overline{X}_n - \mu | \ge \left( \epsilon \sqrt{n} \over \sigma \right) {\sigma \over \sqrt{n}} \right) \le {{\sigma^2} \over {n \epsilon^2}} \to 0 $$


  1. Hogg et al. (2013). Introduction to Mathematical Statistcs(7th Edition): p296. ↩︎

댓글