📂수리통계학

수리통계학에서의 확률 수렴

정의 ¹

확률변수 $X$ 와 확률 변수의 시퀀스 $\left\{ X_{n} \right\}$ 가 다음을 만족하면 $n \to \infty$ 일 때 $X_{n}$ 이 $X$ 로 확률 수렴^{convergence in Probability}한다고 말하고, $X_{n} \overset{P}{\to} X$ 와 같이 나타낸다. $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| < \varepsilon \right] = 1 $$

설명

확률 수렴의 조건은 수식 그대로 확률의 센스에서 수렴을 정의한 것으로, 쉽게 말해 $n$ 이 커지면 두 확률 변수가 아주 작은 오차 $\varepsilon$ 만을 두고 같을 확률이 $100%$ 라 보면 된다. 그야말로 확률 수렴이라는 단어와 딱 맞다. 수식에 쓰일 때는 동치이면서 더 편리한 다음의 표현을 더욱 즐겨쓴다. $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| \ge \varepsilon \right] = 0 $$ 알다시피 확률 변수는 표본 공간에서 실수로의 함수인데, 두 함수를 비교했을 때 그 차가 $\varepsilon$ 에 비교되는 것이므로 해석학적인 센스에서는 함수의 균등 수렴에 해당할 것이다. 이러한 유사점은 균등 수렴하면 점별 수렴하듯 확률 수렴하면 분포 수렴한다는 팩트로도 이어진다.갑자기 튀어나온 엡실론이 반갑지 않다면 이제부터라도 정을 붙이든가 수리통계학을 포기하든가 선택해야할 것이다. 통계학에서 $n$ 이 커진다는 것은 그냥 아무 숫자 하나를 무한대로 보내는 것이 아니라 표본이 충분히 많다는 가정을 수학적으로 표현한건데, 확률론을 가져다가 이론을 전개하는 수리통계학에서 표본의 수를 논할 수 없다면 말 그대로 할 수 있는 게 없을 것이다. 본인이 해석학과 아무리 어색하다 하더라도, 이 포스트에서 증명 [3]의 Part 1. 정도는 읽고 이해할 수 있도록 노력해보자.

확률 수렴에 대해 다음과 같은 상식적인 성질들을 소개한다.

정리

$X_{n} \overset{P}{\to} X$ 이라 하자.

• [1] 연속 사상 정리: 연속 함수 $g$ 에 대해 $$ g\left( X_{n} \right) \overset{P}{\to} g (X) $$
• [2]: 확률 수렴하면 분포 수렴한다. 즉, $$ X_{n} \overset{P}{\to} X \implies X_{n} \overset{D}{\to} X $$
• [3]: $a \in \mathbb{R}$ 이 상수고 $ Y_{n} \overset{P}{\to} Y$ 라 하면 $$ aX_{n} \overset{P}{\to} a X \\ X_{n} + Y_{n} \overset{P}{\to} X + Y \\ X_{n} Y_{n} \overset{P}{\to} XY $$

증명

[1]

학부수준을 넘어간 증명이 있고, 굳이 수리통계학의 수준까지 내려와서 알아야 할 필요는 없다. 그냥 받아들이고 넘어가도 무방하다.

■

[2]

직접연역한다.

■

[3]

Part 1. $aX_{n} \overset{P}{\to} a X $

물론 연속 사상 정리의 따름정리로써도 바로 얻을 수 있지만, 해석학적인 증명의 예시로써 굳이 직접 연역해본다. $a = 0$ 면 자명하게 성립하므로 $a \ne 0$ 이라고 하자.

$\varepsilon > 0$ 이라고 하면 확률 $P$ 안의 식에서 $|a|$ 를 나눔으로써 다음과 같은 등식을 얻는다. $$ \begin{align*} P \left( \left| a X_{n} - aX \right| \ge \varepsilon \right) =& P \left( |a| \left| X_{n} - X \right| \ge \varepsilon \right) \\ =& P \left( \left| X_{n} - X \right| \ge {{ \varepsilon } \over { |a| }} \right) \end{align*} $$ $n \to \infty$ 일 때 $X_{n} \overset{P}{\to} X$ 라고 가정했으므로 마지막 변은 $n \to \infty$ 일 때 $0$ 으로 수렴하고, 따라서 첫 변에 극한을 취하면 다음을 얻는다. $$ \lim_{n \to \infty} P \left( \left| a X_{n} - aX \right| \ge \varepsilon \right) = 0 $$

---

Part 2. $X_{n} + Y_{n} \overset{P}{\to} X + Y$

부등호 방향만 안 헷갈리면 별로 어렵지 않다. 삼각 부등식에 따라 $$ \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right| \le \left| X_{n} - X \right| + \left| Y_{n} - Y \right| $$ 이다. 한편 다음 그림에 따라 두 사건의 포함관계 $$ \color{blue}{\left( \left| X_{n} - X \right| + \left| Y_{n} - Y \right| \ge \varepsilon \right) } \subset \color{orange}{ \left[ \left( \left| X_{n} - X \right| \ge \varepsilon / 2 \right) \cup \left( \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right) \right] } $$ 가 성립함을 알 수 있다. 이제 $\varepsilon \le \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right|$ 이라고 가정하면 $$ \begin{align*} P \left[ \left| \left( X_{n} + Y_{n} \right) - \left( X + Y \right) \right| \ge \varepsilon \right] =& P \left[ \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right| \ge \varepsilon \right] \\ \le & P \left[ \color{blue}{ \left| X_{n} - X \right| + \left| Y_{n} - Y \right| \ge \varepsilon } \right] \\ \le & P \left[ \color{orange}{ \left( \left| X_{n} - X \right| \ge \varepsilon / 2 \right) \cup \left( \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right) } \right] \\ \le & P \left[ \left| X_{n} - X \right| \ge \varepsilon / 2 \right] + P \left[ \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right] \end{align*} $$ $n \to \infty$ 일 때 마지막 변이 $0$ 으로 수렴하므로 다음을 얻는다. $$ \lim_{n \to \infty} P \left[ \left| \left( X_{n} + Y_{n} \right) - \left( X + Y \right) \right| \ge \varepsilon \right] \le 0 $$

---

Part 3. $X_{n} Y_{n} \overset{P}{\to} XY$

$$ g(x) := x^{2} $$ 는 연속 함수이므로 정리 [1]에 따라 $X_{n}^{2} \overset{P}{\to} X^{2}$ 이고 $$ \begin{align*} X_{n} Y_{n} =& {{ 1 } \over { 2 }} X_{n}^{2} + {{ 1 } \over { 2 }} Y_{n}^{2} - {{ 1 } \over { 2 }} \left( X_{n} - Y_{n} \right)^{2} \\ \overset{P}{\to}& {{ 1 } \over { 2 }} X^{2} + {{ 1 } \over { 2 }} Y^{2} - {{ 1 } \over { 2 }}\left( X - Y \right)^{2} \\ =& XY \end{align*} $$

■

엄밀한 정의

• 측도론으로 정의되는 확률 수렴