측도론으로 정의되는 분포 수렴
정의
거리 공간 $S$ 의 보렐 시그마 필드 $\mathcal{S}:= \mathcal{B}(S)$ 에 대해 가측 공간 $(S,\mathcal{S})$ 을 정의하자.
확률 공간 $(\Omega, \mathcal{F}, P)$ 에서 정의된 확률 변수 $X$ 와 확률 과정 $\left\{ X_{n} \right\}_{n \in \mathbb{N}}$ 이 $n \to \infty$ 일 때 모든 $f \in C_{b}(S)$ 에 대해 다음을 만족하면 $\left\{ X_{n} \right\}$ 이 $X$ 로 분포 수렴한다converge in distribution고 말하고 $X_{n} \overset{D}{\to} X$ 와 같이 나타낸다. $$ \int_{\Omega} f(X_{n}) dP \to \int_{\Omega} f(X) dP $$
- $C_{b}(S)$ 는 다음과 같이 $S$ 에서 정의되는 유계 연속 함수들의 집합을 나타낸다. $$ C_{b}(S) := \left\{ f:S \to \mathbb{R} \mid f\text{ is bounded and continuous} \right\} $$
정리
- [1]: $(S,\mathcal{S})$ 에서 정의된 확률 측도의 시퀀스 $\left\{ P_{n} \right\}_{n \in \mathbb{N}}$ 가 모든 보렐 셋 $B \in \mathcal{B} \left( \mathbb{R} \right)$ 에 대해 $$ P_{n} \left( X^{-1} (B) \right) := P \left( X_{n}^{-1} (B) \right) $$ 을 만족하도록 정의되어 있다면, 다음이 성립한다. $$ X_{n} \overset{D}{\to} X \iff P_{n} \overset{W}{\to} P $$
- [2]: $X_{n} \overset{D}{\to} X$ 와 모든 $\left\{ X_{n} \right\}$ 의 서브 시퀀스 $\left\{ X_{n '} \right\} \subset \left\{ X_{n} \right\}$ 가 $X_{n ''} \overset{D}{\to} X$ 를 만족하는 $\left\{ X_{n '} \right\}$ 의 서브 시퀀스 $\left\{ X_{n ''} \right\} \subset \left\{ X_{n '} \right\}$ 를 가지는 것은 동치다. 수식으로 다시 쓰면 다음과 같다. $$ X_{n} \overset{D}{\to} X \iff \forall \left\{ X_{n '} \right\} \subset \left\{ X_{n} \right\}, \exists \left\{ X_{n ''} \right\} \subset \left\{ X_{n '} \right\} : X_{n ''} \overset{D}{\to} X $$
- [3] 연속 사상 정리: 가측 함수 $h : (S , \mathcal{S}) \to (S ' , \mathcal{S} ')$ 에 대해서 $h$ 가 연속인 점들의 집합 $C_{h}$, 다시 말해 $C_{h} : = \left\{ x \in S : h \text{ is continuous at } x \right\}$ 을 정의하자. 만약 $X_{n} \overset{D}{\to} X$ 이고 $P(X \in C_{h}) = 1$ 이면 $h(X_{n}) \overset{D}{\to} h(X)$ 다. 수식으로 다시 쓰면 다음과 같다. $$ X_{n} \overset{D}{\to} X \land P(X \in C_{h}) = 1 \implies h(X_{n}) \overset{D}{\to} h(X) $$
설명
- [1]: 정리에서 소개한 것과 같이 정의된 $P_{n}$ 을 $X_{n}$ 에서 유도된 확률 측도induced Probability measure라 부른다. 분명하게 알아야할 것은 $X_{n} \overset{D}{\to} X$ 은 확률 ‘변수’의 수렴, $P_{n} \overset{W}{\to} P$ 은 확률 ‘측도’의 수렴로써 구분된다는 것이다.
- [2]: 언뜻 이 정리는 무척 억지스러워보이지만, 상대적 컴팩트라는 개념과 함께 중요한 성질이 된다.
- [3]: 연속 사상 정리continuous Mapping theorem는 사실 확률 수렴, 거의 확실히 수렴에 대해서도 일반화가 가능하다. 한편 $h$ 도 함수고 확률 변수 역시 함수라는 점에서 합성함수 $h \circ X$ 가 자연스럽게 쓰일 수 있음을 생각할 수 있어야한다. $A \in \mathcal{S} ' $ 에 대해 다음과 같은 수식이 말이 되는지 고민해보고 납득하는 과정이 필요하다. $$ P \left( h(X)^{-1} (A) \right) = P \left( X \in h^{-1}(A) \right) $$ 모든 $f \in C_{b}(S)$ 에 대해 분포가 같다는 노테이션으로 $\overset{D}{=}$ 를 사용하기도 한다. 그 정의는 모든 $A \in \mathcal{S} ' $ 와 연속함수 $h:S \to S'$ 에 대해 다음과 같다. $$ h(X) \overset{D}{=} h(Y) \overset{\text{def}}{\iff} P \left( h(X)^{-1}(A) \right) = P \left( h(Y)^{-1}(A) \right) $$ 다시 수렴의 표현을 생각해보면 다음과 같다. $$ h\left( X_{n} \right) \overset{D}{\to} h(X) \iff P \left( h\left( X_{n} \right)^{-1}(A) \right) \to P \left( h(X)^{-1}(A) \right) $$
증명
[1]
모든 $f \in C_{b}(S)$ 에 대해 $$ \begin{align*} P_{n} \overset{W}{\to} P \iff & \int_{S} f dP_{n} \to \int_{S} f dP \\ \iff & \int_{\Omega} f(X_{n}) dP \to \int_{\Omega} f(X) dP \\ \iff & X_{n} \overset{D}{\to} X \end{align*} $$
■
[2]
$(\implies)$ $X_{n} \overset{D}{\to} X$ 가 성립하지 않는다면 $$ \int_{\Omega} f(X_{n}) dP \to \int_{\Omega} f(X) dP $$ 가 성립하지 않는 $f \in C_{b}(S)$ 가 존재한다고 가정해보자. 다시 말해, $$ \left| \int_{\Omega} f(X_{n '}) dP - \int_{\Omega} f(X) dP \right| > \varepsilon $$ 를 만족하는 $\varepsilon > 0$ 과 서브 시퀀스의 인덱스 $\left\{ n' \right\}$ 가 존재한다고 가정하는 것이다. 그런데 이는 $$ \int_{\Omega} f(X_{n ''}) dP \to \int_{\Omega} f(X) dP $$ 를 만족하는 서브 시퀀스의 인덱스의 서브 시퀀스 $\left\{ n'' \right\}$ 가 항상 존재하므로 모순이다.
$(\impliedby)$ $\left\{ n'' \right\} = \left\{ n \right\}$ 이라고 두면 자명하게 성립한다.
■
[3]
$P_{X}$ 는 $X$ 에서 유도된 확률 측도, 즉 $P_{X}(A) := P \left( X^{-1}(A) \right) = P(X \in A)$ 이라고 하자. $$ \overline{h^{-1}(B)} \subset h^{-1}(B) \cup C_{h}^{c} $$ $S'$ 에서 닫힌 모든 집합 $B$ 에 대해 위의 포함관계가 성립한다. 임의의 $x \in \overline{h^{-1}(B)}$ 를 생각해보면, $h$ 가 연속인 부분에 대해서는 닫힘을 보존해서 $h^{-1}(B)$ 이 포함하고 연속이 아닌 부분의 프리 이미지는 $C_{h}^{c}$ 가 포함하기 때문이다. 클로져 $\overline{h^{-1}(B)}$ 는 $S$ 에서 닫힌 집합이므로 $$ \begin{align*} & \limsup_{n \to \infty} P \left( h ( X_{n} ) \in B \right) \\ =& \limsup_{n \to \infty} P \left( X_{n} \in h^{-1} (B) \right) \\ =& \limsup_{n \to \infty} P_{X} \left( h ( X_{n} )^{-1}(B) \right) \\ =& \limsup_{n \to \infty} P_{X} \left( \left[ X_{n}^{-1} \circ h^{-1} \right] (B) \right) \\ =& \limsup_{n \to \infty} P_{X} \left( X_{n}^{-1} \left( h^{-1} (B) \right) \right) \\ =& \limsup_{n \to \infty} P_{n} \left( h^{-1} (B)\right) \\ \le & \limsup_{n \to \infty} P_{n} \left( \overline{h^{-1} (B)} \right) \end{align*} $$
혼성 정리: 공간 $S$ 가 거리 공간 $( S , \rho)$ 이면서 가측 공간 $(S,\mathcal{B}(S))$ 이라고 하자. 다음은 모두 동치다.
- (1): $P_{n} \overset{W}{\to} P$
- (2): 모든 바운디드, 균등연속함수 $f$ 에 대해 $\displaystyle \int_{S} f dP_{n} \to \int_{S}f d P$
- (3): 모든 클로즈드 셋 $F$ 에 대해 $\displaystyle \limsup_{n\to\infty} P_{n}(F) \le P(F)$
- (4): 모든 오픈 셋 $G$ 에 대해 $\displaystyle P(G) \le \liminf_{n\to\infty} P_{n}(G)$
- (5): $P(\partial A) = 0$ 인 모든 $A$ 에 대해 $\displaystyle \lim_{n\to\infty} P_{n}(A) = P(A)$
[1]에 따라 $X_{n} \overset{D}{\to} X$ 이면 $P_{n} \overset{W}{\to} P_{X}$ 이고, 혼성 정리의 $(1) \implies (3)$ 과 가정 $P_{X}(X \in C_{h}^{c}) = 0$ 에 의해 $$ \begin{align*} \limsup_{n \to \infty} P_{X} \left( h ( X_{n} )^{-1}(B) \right) \le & \limsup_{n \to \infty} P_{n} \left( \overline{h^{-1} (B)} \right) \\ \le & P_{X} \left( \overline{h^{-1} (B)} \right) \\ \le & P_{X} \left( h^{-1} (B) \cup C_{h}^{c} \right) \\ \le & P _{X}\left( h^{-1} (B) \right) + P_{X} \left( C_{h}^{c} \right) \\ \le & P_{X} \left( h^{-1} (B) \right) \\ \le & P_{X} \left( X^{-1} \left( h^{-1} (B) \right) \right) \\ \le & P_{X} \left( \left( h(X) \right)^{-1} (B) \right) \end{align*} $$ 같은 방법으로 $\displaystyle P_{X} \left( \left( h(X) \right)^{-1} (B) \right) \le \liminf_{n \to \infty} P_{X} \left( h ( X_{n} )^{-1}(B) \right)$ 임을 보이면 $$ \lim_{n \to \infty} P_{X} \left( h ( X_{n} )^{-1}(B) \right) = P_{X} \left( \left( h(X) \right)^{-1} (B) \right) $$
■
같이보기
- 수리통계학에서 정의됐던 분포 수렴
- 거의 확실히 수렴 $\implies$ 확률 수렴 $\implies$ 분포 수렴(약한 수렴)
리뉴얼
- 23년 8월 19일, 류대식, 정리 [1] 스테이트먼트 오타 수정($P_{n} (A) := P \left( X_{n}^{-1} (A)\right)$ → $P_{n} \left( X^{-1} (B) \right) := P \left( X_{n}^{-1} (B)\right)$)