마코프 체인의 정상분포
도입
상태공간이 $S = \left\{ 1, 2, \dots \right\}$인 마코프 체인 $\left\{ X_{n} \right\}$과 그 전이확률행렬 $P = \begin{bmatrix} p_{ji} \end{bmatrix}$가 주어졌다고 하자. 여기서 $p_{ij} = P(X_{n+1} = j \mid X_{n} = i)$는 상태 $i$에서 상태 $j$로 갈 확률이다. 따라서 $P$의 각 열의 합은 $1$이다. 마코프 체인의 상태는 스텝마다 확률적으로 바뀌므로, 시점 $n$에 체인이 어느 상태에 있을지는 확률로만 말할 수 있다. 이를 다음과 같은 열벡터로 나타내자.
$$ \pi^{(n)} := \begin{bmatrix} P(X_{n} = 1) \\ P(X_{n} = 2) \\ \vdots \end{bmatrix} $$
다음 시점 $n+1$에 상태 $j$에 있을 확률은, 현재 상태 $i$에 있을 확률과 $i$에서 $j$로 갈 확률을 곱해서 가능한 모든 $i$에 대해 더한 것이다.
$$ \pi^{(n+1)}_{j} = P(X_{n+1} = j) = \sum_{i} P(X_{n+1} = j \mid X_{n} = i) P(X_{n} = i) = \sum_{i} p_{ij} \pi^{(n)}_{i} $$
이를 행렬로 나타내면 $\pi^{(n+1)} = P \pi^{(n)}$이고, 이를 반복하면 아래와 같다. 다시 말해 처음 분포 $\pi^{(0)}$에 전이확률행렬을 $n$번 곱하면 $n$스텝 뒤의 분포를 얻는다.
$$ \pi^{(n)} = P^{n} \pi^{(0)} $$
구체적으로 강수확률에 대한 모형을 마코프 체인으로 나타낸다고 생각해보자. 어제 비가 왔든 오지 않았든 내일의 강수확률은 오늘 비가 왔는지 오지 않았는지에만 영향을 받는다고 가정해보자. 상태공간을 $\left\{0, 1\right\}$이라 하고, 비가 온 상태를 $0$, 비가 오지 않은 상태를 $1$ 이라 하고 이라 하자. 그리고 상태전이확률이 다음과 같다고 하자.
$$\begin{matrix} p_{00} = 0.7 & p_{01} = 0.3 \\ p_{10} = 0.4 & p_{11} = 0.6 \end{matrix}$$
이는 오늘 비가 왔다면 내일도 비가 올 확률이 $70 \%$ 이고 비가 안 올 확률이 $30 \%$, 오늘 비가 안 왔다면 내일도 비가 안 올 확률이 $60 \%$ 이고 비가 올 확률이 $40 \%$ 라는 뜻이다. 오늘 비가 왔다면 $\pi^{(0)} = [1, 0]^{\mathsf{T}}$이고 비가 오지 않았다면 $\pi^{(0)} = [0, 1]^{\mathsf{T}}$인데, 어느 쪽에서 출발하든 $n$이 커질수록 $\pi^{(n)}$은 같은 분포 $[4/7, 3/7]^{\mathsf{T}}$에 가까워진다. 이는 오늘의 날씨가 먼 미래의 날씨에 거의 영향을 주지 못한다는 의미이고, 직관적으로도 자연스럽다. 이렇게 도달한 분포를 $\pi$라 하면, 여기에 전이를 한 번 더 적용해도 여전히 $\pi$여야 하므로 $\pi = P \pi$가 성립한다. 이처럼 전이행렬에 의해 변하지 않는 분포를 정상분포라 한다.
정의
가산 상태공간 $S$ 위의 마코프 체인의 전이확률행렬을 $P = [p_{ji}]$라 하자. 단, $p_{ij} = P(X_{n+1} = j \mid X_{n} = i)$이다. $\pi_{j} \ge 0$, $\sum_{j \in S} \pi_{j} = 1$을 만족하는 열벡터 $\pi = [\pi_{j}]_{j \in S}$가 다음을 만족하면, $\pi$를 이 마코프 체인의 정상분포stationary distribution라 한다.
$$ \pi_{j} = \sum_{i \in S} p_{ij} \pi_{i} \quad (j \in S) \qquad \text{i.e.} \qquad \pi = P \pi $$
설명
쉽게 말해서 정상분포란 마코프 체인을 아무리 진행시켜도 변하지 않는 분포이다. 정상正常normal이 아니라 정상定常stationary이다.
이때 변하지 않는 것은 상태가 아니라 상태의 분포라는 점에 주의해야 한다. 강수확률 예시의 체인을 따르는 사람이 $700$명 있고, 그중 $400$명은 상태 $0$(비)에, $300$명은 상태 $1$(맑음)에 있다고 하자. 한 스텝이 지나면 상태 $0$에서는 $400 \times 0.3 = 120$명이 상태 $1$로 옮겨 가고, 상태 $1$에서는 $300 \times 0.4 = 120$명이 상태 $0$으로 옮겨 온다. 각 사람은 계속 상태를 옮겨 다니지만, 나가는 인원과 들어오는 인원이 같으므로 두 상태의 인원은 $400$명, $300$명으로 그대로이다. 이 비율 $[4/7, 3/7]^{\mathsf{T}}$이 바로 정상분포이다.
한편 같은 전이확률행렬에 대해서 정상분포가 항상 하나뿐인 것은 아니고, 마코프 체인이 항상 정상분포로 다가가는 것도 아니다. 다음의 두 경우를 보자.
$P = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$
상태가 움직이지 않는다. 어떤 분포에서 출발하든 분포가 그대로이므로 모든 분포가 정상분포이다.
$P = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$
매 스텝 상태가 반드시 바뀐다. 정상분포는 $[1/2, 1/2]^{\mathsf{T}}$ 하나뿐이지만, 상태 $1$에서 출발하면 분포가 $[1, 0]^{\mathsf{T}}, [0, 1]^{\mathsf{T}}, [1, 0]^{\mathsf{T}}, \dots$으로 번갈아 바뀔 뿐 $[1/2, 1/2]^{\mathsf{T}}$로 다가가지 않는다.