확률과정론에서 상태의 유형

확률과정론에서 상태의 유형

정의

$i,j$ 를 스테이트라고 하자.

  1. $p_{ij}^{ ( n ) } > 0$ 를 만족하는 $n \ge 0$ 이 존재하면 $j$ 는 $i$ 로부터 억세서블Accessible하다고 한다.
  2. $i$ 와 $j$ 가 서로 억세서블하면 커뮤니케이트Cummunicate하다고 한다.
  3. 커뮤니케이트한 스테이트들의 집합 중 가장 큰 것을 클래스Class라고 한다. 두 스테이트가 커뮤니케이트하면 하나의 클래스 안에 있다고 한다.
  4. $d = \gcd \left\{ n > 0 \mid p_{ii}^{(n)} > 0 \right\}$ 을 피리어드Period라 하고 $i$ 를 $d$-피리어딕$d$-Periodic하다고 한다. $d=1$ 이면 어피리어딕Aperiodic하다고 한다.

마코프 체인에서 $i$ 를 떠났다가 다시 $i$ 로 돌아올 확률을 $f_{i}$, 그 때 걸린 횟수를 $\tau_{i}$ 라고 하자.

  1. 마코프 체인이 단 하나의 클래스를 가지면 일리듀서블Irreducible하다고 한다. 다시 말해 모든 상태 $i,j$ 에 대해 $p_{ij}^{ (m) } >0$ 을 만족하는 $m \ge 0$ 이 존재한다.
  2. $f_{i} = 1$ 이면 $i$ 가 리커런트Recurrent하다고 한다. 리커런트 하지 않으면 트랜젼트Transient하다고 한다.
  3. $E ( \tau_{i} ) < \infty$ 면 $i$ 가 포지티브 리커런트Positive Recurrent라고 한다.
  4. 포지티브 리커런트면서 어피리어딕이면 에르고딕Ergodic이라 한다.

정리


설명

예로써 다음의 마코프 체인을 생각해보자. 원은 스테이트, 화살표에 적힌 수는 전이 확률을 나타낸다.

20190122\_111128.png

에르고딕?

에르고딕성이란 ‘처음의 상태가 시간이 지난 후에도 계속 유지되는 성질’을 말하는데, $C$ 는 아무리 많은 스텝을 거쳐도 처음 그대로인 반면 $A$ 와 $B$ 는 이를 보장할 수 없어 에르고딕이라는 말을 쓸 수 없다고 이해해도 무방하다.

또한 다른 예로써 다음의 랜덤 워크Random Walk를 생각해보자. 상태공간은 정수의 집합 $\left\{ \cdots , -2 , -1, 0 , 1 , 2 , \cdots \right\}$ 이고, 왼쪽으로 갈 확률은 $p$, 오른쪽으로 갈 확률은 $(1-p)$ 다.

20190122\_111840.png

댓글