확률과정론에서 상태의 유형 📂확률론

확률과정론에서 상태의 유형

Classification of state in stochastic process

정의

$i,j$ 를 스테이트라고 하자.

  1. $p_{ij}^{ ( n ) } > 0$ 를 만족하는 $n \ge 0$ 이 존재하면 $j$ 는 $i$ 로부터 억세서블Accessible하다고 한다.
  2. $i$ 와 $j$ 가 서로 억세서블하면 커뮤니케이트Cummunicate하다고 한다.
  3. 커뮤니케이트한 스테이트들의 집합 중 가장 큰 것을 클래스Class라고 한다. 두 스테이트가 커뮤니케이트하면 하나의 클래스 안에 있다고 한다.
  4. $d = \gcd \left\{ n > 0 \mid p_{ii}^{(n)} > 0 \right\}$ 을 피리어드Period라 하고 $i$ 를 $d$-피리어딕$d$-Periodic하다고 한다. $d=1$ 이면 어피리어딕Aperiodic하다고 한다.

마코프 체인에서 $i$ 를 떠났다가 다시 $i$ 로 돌아올 확률을 $f_{i}$, 그 때 걸린 횟수를 $\tau_{i}$ 라고 하자.

  1. 마코프 체인이 단 하나의 클래스를 가지면 일리듀서블Irreducible하다고 한다. 다시 말해 모든 상태 $i,j$ 에 대해 $p_{ij}^{ (m) } >0$ 을 만족하는 $m \ge 0$ 이 존재한다.
  2. $f_{i} = 1$ 이면 $i$ 가 리커런트Recurrent하다고 한다. 리커런트 하지 않으면 트랜젼트Transient하다고 한다.
  3. $E ( \tau_{i} ) < \infty$ 면 $i$ 가 포지티브 리커런트Positive Recurrent라고 한다.
  4. 포지티브 리커런트면서 어피리어딕이면 에르고딕Ergodic이라 한다.

정리

  • [1] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} = \infty$ 이면 $i$ 는 리커런트다.
  • [2] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} < \infty$ 이면 $i$ 는 트랜젼트다.

  • $\gcd$ 는 최대공약수를 의미한다.

설명

예로써 다음의 마코프 체인을 생각해보자. 원은 스테이트, 화살표에 적힌 수는 전이 확률을 나타낸다.

20190122\_111128.png

  • 접근할 수 있는Accessible: 몇 번이 걸리든 $A$ 와 $B$ 는 $C$ 로 갈 수 있으므로 $C$ 는 $A$ 와 $B$ 로부터 억세서블이지만, $A$ 와 $B$ 는 $C$ 에서 억세서블이 아니다.
  • $A$ 와 $B$ 는 서로 억세서블하므로 커뮤니케이트지만, $C$ 는 커뮤니케이트한 스테이트가 없다.
  • $\left\{ A, B \right\}$ 는 클래스다. 또한 $\left\{ C \right\}$ 역시 클래스다. 하지만 $\left\{ A \right\}$ 는 커뮤니케이트한 스테이트의 집합 중 가장 큰 집합이 아니므로 클래스가 될 수 없다. $\left\{ A, B, C \right\}$ 는 $C$ 가 다른 스테이트와 커뮤니케이트하지 않아 클래스가 될 수 없다.
  • 주기적인Periodic: $B$ 를 예로써 생각해보면 $\displaystyle p_{BA} = {{1} \over {4}}$ 의 확률로 $A$ 에 갔다가 바로 $\displaystyle p_{AB} = {{3} \over {4}}$ 의 확률로 $B$ 로 돌아올 수 있기 때문에 주기는 $\gcd \left\{ 2, 3, 4, \cdots \right\} = 1$ 이고, $A$ 와 $C$ 은 한 스텝만에 자기 자신으로 바로 돌아올 수 있기 때문에 어피리어딕이다.
  • $C$ 는 어피리어딕인데다가 반드시 한번만에 돌아오므로 포지티브 리커런트다. 따라서 에르고딕인데, $A$ 와 $B$ 는 한번 $C$ 로 빠져버리면 두 번 다시 돌아올 수 없다. 따라서 어피리이딕이지만 포지티브 리커런트가 될 수 없다. 이러한 점에서 ‘에르고딕’의 의미를 다시 생각해볼 수 있다.

에르고딕?

에르고딕성이란 ‘처음의 상태가 시간이 지난 후에도 계속 유지되는 성질’을 말하는데, $C$ 는 아무리 많은 스텝을 거쳐도 처음 그대로인 반면 $A$ 와 $B$ 는 이를 보장할 수 없어 에르고딕이라는 말을 쓸 수 없다고 이해해도 무방하다.

또한 다른 예로써 다음의 랜덤 워크Random Walk를 생각해보자. 상태공간은 정수의 집합 $\left\{ \cdots , -2 , -1, 0 , 1 , 2 , \cdots \right\}$ 이고, 왼쪽으로 갈 확률은 $p$, 오른쪽으로 갈 확률은 $(1-p)$ 다.

20190122\_111840.png

  • 분해할 수 없는Irreducible: 모든 스테이트는 서로 커뮤니케이트하므로 단 하나의 클래스를 가지며, 따라서 일리듀서블이다.
  • 재귀적인Reccurent: $f_{i} = 1$ 이라는 말은 $i$ 를 떠났더라도 무한히 반복하면 언젠간 반드시 $i$ 로 돌아온다는 뜻이다. $\displaystyle p={{1} \over {2}}$ 일 경우 $i$ 를 떠났더라도 다시 돌아올 확률이 $0$ 으로 수렴할 일이 없으므로 리커런트하다. 하지만 그 외엔 점점 돌아올 확률이 줄어가기 때문에 트랜젼트가 된다.
  • 만약 랜덤워크가 리커런트하더라도 유한한 반복 내에 돌아온다는 보장은 없다. 따라서 $E ( \tau_{i} ) = \infty$ 이고, 랜덤워크는 포지티브 리커런트가 될 수 없다. 포지티브란 말은 그 기댓값이 무한이 아니라는 정도로만 받아들여도 무방하다. ‘양수’가 아닌 리커런트에 대해 ‘긍정적’이라는 의미다.
댓글