📂確率論

確率過程における状態の種類

定義

状態空間が可算集合である確率過程$\left\{ X_{t} \right\}$があるとしよう。$i,j$をステート、$p_{ij}$を遷移確率とする。

1. $p_{ij}^{ ( n ) } > 0$を満たす$n \ge 0$が存在すれば、$j$は$i$からアクセシブル^accessibleと言われる。
2. $i$と$j$がお互いにアクセシブルだったら、コミュニケート^communicateしていると言われる。
3. コミュニケートしているステートの集合の中で最大のものをクラス^classと言う。二つのステートがコミュニケートしていれば、同じクラスにいると言われる。
4. $d = \gcd \left\{ n > 0 \mid p_{ii}^{(n)} > 0 \right\}$をピリオド^periodと言い、$i$が$d$-ピリオディック^$d$-periodicだと言われる場合、$d=1$はアピリオディック^aperiodicだと言われる。

マルコフ連鎖で、$i$を離れてまた$i$に戻る確率を$f_{i}$、その時にかかった回数を$\tau_{i}$ リカレントタイム^{recurrent Time}としよう。 $$ f_{i}(\tau_{i}) = P(X_{1} \ne i, X_{2} \ne i, \dots, X_{n-1}\ne i, X_{n} = i | X_{0} = i) $$

5. マルコフ連鎖がたった一つのクラスを持っていれば、イリデューシブル^irreducibleと言われる。つまり、全ての状態$i,j$に対して、$p_{ij}^{ (m) } >0$を満たす$m \ge 0$が存在する。

6. $f_{i} = 1$の場合、$i$はリカレント^recurrentまたはパーシステント^persistentと言われる。 $$ p_{ii}^{(n)} = 1 \text{ for some $n \ge 1$.} $$ 리커런트 하지 않으면 트랜젼트^transient하다고 한다.

7. $E ( \tau_{i} ) < \infty$ 면 $i$ 가 포지티브 리커런트^{positive recurrent}라고 한다. $E(\tau_{i}) = \infty$이면 널^null이라 한다. 여기서 $E$는 기대값이다. $$ E(\tau_{i}) = \sum_{n} n f_{i}(n) $$

8. 포지티브 리커런트면서 어피리어딕이면 에르고딕^ergodic이라 한다.

---

• $\gcd$ 는 최대공약수를 의미한다.

정리

• [1] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} = \infty$ 이면 $i$ 는 리커런트다.
• [2] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} < \infty$ 이면 $i$ 는 트랜젼트다.

설명

예로써 다음의 마코프 체인을 생각해보자. 원은 스테이트, 화살표에 적힌 수는 전이 확률을 나타낸다.

• 접근할 수 있는^accessible: 몇 번이 걸리든 $A$ 와 $B$ 는 $C$ 로 갈 수 있으므로 $C$ 는 $A$ 와 $B$ 로부터 억세서블이지만, $A$ 와 $B$ 는 $C$ 에서 억세서블이 아니다.
• $A$ 와 $B$ 는 서로 억세서블하므로 커뮤니케이트지만, $C$ 는 커뮤니케이트한 스테이트가 없다.
• $\left{ A, B \right}$ 는 클래스다. 또한 $\left{ C \right}$ 역시 클래스다. 하지만 $\left{ A \right}$ 는 커뮤니케이트한 스테이트의 집합 중 가장 큰 집합이 아니므로 클래스가 될 수 없다. $\left{ A, B, C \right}$ 는 $C$ 가 다른 스테이트와 커뮤니케이트하지 않아 클래스가 될 수 없다.
• 주기적인^periodic: $B$ 를 예로써 생각해보면 $\displaystyle p_{BA} = {{1} \over {2}}$ 의 확률로 $A$ 에 갔다가 바로 $\displaystyle p_{AB} = {{1} \over {4}}$ 의 확률로 $B$ 로 돌아올 수 있기 때문에 주기는 $\gcd \left{ 2, 4, 6, \cdots \right} = 2$ 고, $A$ 와 $C$ 은 한 스텝만에 자기 자신으로 바로 돌아올 수 있기 때문에 어피리어딕이다.
• $C$ 는 어피리어딕인데다가 반드시 한번만에 돌아오므로 포지티브 리커런트다. 따라서 에르고딕인데, $A$ 와 $B$ 는 한번 $C$ 로 빠져버리면 두 번 다시 돌아올 수 없다. 따라서 어피리이딕이지만 포지티브 리커런트가 될 수 없다. 이러한 점에서 ‘에르고딕’의 의미를 다시 생각해볼 수 있다.

에르고딕?

에르고딕성이란 ‘처음의 상태가 시간이 지난 후에도 계속 유지되는 성질’을 말하는데, $C$ 는 아무리 많은 스텝을 거쳐도 처음 그대로인 반면 $A$ 와 $B$ 는 이를 보장할 수 없어 에르고딕이라는 말을 쓸 수 없다고 이해해도 무방하다.

또한 다른 예로써 다음의 랜덤 워크^{random walk}를 생각해보자. 상태공간은 정수의 집합 $\left{ \cdots , -2 , -1, 0 , 1 , 2 , \cdots \right}$ 이고, 왼쪽으로 갈 확률은 $p$, 오른쪽으로 갈 확률은 $(1-p)$ 다.

• 분해할 수 없는^irreducible: 모든 스테이트는 서로 커뮤니케이트하므로 단 하나의 클래스를 가지며, 따라서 일리듀서블이다.
• 재귀적인^reccurent: $f_{i} = 1$ 이라는 말은 $i$ 를 떠났더라도 무한히 반복하면 언젠간 반드시 $i$ 로 돌아온다는 뜻이다. $\displaystyle p={{1} \over {2}}$ 일 경우 $i$ 를 떠났더라도 다시 돌아올 확률이 $0$ 으로 수렴할 일이 없으므로 리커런트하다. 하지만 그 외엔 점점 돌아올 확률이 줄어가기 때문에 트랜젼트가 된다.
• 만약 랜덤워크가 리커런트하더라도 유한한 반복 내에 돌아온다는 보장은 없다. 따라서 $E ( \tau_{i} ) = \infty$ であり、ランダムウォークはポジティブリカレントにはなれない。ここで「ポジティブ」とは、期待値が無限ではないという意味で理解してもかまわない。「根拠のある」という意味で、数値の正ではない。