📂確率論

確率過程における状態の種類

定義

状態空間が可算集合である確率過程 $\left\{ X_{t} \right\}$ が与えられているとする。$i,j$ をステート、$p_{ij}$を遷移確率と呼ぶ。

1. $p_{ij}^{ ( n ) } > 0$ を満たす $n \ge 0$ が存在すれば $j$ は $i$ から アクセス可能^accessibleであるという。
2. $i$ と $j$ が互いにアクセス可能であれば コミュニケート^communicateであるという。
3. コミュニケートするステートの集合の中で最大のものを クラス^classと呼ぶ。二つのステートがコミュニケートするなら同じクラスに属するという。
4. $d = \gcd \left\{ n > 0 \mid p_{ii}^{(n)} > 0 \right\}$ を 周期^periodとし、状態 $i$ を $d$-周^$d$-periodicと呼ぶ。もし $d=1$ であれば状態 $i$ は 非周期^aperiodicであるという。

マルコフチェーンにおいて $i$ を離れて再び $i$ に戻る確率を $f_{i}$、その時かかる回数 $\tau_{i}$ を リカレントタイム^{recurrent Time}と呼ぶ。 $$f_{i}(\tau_{i}) = P(X_{1} \ne i, X_{2} \ne i, \dots, X_{n-1}\ne i, X_{n} = i | X_{0} = i)$$

5. マルコフチェーンがたった一つのクラスを持つ場合、イレデューシブル^irreducibleであるという。言い換えると、全ての状態 $i,j$ に対して $p_{ij}^{ (m) } >0$ を満たす $m \ge 0$ が存在する。
6. $f_{i} = 1$ であれば、状態 $i$ が リカレント^recurrent もしくは パーシステント^persistentであるという。 $$p_{ii}^{(n)} = 1 \text{ for some$$$n \ge 1$.} リカレントでない場合をトランジェント^transientという。
7. $E ( \tau_{i} ) < \infty$ ならば、状態 $i$ は ポジティブリカレント^{positive recurrent}と呼ぶ。$E(\tau_{i}) = \infty$なら ヌル^nullである。ここで $E$ は期待値である。 $$E(\tau_{i}) = \sum_{n} n f_{i}(n)$$
8. ポジティブリカレントでかつ非周期であれば エルゴードック^ergodicという。

---

• $\gcd$ は最大公約数を意味する。

定理

• [1] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} = \infty$ であれば、状態 $i$ はリカレントである。
• [2] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} < \infty$ であれば、状態 $i$ はトランジェントである。

説明

例として次のマルコフチェーンを考える。丸はステート、矢印に書かれている数は遷移確率を示している。

• アクセス可能^accessible: 何回必要でも $A$ と $B$ は $C$ に行ける。したがって、$C$ は $A$と$B$からアクセス可能であるが、$A$と$B$は$C$からアクセス可能ではない。
• $A$と$B$は互いにアクセス可能なため、コミュニケートだが、$C$はコミュニケートされるステートがない。
• $\left\{ A, B \right\}$ はクラスである。また、$\left\{ C \right\}$ もクラスである。しかし、$\left\{ A \right\}$ はコミュニケートするステートの集合の中で最大ではないのでクラスにはなれない。$\left\{ A, B, C \right\}$ は$C$ が他のステートとコミュニケートしないため、クラスにすることができない。
• 周期^periodic: $B$の例を挙げると $\displaystyle p_{BA} = {{1} \over {2}}$ の確率で $A$ に行き、すぐに $\displaystyle p_{AB} = 1$ の確率で $B$ に戻ることができるため、周期は $\gcd \left\{ 2, 4, 6, \cdots \right\} = 2$ であり、$A$と$C$は一歩で自分自身に戻ることができるので非周期である。
• $C$ は非周期である上に必ず一度で戻るのでポジティブリカレントである。したがってエルゴードックであるが、$A$と$B$は一度$C$に移動すると再び戻ることはできない。したがって非周期であるがポジティブリカレントにはなれない。この点から「エルゴードック」の意味を再考することができる。

エルゴードック?

実際、一般的な発音は[エルガデック]に近い。

エルゴードック性とは「初めの状態が時間が経っても変わらず維持される性質」を指すが、$C$ はどれだけ多くのステップを経ても初めと同じであるのに対し、$A$と$B$はそれを保証できないため、エルゴードックとは言えないと理解しても構わない。

また、別の例として次の ランダムウォーク^{random walk}を考えよう。状態空間は整数の集合 $\left\{ \cdots , -2 , -1, 0 , 1 , 2 , \cdots \right\}$ であり、左に進む確率は $p$、右に進む確率は $(1-p)$ である。

• 分解不可能^irreducible: すべてのステートは互いにコミュニケートするため一つのクラスを持ち、したがってイレデューシブルである。
• 再帰的^reccurent: $f_{i} = 1$ とは、$i$ を離れても無限回繰り返せばいつか必ず $i$ に戻るという意味である。$\displaystyle p={{1} \over {2}}$ の場合、$i$ を離れても再び戻る確率が $0$ に収束しない限り、リカレントである。しかし、それ以外の場合は戻る確率が徐々に減少するため、トランジェントである。
• たとえランダムウォークがリカレントであっても、有限な繰り返しのうちに戻れる保証はない。したがって $E ( \tau_{i} ) = \infty$であり、ランダムウォークはポジティブリカレントにはなれない。ポジティブという言葉は、その期待値が無限ではないという程度で理解しても構わない。ポジティブではないリカレントについて「肯定的」という意味である。