logo

確率過程における状態の種類 📂確率論

確率過程における状態の種類

定義

状態空間が可算集合である確率過程 $\left\{ X_{t} \right\}$ が与えられているとする。$i,j$ をステート、$p_{ij}$を遷移確率と呼ぶ。

  1. $p_{ij}^{ ( n ) } > 0$ を満たす $n \ge 0$ が存在すれば $j$ は $i$ から アクセス可能accessibleであるという。
  2. $i$ と $j$ が互いにアクセス可能であれば コミュニケートcommunicateであるという。
  3. コミュニケートするステートの集合の中で最大のものを クラスclassと呼ぶ。二つのステートがコミュニケートするなら同じクラスに属するという。
  4. $d = \gcd \left\{ n > 0 \mid p_{ii}^{(n)} > 0 \right\}$ を 周期periodとし、状態 $i$ を $d$-周$d$-periodicと呼ぶ。もし $d=1$ であれば状態 $i$ は 非周期aperiodicであるという。

マルコフチェーンにおいて $i$ を離れて再び $i$ に戻る確率を $f_{i}$、その時かかる回数 $\tau_{i}$ を リカレントタイムrecurrent Timeと呼ぶ。 $$ f_{i}(\tau_{i}) = P(X_{1} \ne i, X_{2} \ne i, \dots, X_{n-1}\ne i, X_{n} = i | X_{0} = i) $$

  1. マルコフチェーンがたった一つのクラスを持つ場合、イレデューシブルirreducibleであるという。言い換えると、全ての状態 $i,j$ に対して $p_{ij}^{ (m) } >0$ を満たす $m \ge 0$ が存在する。
  2. $f_{i} = 1$ であれば、状態 $i$ が リカレントrecurrent もしくは パーシステントpersistentであるという。 $$ p_{ii}^{(n)} = 1 \text{ for some $n \ge 1$.} $$ リカレントでない場合をトランジェントtransientという。
  3. $E ( \tau_{i} ) < \infty$ ならば、状態 $i$ は ポジティブリカレントpositive recurrentと呼ぶ。$E(\tau_{i}) = \infty$なら ヌルnullである。ここで $E$ は期待値である。 $$ E(\tau_{i}) = \sum_{n} n f_{i}(n) $$
  4. ポジティブリカレントでかつ非周期であれば エルゴードックergodicという。

定理

  • [1] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} = \infty$ であれば、状態 $i$ はリカレントである。
  • [2] $\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)} < \infty$ であれば、状態 $i$ はトランジェントである。

説明

例として次のマルコフチェーンを考える。丸はステート、矢印に書かれている数は遷移確率を示している。

20190122\_111128.png

  • アクセス可能accessible: 何回必要でも $A$ と $B$ は $C$ に行ける。したがって、$C$ は $A$と$B$からアクセス可能であるが、$A$と$B$は$C$からアクセス可能ではない。
  • $A$と$B$は互いにアクセス可能なため、コミュニケートだが、$C$はコミュニケートされるステートがない。
  • $\left\{ A, B \right\}$ はクラスである。また、$\left\{ C \right\}$ もクラスである。しかし、$\left\{ A \right\}$ はコミュニケートするステートの集合の中で最大ではないのでクラスにはなれない。$\left\{ A, B, C \right\}$ は$C$ が他のステートとコミュニケートしないため、クラスにすることができない。
  • 周期periodic: $B$の例を挙げると $\displaystyle p_{BA} = {{1} \over {2}}$ の確率で $A$ に行き、すぐに $\displaystyle p_{AB} = 1$ の確率で $B$ に戻ることができるため、周期は $\gcd \left\{ 2, 4, 6, \cdots \right\} = 2$ であり、$A$と$C$は一歩で自分自身に戻ることができるので非周期である。
  • $C$ は非周期である上に必ず一度で戻るのでポジティブリカレントである。したがってエルゴードックであるが、$A$と$B$は一度$C$に移動すると再び戻ることはできない。したがって非周期であるがポジティブリカレントにはなれない。この点から「エルゴードック」の意味を再考することができる。

エルゴードック?

実際、一般的な発音は[エルガデック]に近い。

エルゴードック性とは「初めの状態が時間が経っても変わらず維持される性質」を指すが、$C$ はどれだけ多くのステップを経ても初めと同じであるのに対し、$A$と$B$はそれを保証できないため、エルゴードックとは言えないと理解しても構わない。

また、別の例として次の ランダムウォークrandom walkを考えよう。状態空間は整数の集合 $\left\{ \cdots , -2 , -1, 0 , 1 , 2 , \cdots \right\}$ であり、左に進む確率は $p$、右に進む確率は $(1-p)$ である。

20190122\_111840.png

  • 分解不可能irreducible: すべてのステートは互いにコミュニケートするため一つのクラスを持ち、したがってイレデューシブルである。
  • 再帰的reccurent: $f_{i} = 1$ とは、$i$ を離れても無限回繰り返せばいつか必ず $i$ に戻るという意味である。$\displaystyle p={{1} \over {2}}$ の場合、$i$ を離れても再び戻る確率が $0$ に収束しない限り、リカレントである。しかし、それ以外の場合は戻る確率が徐々に減少するため、トランジェントである。
  • たとえランダムウォークがリカレントであっても、有限な繰り返しのうちに戻れる保証はない。したがって $E ( \tau_{i} ) = \infty$であり、ランダムウォークはポジティブリカレントにはなれない。ポジティブという言葉は、その期待値が無限ではないという程度で理解しても構わない。ポジティブではないリカレントについて「肯定的」という意味である。