遷移確率の極限
定義
現在の状態が$i$の時、$k$ステップを経て$j$に行く遷移確率を$p_{ij}^{(k)}$とする時、無限のステップ後の遷移確率を以下のように表す。 $$ \pi_{j}:= \lim_{n \to \infty} p_{ij}^{ ( n ) } $$
説明
統計学であれ応用数学であれ、主な関心事は未来の予測であることが多い。確率過程論で興味を持つ部分も、直ぐ次ではなく、遠い未来にどうなるかが気になる。そして、主にこの表現は無限を使っている。
定義で$\displaystyle \pi_{j} = \sum_{i} \pi_{i} p_{ij}$と表せるが、これを行列で表すと$\pi:= \begin{bmatrix} \pi_{1} & \cdots & \pi_{k} \end{bmatrix}$と$P:= \begin{bmatrix} p_{1j} & \cdots & p_{1j} \\ \vdots & \ddots & \vdots \\ p_{nj} & \cdots & p_{nj} \end{bmatrix}$に対して$\pi = \pi P$のように表せる。両辺に転置をとると$\pi^{T} = P^{T} \pi^{T}$を得る。
まとめると、$\left( P^{T} - I \right) \mathbb{x} = 0$を満たす$\mathbb{x} : = \pi^{T} = \begin{bmatrix} \pi_{1} \\ \vdots \\ \pi_{n} \end{bmatrix}$を見つける単純な連立方程式の問題になる。極限が存在すれば、問題は大体このように解決される。
例
例として、次の確率過程に対する極限を求めてみよう。
遷移確率行列は$P:= \begin{bmatrix} 3/4 & 1/4 & 0 \\ 1/2 & 0 & 1/2 \\ 0 & 0 & 1 \end{bmatrix}$として表せ、$\left( P^{T} - I \right) \begin{bmatrix} \pi_{A} \\ \pi_{B} \\ \pi_{C} \end{bmatrix} = \mathbb{0}$を解けばいい。
$\left( P^{T} - I \right) = \begin{bmatrix} -1/4 & 1/2 & 0 \\ 1/4 & -1 & 0 \\ 0 & 1/2 & 0 \end{bmatrix}$だから、連立方程式$\begin{cases} - 1/4 \pi_{A} + 1/2 \pi_{B} = 0 \\ 1/4 \pi_{A} - \pi_{B} = 0 \\ \pi_{B} = 0 \end{cases}$を得る。
連立方程式を解けば$\pi_{A} = \pi_{B} = 0$で、$\pi_{A} + \pi_{B} + \pi_{C} = 1$だから$\pi_{C} = 1$も得られる。
これは直感と大きく異ならない結果で、試行を無限に繰り返せば、結局Cで終わることを数学的に示したものである。