logo

📂確率論

マルコフ連鎖の定常分布

導入

状態空間が$S = \left\{ 1, 2, \dots \right\}$であるマルコフ連鎖$\left\{ X_{n} \right\}$とその推移確率行列$P = \begin{bmatrix} p_{ji} \end{bmatrix}$が与えられたとしよう。ここで$p_{ij} = P(X_{n+1} = j \mid X_{n} = i)$は状態$i$から状態$j$へ移る確率である。したがって$P$の各列の和は$1$である。マルコフ連鎖の状態はステップごとに確率的に変わるので、時点$n$に連鎖がどの状態にあるかは確率でしか語れない。これを次のような列ベクトルで表そう。

$$ \pi^{(n)} := \begin{bmatrix} P(X_{n} = 1) \\ P(X_{n} = 2) \\ \vdots \end{bmatrix} $$

次の時点$n+1$に状態$j$にいる確率は、現在状態$i$にいる確率と$i$から$j$へ移る確率を掛け、可能なすべての$i$について足し合わせたものである。

$$ \pi^{(n+1)}_{j} = P(X_{n+1} = j) = \sum_{i} P(X_{n+1} = j \mid X_{n} = i) P(X_{n} = i) = \sum_{i} p_{ij} \pi^{(n)}_{i} $$

これを行列で表すと$\pi^{(n+1)} = P \pi^{(n)}$であり、これを繰り返すと以下のようになる。言い換えれば、初期分布$\pi^{(0)}$に推移確率行列を$n$回掛ければ$n$ステップ後の分布が得られる。

$$ \pi^{(n)} = P^{n} \pi^{(0)} $$

具体的に、降水確率のモデルをマルコフ連鎖で表すことを考えてみよう。昨日雨が降ったかどうかにかかわらず、明日の降水確率は今日雨が降ったかどうかにのみ影響されると仮定しよう。状態空間を$\left\{0, 1\right\}$とし、雨が降った状態を$0$、雨が降らなかった状態を$1$としよう。そして状態推移確率が次のようであるとしよう。

$$\begin{matrix} p_{00} = 0.7 & p_{01} = 0.3 \\ p_{10} = 0.4 & p_{11} = 0.6 \end{matrix}$$

これは、今日雨が降ったなら明日も雨が降る確率が$70 \%$で降らない確率が$30 \%$、今日雨が降らなかったなら明日も降らない確率が$60 \%$で降る確率が$40 \%$であるという意味だ。今日雨が降ったなら$\pi^{(0)} = [1, 0]^{\mathsf{T}}$であり、降らなかったなら$\pi^{(0)} = [0, 1]^{\mathsf{T}}$であるが、どちらから出発しても$n$が大きくなるにつれて$\pi^{(n)}$は同じ分布$[4/7, 3/7]^{\mathsf{T}}$に近づく。これは今日の天気が遠い未来の天気にほとんど影響を与えないという意味であり、直観的にも自然である。こうして到達した分布を$\pi$とすると、ここに推移をもう一度適用しても依然として$\pi$でなければならないので、$\pi = P \pi$が成り立つ。このように推移行列によって変わらない分布を定常分布という。

定義

可算状態空間$S$上のマルコフ連鎖の推移確率行列を$P = [p_{ji}]$としよう。ただし$p_{ij} = P(X_{n+1} = j \mid X_{n} = i)$である。$\pi_{j} \ge 0$、$\sum_{j \in S} \pi_{j} = 1$を満たす列ベクトル$\pi = [\pi_{j}]_{j \in S}$が次を満たすとき、$\pi$をこのマルコフ連鎖の定常分布stationary distributionという。

$$ \pi_{j} = \sum_{i \in S} p_{ij} \pi_{i} \quad (j \in S) \qquad \text{i.e.} \qquad \pi = P \pi $$

説明

簡単に言えば、定常分布とはマルコフ連鎖をいくら進めても変わらない分布である。正常正常normalではなく定常定常stationaryである。

このとき変わらないのは状態ではなく状態の分布であるという点に注意しなければならない。降水確率の例の連鎖に従う人が$700$人いて、そのうち$400$人は状態$0$(雨)に、$300$人は状態$1$(晴れ)にいるとしよう。1ステップ経つと、状態$0$からは$400 \times 0.3 = 120$人が状態$1$へ移り、状態$1$からは$300 \times 0.4 = 120$人が状態$0$へ移ってくる。各人は絶えず状態を移り続けるが、出ていく人数と入ってくる人数が等しいので、二つの状態の人数は$400$人、$300$人のままである。この比率$[4/7, 3/7]^{\mathsf{T}}$がまさに定常分布である。

一方、同じ推移確率行列に対して定常分布が常に一つだけとは限らず、マルコフ連鎖が常に定常分布へ近づくわけでもない。次の二つの場合を見てみよう。

  • $P = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$

    状態が動かない。どの分布から出発しても分布はそのままなので、すべての分布が定常分布である。

  • $P = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$

    毎ステップ状態が必ず変わる。定常分布は$[1/2, 1/2]^{\mathsf{T}}$ただ一つだが、状態$1$から出発すると分布が$[1, 0]^{\mathsf{T}}, [0, 1]^{\mathsf{T}}, [1, 0]^{\mathsf{T}}, \dots$と交互に変わるだけで、$[1/2, 1/2]^{\mathsf{T}}$へは近づかない。

関連リンク