確率過程の遷移確率
定義
状態空間が可算集合の確率過程 $\left\{ X_{t} \right\}$ が与えられているとする。
- 二つの時点 $t_{1} < t_{2}$ に対して、遷移確率 $p_{ij} \left( t_{1} , t_{2} \right)$ を次のように定義する。
$$
p_{ij} \left( t_{1} , t_{2} \right) := P \left( X_{t_{2}} = j \mid X_{t_{1}} = i \right)
$$
この時、（現在の）状態を意味する $i$ をソースステート、目的状態を意味する $j$ をターゲットステートという。特に離散的確率過程 $\left\{ X_{t} \right\}_{t \in \mathbb{N}}$ において $t_{1} = n \in \mathbb{N}$ かつ $t_{2} = n + k \in \mathbb{N}$ の場合、その遷移確率は次のように簡単に示されることもある。 $$ \begin{align*} p_{ij}^{(k)} :=& P \left(n + k = j \mid X_{n} = i \right) \\ p_{ij} :=& p_{ij}^{(1)} \end{align*} $$ - 時点に関わらず、遷移確率が区間 $\Delta t = t_{2} - t_{1}$ にのみ依存している場合、つまり、以下の条件を満たす場合は定常あるいは同質の遷移確率という。 $$ p_{ij} (\Delta t) := \left( X_{t_{2} - t_{1}} = j \mid X_{0} = i \right) $$
- 定常遷移確率に対して、次のように定義された行列関数 $P(t)$ と $P^{(k)}$ を遷移確率行列という。 $$ \begin{align*} \left( P(t) \right)_{ij} :=& \left( p_{ij} (t) \right) \\ \left( P^{(k)} \right)_{ij} :=& \left( p_{ij}^{(k)} \right) \end{align*} $$
- 連続的確率過程の遷移確率行列 $P(t)$ が微分可能な行列関数であるとする。次のように定義された行列
$$
Q := P’ (0)
$$
を微分素行列といい、その成分 $\left( Q \right)_{ij}$ を遷移率という。