確率ベクトル
定義
次の条件を満たすベクトル$\mathbf{p} = \begin{bmatrix}p_{1} & \cdots & p_{n} \end{bmatrix}^{\mathsf{T}}$を確率ベクトルprobability/stochastic vectorとする。
$$ 0 \le p_{i} \le 1 \quad (1 \le i \le n)\quad \text{and} \quad \sum_{i=1}^{n} p_{i} = 1 $$
説明
確率ベクトルは$n$個の状態があるとき、各状態に対する確率を表すベクトルである。つまり、概念的には確率質量関数と同じである。離散確率変数$X$の確率質量関数を$p_{X}$としたら、確率ベクトルは次のようになる。
$$ \mathbf{p} = \begin{bmatrix}p_{1} \\ \vdots \\ p_{n} \end{bmatrix} = \begin{bmatrix}p_{X}(1) \\ \vdots \\ p_{X}(n) \end{bmatrix} = \begin{bmatrix}p(1) \\ \vdots \\ p(n) \end{bmatrix} $$
$j$番目の状態が$i$番目の状態に変わる確率を$q_{ij} = q(i | j)$としたら、確率ベクトル$\mathbf{q}^{(j)} = \begin{bmatrix}q_{1j} & \cdots & q_{nj} \end{bmatrix}^{\mathsf{T}}$は$j$番目の状態が他の状態に変わる確率を表すベクトルである。この列ベクトルの行列は遷移行列transition matrixとなる。
$$ Q = \begin{bmatrix} \vert & \vert & & \vert \\ \mathbf{q}^{(1)} & \mathbf{q}^{(2)} & \cdots & \mathbf{q}^{(n)} \\ \vert & \vert & & \vert \end{bmatrix} = \begin{bmatrix} q_{11} & q_{12} & & q_{1n} \\ q_{21} & q_{22} & \cdots & q_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ q_{n1} & q_{n2} & \cdots & q_{nn} \end{bmatrix} $$
$\mathbf{p}$を現在の状態に関する確率ベクトルとしたら、$\mathbf{p}^{\prime} = Q \mathbf{p}$は現在の状態に関する確率が$\mathbf{p}$として与えられたとき、次の状態に関する確率ベクトルである。
$$ \mathbf{p}^{\prime} = Q \mathbf{p} = \begin{bmatrix} \sum\limits_{j} q_{ij} p_{j} \\ \sum\limits_{j} q_{2j} p_{j} \\ \vdots \\[1em] \sum\limits_{j} q_{nj} p_{j} \end{bmatrix} = \begin{bmatrix} \sum\limits_{j} q(1 | j) p(j) \\ \sum\limits_{j} q(2 | j) p(j) \\ \vdots \\[1em] \sum\limits_{j} q(n | j) p(j) \end{bmatrix} = \begin{bmatrix}p^{\prime}(1) \\[1em] p^{\prime}(2) \\[1em] \vdots \\[1em] p^{\prime}(n) \end{bmatrix} $$
表記法
現在の状態に関する確率行ベクトル를$\pi$、遷移行列を$P = \begin{bmatrix} - \mathbf{p}^{(1)} - \\ \vdots \\ - \mathbf{p}^{(n)} - \end{bmatrix}$として、次のような表記法が主に使われる。
$$ \pi P = \pi^{\prime} $$
この場合には$P_{ij} = P(j | i)$が成り、$i$行$j$列の成分は$i$番目の状態から$j$番目の状態に変わる確率となる。なぜ行ベクトル中心の表記法を用いるのかはよくわからない。遷移行列の表記としてはtransitionのtを取って$T$も使うことがある。