相互情報

定義^{1 2}

$P_{X}$、$P_{Y}$、$P_{X,Y}$をそれぞれ離散確率変数$X$、$Y$の確率質量関数と結合確率質量関数とする。$X$と$Y$の相互情報^{mutual information}を次の通り定義する。

$$ \begin{align*} I(X, Y) &:= D(P_{X,Y} \| P_{X} P_{Y}) \\ &= \sum\limits_{x \in X, y \in Y} P_{X,Y}(x,y) \log_{2} \left( \dfrac{P_{X,Y}(x,y)}{P_{X}(x)P_{Y}(x)} \right) \end{align*} $$

ここで、$D$は相対エントロピーである。

説明

以下の表記が使われる。

$$ I(X, Y) = I(X : Y) = I(X ; Y) = H(X : Y) $$

$D(p \| q)$は、$p$が実際の分布であるとき、それに対する推定$q$がどれだけ悪いかを示す。したがって、$I(X, Y) = D(P_{X,Y} \| P_{X} P_{Y})$は$P_{X,Y}$が実際の分布であるとき、仮定（$X$と$Y$は独立である）がどれだけ悪いかを教えてくれる。

$I(X, Y)$は、$X$と$Y$が独立に近いほど小さな値を取るので、$(X, Y)$が正規分布であれば、$X$と$Y$の相関を評価する関数として理解できる。簡単な例として、$(X, Y)$が平均が$(0, 0)$で共分散行列が$\Sigma = \begin{bmatrix} 1 & \rho \\ \rho & 1 \end{bmatrix}$の正規分布だとする。それならば、以下の性質と正規分布のエントロピー公式により、$X, Y$の相互情報は

$$ \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= \dfrac{1}{2}\ln(2\pi e) + \dfrac{1}{2}\ln(2\pi e) - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= \dfrac{1}{2}\ln(2\pi e)^{2} - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= - \dfrac{1}{2}\ln (1-\rho^{2}) \\ \end{align*} $$

したがって、$X, Y$が独立であれば$\rho = 0$であり、$I(X, Y) = 0$である。逆に、$X, Y$が強い相関を持っている場合、つまり$\rho = \pm 1$であれば、$I(X, Y) = \infty$となる。

性質

1. 対称性^symmetry $$ I(X, Y) = I(Y, X) $$ 定義により自明である。

2. 非負性 $$ I(X, Y) \ge 0 $$ $D(p \| q) \ge 0$であるため自明である。等号は$X$と$Y$が独立のときに成立する。

3. 結合エントロピーおよび条件付きエントロピーとの関係

   $$ \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= H(X) - H(X | Y) \\ &= H(Y) - H(Y | X) \\ &= H(X, Y) - H(X | Y) - H(Y | X) \end{align*} $$

   ここで、$H(X)$はエントロピー、$H(X, Y)$は結合エントロピー、$H(X | Y)$は条件付きエントロピーである。