古典情報理論における条件付きエントロピーとは？

ビルドアップ^{1 2}

離散確率変数 $X$とその確率質量関数 $p(x)$において、$X$のエントロピー $H(X)$は以下のように定義されます。

$$H(X) = - \sum_{i} p(x_{i}) \log_{2}p(x_{i})$$

同様に、$X, Y$の結合確率質量関数 $p(x,y)$における結合エントロピー $H(X, Y)$は以下のように定義されます。

$$H(X, Y) = - \sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i}, y_{j})$$

すると、$Y = y_{j}$の時の条件付き確率 $p(x_{i} | y_{j})$について$H(X | Y=y_{j})$は以下のように定義できるでしょう。

$$\begin{equation} H(X | Y=y_{j}) = - \sum_{i} p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation}$$

自然に、$H(X | Y)$を全ての$y_{j}$における$H(X | Y=y_{j})$の期待値として定義できます。これを条件付きエントロピーと呼びましょう。

$$\begin{equation} \begin{aligned} H(X | Y) &:= \sum_{j} p(y_{j})H(X | Y=y_{j}) \\ &= -\sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \\ \end{aligned} \end{equation}$$

定義

離散確率変数 $X, Y$に対して、条件付きエントロピー^{conditional entropy}は以下のように定義します。

$$\begin{equation} H(X | Y) = -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation}$$

連続確率変数の場合、

$$H(X|Y) = - \int_{-\infty}^{\infty}p(x,y)\log_{2}p(x|y)dxdy$$

説明

条件付きエントロピーの定義を$(3)$として最初に接すると、なぜ$p(x|y)$ではなく$p(x,y)$を掛けるのか理解しにくいかもしれません。$(1)$の期待値として定義されていると考えれば、$(3)$の式を納得しやすくなります。つまり、条件付きエントロピーは条件付き確率の情報量 $-\log_{2}p(x | y)$の期待値です。

性質

$$H(X | Y) = H(X, Y) - H(Y)$$

$(2)$から直接得られます。

$$\begin{align*} H(X | Y) &= - \sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} \dfrac{p(x_{i}, y_{j})}{p(y_{j})} \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(x_{i}, y_{j}) + \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} \left( \sum_{i} p(x_{i}, y_{j}) \right) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} p(y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) - H(Y) \end{align*}$$

展開すると$H(X, Y) = H(X | Y) + H(Y)$になりますが、エントロピーは確率のログなので、積が和に変わったと受け入れても良いでしょう。