古典情報理論における条件付きエントロピーとは？
| 양자정보이론 | ||||||||||||||||
[ 펼치기 · 접기 ]
| ||||||||||||||||
ビルドアップ1 2
離散確率変数 $X$とその確率質量関数 $p(x)$において、$X$のエントロピー $H(X)$は以下のように定義されます。
$$ H(X) = - \sum_{i} p(x_{i}) \log_{2}p(x_{i}) $$
同様に、$X, Y$の結合確率質量関数 $p(x,y)$における結合エントロピー $H(X, Y)$は以下のように定義されます。
$$ H(X, Y) = - \sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i}, y_{j}) $$
すると、$Y = y_{j}$の時の条件付き確率 $p(x_{i} | y_{j})$について$H(X | Y=y_{j})$は以下のように定義できるでしょう。
$$ \begin{equation} H(X | Y=y_{j}) = - \sum_{i} p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation} $$
自然に、$H(X | Y)$を全ての$y_{j}$における$H(X | Y=y_{j})$の期待値として定義できます。これを条件付きエントロピーと呼びましょう。
$$ \begin{equation} \begin{aligned} H(X | Y) &:= \sum_{j} p(y_{j})H(X | Y=y_{j}) \\ &= -\sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \\ \end{aligned} \end{equation} $$
定義
離散確率変数 $X, Y$に対して、条件付きエントロピーconditional entropyは以下のように定義します。
$$ \begin{equation} H(X | Y) = -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation} $$
連続確率変数の場合、
$$ H(X|Y) = - \int_{-\infty}^{\infty}p(x,y)\log_{2}p(x|y)dxdy $$
説明
条件付きエントロピーの定義を$(3)$として最初に接すると、なぜ$p(x|y)$ではなく$p(x,y)$を掛けるのか理解しにくいかもしれません。$(1)$の期待値として定義されていると考えれば、$(3)$の式を納得しやすくなります。つまり、条件付きエントロピーは条件付き確率の情報量 $-\log_{2}p(x | y)$の期待値です。
性質
$$ H(X | Y) = H(X, Y) - H(Y) $$
$(2)$から直接得られます。
$$ \begin{align*} H(X | Y) &= - \sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} \dfrac{p(x_{i}, y_{j})}{p(y_{j})} \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(x_{i}, y_{j}) + \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} \left( \sum_{i} p(x_{i}, y_{j}) \right) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} p(y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) - H(Y) \end{align*} $$
展開すると$H(X, Y) = H(X | Y) + H(Y)$になりますが、エントロピーは確率のログなので、積が和に変わったと受け入れても良いでしょう。