古典情報理論における結合エントロピーとは？

定義¹

二つの離散確率変数$X, Y$の結合確率質量関数$p$とする。$X$と$Y$の結合エントロピー^{joint entropy}を以下のように定義する。

$$ H(X, Y) := - \sum_{i,j} p(x_{i}, y_{j}) \log_{2}p(x_{i}, y_{j}) $$

説明

エントロピーの定義が単に結合確率質量関数を用いるように変わっただけだ。