結合エントロピー
定義
確率変数 $X_{1}, \cdots , X_{n}$ の結合確率質量関数 $p$ または結合確率密度関数 $f$ が与えられているとする。
離散
$$ H \left( X_{1}, \cdots , X_{n} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} p \left( x_{1} , \cdots , x_{n} \right) $$
連続
$$ H \left( X_{1}, \cdots , X_{n} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} f \left( x_{1} , \cdots , x_{n} \right) d x_{1} \cdots d x_{n} $$
定理
ジョイントエントロピーは以下のような性質を持っている。
- [1] 不等式: $$ 0 \le \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) \le \sum_{k=1}^{n} H \left( X_{k} \right) $$ もし $X_{1} , \cdots , X_{n}$ が相互に独立ならば、最後の不等式は等式になる。つまり、 $$ H \left( X_{1} , \cdots , X_{n} \right) = \sum_{k=1}^{n} H \left( X_{k} \right) $$
- [2] 対称性: $$ H \left( X, Y \right) = H \left( Y, X \right) $$
説明
$$ \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) $$ 定義で注目すべき点は、確率変数が増えるほど、エントロピーが増加することができるが、減少することはできないということだ。これは、確率変数が増えると、不規則な度合いも大きくなるという直感とも一致する。
ジョイントエントロピーの意味は、単にエントロピーの拡張に過ぎない。しかし、その定義はよく理解しておく必要がある。確率変数の期待値などを論じるときと同様に定義する方法が、条件付きエントロピーに自然に繋がる理由は、まさに$\log_{2}$ にあるからだ。