logo

結合エントロピー 📂確率論

結合エントロピー

定義

確率変数 X1,⋯ ,XnX_{1}, \cdots , X_{n} の結合確率質量関数 pp または結合確率密度関数 ff が与えられているとする。

離散

H(X1,⋯ ,Xn):=−∑x1⋯∑xnp(x1,⋯ ,xn)log⁡2p(x1,⋯ ,xn) H \left( X_{1}, \cdots , X_{n} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} p \left( x_{1} , \cdots , x_{n} \right)

連続

H(X1,⋯ ,Xn):=−∫R⋯∫Rf(x1,⋯ ,xn)log⁡2f(x1,⋯ ,xn)dx1⋯dxn H \left( X_{1}, \cdots , X_{n} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} f \left( x_{1} , \cdots , x_{n} \right) d x_{1} \cdots d x_{n}

定理

ジョイントエントロピーは以下のような性質を持っている。

  • [1] 不等式: 0≤max⁡k=1⋯n{H(Xk)}≤H(X1,⋯ ,Xn)≤∑k=1nH(Xk) 0 \le \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) \le \sum_{k=1}^{n} H \left( X_{k} \right) もし X1,⋯ ,XnX_{1} , \cdots , X_{n} が相互に独立ならば、最後の不等式は等式になる。つまり、 H(X1,⋯ ,Xn)=∑k=1nH(Xk) H \left( X_{1} , \cdots , X_{n} \right) = \sum_{k=1}^{n} H \left( X_{k} \right)
  • [2] 対称性: H(X,Y)=H(Y,X) H \left( X, Y \right) = H \left( Y, X \right)

説明

max⁡k=1⋯n{H(Xk)}≤H(X1,⋯ ,Xn) \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) 定義で注目すべき点は、確率変数が増えるほど、エントロピーが増加することができるが、減少することはできないということだ。これは、確率変数が増えると、不規則な度合いも大きくなるという直感とも一致する。

ジョイントエントロピーの意味は、単にエントロピーの拡張に過ぎない。しかし、その定義はよく理解しておく必要がある。確率変数の期待値などを論じるときと同様に定義する方法が、条件付きエントロピーに自然に繋がる理由は、まさにlog⁡2\log_{2} にあるからだ。