📂確率論

ギブスの不等式

概要

ギブスの不等式^{gibbs Inequality}はシャノンエントロピーとクロスエントロピーとの関係を語り、クルバック・ライブラーの発散の下限を保証する不等式である。

定理

$$H(P) \le H(P,Q)$$

証明 ¹

離散型の場合のみ証明し、全ての$k$に対して$p_{k} > 0$と仮定する。

曲線$y = \ln x$の$x=1$における接線の方程式は$y = x - 1$である。ログ関数は上に凸な関数であるため、唯一の点$(1,0) \in \mathbb{R}$でのみ接するので、$x > 0$が$\ln x \le x - 1$より小さいことがわかる。対数の底の変換公式により、次の数式二行目の等号が、$\ln x \le x - 1$によって三行目の等号が成立する。 $$\begin{align*} -\sum_{k=1}^{n} p_{k} \log_{2} p_{k} + \sum_{k=1}^{n} p_{k} \log_{2} q_{k} =& \sum_{k=1}^{n} p_{k} \log_{2} {{ q_{k} } \over { p_{k} }} \\ =& {{ 1 } \over { \ln 2 }} \sum_{k=1}^{n} p_{k} \ln {{ q_{k} } \over { p_{k} }} \\ \le & {{ 1 } \over { \ln 2 }} \sum_{k=1}^{n} p_{k} \left( {{ q_{k} } \over { p_{k} }} - 1 \right) \\ =& {{ 1 } \over { \ln 2 }} \left( \sum_{k=1}^{n} q_{k} - \sum_{k=1}^{n} p_{k} \right) \\ =& 1 - 1 \\ =& 0 \end{align*}$$ $H(P,Q) = \sum_{k=1}^{n} p_{k} \log_{2} q_{k}$を右側に移せば $$H(P) = \sum_{k=1}^{n} p_{k} \log_{2} p_{k} \le \sum_{k=1}^{n} p_{k} \log_{2} q_{k} = H(P,Q)$$

■