📂확률론

깁스 부등식

개요

깁스 부등식^{gibbs Inequality}은 샤넌 엔트로피와 크로스 엔트로피 사이의 관계를 말해주며, 쿨백-라이블러 발산의 하한을 보장해주는 부등식이다.

정리

$$H(P) \le H(P,Q)$$

증명 ¹

이산형에 대한 경우만 증명하고, 모든 $k$ 에 대해 $p_{k} > 0$ 이라 가정한다.

곡선 $y = \ln x$ 의 $x=1$ 에서의 접선의 방정식은 $y = x - 1$ 이다. 로그함수는 위로 볼록한 함수이므로 오직 한 점 $(1,0) \in \mathbb{R}$ 에서만 접하므로, $x > 0$ 에서 $\ln x \le x - 1$ 임을 알 수 있다. 로그의 밑변환 공식에 따라 다음 수식 두번째 줄의 등호가, $\ln x \le x - 1$ 에 의해 세번째 줄의 등호가 성립한다. $$\begin{align*} -\sum_{k=1}^{n} p_{k} \log_{2} p_{k} + \sum_{k=1}^{n} p_{k} \log_{2} q_{k} =& \sum_{k=1}^{n} p_{k} \log_{2} {{ q_{k} } \over { p_{k} }} \\ =& {{ 1 } \over { \ln 2 }} \sum_{k=1}^{n} p_{k} \ln {{ q_{k} } \over { p_{k} }} \\ \le & {{ 1 } \over { \ln 2 }} \sum_{k=1}^{n} p_{k} \left( {{ q_{k} } \over { p_{k} }} - 1 \right) \\ =& {{ 1 } \over { \ln 2 }} \left( \sum_{k=1}^{n} q_{k} - \sum_{k=1}^{n} p_{k} \right) \\ =& 1 - 1 \\ =& 0 \end{align*}$$ $H(P,Q) = \sum_{k=1}^{n} p_{k} \log_{2} q_{k}$ 를 우변으로 넘기면 $$H(P) = \sum_{k=1}^{n} p_{k} \log_{2} p_{k} \le \sum_{k=1}^{n} p_{k} \log_{2} q_{k} = H(P,Q)$$

■