📂양자정보이론

고전정보이론에서 상대적 엔트로피(쿨백-라이블러 발산)란?

양자정보이론

[ 펼치기 · 접기 ] 양자계산 논리게이트 비트 · 부울함수(AND · OR · NOT · XOR · NAND · NOR · CNOT · CCNOT · CSWAP) · 범용 게이트 · 복제 함수 · 사영 · 주입 양자게이트 큐비트 · 양자 얽힘 · 양자 회로 · 양자 게이트(파울리 게이트 · 위상 게이트 · 아다마르 게이트 · 양자 CNOT · 교환 게이트 · 양자 CSWAP · 양자 CSWAP) · 솔베이-키타예프 정리 · 복제 불가 정리 정보이론 고전정보이론 정보량 · 엔트로피(결합 엔트로피 · 조건부 엔트로피 · 상대적 엔트로피 · 상호 정보 ) · 부호화 · 복호화 양자정보이론 TBD · TBD · TBD 관련 분야 선형대수 · 양자역학

이산확률변수 $X$의 확률질량함수 $p, q$에 대해서, $p$의 $q$에 관한 상대적 엔트로피^{relative entropy}를 다음과 같이 정의한다.

$$D(p \| q) := \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} \tag{1}$$

이때 $p \ne 0$에 대해서, $p \log_{2}(\frac{p}{0}) := \infty$로 정의한다.

연속확률변수에 대해서는 적분으로 정의된다.

$$D(p \| q) := \int p(x) \ln \dfrac{p(x)}{q(x)} dx$$

설명

상대적 엔트로피는 쿨백-라이블러 발산^{Kullback-Leibler divergence (KLd)}이라고도 하며 다음과 같은 표기법들이 쓰인다.

$$D(p \| q) = D_{\text{KL}}(p \| q) = H(p \| q)$$

$D(p \| q)$는 ($X$의 실제 분포가 $p$일 때) $X$의 분포를 $q$라고 가정하는 것이 얼마나 좋지 않은지, 다시말해 $q$가 $p$와 얼마나 다른지를 재는 척도이다. $-\log q$가 $q$의 정보량을 의미하므로, 정의 $(1)$은 $q$와 $p$의 정보의 차이의 평균을 의미한다.

$$\begin{align*} \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} &= \sum p(x) \big[ -\log_{2}q(x) - (-\log_{2}p(x)) \big] \\ &= \sum p(x) \big[ I(q(x)) - I(p(x)) \big] \\ &= E \big[ I(q) - I(p) \big] \end{align*}$$

성질

1. 비대칭성^Non-symmetry $$D(p \| q) \ne D(q \| p)$$

2. Non-negativity $$D(p \| q) \ge 0$$ 등호는 $p = q$일 때 성립한다.

증명

2.

$p=q$이면 정의에 의해 $D(p \| q) = 0$이므로 $p \ne q$에 대해 생각하자.

$$\begin{align*} -D(p \| q) &= \sum p(x) \log_{2} \dfrac{q(x)}{p(x)} \\ &\le \log_{2} \left( \sum p(x) \dfrac{q(x)}{p(x)} \right) \\ &= \log_{2} \left( \sum q(x) \right) \\ &= \log_{2} 1 \\ &= 0 \end{align*}$$

부등호는, 로그함수가 오목이므로, 옌센 부등식에 의해 성립한다.

옌센 부등식

$f$가 오목함수이면, 다음이 성립한다. $\sum_{k=1}^{n} \lambda_{k} = 1$에 대해서,

$$f\left( \sum\limits_{k=1}^{n}\lambda_{k}x_{k} \right) \ge \sum\limits_{k=1}^{n} \lambda_{k} f(x_{k})$$

그러므로 양변에 마이너스를 곱하면,

$$0 \le D(p \| q)$$

■

같이보기

• 확률정보이론에서 상대적 엔트로피