📂양자정보이론

상호 정보

양자정보이론

[ 펼치기 · 접기 ] 양자계산 논리게이트 비트 · 부울함수(AND · OR · NOT · XOR · NAND · NOR · CNOT · CCNOT · CSWAP) · 범용 게이트 · 복제 함수 · 사영 · 주입 양자게이트 큐비트 · 양자 얽힘 · 양자 회로 · 양자 게이트(파울리 게이트 · 위상 게이트 · 아다마르 게이트 · 양자 CNOT · 교환 게이트 · 양자 CSWAP · 양자 CSWAP) · 솔베이-키타예프 정리 · 복제 불가 정리 정보이론 고전정보이론 정보량 · 엔트로피(결합 엔트로피 · 조건부 엔트로피 · 상대적 엔트로피 · 상호 정보 ) · 부호화 · 복호화 양자정보이론 TBD · TBD · TBD 관련 분야 선형대수 · 양자역학

정의^{1 2}

$P_{X}$, $P_{Y}$, $P_{X,Y}$를 각각 이산확률변수 $X$, $Y$의 확률질량함수와 결합 확률질량함수라고 하자. $X$와 $Y$의 상호 정보^{mutual information}를 다음과 같이 정의한다.

$$ \begin{align*} I(X, Y) &:= D(P_{X,Y} \| P_{X} P_{Y}) \\ &= \sum\limits_{x \in X, y \in Y} P_{X,Y}(x,y) \log_{2} \left( \dfrac{P_{X,Y}(x,y)}{P_{X}(x)P_{Y}(x)} \right) \end{align*} $$

이때 $D$는 상대적 엔트로피이다.

설명

다음과 같은 표기법들이 쓰인다.

$$ I(X, Y) = I(X : Y) = I(X ; Y) = H(X : Y) $$

$D(p \| q)$는 $p$가 실제 분포일 때, 이에 대한 $q$라는 추정이 얼마나 좋지 않은지를 나타낸다. 따라서 $I(X, Y) = D(P_{X,Y} \| P_{X} P_{Y})$는 $P_{X,Y}$가 실제 분포일 때, $P_{X}P_{Y}$라는 가정($X$와 $Y$는 독립이다)이 얼마나 안좋은지를 말해준다.

$I(X, Y)$는 $X$와 $Y$가 독립에 가까울수록 작은 값을 가지므로, $(X, Y)$가 정규분포라면 $X$와 $Y$ 사이의 상관관계를 평가하는 함수로 이해할 수 있다. 간단한 예로 $(X, Y)$가 평균이 $(0, 0)$이고 공분산행렬이 $\Sigma = \begin{bmatrix} 1 & \rho \\ \rho & 1 \end{bmatrix}$인 정규분포라고 하자. 그러면 아래의 성질과 정규분포의 엔트로피 공식에 의해 $X, Y$의 상호정보는

$$ \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= \dfrac{1}{2}\ln(2\pi e) + \dfrac{1}{2}\ln(2\pi e) - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= \dfrac{1}{2}\ln(2\pi e)^{2} - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= - \dfrac{1}{2}\ln (1-\rho^{2}) \\ \end{align*} $$

따라서 $X, Y$가 독립이면 $\rho = 0$이고 $I(X, Y) = 0$이다. 반대로 $X, Y$가 강한 상관관계를 가지면, 그러니까 $\rho = \pm 1$이면 $I(X, Y) = \infty$가 된다.

성질

1. 대칭성^symmetry $$ I(X, Y) = I(Y, X) $$ 정의에 의해 자명하다.

2. Non-negativity $$ I(X, Y) \ge 0 $$ $D(p \| q) \ge 0$이므로 자명하다. 등호는 $X$와 $Y$가 독립일 때 성립한다.

3. 결합 엔트로피 및 조건부 엔트로피와의 관계

   $$ \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= H(X) - H(X | Y) \\ &= H(Y) - H(Y | X) \\ &= H(X, Y) - H(X | Y) - H(Y | X) \end{align*} $$

   여기서 $H(X)$는 엔트로피 $H(X, Y)$는 결합 엔트로피, $H(X | Y)$는 조건부 엔트로피이다.