📂양자정보이론

고전정보이론에서 조건부 엔트로피란?

양자정보이론

[ 펼치기 · 접기 ] 양자계산 논리게이트 비트 · 부울함수(AND · OR · NOT · XOR · NAND · NOR · CNOT · CCNOT · CSWAP) · 범용 게이트 · 복제 함수 · 사영 · 주입 양자게이트 큐비트 · 양자 얽힘 · 양자 회로 · 양자 게이트(파울리 게이트 · 위상 게이트 · 아다마르 게이트 · 양자 CNOT · 교환 게이트 · 양자 CSWAP · 양자 CSWAP) · 솔베이-키타예프 정리 · 복제 불가 정리 정보이론 고전정보이론 정보량 · 엔트로피(결합 엔트로피 · 조건부 엔트로피 · 상대적 엔트로피 · 상호 정보 ) · 부호화 · 복호화 양자정보이론 TBD · TBD · TBD 관련 분야 선형대수 · 양자역학

빌드업^{1 2}

이산확률변수 $X$와 이의 확률질량함수 $p(x)$에 대해서 $X$의 엔트로피 $H(X)$는 다음과 같이 정의된다.

$$H(X) = - \sum_{i} p(x_{i}) \log_{2}p(x_{i})$$

비슷하게 $X, Y$의 결합 확률질량함수 $p(x,y)$에 대해서 결합 엔트로피 $H(X, Y)$는 다음과 같이 정의된다.

$$H(X, Y) = - \sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i}, y_{j})$$

그러면 $Y = y_{j}$일 때의 조건부 확률 $p(x_{i} | y_{j})$에 대해서 $H(X | Y=y_{j})$를 다음과 같이 정의할 수 있을 것이다.

$$\begin{equation} H(X | Y=y_{j}) = - \sum_{i} p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation}$$

그러면 자연스럽게 $H(X | Y)$를 다음과 같이 모든 $y_{j}$에 대한 $H(X | Y=y_{j})$의 기댓값으로 정의할 수 있다. 이를 조건부 엔트로피라 하자.

$$\begin{equation} \begin{aligned} H(X | Y) &:= \sum_{j} p(y_{j})H(X | Y=y_{j}) \\ &= -\sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \\ \end{aligned} \end{equation}$$

정의

이산확률변수 $X, Y$에 대해서, 조건부 엔트로피^{conditional entropy}를 다음과 같이 정의한다.

$$\begin{equation} H(X | Y) = -\sum_{i, j} p(x_{i}, y_{j}) \log_{2}p(x_{i} | y_{j}) \end{equation}$$

연속확률변수라면,

$$H(X|Y) = - \int_{-\infty}^{\infty}p(x,y)\log_{2}p(x|y)dxdy$$

설명

조건부 엔트로피의 정의를 $(3)$으로 처음 접하면 왜 $p(x|y)$가 아니라 $p(x,y)$를 곱하는 건지 이해하기 어려울거다. $(1)$의 기댓값으로 정의되는거라고 생각하면 $(3)$의 수식을 납득하기 쉬울 것이다. 다시 말해서, 조건부 엔트로피란 조건부 확률의 정보 $-\log_{2}p(x | y)$의 기댓값이다.

성질

$$H(X | Y) = H(X, Y) - H(Y)$$

$(2)$로부터 바로 얻을 수 있다.

$$\begin{align*} H(X | Y) &= - \sum_{i, j} p(y_{j})p(x_{i} | y_{j}) \log_{2}p(x_{i} | y_{j}) \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} \dfrac{p(x_{i}, y_{j})}{p(y_{j})} \\ &= - \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(x_{i}, y_{j}) + \sum_{i, j} p(x_{i}, y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} \left( \sum_{i} p(x_{i}, y_{j}) \right) \log_{2} p(y_{j}) \\ &= H(X, Y) + \sum_{j} p(y_{j}) \log_{2} p(y_{j}) \\ &= H(X, Y) - H(Y) \end{align*}$$

이항하면 $H(X, Y) = H(X | Y) + H(Y)$인데 엔트로피는 확률에 로그를 씌운 것이니 $p(x, y) = p(x | y) p(y)$에서 곱이 합으로 바뀌었다고 받아들여도 좋다.