logo

조건부 엔트로피 📂확률론

조건부 엔트로피

정의 1

확률변수 X1,⋯ ,XnX_{1}, \cdots , X_{n} 의 결합확률질량함수 pp 혹은 결합확률밀도함수 ff 가 주어져 있다고 하자. H(X1,⋯ ,Xn∣Xk)H \left( X_{1}, \cdots , X_{n} | X_{k} \right) 을 XkX_{k} 가 주어져 있을 때 X1,⋯ ,XnX_{1}, \cdots , X_{n} 의 조건부 엔트로피conditional Entropy라 한다.

이산

H(X1,⋯ ,Xn∣Xk):=−∑x1⋯∑xnp(x1,⋯ ,xn)log⁡2p(x1,⋯ ,xn)p(xk) H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ p \left( x_{1} , \cdots , x_{n} \right) } \over { p(x_{k}) }}

연속

H(X1,⋯ ,Xn∣Xk):=−∫R⋯∫Rf(x1,⋯ ,xn)log⁡2f(x1,⋯ ,xn)f(xk)dx1⋯dxn H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ f \left( x_{1} , \cdots , x_{n} \right) } \over { f(x_{k}) }} d x_{1} \cdots d x_{n}

  • 표현이 너무 지저분해서 정확히 쓰지는 않았지만 X1⋯XnX_{1} \cdots X_{n} 사이에는 XkX_{k} 가 없다. 하지만 x1,⋯ ,xnx_{1} , \cdots , x_{n} 사이에는 xkx_{k} 가 있다.

정리

  • [1] 두 확률변수 X,YX,Y 에 대해 다음이 성립한다. H(X,Y)=H(X)+H(Y∣X) H(X,Y) = H(X) + H \left( Y | X \right) 특히 XX 와 YY 가 독립이면 H(X∣Y)=H(X)H(Y∣X)=H(Y) H \left( X | Y \right) = H(X) \\ H \left( Y | X \right) = H(Y)
  • [2] Chain Rule: H(X1,⋯ ,Xn)=H(X1)+H(Xk∣X1,⋯ ,Xk−1)=H(X1)+H(X2∣X1)+H(X3∣X1,X2)+⋯+H(Xn)+H(Xk∣X1,⋯ ,Xn−1) \begin{align*} H \left( X_{1}, \cdots , X_{n} \right) =& H \left( X_{1} \right) + H \left( X_{k} | X_{1} , \cdots , X_{k-1} \right) \\ =& H \left( X_{1} \right) + H \left( X_{2} | X_{1} \right) + H \left( X_{3} | X_{1}, X_{2} \right) + \cdots \\ & + H \left( X_{n} \right) + H \left( X_{k} | X_{1} , \cdots , X_{n-1} \right) \end{align*}

설명

말 그대로 조인트 엔트로피에서 추가적인 조건이 주어졌을 때의 엔트로피다. 수식을 직관적으로 이해해보자면 H(Y∣X)=H(X,Y)−H(X) H \left( Y | X \right) = H(X,Y) - H(X) 는 원래 H(X,Y)H(X,Y) 만큼의 무질서도에서 XX 의 정보가 제공되어 H(X)H(X) 만큼의 불확실성이 해소된 것으로 볼 수 있다. 체인 룰chain rule은 그의 일반화다.

  1. Applebaum. (2008). Probability and Information(2nd Edition): p236. ↩︎