조건부 엔트로피

조건부 엔트로피

정의 1

확률변수 $X_{1}, \cdots , X_{n}$ 의 결합확률질량함수 $p$ 혹은 결합확률밀도함수 $f$ 가 주어져 있다고 하자. $H \left( X_{1}, \cdots , X_{n} | X_{k} \right)$ 을 $X_{k}$ 가 주어져 있을 때 $X_{1}, \cdots , X_{n}$ 의 조건부 엔트로피Conditional Entropy라 한다.

이산

$$ H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ p \left( x_{1} , \cdots , x_{n} \right) } \over { p(x_{k}) }} $$

연속

$$ H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ f \left( x_{1} , \cdots , x_{n} \right) } \over { f(x_{k}) }} d x_{1} \cdots d x_{n} $$


정리

설명

말 그대로 조인트 엔트로피에서 추가적인 조건이 주어졌을 때의 엔트로피다. 수식을 직관적으로 이해해보자면 $$ H \left( Y | X \right) = H(X,Y) - H(X) $$ 는 원래 $H(X,Y)$ 만큼의 무질서도에서 $X$ 의 정보가 제공되어 $H(X)$ 만큼의 불확실성이 해소된 것으로 볼 수 있다. 체인 룰Chain Rule은 그의 일반화다.


  1. Applebaum. (2008). Probability and Information(2nd Edition): p236. ↩︎

댓글