📂확률론

조건부 엔트로피

정의 ¹

확률변수 $X_{1}, \cdots , X_{n}$ 의 결합확률질량함수 $p$ 혹은 결합확률밀도함수 $f$ 가 주어져 있다고 하자. $H \left( X_{1}, \cdots , X_{n} | X_{k} \right)$ 을 $X_{k}$ 가 주어져 있을 때 $X_{1}, \cdots , X_{n}$ 의 조건부 엔트로피^{conditional Entropy}라 한다.

이산

$$ H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ p \left( x_{1} , \cdots , x_{n} \right) } \over { p(x_{k}) }} $$

연속

$$ H \left( X_{1}, \cdots , X_{n} | X_{k} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} {{ f \left( x_{1} , \cdots , x_{n} \right) } \over { f(x_{k}) }} d x_{1} \cdots d x_{n} $$

---

• 표현이 너무 지저분해서 정확히 쓰지는 않았지만 $X_{1} \cdots X_{n}$ 사이에는 $X_{k}$ 가 없다. 하지만 $x_{1} , \cdots , x_{n}$ 사이에는 $x_{k}$ 가 있다.

정리

• [1] 두 확률변수 $X,Y$ 에 대해 다음이 성립한다. $$ H(X,Y) = H(X) + H \left( Y | X \right) $$ 특히 $X$ 와 $Y$ 가 독립이면 $$ H \left( X | Y \right) = H(X) \\ H \left( Y | X \right) = H(Y) $$
• [2] Chain Rule: $$ \begin{align*} H \left( X_{1}, \cdots , X_{n} \right) =& H \left( X_{1} \right) + H \left( X_{k} | X_{1} , \cdots , X_{k-1} \right) \\ =& H \left( X_{1} \right) + H \left( X_{2} | X_{1} \right) + H \left( X_{3} | X_{1}, X_{2} \right) + \cdots \\ & + H \left( X_{n} \right) + H \left( X_{k} | X_{1} , \cdots , X_{n-1} \right) \end{align*} $$

설명

말 그대로 조인트 엔트로피에서 추가적인 조건이 주어졌을 때의 엔트로피다. 수식을 직관적으로 이해해보자면 $$ H \left( Y | X \right) = H(X,Y) - H(X) $$ 는 원래 $H(X,Y)$ 만큼의 무질서도에서 $X$ 의 정보가 제공되어 $H(X)$ 만큼의 불확실성이 해소된 것으로 볼 수 있다. 체인 룰^{chain rule}은 그의 일반화다.