조인트 엔트로피
정의
확률변수 $X_{1}, \cdots , X_{n}$ 의 결합확률질량함수 $p$ 혹은 결합확률밀도함수 $f$ 가 주어져 있다고 하자.
이산
$$ H \left( X_{1}, \cdots , X_{n} \right) := - \sum_{x_{1}} \cdots \sum_{x_{n}} p \left( x_{1} , \cdots , x_{n} \right) \log_{2} p \left( x_{1} , \cdots , x_{n} \right) $$
연속
$$ H \left( X_{1}, \cdots , X_{n} \right) := - \int_{\mathbb{R}} \cdots \int_{\mathbb{R}} f \left( x_{1} , \cdots , x_{n} \right) \log_{2} f \left( x_{1} , \cdots , x_{n} \right) d x_{1} \cdots d x_{n} $$
정리
조인트 엔트로피는 다음과 같은 성질들을 가진다.
- [1] 부등식: $$ 0 \le \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) \le \sum_{k=1}^{n} H \left( X_{k} \right) $$ 만약 $X_{1} , \cdots , X_{n}$ 들이 상호독립이면 마지막 부등식이 등식이 된다. 즉, $$ H \left( X_{1} , \cdots , X_{n} \right) = \sum_{k=1}^{n} H \left( X_{k} \right) $$
- [2] 대칭성: $$ H \left( X, Y \right) = H \left( Y, X \right) $$
설명
$$ \max_{k=1 \cdots n} \left\{ H \left( {X_{k}} \right) \right\} \le H \left( X_{1} , \cdots , X_{n} \right) $$ 정의에서 주목할만한 점은 확률변수가 늘어난만큼 위와 같이 엔트로피가 커질 수는 이어도 작아질 수는 없다는 것이다. 이는 확률변수가 늘어나면 무질서한 정도도 커질것이라는 직관과도 일치한다.
조인트 엔트로피의 의미는 단지 엔트로피를 확장 시킨것에 지나지 않는다. 다만 정의는 잘 숙지해둘 필요가 있다. 정의하는 방식이 보통 확률변수의 기대값 등을 논할때와 같기 때문에 자연스럽게 조건부 엔트로피로도 이어지는데, 겉으로 보이는 모양이 달라지는 원인이 바로 $\log_{2}$ 에 있기 때문이다.