고전정보이론에서 정보량이란?

정의¹

이산확률변수 $X$에 대해서, $X=x$인 사건의 정보(량) $I$를 다음과 같이 정의한다.

$$\begin{equation} I(x) = -\log_{2} p(x) \end{equation}$$

$p$는 $X$의 확률질량함수이다.

설명

추상적 개념인 정보에 대한 정량적인 정의를 제시한 사람은 디지털 논리회로 이론과 정보이론을 창시한 클래드 섀넌이다. 정보량를 '확률의 마이너스 로그'로 정의한 것을 처음 볼 때는 이해가 안되겠지만, 설명을 듣고 나면 이보다 자연스러울 수 없다는 생각이 들 것이다.

정보의 가치는 일어나기 힘든 일일수록, 그러니까 일어날 확률이 희박할수록 크다. 가령 "내일 물리과 건물에 물리과 학과장님이 오신다"는 문장이 갖고 있는 정보량은 거의 없다고 볼 수 있다. 당연히 내일 학과장이 출근할 것이기 때문이다. 반면에 "내일 물리과 건물에 아이브가 온다"는 문장은 완전히 특급 정보이다. 아이브가 뜬금없이 물리과 건물에 등장할 확률은 거의 없다시피하므로, 이런 정보는 가치가 아주 높은 정보라고 할 수 있다. 다른 예로 "내일 삼성전자의 주식 상승폭이 $1 \%$ 포인트 이내이다"는 거의 가치가 없는 정보이겠지만, "내일 삼성전자의 주식이 상한가를 친다"는 엄청난 정보이다. 따라서 일어날 확률이 적은 사건이 많은 정보를 갖고있다고 볼 수 있다.

확률의 함숫값은 $0 \le p \le 1$이므로, $p$가 작을수록 정보의 함숫값이 커지도록 하려면 마이너스 로그를 취하면 된다. 따라서 자연스럽게 정보를 $(1)$과 같이 정의할 수 있다.

$-\log_{2}(x)$의 치역이 $[0, \infty)$이므로 확률인 $1$인 사건, 그러니까 반드시 일어나는 일은 정보량이 $0$이다. 또한 일어날 확률이 낮아질수록 정보의 가치는 계속 커진다.

확률변수 $X$ 자체에 대한 정보량은 엔트로피라 부른다.

같이보기

• 확률정보이론에서 정의되는 정보