古典情報理論における情報量とは?

定義¹

離散確率変数$X$について、$X=x$である事象の情報(量)^information$I$を次のように定義する。

$$ \begin{equation} I(x) = -\log_{2} p(x) \end{equation} $$

$p$は$X$の確率質量関数である。

説明

抽象的概念である情報に対する定量的な定義を提示した人物は、デジタル論理回路理論と情報理論を創始したクロード・シャノン^{Claude Shannon}である。情報量を「確率のマイナス対数」と定義したのを初めて見たときは理解できないだろうが、説明を聞いた後にはこれ以上自然なものはないと思うはずである。

情報の価値は、起こりにくい出来事であるほど、つまり起こる確率が希薄であるほど大きい。たとえば「明日、物理学科の建物に物理学科の学科長が来られる」という文が持っている情報量はほとんどないと見なせる。当然、明日、学科長が出勤するからである。一方で「明日、物理学科の建物にIVEが来る」という文は完全に特級の情報である。IVEが唐突に物理学科の建物に登場する確率はほとんどないに等しいので、このような情報は非常に価値の高い情報だといえる。別の例として「明日、サムスン電子の株価の上昇幅が$1 \%$ポイント以内である」はほとんど価値のない情報であろうが、「明日、サムスン電子の株価がストップ高になる」は途方もない情報である。したがって、起こる確率が小さい事象が多くの情報を持っていると見なせる。

確率の関数値は$0 \le p \le 1$であるので、$p$が小さいほど情報の関数値が大きくなるようにするにはマイナス対数を取ればよい。したがって自然に情報を$(1)$のように定義できる。

$-\log_{2}(x)$の値域が$[0, \infty)$であるので、確率が$1$である事象、つまり必ず起こる出来事は情報量が$0$である。また、起こる確率が低くなるほど情報の価値はさらに大きくなる。

確率変数$X$自体に対する情報量はエントロピーと呼ぶ。

関連リンク

• 確率情報理論で定義される情報