古典情報理論における相対エントロピー（クルバック・ライブラー発散）とは？

離散確率変数の確率質量関数 $p, q$について、$p$に対する$q$の相対的エントロピー^{relative entropy}を次のように定義する。

$$D(p \| q) := \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} \tag{1}$$

この時$p \ne 0$に対して、$p \log_{2}(\frac{p}{0}) := \infty$と定義される。

連続確率変数に対しては積分で定義される。

$$D(p \| q) := \int p(x) \ln \dfrac{p(x)}{q(x)} dx$$

説明

相対的エントロピーは、クルバック・ライブラー発散^{Kullback-Leibler divergence (KLd)}とも呼ばれ、以下のような表記が用いられる。

$$D(p \| q) = D_{\text{KL}}(p \| q) = H(p \| q)$$

$D(p \| q)$は($X$の実際の分布が$p$の時)$X$の分布を$q$と仮定することがどれほど不適切か、つまり$q$が$p$とどれほど違うかを測る尺度だ。$-\log q$が$q$の情報量を意味するので、定義$(1)$は$q$と$p$の情報の平均差を意味する。

$$\begin{align*} \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} &= \sum p(x) \big[ -\log_{2}q(x) - (-\log_{2}p(x)) \big] \\ &= \sum p(x) \big[ I(q(x)) - I(p(x)) \big] \\ &= E \big[ I(q) - I(p) \big] \end{align*}$$

特性

1. 非対称性^Non-symmetry $$D(p \| q) \ne D(q \| p)$$

2. 非負性 $$D(p \| q) \ge 0$$ 等号は$p = q$の場合に成立する。

証明

2.

$p=q$であれば、定義により$D(p \| q) = 0$なので$p \ne q$について考えよう。

$$\begin{align*} -D(p \| q) &= \sum p(x) \log_{2} \dfrac{q(x)}{p(x)} \\ &\le \log_{2} \left( \sum p(x) \dfrac{q(x)}{p(x)} \right) \\ &= \log_{2} \left( \sum q(x) \right) \\ &= \log_{2} 1 \\ &= 0 \end{align*}$$

不等式は、対数関数が凹であるため、イェンセンの不等式により成立する。

イェンセンの不等式

$f$が凹関数であれば、次が成立する。$\sum_{k=1}^{n} \lambda_{k} = 1$に対して、

$$f\left( \sum\limits_{k=1}^{n}\lambda_{k}x_{k} \right) \ge \sum\limits_{k=1}^{n} \lambda_{k} f(x_{k})$$

したがって、両辺にマイナスをかけると、

$$0 \le D(p \| q)$$

■

関連項目

• 確率情報理論における相対的エントロピー