古典情報理論における相対エントロピー(クルバック・ライブラー発散)とは?
양자정보이론 | ||||||||||||||||
[ 펼치기 · 접기 ]
|
離散確率変数 $X$の確率質量関数 $p, q$について、$p$の$q$に関する相対エントロピーrelative entropyを次のように定義する。
$$ D(p \| q) := \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} \tag{1} $$
このとき、$p \ne 0$について、$p \log_{2}(\frac{p}{0}) := \infty$で定義する。連続確率変数については積分で定義される。
$$ D(p \| q) := \int p(x) \ln \dfrac{p(x)}{q(x)} dx $$
期待値の形は次の通り。
$$ D(p \| q) = E_{p} \left[ \log \dfrac{p(X)}{q(X)} \right] $$
説明
相対エントロピーはクルバック-ライブラー発散Kullback-Leibler divergence (KLd)とも呼ばれ、次のような記法が用いられる。
$$ D(p \| q) = D_{\text{KL}}(p \| q) = H(p \| q) $$
$D(p \| q)$は($X$の実際の分布が$p$の時)$X$の分布を$q$と仮定することがどれほど良くないか、言い換えれば$q$が$p$とどれほど異なるかを測る尺度である。$-\log q$が$q$の情報量を意味するので、定義$(1)$は$q$と$p$の情報の差の平均を意味する。
$$ \begin{align*} \sum p(x) \log_{2} \dfrac{p(x)}{q(x)} &= \sum p(x) \big[ -\log_{2}q(x) - (-\log_{2}p(x)) \big] \\ &= \sum p(x) \big[ I(q(x)) - I(p(x)) \big] \\ &= E \big[ I(q) - I(p) \big] \end{align*} $$
性質
非対称性Non-symmetry
$$ D(p \| q) \ne D(q \| p) $$非負性Non-negativity
$$ D(p \| q) \ge 0 $$
等号は$p = q$のとき成立する。
証明
2.
$p=q$の場合、定義により$D(p \| q) = 0$であるため、$p \ne q$について考える。
$$ \begin{align*} -D(p \| q) &= \sum p(x) \log_{2} \dfrac{q(x)}{p(x)} \\ &\le \log_{2} \left( \sum p(x) \dfrac{q(x)}{p(x)} \right) \\ &= \log_{2} \left( \sum q(x) \right) \\ &= \log_{2} 1 \\ &= 0 \end{align*} $$
不等号は、対数関数が凹関数なので、イェンセンの不等式により成り立つ。
イェンセンの不等式
$f$が凹関数であれば、以下が成り立つ。$\sum_{k=1}^{n} \lambda_{k} = 1$について、
$$ f\left( \sum\limits_{k=1}^{n}\lambda_{k}x_{k} \right) \ge \sum\limits_{k=1}^{n} \lambda_{k} f(x_{k}) $$
したがって両辺にマイナスをかけると、
$$ 0 \le D(p \| q) $$
■