logo

相互情報

相互情報

양자정보이론
[ 펼치기 · 접기 ]

定義1 2

PXP_{X}PYP_{Y}PX,YP_{X,Y}をそれぞれ離散確率変数XXYY確率質量関数結合確率質量関数とする。XXYY相互情報mutual informationを次の通り定義する。

I(X,Y):=D(PX,YPXPY)=xX,yYPX,Y(x,y)log2(PX,Y(x,y)PX(x)PY(x)) \begin{align*} I(X, Y) &:= D(P_{X,Y} \| P_{X} P_{Y}) \\ &= \sum\limits_{x \in X, y \in Y} P_{X,Y}(x,y) \log_{2} \left( \dfrac{P_{X,Y}(x,y)}{P_{X}(x)P_{Y}(x)} \right) \end{align*}

ここで、DD相対エントロピーである。

説明

以下の表記が使われる。

I(X,Y)=I(X:Y)=I(X;Y)=H(X:Y) I(X, Y) = I(X : Y) = I(X ; Y) = H(X : Y)

D(pq)D(p \| q)は、ppが実際の分布であるとき、それに対する推定qqがどれだけ悪いかを示す。したがって、I(X,Y)=D(PX,YPXPY)I(X, Y) = D(P_{X,Y} \| P_{X} P_{Y})PX,YP_{X,Y}が実際の分布であるとき、仮定(XXYYは独立である)がどれだけ悪いかを教えてくれる。

I(X,Y)I(X, Y)は、XXYYが独立に近いほど小さな値を取るので、(X,Y)(X, Y)が正規分布であれば、XXYYの相関を評価する関数として理解できる。簡単な例として、(X,Y)(X, Y)が平均が(0,0)(0, 0)共分散行列Σ=[1ρρ1]\Sigma = \begin{bmatrix} 1 & \rho \\ \rho & 1 \end{bmatrix}正規分布だとする。それならば、以下の性質と正規分布のエントロピー公式により、X,YX, Yの相互情報は

I(X,Y)=H(X)+H(Y)H(X,Y)=12ln(2πe)+12ln(2πe)12ln[(2πe)2(1ρ2)]=12ln(2πe)212ln[(2πe)2(1ρ2)]=12ln(1ρ2) \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= \dfrac{1}{2}\ln(2\pi e) + \dfrac{1}{2}\ln(2\pi e) - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= \dfrac{1}{2}\ln(2\pi e)^{2} - \dfrac{1}{2}\ln[(2\pi e)^{2}(1-\rho^{2})] \\ &= - \dfrac{1}{2}\ln (1-\rho^{2}) \\ \end{align*}

したがって、X,YX, Yが独立であればρ=0\rho = 0であり、I(X,Y)=0I(X, Y) = 0である。逆に、X,YX, Yが強い相関を持っている場合、つまりρ=±1\rho = \pm 1であれば、I(X,Y)=I(X, Y) = \inftyとなる。

性質

  1. 対称性symmetry I(X,Y)=I(Y,X) I(X, Y) = I(Y, X) 定義により自明である。

  2. 非負性 I(X,Y)0 I(X, Y) \ge 0 D(pq)0D(p \| q) \ge 0であるため自明である。等号はXXYYが独立のときに成立する。

  3. 結合エントロピーおよび条件付きエントロピーとの関係

    I(X,Y)=H(X)+H(Y)H(X,Y)=H(X)H(XY)=H(Y)H(YX)=H(X,Y)H(XY)H(YX) \begin{align*} I(X, Y) &= H(X) + H(Y) - H(X, Y) \\ &= H(X) - H(X | Y) \\ &= H(Y) - H(Y | X) \\ &= H(X, Y) - H(X | Y) - H(Y | X) \end{align*}

    ここで、H(X)H(X)エントロピーH(X,Y)H(X, Y)結合エントロピーH(XY)H(X | Y)条件付きエントロピーである。


  1. Stephen M. Barnett, Quantum Information (2009), p11-12 ↩︎

  2. 김영훈·허재성, 양자 정보 이론 (2020), p248-250 ↩︎