相互情報相互情報
定義
PX、PY、PX,Yをそれぞれ離散確率変数X、Yの確率質量関数と結合確率質量関数とする。XとYの相互情報mutual informationを次の通り定義する。
I(X,Y):=D(PX,Y∥PXPY)=x∈X,y∈Y∑PX,Y(x,y)log2(PX(x)PY(x)PX,Y(x,y))
ここで、Dは相対エントロピーである。
説明
以下の表記が使われる。
I(X,Y)=I(X:Y)=I(X;Y)=H(X:Y)
D(p∥q)は、pが実際の分布であるとき、それに対する推定qがどれだけ悪いかを示す。したがって、I(X,Y)=D(PX,Y∥PXPY)はPX,Yが実際の分布であるとき、仮定(XとYは独立である)がどれだけ悪いかを教えてくれる。
I(X,Y)は、XとYが独立に近いほど小さな値を取るので、(X,Y)が正規分布であれば、XとYの相関を評価する関数として理解できる。簡単な例として、(X,Y)が平均が(0,0)で共分散行列がΣ=[1ρρ1]の正規分布だとする。それならば、以下の性質と正規分布のエントロピー公式により、X,Yの相互情報は
I(X,Y)=H(X)+H(Y)−H(X,Y)=21ln(2πe)+21ln(2πe)−21ln[(2πe)2(1−ρ2)]=21ln(2πe)2−21ln[(2πe)2(1−ρ2)]=−21ln(1−ρ2)
したがって、X,Yが独立であればρ=0であり、I(X,Y)=0である。逆に、X,Yが強い相関を持っている場合、つまりρ=±1であれば、I(X,Y)=∞となる。
性質
対称性symmetry
I(X,Y)=I(Y,X)
定義により自明である。
非負性
I(X,Y)≥0
D(p∥q)≥0であるため自明である。等号はXとYが独立のときに成立する。
結合エントロピーおよび条件付きエントロピーとの関係
I(X,Y)=H(X)+H(Y)−H(X,Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X,Y)−H(X∣Y)−H(Y∣X)
ここで、H(X)はエントロピー、H(X,Y)は結合エントロピー、H(X∣Y)は条件付きエントロピーである。