混合分布
📂数理統計学混合分布
ビルドアップ
下の図のような確率密度関数を持つ確率分布を近似したいとしよう。

確率分布を近似する基本的な方法の一つは、近似したい分布と最も似た正規分布を探すことである。しかし、次の図が示すように、我々が近似しようとする分布はピークが三つなので、正規分布でこれを適切に近似するのは難しそうだ。

ここでこう考えることができる。正規分布は一つのピークを持ち、近似したい分布は三つのピークを持つ。ならば、三つの正規分布を足して近似したい分布を近似できるのではないか?これがまさに混合分布のアイデアである。実際に上の確率密度関数は次のようになる。
p(x)=21N(5,1)+41N(−4,1)+41N(0,1.5)

定義
簡単な定義
確率分布の線形結合を混合分布mixture distributionという。
厳密な定義
k個の確率分布の確率密度関数がそれぞれf1,…,fkだとしよう。混合係数mixing coefficient π1,…,πkに対して、次の確率密度関数 fが従う分布を混合分布mixture distributionという。
f(x)=π1f1(x)+⋯+πkfk(x)=i=1∑kπifi(x)(1)
説明
一方、fが確率密度関数となるためには、πiは全て足すと1になるという条件が必要だ。簡単に示すと、(1)の両辺を積分すると次のようになる。
∫f(x)dx=∫(i=1∑kπifi(x))dx=i=1∑kπi∫fi(x)dx=i=1∑kπi=1
⟹i=1∑kπi=1
また、fi≥0であるから、それぞれのπiはπi∈[0,1]を満たさなければならない。
一方、πiは自然に確率、重みなどとも呼ばれることができる。確率に関する解釈は文書下部の責任値単元を参照しよう。
混合係数 | 混合確率 | 重み |
---|
mixing coefficients | mixing probabilities | weights |
πi | pi | wi |
i=1∑kπi=1 | i=1∑kpi=1 | i=1∑kwi=1 |
0≤πi≤1 | 0≤pi≤1 | 0≤wi≤1 |
累積分布関数
確率密度関数 fに対応する確率変数をXとすると、Xの累積分布関数 FXは次の通りである。
FX(x)=i=1∑kπkFi(x)
このとき、Fiはfiに対応する累積分布関数である。
期待値
それぞれのfiに対応する確率変数をXiとする。Xiの平均がμi=E[Xi]とすると、Xの期待値は次のようになる。
E[X]=∫xf(x)dx=∫xi=1∑kπifi(x)dx=i=1∑kπi∫xfi(x)dx=i=1∑kπiμi=μ
再度いうと、μ=E[X]はμiの加重平均である。
分散
Xの分散は次のようになる。
Var(X)=∫(x−μ)2f(x)dx=∫(x−μ)2i=1∑kπifi(x)dx=i=1∑kπi∫(x−μ)2fi(x)dx=i=1∑kπi∫[(x−μi)+(μi−μ)]2fi(x)dx=i=1∑kπi[∫(x−μi)2fi(x)dx+2(μi−μ)∫(x−μi)fi(x)dx+∫(μi−μ)2fi(x)dx]=i=1∑kπi∫(x−μi)2fi(x)dx+i=1∑kπi(μi−μ)2∫fi(x)dx
最後の等号は交差項で∫(x−μi)fi(x)dx=0になるため成立する。式を更に整理すると次のようになる。
Var(X)=i=1∑kπiσi2+i=1∑kπi(μi−μ)2
このとき、σi2はXiの分散である。
責任値
i=1∑kπi=1πi≥0∀i
πiが満たすべき性質が確率のそれと同じであるため、これを確率として解釈することができ、この場合は混合確率mixing probabilityという。f(i)=πiをi番目の成分が選ばれる事前確率密度とみなすなら、fi(x)を次のようにiが与えられたときの条件付き確率密度とみなすことができる。
fi(x)=f(x∣i)
すると、事後確率密度 f(i∣x)はベイズの定理に従って次のようになり、γiを責任値responsibilityという。
γi(x)=f(i∣x)=j=1∑kf(j)f(x∣j)f(i)f(x∣i)=f(x)f(i)f(x∣i)