多項分布の共分散行列の導出
公式
ランダムベクター $\mathbf{X} := \left( X_{1} , \cdots , X_{k} \right)$ が 多項分布 $M_{k} \left( n, \mathbf{p} \right)$ に従うなら、共分散行列は次の通りだ。 $$ \operatorname{Cov} \left( \mathbf{X} \right) = n \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k} p_{1} & - p_{k} p_{2} & \cdots & p_{k} \left( 1 - p_{k} \right) \end{bmatrix} $$
説明
多項分布の成分同士は、ランダムベクターの合計が $n$ でなければならないという制約条件のため、独立ではなくほぼ排他的であると言える。したがって、$i \ne j$ の時、各成分は負の相関関係を持つしかない。
導出 1
$i = j$ ならば $\operatorname{Cov} \left( X_{i} , X_{i} \right) = \operatorname{Var} \left( X_{i} \right)$ で、$X_{i}$ 各成分は独立に 二項分布 $\text{Bin} \left( n , p_{i} \right)$ に従う。従って、共分散行列の $i$ 番目の対角成分は $n p_{i} \left( 1 - p_{i} \right)$ になる。
多項分布の束ねる性質: $i \ne j$ について、$X_{i} + X_{j}$ は 二項分布 $\text{Bin} \left( n , p_{i} + p_{j} \right)$ に従う。 $$ X_{i} + X_{j} \sim \text{Bin} \left( n , p_{i} + p_{j} \right) $$
$i \ne j$ の場合、束ねる性質により次のことが得られる。 $$ \begin{align*} && \operatorname{Var} \left( X_{i} + X_{j} \right) =& \operatorname{Var} X_{i} + \operatorname{Var} X_{j} + 2 \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ \implies && n \left( p_{i} + p_{j} \right) \left( 1 - p_{i} - p_{j} \right) =& n p_{i} \left( 1 - p_{i} \right) + n p_{j} \left( 1 - p_{j} \right)+ 2 \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ \implies && n \left( p_{i} + p_{j} \right) \left( - p_{i} - p_{j} \right) =& n p_{i} \left( - p_{i} \right) + n p_{j} \left( - p_{j} \right)+ 2 \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ \implies && - 2 n p_{i} p_{j} =& 2 \operatorname{Cov} \left( X_{i} , X_{j} \right) \\ \implies && \operatorname{Cov} \left( X_{i} , X_{j} \right) =& - n p_{i} p_{j} \end{align*} $$
■