다항 분포의 공분산 행렬 유도
공식
랜덤벡터 $\mathbf{X} := \left( X_{1} , \cdots , X_{k} \right)$ 가 다항분포 $M_{k} \left( n, \mathbf{p} \right)$ 면 공분산행렬은 다음과 같다. $$ \text{Cov} \left( \mathbf{X} \right) = n \begin{bmatrix} p_{1} \left( 1 - p_{1} \right) & - p_{1} p_{2} & \cdots & - p_{1} p_{k} \\ - p_{2} p_{1} & p_{2} \left( 1 - p_{2} \right) & \cdots & - p_{2} p_{2} \\ \vdots & \vdots & \ddots & \vdots \\ - p_{k} p_{1} & - p_{k} p_{2} & \cdots & p_{k} \left( 1 - p_{k} \right) \end{bmatrix} $$
설명
다항 분포의 성분끼리는 독립이 아닌 정도가 아니라 거의 배반이라고 할 수 있는데, 랜덤벡터의 합이 $n$ 이어야한다는 제약조건이 있기 때문에 $i \ne j$ 일 때 각 성분끼리는 음의 상관관계를 가질수밖에 없다.
유도 1
$i = j$ 면 $\text{Cov} \left( X_{i} , X_{i} \right) = \text{Var} \left( X_{i} \right)$ 고 $X_{i}$ 단독으로는 이항분포 $\text{Bin} \left( n , p_{i} \right)$ 를 따르므로 공분산행렬의 $i$번째 대각성분은 $n p_{i} \left( 1 - p_{i} \right)$ 가 된다.
다항 분포의 묶음 성질: $i \ne j$ 에 대해 $X_{i} + X_{j}$ 는 이항분포 $\text{Bin} \left( n , p_{i} + p_{j} \right)$ 를 따른다. $$ X_{i} + X_{j} \sim \text{Bin} \left( n , p_{i} + p_{j} \right) $$
$i \ne j$ 면 묶음성질에 따라 다음을 얻는다. $$ \begin{align*} && \text{Var} \left( X_{i} + X_{j} \right) =& \text{Var} X_{i} + \text{Var} X_{j} + 2 \text{Cov} \left( X_{i} , X_{j} \right) \\ \implies && n \left( p_{i} + p_{j} \right) \left( 1 - p_{i} - p_{j} \right) =& n p_{i} \left( 1 - p_{i} \right) + n p_{j} \left( 1 - p_{j} \right)+ 2 \text{Cov} \left( X_{i} , X_{j} \right) \\ \implies && n \left( p_{i} + p_{j} \right) \left( - p_{i} - p_{j} \right) =& n p_{i} \left( - p_{i} \right) + n p_{j} \left( - p_{j} \right)+ 2 \text{Cov} \left( X_{i} , X_{j} \right) \\ \implies && - 2 n p_{i} p_{j} =& 2 \text{Cov} \left( X_{i} , X_{j} \right) \\ \implies && \text{Cov} \left( X_{i} , X_{j} \right) =& - n p_{i} p_{j} \end{align*} $$
■