수리통계학에서의 조건부 확률 분포
정의
- 이산 확률 변수 $X_{1}, X_{2}, \cdots , X_{n}$ 에 대해 다음의 $p_{2, \cdots , n \mid 1}$ 를 $X_{1} = x_{1}$ 이 주어졌을 때의 $ X_{2}, \cdots , X_{n}$ 의 조인트 조건부 확률 질량 함수라고 한다. $$ p_{2, \cdots , n \mid 1} ( x_{2} , \cdots ,x_{n} \mid X_{1} = x_{1} ) = {{ p_{1, \cdots , n}(x_{1} , x_{2} , \cdots , x_{n}) } \over { p_{1}( X_{1} = x_{1} ) }} $$
- 연속 확률 변수 $X_{1}, X_{2}, \cdots , X_{n}$ 에 대해 다음의 $f_{2, \cdots , n \mid 1}$ 를 $X_{1} = x_{1}$ 이 주어졌을 때의 $ X_{2}, \cdots , X_{n}$ 의 조인트 조건부 확률 밀도 함수라고 한다. $$ f_{2, \cdots , n \mid 1} ( x_{2} , \cdots ,x_{n} \mid X_{1} = x_{1} ) = {{ f_{1, \cdots , n}(x_{1} , x_{2} , \cdots , x_{n}) } \over { f_{1}( X_{1} = x_{1} ) }} $$
- $X_{2} , \cdots , X_{n}$ 에 대한 함수 $u$ 가 주어져 있을 때, 다음을 $X_{1} = x_{1}$ 이 주어졌을 때의 $u( X_{2}, \cdots , X_{n} )$ 의 조건부 기대값이라고 한다. $$ \begin{align*} & E \left[ u \left( X_{2} , \cdots , X_{n} \right) \mid X_{1} = x_{1} \right] \\ =& \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} u (x_{2} , \cdots , x_{n}) f_{2 , \cdots , n \mid 1} (x_{2} , \cdots, x_{n} \mid X_{1} = x_{1}) dx_{2} \cdots , dx_{n} \end{align*} $$
정리
- [1] 조건부 분산: $$ \begin{align*} \operatorname{Var} (X_{2} | X_{1} = x_{1}) =& E \left[ \left( X_{2} - E (X_{2} \mid X_{1} = x_{1}) \right)^{2} \mid X_{1} = x_{1} \right] \\ =& E \left( X_{2}^{2} \mid X_{1} = x_{1} \right) - \left[ E(X_{2} \mid X_{1} = x_{1}) \right]^{2} \end{align*} $$
- [2]: $E \left[ E (X_{2} | X_{1}) \right] = E (X_{2} )$
- [3]: $\operatorname{Var}(X_{2})$ 이 존재하면 $\operatorname{Var} \left[ E \left( X_{2} \mid X_{1} \right) \right] \le \operatorname{Var} (X_{2})$
설명
조건부 확률, 조건부 기대값은 교과과정 수준에서 그랬듯 수리통계학에서도 가장 계산하기 까다로운 파트에 속한다. 다른 건 차치하고서라도 다변량인 이상 아무래도 계산이 많아질 수밖에 없다. 물론 조건부라는 개념은 그럴만한 가치가 있다. 한편 고작해봐야 미적분학에 의존하고 있는 수리통계학과 달리 측도론에 그 기반을 둔 확률론으로 발전하게 되면 그 계산들이 한결 간결해진다. 요지는 ‘무시하지는 말되, 너무 집착하지도 말라’는 것이다.