다변량 확률 변수의 변환
공식
다변량 확률 변수 $X = ( X_{1} , \cdots , X_{n} )$ 의 조인트 확률밀도함수 $f$ 가 $f(x_{1} , \cdots , x_{n})$ 와 같이 주어져있다고 하고 다음과 같은 변환을 생각해보자. $$ y_{1} = u_{1} (x_{1} , \cdots , x_{n}) \\ \vdots \\ y_{n} = u_{n} (x_{1} , \cdots , x_{n}) $$ 이러한 변환 $u_{1} , \cdots , u_{n}$ 는 단사가 아닐 수 있다. 따라서 $X$ 의 서포트 $S_{X}$ 는 $k$ 개의 파티션 $A_{1} , \cdots , A_{i} , \cdots , A_{k}$ 으로 나누어지고, 다음과 같은 역변환 $w_{ji} \mid_{i=1,\cdots,k \\ j=1,\cdots,n}$ 들을 생각할 수 있다. $$ x_{1} = w_{1i} ( y_{1} , \cdots , y_{n} ) \\ \vdots \\ x_{n} = w_{ni} ( y_{1} , \cdots , y_{n} ) $$ 이러한 변환에 따라 $$ Y_{1} = u_{1} (X_{1} , \cdots, X_{n}) \\ \vdots \\ Y_{n} = u_{n} (X_{1} , \cdots, X_{n}) $$ 과 변환된 다변량 확률 변수 $Y = ( Y_{1} , \cdots , Y_{n} )$ 의 조인트 확률밀도함수 $g$ 는 다음과 같다. $$ g(y_{1},\cdots,y_{n}) = \sum_{i=1}^{k} f \left[ w_{1i}(y_{1},\cdots , y_{n}) , \cdots , w_{ni}(y_{1},\cdots , y_{n}) \right] \left| J_{i} \right| $$
- $J_{i}$ 는 $i=1,\cdots , k$ 번째 자코비안 $J_{i} := \begin{bmatrix} {{ \partial w_{1i} } \over { \partial y_{1} }} & \cdots & {{ \partial w_{1i} } \over { \partial y_{n} }} \\ \vdots & \ddots & \vdots \\ {{ \partial w_{ni} } \over { \partial y_{1} }} & \cdots & {{ \partial w_{ni} } \over { \partial y_{n} }} \end{bmatrix}$ 의 행렬식이다.
- 주의사항으로, 이산 확률 변수에 대해서는 자코비안을 계산할 필요가 없다. 초보적인 실수지만 의외로 많은 사람들이 가지고 있는 오개념이다.
예시
확률 변수의 변환은 사실 말만 어려울 뿐 아니라 정직하고 복잡한 계산이 필요한 일이다. 변환이 단사가 아닌 경우를 나누어서 각자 자코비언을 계산해야하는데, 이게 얼마나 어려운 일일지는 문제에 따라 다르다. 이 어려움이 어떤 것인지 느껴보기 위해 다음의 예를 생각해보자: $$ f(x_{1} , x_{2}) = \begin{cases} {{ 1 } \over { \pi }} &, 0 < x_{1}^{2} + x_{2}^{2} < 1 \\ 0 &, \text{otherwise} \end{cases} $$ 위와 같은 확률 밀도 함수를 가지는 확률 변수는 원 안의 점을 유니폼한 확률로 샘플링한다. 자연스러운 변환은 직교좌표를 극좌표로 바꾸는 것이겠지만, 이해를 돕기 위해 다소 작위적인 변환 $Y_{1} = X_{1}^{2} + X_{2}^{2}$, $Y_{2} = X_{1}^{2} / (X_{1}^{2} + X_{2}^{2})$ 을 생각해보자. 식에 제곱이 있기 때문에 이 변환은 단사가 아니고, 다음과 같은 네 가지의 경우로 나누어서 생각을 해야한다. $$ \begin{align*} x_{1} = \sqrt{y_{1} y_{2}} & \land x_{2} = \sqrt{y_{1} (1 - y_{2}) } \\ x_{1} = \sqrt{y_{1} y_{2}} & \land x_{2} = - \sqrt{y_{1} (1 - y_{2}) } \\ x_{1} = -\sqrt{y_{1} y_{2}} & \land x_{2} = \sqrt{y_{1} (1 - y_{2}) } \\ x_{1} = - \sqrt{y_{1} y_{2}} & \land x_{2} = - \sqrt{y_{1} (1 - y_{2}) } \end{align*} $$ 이들의 $i = 1, 2, 3, 4$ 번째 자코비언은 각각 다음과 같이 계산된다. $$ \left| J_{1} \right| = \left| \det \begin{bmatrix} {{ 1 } \over { 2 }} \sqrt{{ y_{2} } \over { y_{1} }} & {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { y_{2} }} \\ {{ 1 } \over { 2 }} \sqrt{{ 1 - y_{2} } \over { y_{1} }} & - {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { 1 - y_{2} }} \end{bmatrix} \right| = - {{ 1 } \over { 4 \sqrt{y_{2} (1 - y_{2})} }} $$
$$ \left| J_{2} \right| = \left| \det \begin{bmatrix} {{ 1 } \over { 2 }} \sqrt{{ y_{2} } \over { y_{1} }} & - {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { y_{2} }} \\ {{ 1 } \over { 2 }} \sqrt{{ 1 - y_{2} } \over { y_{1} }} & {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { 1 - y_{2} }} \end{bmatrix} \right| = - {{ 1 } \over { 4 \sqrt{y_{2} (1 - y_{2})} }} $$
$$ \left| J_{3} \right| = \left| \det \begin{bmatrix} - {{ 1 } \over { 2 }} \sqrt{{ y_{2} } \over { y_{1} }} & {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { y_{2} }} \\ - {{ 1 } \over { 2 }} \sqrt{{ 1 - y_{2} } \over { y_{1} }} & - {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { 1 - y_{2} }} \end{bmatrix} \right| = {{ 1 } \over { 4 \sqrt{y_{2} (1 - y_{2})} }} $$
$$ \left| J_{4} \right| = \left| \det \begin{bmatrix} - {{ 1 } \over { 2 }} \sqrt{{ y_{2} } \over { y_{1} }} & - {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { y_{2} }} \\ - {{ 1 } \over { 2 }} \sqrt{{ 1 - y_{2} } \over { y_{1} }} & {{ 1 } \over { 2 }} \sqrt{{ y_{1} } \over { 1 - y_{2} }} \end{bmatrix} \right| = {{ 1 } \over { 4 \sqrt{y_{2} (1 - y_{2})} }} $$ 따라서 $y_{1} , y_{2}$ 으로 구해지는 새로운 조인트 확률 밀도 함수 $g$ 는 다음과 같다. $$ g(y_{1} , y_{2}) = \sum_{i=1}^{4} {{ 1 } \over { \pi }} \left| \pm {{ 1 } \over { 4 \sqrt{y_{2} (1 - y_{2})} }} \right| = {{ 1 } \over { \pi \sqrt{y_{2} (1 - y_{2})} }} $$
계산이 역겹게 보인다면 정상이다.