📂수리통계학

모먼트 메소드

정의 ¹

주어진 분포의 모수를 모를 때, 적률로써 모수에 대한 연립방정식을 세우고 그 해를 모수의 추정량으로 보는 방법을 모먼트 메소드^{moment method}라 한다.

설명

모먼트 메소드는 최소 1800년대부터 칼 피어슨^{karl Pearson} 등에 의해 오래도록 사용된 점 추정 기법이다. 많은 경우에서 대단히 좋은 결과를 도출해내지는 못했지만, 가장 간단하고 쉬운 접근법이기 때문에 어떤 연구를 하든 가장 처음으로 시도해봄직하다.

예시: 범죄율

이항분포 $B \left( k, p \right)$ 를 따르는 랜덤샘플 $X_{1} , \cdots , X_{n}$ 이 주어져 있다고 하자. 이항분포는 $k$ 과 $p$ 가 주어진 상황에서 아주 쉽고 간단하게 분석할 수 있는데, 우리는 $k$ 와 $p$ 를 모르고 데이터만 주어진 경우를 생각해보려고 한다. 이는 이를테면 범죄율^{crime rate}, 특히 성범죄처럼 범행이 있었음에도 신고되지 않은 케이스들을 고려해야할 때 응용 될 수 있다. $k$ 가 전체 사건의 수, $p$ 가 신고할 확률이라고 가정하면 각 사건은 신고되었느냐($p$) 신고되지 않았느냐($1-p$) 의 확률로 신고된 사건의 수는 이항분포 $B \left( k, p \right)$ 는 실제 신고 수의 데이터가 따르는 분포로 이해할 수 있는 것이다.

우리는 $1$차 적률이 평균, $2$차 적률이 분산에 관계된다는 것을 알고 있다. 이에 따라 연립방정식을 세워보면 $$ \begin{align*} m_{1} := {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} =& kp \\ m_{2} := {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i}^{2} =& kp(1-p) + k^{2} p^{2} \end{align*} $$ 을 얻는다. 연립방정식을 풀어보면 $p$ 의 추정량 $\hat{p}$ 은 $k$ 의 추정량 $\hat{k}$ 에 대해 $$ \hat{p} = {{ 1 } \over { k }} {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} = {{ \overline{X} } \over { \hat{k} }} $$ 이고, $\hat{k}$ 는 $$ \begin{align*} & {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i}^{2} = kp(1-p) + k^{2} p^{2} \\ \implies & {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i}^{2} = {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} \cdot (1-p) + \left( {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} \right)^{2} \\ \implies & {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i}^{2} = {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} \cdot \left( 1 - {{ \overline{X} } \over { \hat{k} }} \right) + \left( {{ 1 } \over { n }} \sum_{i=1}^{n} X_{i} \right)^{2} \\ \implies & m_{2} = m_{1} \left( 1 - {{ m_{1} } \over { \hat{k} }} \right) + m_{1}^{2} \\ \implies & {{ \left( m_{2} - m_{1}^{2} \right) } \over { m_{1} }} = 1 - {{ m_{1} } \over { \hat{k} }} \\ \implies & {{ m_{1} } \over { \hat{k} }} = {{ m_{1} - \left( m_{2} - m_{1}^{2} \right) } \over { m_{1} }} \\ \implies & \hat{k} = {{ m_{1}^{2} } \over { m_{1} - \left( m_{2} - m_{1}^{2} \right) }} \end{align*} $$ 즉 $$ \hat{k} = {{ \overline{X}^{2} } \over { \overline{X}^{2} - \sum \left( X_{i} - \overline{X} \right)^{2} / n }} $$ 이다. 이는 꽤 쓸만한 추정량이지만, 분모가 음수가 되거나 $0$ 에 가까워지면 블로 업^{blow up}하기 때문에 사용하기 곤란할 수 있다. 수식을 보면 분모에 문제가 생기는 것은 (i) 데이터 자체가 너무 작아서 $\overline{X}^{2}$ 도 너무 작거나, (ii) 분산이 너무 커서 $\sum \left( X_{i} - \overline{X} \right)^{2}$ 도 너무 큰 경우다. 이는 통계적인 직관과 크게 상충되지 않으며, 결점이긴 하지만 충분히 납득이 갈만한 결점이라 할 수 있다.