📂수리통계학

수리통계학에서의 델타 메소드

정리

상수 $\theta \in \mathbb{R}$ 와 확률변수의 시퀀스 $\left\{ Y_{n} \right\}_{n \in \mathbb{N}}$ 에 대해 $\sqrt{n} \left( Y_{n} - \theta \right)$ 가 정규분포 $N \left(0, \sigma^{2} \right)$ 로 분포수렴한다고 하자.

$1$계 델타 메소드 ¹

$g ' (\theta) \ne 0$ 이 존재한다면, $$ \sqrt{n} \left[ g \left( Y_{n} \right) - g(\theta) \right] \overset{D}{\to} N \left( 0, \sigma^{2} \left[ g ' (\theta) \right]^{2} \right) $$

$2$계 델타 메소드 ²

$g ' (\theta) = 0$ 이고 $g''(\theta) \ne 0$ 이 존재한다면, $$ n \left[ g \left( Y_{n} \right) - g(\theta) \right] \overset{D}{\to} \sigma^{2} {{ g''\left( \theta \right) } \over { 2 }} \chi_{1}^{2} $$

일반화된 델타 메소드

$n$ 에 종속된 어떤 $k_{n}$ 에 대해 $k_{n} \left( Y_{n} - \theta \right) \overset{D}{\to} Y$ 라고 하자. 만약

• $k \in [r-1]$ 에 대해 $g^{(k)} (\theta) = 0$
• $g^{(r)} (\theta) \ne 0$ 가 존재
• $g^{(r)}$ 가 $\theta$ 에서 연속

이라면, $$ k_{n}^{r} \left[ g \left( Y_{n} \right) - g (\theta) \right] \overset{D}{\to} {{ g^{(r)} (\theta) } \over { r! }} Y^{r} $$

---

• $\overset{D}{\to}$ 는 분포수렴을 의미한다.
• $\chi_{1}^{2}$ 는 카이제곱분포를 나타낸다.
• $g^{(k)}$ 는 $k$계 도함수다.
• $[r-1]$ 은 $r-1$ 까지의 자연수를 모아놓은 집합 $\left\{ 1, \cdots, r-1 \right\}$ 이다.

설명

델타 메소드^{delta method}는 수리통계학에서 많은 분포수렴을 설명하는 보조정리로써 폭넓게 쓰인다.

예제

가령 $X$ 의 평균과 분산을 알고 있을 때, $$ g(X) = g (\mu) + g ' (\mu) \left( X - \mu \right) $$ 이면 $$ \begin{align*} E g(X) \approx & g (\mu) \\ \operatorname{Var} g (X) \approx & \left[ g ' (\mu) \right]^2 \operatorname{Var} X \end{align*} $$ 다. 만약 원래 $X$ 의 역수에 대한 평균과 분산이 궁금하다면 함수 $g(x) := 1/x$ 에 대해 다음과 같은 결과를 얻어낼 수 있다. $$ \begin{align*} E {{ 1 } \over { X }} \approx & {{ 1 } \over { \mu }} \\ \operatorname{Var} {{ 1 } \over { X }} \approx & \left[ {{ 1 } \over { \mu }} \right]^{4} \operatorname{Var} X \end{align*} $$ 물론 이것이 정확한 델타 메소드의 결과는 아니지만, 확률변수의 함수꼴을 다룰 수 있게 도와주는 도구로써 언제나 델타 메소드를 떠올릴 수 있어야한다.

증명

전략: 사실상 테일러전개와 슬러츠키 정리에서 끝난다.

슬러츠키 정리: 상수 $a,b$ 와 확률 변수 $A_{n}, B_{n} ,X_{n} , X$ 에 대해 $a_{n} \overset{P}{\to} a $, $ B_{n} \overset{P}{\to} b $, $ X_{n} \overset{D}{\to} X $ 면 $$ A_{n} + B_{n} X_{n} \overset{D}{\to} a + b X $$

일반화된 델타 메소드의 증명은 생략한다.

$1$계 델타 메소드의 증명

$Y_{n} = \theta$ 근방에서 $g \left( Y_{n} \right)$ 은 $\lim_{Y_{n} \to \theta} R \to 0$ 인 나머지항 $R$ 에 대해 $$ g \left( Y_{n} \right) = g (\theta) + g ' (\theta) \left( Y_{n} - \theta \right) + R $$ 이다. $g(\theta)$ 를 좌변으로 넘기고 $\sqrt{n}$ 을 곱하면 $$ \sqrt{n} \left[ g \left( Y_{n} \right) - g(\theta) \right] \approx g ' (\theta) \sqrt{n} \left( Y_{n} - \theta \right) $$ 고, 슬러츠키 정리에 따라 증명이 끝난다.

■

$2$계 델타 메소드의 증명

마찬가지로 $Y_{n} = \theta$ 근방에서 $g \left( Y_{n} \right)$ 은 $\lim_{Y_{n} \to \theta} R \to 0$ 인 나머지항 $R$ 에 대해 $$ \begin{align*} g \left( Y_{n} \right) =& g (\theta) + g ' (\theta) \left( Y_{n} - \theta \right) + {{ g''(\theta) } \over { 2 }} \left( Y_{n} - \theta \right)^{2} + R \\ =& g (\theta) + 0 \cdot \left( Y_{n} - \theta \right) + {{ \sigma^{2} } \over { \sigma^{2} }} {{ g''(\theta) } \over { 2 }} \left( Y_{n} - \theta \right)^{2} + R \end{align*} $$ 이다. 역시 $g(\theta)$ 를 좌변으로 넘기고 $n$ 을 곱하면 $$ n \left[ g \left( Y_{n} \right) - g (\theta) \right] \approx \sigma^{2} {{ g''(\theta) } \over { 2 }} {{ \left( Y_{n} - \theta \right)^{2} } \over { \sigma^{2}/n }} $$ 고, 표준정규분포의 제곱인 ${{ \left( Y_{n} - \theta \right)^{2} } \over { \sigma^{2}/n }}$ 가 카이제곱분포 $\chi_{1}^{2}$ 로 분포 수렴해 슬러츠키 정리에 따라 증명이 끝난다.

■