📂수리통계학

네이만-피어슨 보조정리 증명

정리

가설검정: $$ \begin{align*} H_{0} :& \theta = \theta_{0} \\ H_{1} :& \theta = \theta_{1} \end{align*} $$

위와 같은 가설검정에서 $\theta_{0}, \theta_{1}$ 에 대한 확률밀도함수 혹은 확률질량함수를 $f \left( \mathbf{x} | \theta_{0} \right), f \left( \mathbf{x} | \theta_{1} \right)$ 이라 하고 기각역 $R$ 과 어떤 상수 $k \ge 0$ 에 대해 만약

• (i): $f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)$ 이면 $\mathbf{x} \in R$
• (ii): $f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)$ 이면 $\mathbf{x} \in R^{c}$
• (iii): $\alpha = P_{\theta_{0}} \left( \mathbf{X} \in R \right)$

이라면, 다음 두 명제는 동치다.

• 위 세 조건들을 만족시키는 모든 가설검정은 레벨 $\alpha$의 최강력검정이다.
• 만약 위 세 조건들을 상수 $k > 0$ 와 함께 만족시키는 가설검정이 존재한다면, 모든 레벨 $\alpha$의 최강력검정은 $$ P_{\theta_{0}} \left( \mathbf{X} \in A \right) = P_{\theta_{1}} \left( \mathbf{X} \in A \right) = 0 $$ 인 집합 $A \subset \Omega$ 만 제외하고 (i)과 (ii)를 만족시키고, 정확히 사이즈 $\alpha$의 최강력검정이다.

---

• $\Omega$ 는 표본공간이다.

설명

주어진 가설검정의 모수공간은 $\Theta = \left\{ \theta_{0}, \theta_{1} \right\}$ 이고, 대립가설은 $\theta \in \Theta_{0}^{c} \iff \theta = \theta_{1}$ 임에 주의하자.

검정력함수:

1. 모수 $\theta$ 에 대해 기각역이 $R$ 인 함수 $\beta (\theta) := P_{\theta} \left( \mathbf{X} \in \mathbb{R} \right)$ 을 검정력 함수^{power function}라 한다.
2. $\sup_{\theta \in \Theta_{0}} \beta (\theta) = \alpha$ 면 주어진 가설검정을 사이즈^size $\alpha$ 가설검정이라 한다.
3. $\sup_{\theta \in \Theta_{0}} \beta (\theta) \le \alpha$ 면 주어진 가설검정을 레벨^level $\alpha$ 가설검정이라 한다.

모든 레벨 $\alpha$의 최강력검정이 정확히 사이즈 $\alpha$의 최강력검정이라는 것은 곧 조건 (iii)을 만족시킨다는 의미다. 조건 (iii)을 만족하는, 그러니까 사이즈 $\alpha$ 인 모든 가설검정은 $$ P_{\theta} \left( \mathbf{X} \in R \right) = P_{\theta_{0}} \left( \mathbf{X} \in R \right) = \alpha $$ 이고 $\Theta_{0}$ 가 홑원소 집합이므로 레벨 $\alpha$ 의 가설검정이기도 하다.

증명 ¹

전략: 확률밀도함수, 즉 연속인 경우만 증명하자. 이산확률변수인 경우엔 그냥 $\int$ 을 $\sum$ 으로 바꾸면 된다. 증명을 간단히 하기 위해 테스트 함수^{test function} $\phi$ 라는 것을 지시함수를 사용해 다음과 같이 정의하자. $$ \phi \left( \mathbf{x} \right) := \chi_{R} \left( \mathbf{x} \right) = \begin{cases} 1 & , \text{if } x \in R \\ 0 & , \text{if } x \notin R \end{cases} $$

이에

• $\phi$ 가 조건 (i)~(iii)을 만족시키는 테스트 함수
  • $\beta$ 를 $\phi$ 에 대한 검정력 함수
• $\phi '$ 가 아무 다른 레벨 $\alpha$ 에 대한 또다른 테스트 함수
  • $\beta '$ 를 $\phi '$ 에 대한 검정력 함수

라 하자.

---

$\left( \impliedby \right)$

조건 (i), (ii)에서

• (i): $f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)$ 이면 $\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) = 1$
• (ii): $f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)$ 이면 $\mathbf{x} \in R^{c} \implies \phi \left( \mathbf{x} \right) = 0$

이다. 한편 $0 \le \phi’ \left( \mathbf{x} \right) \le 1$ 이므로

• (가): $\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \ge 0$
• (나): $\mathbf{x} \notin R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \le 0$

이다. 따라서 (i), (가)든 (ii), (나)든 $f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right)$ 에 $\phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right)$ 를 곱해서 다음의 부등식을 얻을 수 있다. $$ \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] \ge 0 $$ 여기에 표본공간 전체에 대한 정적분 $\int_{\Omega} \cdot d \mathbf{x}$ 을 취해보면 $$ \begin{align*} 0 \le & \int_{\Omega} \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] d \mathbf{x} \\ =& \int_{\Omega} \phi \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi’ \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) + \phi’ \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \int_{R} f \left( \mathbf{x} | \theta_{1} \right) - f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) + k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \beta \left( \theta_{0} \right) + k \beta’ \left( \theta_{0} \right) \end{align*} $$ 이다. 정의에서 $\phi '$ 는 레벨 $\alpha \ge \beta’ \left( \theta \right)$ 인 검정에 대한 것이었고, $\phi = \sup \beta \left( \theta \right)$ 는 사이즈 $\alpha$ 인 검정에 대한 것이었으므로 $$ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) = \alpha - \beta’ \left( \theta_{0} \right) \ge 0 $$ 이고, $k \ge 0$ 이므로 $$ 0 \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - \left[ k \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) $$ 이다. 정리하면

• $\beta’ \left( \theta_{1} \right) \le \beta \left( \theta_{1} \right)$ 이고,
• $\phi '$ 는 임의의 레벨 $\alpha$ 이었고,
• $\theta_{1}$ 는 $\Theta_{0}^{c}$ 의 단 하나뿐인 원소이므로

조건 (i)~(iii)을 만족시킨 가설검정이 최강력검정임을 보였다.

최강력검정: $\mathcal{C}$ 가 위와 같은 가설검정을 모아놓은 집합이라고 하자.

$\mathcal{C}$ 에서 검정력 함수 $\beta (\theta)$ 를 가진 가설검정 $A$ 가, 모든 $\theta \in \Theta_{0}^{c}$ 와 $\mathcal{C}$ 의 모든 가설검정의 검정력 함수 $\beta ' (\theta)$ 에 대해 $$ \beta ' (\theta) \le \beta (\theta) $$ 를 만족시키면 가설검정 $A \in \mathcal{C}$ 를 최강력검정^{(Uniformly) Most Powerful Test, UMP}이라 한다.

---

$\left( \implies \right)$

이제 $\phi '$ 가 레벨 $\alpha$ 최강력검정의 테스트 함수라 하자.

$\phi$ 가 조건 (i)~(iii)을 만족시킨다고 했으므로, $\phi$ 에 대응되는 가설검정도 최강력검정이고, 모든 $\theta \in \Theta_{0}^{c}$ 에서 검정력 함수의 값이 같아진다. 즉 $\beta \left( \theta_{1} \right) = \beta’ \left( \theta_{1} \right)$ 이고, 가정의 $k>0$ 과 $$ \begin{align*} 0 \le & \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \\ =& 0 - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \end{align*} $$ 이다.

• 바로 위에서 얻은 부등식을 정리하면 $\beta \left( \theta_{0} \right) \le \beta’ \left( \theta_{0} \right)$ 고, $\phi$ 는 사이즈 $\alpha = \sup_{\theta \in \Theta_{0}} \beta (\theta)$ 가설검정이었으므로 $\alpha \le \beta’ \left( \theta_{0} \right)$ 다.
• 가정에서 $\phi '$ 는 레벨 $\alpha \ge \sup_{\theta \in \Theta_{0}} \beta ' (\theta)$ 가설검정이었으므로 $\beta ' (\theta) \le \alpha$ 다.

두 부등식에 따라 $\beta ' (\theta) = \alpha$ 고, $\phi '$ 의 가설검정은 정확히 사이즈 $\alpha$ 의 가설 검정임을 증명했다. 다만 이는 $\int_{A} f \left( \mathbf{x} | \theta \right) d \mathbf{x} = 0$ 인 집합 $A \subset \Omega$ 외에서만 성립하는 부등식으로 보인 것이므로, 정리에서 $A$ 는 예외로 두어야한다.

■