logo

네이만-피어슨 보조정리 증명 📂수리통계학

네이만-피어슨 보조정리 증명

정리

가설검정: H0:θ=θ0H1:θ=θ1 \begin{align*} H_{0} :& \theta = \theta_{0} \\ H_{1} :& \theta = \theta_{1} \end{align*}

위와 같은 가설검정에서 θ0,θ1\theta_{0}, \theta_{1} 에 대한 확률밀도함수 혹은 확률질량함수를 f(x∣θ0),f(x∣θ1)f \left( \mathbf{x} | \theta_{0} \right), f \left( \mathbf{x} | \theta_{1} \right) 이라 하고 기각역 RR 과 어떤 상수 k≥0k \ge 0 에 대해 만약

  • (i): f(x∣θ1)>kf(x∣θ0)f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right) 이면 x∈R\mathbf{x} \in R
  • (ii): f(x∣θ1)<kf(x∣θ0)f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right) 이면 x∈Rc\mathbf{x} \in R^{c}
  • (iii): α=Pθ0(X∈R)\alpha = P_{\theta_{0}} \left( \mathbf{X} \in R \right)

이라면, 다음 두 명제는 동치다.

  • 위 세 조건들을 만족시키는 모든 가설검정은 레벨 α\alpha의 최강력검정이다.
  • 만약 위 세 조건들을 상수 k>0k > 0 와 함께 만족시키는 가설검정이 존재한다면, 모든 레벨 α\alpha의 최강력검정은 Pθ0(X∈A)=Pθ1(X∈A)=0 P_{\theta_{0}} \left( \mathbf{X} \in A \right) = P_{\theta_{1}} \left( \mathbf{X} \in A \right) = 0 인 집합 A⊂ΩA \subset \Omega 만 제외하고 (i)과 (ii)를 만족시키고, 정확히 사이즈 α\alpha의 최강력검정이다.

설명

주어진 가설검정의 모수공간은 Θ={θ0,θ1}\Theta = \left\{ \theta_{0}, \theta_{1} \right\} 이고, 대립가설은 θ∈Θ0c  ⟺  θ=θ1\theta \in \Theta_{0}^{c} \iff \theta = \theta_{1} 임에 주의하자.

검정력함수:

  1. 모수 θ\theta 에 대해 기각역이 RR 인 함수 β(θ):=Pθ(X∈R)\beta (\theta) := P_{\theta} \left( \mathbf{X} \in \mathbb{R} \right) 을 검정력 함수power function라 한다.
  2. sup⁡θ∈Θ0β(θ)=α\sup_{\theta \in \Theta_{0}} \beta (\theta) = \alpha 면 주어진 가설검정을 사이즈size α\alpha 가설검정이라 한다.
  3. sup⁡θ∈Θ0β(θ)≤α\sup_{\theta \in \Theta_{0}} \beta (\theta) \le \alpha 면 주어진 가설검정을 레벨level α\alpha 가설검정이라 한다.

모든 레벨 α\alpha의 최강력검정이 정확히 사이즈 α\alpha의 최강력검정이라는 것은 곧 조건 (iii)을 만족시킨다는 의미다. 조건 (iii)을 만족하는, 그러니까 사이즈 α\alpha 인 모든 가설검정은 Pθ(X∈R)=Pθ0(X∈R)=α P_{\theta} \left( \mathbf{X} \in R \right) = P_{\theta_{0}} \left( \mathbf{X} \in R \right) = \alpha 이고 Θ0\Theta_{0} 가 홑원소 집합이므로 레벨 α\alpha 의 가설검정이기도 하다.

증명 1

전략: 확률밀도함수, 즉 연속인 경우만 증명하자. 이산확률변수인 경우엔 그냥 ∫\int 을 ∑\sum 으로 바꾸면 된다. 증명을 간단히 하기 위해 테스트 함수test function ϕ\phi 라는 것을 지시함수를 사용해 다음과 같이 정의하자. ϕ(x):=χR(x)={1,if x∈R0,if x∉R \phi \left( \mathbf{x} \right) := \chi_{R} \left( \mathbf{x} \right) = \begin{cases} 1 & , \text{if } x \in R \\ 0 & , \text{if } x \notin R \end{cases}

이에

  • ϕ\phi 가 조건 (i)~(iii)을 만족시키는 테스트 함수
    • β\beta 를 ϕ\phi 에 대한 검정력 함수
  • ϕ′\phi ' 가 아무 다른 레벨 α\alpha 에 대한 또다른 테스트 함수
    • β′\beta ' 를 ϕ′\phi ' 에 대한 검정력 함수

라 하자.

(  ⟸  )\left( \impliedby \right)

조건 (i), (ii)에서

  • (i): f(x∣θ1)>kf(x∣θ0)f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right) 이면 x∈R  ⟹  ϕ(x)=1\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) = 1
  • (ii): f(x∣θ1)<kf(x∣θ0)f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right) 이면 x∈Rc  ⟹  ϕ(x)=0\mathbf{x} \in R^{c} \implies \phi \left( \mathbf{x} \right) = 0

이다. 한편 0≤ϕ’(x)≤10 \le \phi’ \left( \mathbf{x} \right) \le 1 이므로

  • (가): x∈R  ⟹  ϕ(x)−ϕ’(x)≥0\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \ge 0
  • (나): x∉R  ⟹  ϕ(x)−ϕ’(x)≤0\mathbf{x} \notin R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \le 0

이다. 따라서 (i), (가)든 (ii), (나)든 f(x∣θ1)−kf(x∣θ0)f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) 에 ϕ(x)−ϕ’(x)\phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) 를 곱해서 다음의 부등식을 얻을 수 있다. [ϕ(x)−ϕ’(x)][f(x∣θ1)−kf(x∣θ0)]≥0 \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] \ge 0 여기에 표본공간 전체에 대한 정적분 ∫Ω⋅dx\int_{\Omega} \cdot d \mathbf{x} 을 취해보면 0≤∫Ω[ϕ(x)−ϕ’(x)][f(x∣θ1)−kf(x∣θ0)]dx=∫Ωϕ(x)f(x∣θ1)−ϕ’(x)f(x∣θ1)−ϕ(x)kf(x∣θ0)+ϕ’(x)kf(x∣θ0)dx=∫Rf(x∣θ1)−f(x∣θ1)−kf(x∣θ0)+kf(x∣θ0)dx=β(θ1)−β’(θ1)−kβ(θ0)+kβ’(θ0) \begin{align*} 0 \le & \int_{\Omega} \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] d \mathbf{x} \\ =& \int_{\Omega} \phi \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi’ \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) + \phi’ \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \int_{R} f \left( \mathbf{x} | \theta_{1} \right) - f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) + k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \beta \left( \theta_{0} \right) + k \beta’ \left( \theta_{0} \right) \end{align*} 이다. 정의에서 ϕ′\phi ' 는 레벨 α≥β’(θ)\alpha \ge \beta’ \left( \theta \right) 인 검정에 대한 것이었고, ϕ=sup⁡β(θ)\phi = \sup \beta \left( \theta \right) 는 사이즈 α\alpha 인 검정에 대한 것이었으므로 β(θ0)−β’(θ0)=α−β’(θ0)≥0 \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) = \alpha - \beta’ \left( \theta_{0} \right) \ge 0 이고, k≥0k \ge 0 이므로 0≤β(θ1)−β’(θ1)−[kβ(θ0)−β’(θ0)]≤β(θ1)−β’(θ1) 0 \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - \left[ k \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) 이다. 정리하면

  • β’(θ1)≤β(θ1)\beta’ \left( \theta_{1} \right) \le \beta \left( \theta_{1} \right) 이고,
  • ϕ′\phi ' 는 임의의 레벨 α\alpha 이었고,
  • θ1\theta_{1} 는 Θ0c\Theta_{0}^{c} 의 단 하나뿐인 원소이므로

조건 (i)~(iii)을 만족시킨 가설검정이 최강력검정임을 보였다.

최강력검정: C\mathcal{C} 가 위와 같은 가설검정을 모아놓은 집합이라고 하자.

C\mathcal{C} 에서 검정력 함수 β(θ)\beta (\theta) 를 가진 가설검정 AA 가, 모든 θ∈Θ0c\theta \in \Theta_{0}^{c} 와 C\mathcal{C} 의 모든 가설검정의 검정력 함수 β′(θ)\beta ' (\theta) 에 대해 β′(θ)≤β(θ) \beta ' (\theta) \le \beta (\theta) 를 만족시키면 가설검정 A∈CA \in \mathcal{C} 를 최강력검정(Uniformly) Most Powerful Test, UMP이라 한다.

(  ⟹  )\left( \implies \right)

이제 ϕ′\phi ' 가 레벨 α\alpha 최강력검정의 테스트 함수라 하자.

ϕ\phi 가 조건 (i)~(iii)을 만족시킨다고 했으므로, ϕ\phi 에 대응되는 가설검정도 최강력검정이고, 모든 θ∈Θ0c\theta \in \Theta_{0}^{c} 에서 검정력 함수의 값이 같아진다. 즉 β(θ1)=β’(θ1)\beta \left( \theta_{1} \right) = \beta’ \left( \theta_{1} \right) 이고, 가정의 k>0k>0 과 0≤β(θ1)−β’(θ1)−k[β(θ0)−β’(θ0)]=0−k[β(θ0)−β’(θ0)] \begin{align*} 0 \le & \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \\ =& 0 - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \end{align*} 이다.

  • 바로 위에서 얻은 부등식을 정리하면 β(θ0)≤β’(θ0)\beta \left( \theta_{0} \right) \le \beta’ \left( \theta_{0} \right) 고, ϕ\phi 는 사이즈 α=sup⁡θ∈Θ0β(θ)\alpha = \sup_{\theta \in \Theta_{0}} \beta (\theta) 가설검정이었으므로 α≤β’(θ0)\alpha \le \beta’ \left( \theta_{0} \right) 다.
  • 가정에서 ϕ′\phi ' 는 레벨 α≥sup⁡θ∈Θ0β′(θ)\alpha \ge \sup_{\theta \in \Theta_{0}} \beta ' (\theta) 가설검정이었으므로 β′(θ)≤α\beta ' (\theta) \le \alpha 다.

두 부등식에 따라 β′(θ)=α\beta ' (\theta) = \alpha 고, ϕ′\phi ' 의 가설검정은 정확히 사이즈 α\alpha 의 가설 검정임을 증명했다. 다만 이는 ∫Af(x∣θ)dx=0\int_{A} f \left( \mathbf{x} | \theta \right) d \mathbf{x} = 0 인 집합 A⊂ΩA \subset \Omega 외에서만 성립하는 부등식으로 보인 것이므로, 정리에서 AA 는 예외로 두어야한다.

■

  1. Casella. (2001). Statistical Inference(2nd Edition): p388~389. ↩︎