logo

ネイマン-ピアソン補助定理の証明 📂数理統計学

ネイマン-ピアソン補助定理の証明

定理

仮説検定: H0:θ=θ0H1:θ=θ1 \begin{align*} H_{0} :& \theta = \theta_{0} \\ H_{1} :& \theta = \theta_{1} \end{align*}

上記の仮説検定において、θ0,θ1\theta_{0}, \theta_{1}確率密度関数または確率質量関数f(xθ0),f(xθ1)f \left( \mathbf{x} | \theta_{0} \right), f \left( \mathbf{x} | \theta_{1} \right)とし、棄却域RR、ある定数k0k \ge 0に対して

  • (i): f(xθ1)>kf(xθ0)f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)の場合xR\mathbf{x} \in R
  • (ii): f(xθ1)<kf(xθ0)f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)の場合xRc\mathbf{x} \in R^{c}
  • (iii): α=Pθ0(XR)\alpha = P_{\theta_{0}} \left( \mathbf{X} \in R \right)

であれば、次の二つの命題は同値である。


説明

与えられた仮説検定の母数空間はΘ={θ0,θ1}\Theta = \left\{ \theta_{0}, \theta_{1} \right\}であり、対立仮説θΘ0c    θ=θ1\theta \in \Theta_{0}^{c} \iff \theta = \theta_{1}であることに注意しよう。

検定力関数:

  1. 棄却域がRRである母数θ\thetaに対する関数β(θ):=Pθ(XR)\beta (\theta) := P_{\theta} \left( \mathbf{X} \in \mathbb{R} \right)検定力関数と呼ぶ。
  2. supθΘ0β(θ)=α\sup_{\theta \in \Theta_{0}} \beta (\theta) = \alphaならば、与えられた仮説検定をサイズα\alphaの仮説検定という。
  3. supθΘ0β(θ)α\sup_{\theta \in \Theta_{0}} \beta (\theta) \le \alphaならば、与えられた仮説検定をレベルα\alphaの仮説検定という。

全てのレベルα\alpha最強力検定が正確にサイズα\alpha最強力検定であるということは、条件(iii)を満たしているという意味である。条件(iii)を満たす、つまりサイズα\alphaの全ての仮説検定は Pθ(XR)=Pθ0(XR)=α P_{\theta} \left( \mathbf{X} \in R \right) = P_{\theta_{0}} \left( \mathbf{X} \in R \right) = \alpha であり、Θ0\Theta_{0}単元素集合であるため、レベルα\alphaの仮説検定でもある。

証明 1

戦略:確率密度関数、すなわち連続の場合に限って証明しよう。離散確率変数の場合は、単に\int\sumに変更すれば良い。証明を簡潔にするために、指示関数を使って次のようにテスト関数ϕ\phiを定義しよう。 ϕ(x):=χR(x)={1,if xR0,if xR \phi \left( \mathbf{x} \right) := \chi_{R} \left( \mathbf{x} \right) = \begin{cases} 1 & , \text{if } x \in R \\ 0 & , \text{if } x \notin R \end{cases}

ここに、

  • ϕ\phiが条件(i)〜(iii)を満たすテスト関数
    • β\betaϕ\phiに対する検定力関数
  • ϕ\phi 'が他の任意のレベルα\alphaに対する別のテスト関数
    • β\beta 'ϕ\phi 'に対する検定力関数

であるとする。


(    )\left( \impliedby \right)

条件(i)、(ii)において、

  • (i): f(xθ1)>kf(xθ0)f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)の場合xR    ϕ(x)=1\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) = 1
  • (ii): f(xθ1)<kf(xθ0)f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)の場合xRc    ϕ(x)=0\mathbf{x} \in R^{c} \implies \phi \left( \mathbf{x} \right) = 0

である。一方0ϕ(x)10 \le \phi’ \left( \mathbf{x} \right) \le 1であるため、

  • (ア): xR    ϕ(x)ϕ(x)0\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \ge 0
  • (イ): xR    ϕ(x)ϕ(x)0\mathbf{x} \notin R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \le 0

である。従って、(i)、(ア)または(ii)、(イ)のいずれかでϕ(x)ϕ(x)\phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right)f(xθ1)kf(xθ0)f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right)を掛け合わせて以下の不等式を得る。 [ϕ(x)ϕ(x)][f(xθ1)kf(xθ0)]0 \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] \ge 0 ここで標本空間全体に対して定積分Ωdx\int_{\Omega} \cdot d \mathbf{x}を行うと、 0Ω[ϕ(x)ϕ(x)][f(xθ1)kf(xθ0)]dx=Ωϕ(x)f(xθ1)ϕ(x)f(xθ1)ϕ(x)kf(xθ0)+ϕ(x)kf(xθ0)dx=Rf(xθ1)f(xθ1)kf(xθ0)+kf(xθ0)dx=β(θ1)β(θ1)kβ(θ0)+kβ(θ0) \begin{align*} 0 \le & \int_{\Omega} \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] d \mathbf{x} \\ =& \int_{\Omega} \phi \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi’ \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) + \phi’ \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \int_{R} f \left( \mathbf{x} | \theta_{1} \right) - f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) + k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \beta \left( \theta_{0} \right) + k \beta’ \left( \theta_{0} \right) \end{align*} になる。定義により、ϕ\phi 'はレベルαβ(θ)\alpha \ge \beta’ \left( \theta \right)の検定に関するものであり、ϕ=supβ(θ)\phi = \sup \beta \left( \theta \right)はサイズα\alphaの検定に関するものであったため、 β(θ0)β(θ0)=αβ(θ0)0 \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) = \alpha - \beta’ \left( \theta_{0} \right) \ge 0 となり、k0k \ge 0であるため、 0β(θ1)β(θ1)[kβ(θ0)β(θ0)]β(θ1)β(θ1) 0 \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - \left[ k \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) である。要約すると、

  • β(θ1)β(θ1)\beta’ \left( \theta_{1} \right) \le \beta \left( \theta_{1} \right)であり、
  • ϕ\phi 'は任意のレベルα\alphaであり、
  • θ1\theta_{1}Θ0c\Theta_{0}^{c}の唯一の要素であるため、

条件(i)〜(iii)を満たす仮説検定が最強力検定であることを示した。

最強力検定: C\mathcal{C}を上記のような仮説検定を集めた集合とする。

C\mathcal{C}において、検定力関数β(θ)\beta (\theta)を持つ仮説検定AAが、全てのθΘ0c\theta \in \Theta_{0}^{c}およびC\mathcal{C}の全ての仮説検定の検定力関数β(θ)\beta ' (\theta)に対して β(θ)β(θ) \beta ' (\theta) \le \beta (\theta) を満たせば、仮説検定ACA \in \mathcal{C}最強力検定(Uniformly) Most Powerful Test, UMPと呼ぶ。


(    )\left( \implies \right)

今、ϕ\phi 'をレベルα\alpha最強力検定のテスト関数とする。

ϕ\phiが条件(i)〜(iii)を満たすとしたので、対応する仮説検定も最強力検定であり、全てのθΘ0c\theta \in \Theta_{0}^{c}における検定力関数の値が等しくなる。つまりβ(θ1)=β(θ1)\beta \left( \theta_{1} \right) = \beta’ \left( \theta_{1} \right)であり、 0β(θ1)β(θ1)k[β(θ0)β(θ0)]=0k[β(θ0)β(θ0)] \begin{align*} 0 \le & \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \\ =& 0 - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \end{align*} である。

  • すぐ上で得た不等式を整理するとβ(θ0)β(θ0)\beta \left( \theta_{0} \right) \le \beta’ \left( \theta_{0} \right)であり、ϕ\phiはサイズα=supθΘ0β(θ)\alpha = \sup_{\theta \in \Theta_{0}} \beta (\theta)の仮説検定であったので、αβ(θ0)\alpha \le \beta’ \left( \theta_{0} \right)である。
  • 前提から、ϕ\phi 'はレベルαsupθΘ0β(θ)\alpha \ge \sup_{\theta \in \Theta_{0}} \beta ' (\theta)の仮説検定であったので、β(θ)α\beta ' (\theta) \le \alphaである。

両方の不等式によりβ(θ)=α\beta ' (\theta) = \alphaであり、ϕ\phi 'の仮説検定は正確にサイズα\alphaの検定であることが証明された。ただし、これはAf(xθ)dx=0\int_{A} f \left( \mathbf{x} | \theta \right) d \mathbf{x} = 0である集合AΩA \subset \Omegaの外側でのみ成り立つ不等式とされているため、要約でAAは例外として扱わなければならない。


  1. Casella. (2001). Statistical Inference(2nd Edition): p388~389. ↩︎