📂数理統計学

ネイマン-ピアソン補助定理の証明

定理

仮説検定: $$ \begin{align*} H_{0} :& \theta = \theta_{0} \\ H_{1} :& \theta = \theta_{1} \end{align*} $$

上記の仮説検定において、$\theta_{0}, \theta_{1}$の確率密度関数または確率質量関数を$f \left( \mathbf{x} | \theta_{0} \right), f \left( \mathbf{x} | \theta_{1} \right)$とし、棄却域を$R$、ある定数$k \ge 0$に対して

• (i): $f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)$の場合$\mathbf{x} \in R$
• (ii): $f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)$の場合$\mathbf{x} \in R^{c}$
• (iii): $\alpha = P_{\theta_{0}} \left( \mathbf{X} \in R \right)$

であれば、次の二つの命題は同値である。

• 上記の三つの条件を満たす全ての仮説検定は、レベル$\alpha$の最強力検定である。
• 上記の三つの条件を定数$k > 0$と共に満たす仮説検定が存在する場合、全てのレベル$\alpha$の最強力検定は、セット$A \subset \Omega$を除き、(i)と(ii)を満たし、正確にサイズ$\alpha$の最強力検定である。

---

• $\Omega$は標本空間である。

説明

与えられた仮説検定の母数空間は$\Theta = \left\{ \theta_{0}, \theta_{1} \right\}$であり、対立仮説は$\theta \in \Theta_{0}^{c} \iff \theta = \theta_{1}$であることに注意しよう。

検定力関数:

1. 棄却域が$R$である母数$\theta$に対する関数$\beta (\theta) := P_{\theta} \left( \mathbf{X} \in \mathbb{R} \right)$を検定力関数と呼ぶ。
2. $\sup_{\theta \in \Theta_{0}} \beta (\theta) = \alpha$ならば、与えられた仮説検定をサイズ$\alpha$の仮説検定という。
3. $\sup_{\theta \in \Theta_{0}} \beta (\theta) \le \alpha$ならば、与えられた仮説検定をレベル$\alpha$の仮説検定という。

全てのレベル$\alpha$の最強力検定が正確にサイズ$\alpha$の最強力検定であるということは、条件(iii)を満たしているという意味である。条件(iii)を満たす、つまりサイズ$\alpha$の全ての仮説検定は $$ P_{\theta} \left( \mathbf{X} \in R \right) = P_{\theta_{0}} \left( \mathbf{X} \in R \right) = \alpha $$ であり、$\Theta_{0}$が単元素集合であるため、レベル$\alpha$の仮説検定でもある。

証明 ¹

戦略：確率密度関数、すなわち連続の場合に限って証明しよう。離散確率変数の場合は、単に$\int$を$\sum$に変更すれば良い。証明を簡潔にするために、指示関数を使って次のようにテスト関数$\phi$を定義しよう。 $$ \phi \left( \mathbf{x} \right) := \chi_{R} \left( \mathbf{x} \right) = \begin{cases} 1 & , \text{if } x \in R \\ 0 & , \text{if } x \notin R \end{cases} $$

ここに、

• $\phi$が条件(i)〜(iii)を満たすテスト関数
  • $\beta$を$\phi$に対する検定力関数
• $\phi '$が他の任意のレベル$\alpha$に対する別のテスト関数
  • $\beta '$を$\phi '$に対する検定力関数

であるとする。

---

$\left( \impliedby \right)$

条件(i)、(ii)において、

• (i): $f \left( \mathbf{x} | \theta_{1} \right) > k f \left( \mathbf{x} | \theta_{0} \right)$の場合$\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) = 1$
• (ii): $f \left( \mathbf{x} | \theta_{1} \right) < k f \left( \mathbf{x} | \theta_{0} \right)$の場合$\mathbf{x} \in R^{c} \implies \phi \left( \mathbf{x} \right) = 0$

である。一方$0 \le \phi’ \left( \mathbf{x} \right) \le 1$であるため、

• (ア): $\mathbf{x} \in R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \ge 0$
• (イ): $\mathbf{x} \notin R \implies \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \le 0$

である。従って、(i)、(ア)または(ii)、(イ)のいずれかで$\phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right)$に$f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right)$を掛け合わせて以下の不等式を得る。 $$ \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] \ge 0 $$ ここで標本空間全体に対して定積分$\int_{\Omega} \cdot d \mathbf{x}$を行うと、 $$ \begin{align*} 0 \le & \int_{\Omega} \left[ \phi \left( \mathbf{x} \right) - \phi’ \left( \mathbf{x} \right) \right] \left[ f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) \right] d \mathbf{x} \\ =& \int_{\Omega} \phi \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi’ \left( \mathbf{x} \right) f \left( \mathbf{x} | \theta_{1} \right) - \phi \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) + \phi’ \left( \mathbf{x} \right) k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \int_{R} f \left( \mathbf{x} | \theta_{1} \right) - f \left( \mathbf{x} | \theta_{1} \right) - k f \left( \mathbf{x} | \theta_{0} \right) + k f \left( \mathbf{x} | \theta_{0} \right) d \mathbf{x} \\ =& \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \beta \left( \theta_{0} \right) + k \beta’ \left( \theta_{0} \right) \end{align*} $$ になる。定義により、$\phi '$はレベル$\alpha \ge \beta’ \left( \theta \right)$の検定に関するものであり、$\phi = \sup \beta \left( \theta \right)$はサイズ$\alpha$の検定に関するものであったため、 $$ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) = \alpha - \beta’ \left( \theta_{0} \right) \ge 0 $$ となり、$k \ge 0$であるため、 $$ 0 \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - \left[ k \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \le \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) $$ である。要約すると、

• $\beta’ \left( \theta_{1} \right) \le \beta \left( \theta_{1} \right)$であり、
• $\phi '$は任意のレベル$\alpha$であり、
• $\theta_{1}$は$\Theta_{0}^{c}$の唯一の要素であるため、

条件(i)〜(iii)を満たす仮説検定が最強力検定であることを示した。

最強力検定: $\mathcal{C}$を上記のような仮説検定を集めた集合とする。

$\mathcal{C}$において、検定力関数$\beta (\theta)$を持つ仮説検定$A$が、全ての$\theta \in \Theta_{0}^{c}$および$\mathcal{C}$の全ての仮説検定の検定力関数$\beta ' (\theta)$に対して $$ \beta ' (\theta) \le \beta (\theta) $$ を満たせば、仮説検定$A \in \mathcal{C}$を最強力検定^{(Uniformly) Most Powerful Test, UMP}と呼ぶ。

---

$\left( \implies \right)$

今、$\phi '$をレベル$\alpha$最強力検定のテスト関数とする。

$\phi$が条件(i)〜(iii)を満たすとしたので、対応する仮説検定も最強力検定であり、全ての$\theta \in \Theta_{0}^{c}$における検定力関数の値が等しくなる。つまり$\beta \left( \theta_{1} \right) = \beta’ \left( \theta_{1} \right)$であり、 $$ \begin{align*} 0 \le & \beta \left( \theta_{1} \right) - \beta’ \left( \theta_{1} \right) - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \\ =& 0 - k \left[ \beta \left( \theta_{0} \right) - \beta’ \left( \theta_{0} \right) \right] \end{align*} $$ である。

• すぐ上で得た不等式を整理すると$\beta \left( \theta_{0} \right) \le \beta’ \left( \theta_{0} \right)$であり、$\phi$はサイズ$\alpha = \sup_{\theta \in \Theta_{0}} \beta (\theta)$の仮説検定であったので、$\alpha \le \beta’ \left( \theta_{0} \right)$である。
• 前提から、$\phi '$はレベル$\alpha \ge \sup_{\theta \in \Theta_{0}} \beta ' (\theta)$の仮説検定であったので、$\beta ' (\theta) \le \alpha$である。

両方の不等式により$\beta ' (\theta) = \alpha$であり、$\phi '$の仮説検定は正確にサイズ$\alpha$の検定であることが証明された。ただし、これは$\int_{A} f \left( \mathbf{x} | \theta \right) d \mathbf{x} = 0$である集合$A \subset \Omega$の外側でのみ成り立つ不等式とされているため、要約で$A$は例外として扱わなければならない。

■