ノイマン因数分解定理の証明
定理
random sample $X_{1} , \cdots , X_{n}$ がパラメータ $\theta \in \Theta$ に対して同じ確率質量/密度関数$f \left( x ; \theta \right)$ を持つとしよう。統計量 $Y = u_{1} \left( X_{1} , \cdots , X_{n} \right)$ が $\theta$ の 十分統計量 であるのは、以下を満たす非負の関数 $k_{1} , k_{2} \ge 0$ が存在する場合である。 $$ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) $$ ただし、$k_{2}$ は $\theta$ に依存してはならない。
証明
十分統計量の定義：$\theta \in \Theta$ に依存しない $H \left( x_{1} , \cdots , x_{n} \right)$ に対して $$ {{ f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) } \over { f_{Y_{1}} \left( u_{1} \left( x_{1} , \cdots, x_{n} \right) ; \theta \right) }} = H \left( x_{1} , \cdots , x_{n} \right) $$ これが真である場合、$Y_{1}$ を$\theta$ のための 十分統計量sufficient Statistic と呼ぶ。
連続確率分布に対してのみ証明する。離散確率分布に対する証明はCasellaを参照されたい。
$(\Rightarrow)$
十分統計量の定義から $f_{Y_{1}}$ は$k_{1}$ に、$H$ は $f_{2}$ に該当するので自明である。
$(\Leftarrow)$
$$ \begin{align*} y_{1} &:= u_{1} \left( x_{1} , \cdots , x_{n} \right) \\ y_{2} &:= u_{2} \left( x_{1} , \cdots , x_{n} \right) \\ &\vdots \\ y_{n} &:= u_{n} \left( x_{1} , \cdots , x_{n} \right) \end{align*} $$
便宜上、上記の関数の逆関数を以下のように置き、ヤコビアンを $J$ と表す。
$$ \begin{align*} x_{1} &:= w_{1} \left( y_{1} , \cdots , y_{n} \right) \\ x_{2} &:= w_{2} \left( y_{1} , \cdots , y_{n} \right) \\ &\vdots \\ x_{n} &:= w_{n} \left( y_{1} , \cdots , y_{n} \right) \end{align*} $$
すると、$Y_{1} , \cdots , Y_{n}$ の 結合確率密度関数 $g$ は $w_{i} = w_{i} \left( y_{1} , \cdots , y_{n} \right)$ に対して $$ g \left( y_{1} , \cdots , y_{n} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) k_{2} \left( w_{1} , \cdots , w_{n} \right) \left| J \right| $$ であり、$Y_{1}$ の 周辺確率密度関数 $f_{Y_{1}}$ は $$ \begin{align*} f_{Y_{1}} \left( y_{1} ; \theta \right) =& \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} g \left( y_{1} , \dots , y_{n} ; \theta \right) d y_{2} \cdots d y_{n} \\ =& k_{1} \left( y_{1} ; \theta \right) \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} \left| J \right| k_{2} \left( w_{1} , \dots , w_{n} \right) d y_{2} \cdots d y_{n} \end{align*} $$ $k_{2}$ は $\theta$ に依存しない関数であり、$J$ も $\theta$ を含まないため、右辺の積分は $y_{1}$ のみの関数として表すことができる。これを仮に $m \left( y_{1} \right)$ と表すと $$ f_{Y_{1}} \left( y_{1} ; \theta \right) = k_{1} \left( y_{1} ; \theta \right) m \left( y_{1} \right) $$ ここで $m \left( y_{1} \right) = 0$ であれば自明に $f_{Y_{1}} \left( y_{1} ; \theta \right) = 0$ である。今、$m \left( y_{1} \right) > 0$ と仮定してみると、次のように書くことができる。 $$ k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] = {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} $$ 与えられた式に代入すると $$ \begin{align*} f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) =& k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& {{ f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} k_{2} \left( x_{1} , \cdots , x_{n} \right) \\ =& f_{Y_{1}} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] {{ k_{2} \left( x_{1} , \cdots , x_{n} \right) } \over { m \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) \right] }} \end{align*} $$ $k_{2}$ と $m$ はどちらも $\theta$ に依存しないので、定義により$Y_{1}$ は $\theta$ の十分統計量である。
■