📂数理統計学

最尤推定量の不変性の証明

정리

最尤推定量は、関数を取ることに関して不変^invariantだ。つまり、もし$\hat{\theta}$がパラメータ$\theta$の最尤推定量なら、すべての関数$\tau$について$\tau \left( \hat{\theta} \right)$も$\tau \left( \theta \right)$の最尤推定量である。

証明 ¹

$\eta := \tau \left( \theta \right)$として、尤度関数$L = L \left( \theta | \mathbf{x} \right)$に対する新しい関数$L^{\ast}$を $$L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau^{-1} \left( \eta \right) | \mathbf{x} \right)$$ と定義しよう。

$\hat{\eta}$が尤度関数$L^{\ast} \left( \eta | \mathbf{x} \right)$の関数値を最大化するとすると、 $$L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) = L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right)$$ が成り立つことを示せばよい。 $$\begin{align*} L^{\ast} \left( \hat{\eta} | \mathbf{x} \right) =& \sup_{\eta} \sup_{\left\{ \theta : \tau (\theta) = \eta \right\}} L \left( \theta | \mathbf{x} \right) \\ =& \sup_{\theta} L \left( \theta | \mathbf{x} \right) \\ =& L \left( \hat{\theta} | \mathbf{x} \right) \\ =& \sup_{\left\{ \theta : \tau (\theta) = \tau \left( \hat{\theta} \right) \right\}} L \left( \theta | \mathbf{x} \right) \\ =& L^{\ast} \left( \tau \left( \hat{\theta} \right) | \mathbf{x} \right) \end{align*}$$

ここで、$\left\{ \theta : \tau (\theta) = \eta \right\}$のような集合を考える理由は、$\tau$が全単射である保証がないためだ。もちろん、論理的には、そもそも$\tau^{-1}$のような表現を使わない方が正しいが、この定理の文脈では気にしなくてもよい。

■