便宜性-分散トレードオフ
定義
$$ \text{MSE} \left( \widehat{\theta} \right) = \text{Var} \widehat{\theta} + \left( \text{Bias} \widehat{\theta} \right)^{2} $$
説明
平均二乗誤差 $\text{MSE}$ は、統計モデルの評価や機械学習の損失関数としてよく使用される指標で、特にバイアスと分散のトレードオフで表されることが多い。統計学者にとっては、バイアスを扱うことが少し不自然に感じるかもしれない。適切な確率分布を仮定し、その数学的理論に基づいてデータを扱う立場では、分散は手に取るように馴染み深い概念だが、バイアスの二乗は、そもそも推定量と真の値との乖離を表すため、バイアスをコントロールできないということは、誤った分析につながると考えられるからだ。
しかし、2021年現在、機械学習技術の飛躍的な発展があったため、「予測」するという意味でバイアスが大きくなることを補償できるだけの誤差を減らす技術であれば、喜んで使用する時代になった。もちろん分野によって異なるが、古典的な統計技術よりも機械学習が積極的に使用されるなら、バイアスのコントロールにあまりにも拘泥することなく、パフォーマンスが優れた方法を敢えて放棄する必要はない。（もちろん、背景が統計学であれば、これは非常に不満で、厭だろう。私もそう思う。）
証明
戦略：統計学でよく使用される方法だ。期待値の中の括弧で $0 = E \widehat{\theta} - E \widehat{\theta}$ をいくつかの項に分割し、それから分散とバイアスの形で整理する。
$E \widehat{\theta} - \theta$ は定数なので、 $$ \begin{align*} \text{MSE} \left( \widehat{\theta} \right) =& E \left[ \left( \widehat{\theta} - \theta \right)^{2} \right] \\ =& E \left[ \left( \widehat{\theta} - E \widehat{\theta} + E \widehat{\theta} - \theta \right)^{2} \right] \\ =& E \left[ \left( \widehat{\theta} - E \widehat{\theta} \right)^{2} + 2 \left( \widehat{\theta} - E \widehat{\theta} \right) \left( E \widehat{\theta} - \theta \right) + \left( E \widehat{\theta} - \theta \right)^{2} \right] \\ =& E \left[ \left( \widehat{\theta} - E \widehat{\theta} \right)^{2} \right] + 2 E \left[ \left( \widehat{\theta} - E \widehat{\theta} \right) \left( E \widehat{\theta} - \theta \right) \right] + E \left[ \left( E \widehat{\theta} - \theta \right)^{2} \right] \\ =& \text{Var} \widehat{\theta} + 2 E \left[ \left( \widehat{\theta} - E \widehat{\theta} \right) \left( E \widehat{\theta} - \theta \right) \right] + \left( E \widehat{\theta} - \theta \right)^{2} \\ =& \text{Var} \widehat{\theta} + 2 E \left[ \left( \widehat{\theta} - E \widehat{\theta} \right) \right] E \left[ \left( E \widehat{\theta} - \theta \right) \right] + \left( \text{Bias} \widehat{\theta} \right)^{2} \\ =& \text{Var} \widehat{\theta} + 2 \left( E \widehat{\theta} - E \widehat{\theta} \right) E \left[ \left( E \widehat{\theta} - \theta \right) \right] + \left( \text{Bias} \widehat{\theta} \right)^{2} \\ =& \text{Var} \widehat{\theta} + 0 + \left( \text{Bias} \widehat{\theta} \right)^{2} \end{align*} $$
■
注意
証明過程で、分散を表す際に真の値が使用されていないことに注目しよう。平均二乗誤差を通じて推定量 $\widehat{\theta}$ のパフォーマンスを評価する際、その分散はどれだけ真の値に適合しているかの指標にはならず、言い換えれば推定量が本当の推定量をどれだけよく当てているかだけを示す。