📂数理統計学

ベイズ推定量

定義 ^{1 2}

베이즈추론で推定しようとする母数 $\theta$ の確率変数を $\Theta$、それに依存する標本の確率変数を $X$ とする。$\theta$ の推定量を $\phi(X)$ と表す。損失関数の期待値を ベイズリスク(関数)^{Bayes risk (function)}と呼ぶ。

$$ R(\Theta, \phi(X)) = E_{\Theta, X} \left[ \mathcal{L}(\Theta, \phi(X)) \right] = \int \int \mathcal{L}(\theta, \phi(x)) p(\theta, x) \mathrm{d}\theta \mathrm{d}x \tag{1} $$

ベイズリスクを最小化する $\phi$ を求めることを ベイズ推定^{Bayes estimate}といい、そのような最小化子である $\phi(X)$ を $\theta$ の ベイズ推定量^{Bayes estimator}という。

$$ \phi(X) = \argmin\limits_{\phi^{\ast}} R(\Theta, \phi^{\ast}(X)) $$

説明

結合確率の定義により $(1)$ の積分は以下のように書ける。$p(\theta, x) = g(x) p(\theta | x) = h(\theta) p(x | \theta)$ とすると、

$$ \int \left[ \int \mathcal{L}(\theta, \phi(x)) p(\theta | x) \mathrm{d}\theta \right] g(x) \mathrm{d}x = \int \left[ \int \mathcal{L}(\theta, \phi(x)) p(x | \theta) \mathrm{d}x \right] h(\theta) \mathrm{d}\theta \tag{2} $$

ここで左辺の括弧内は事後分布に対する損失関数の期待値であり、これを 事後期待損失^{posterior expected loss}という。 $$ \begin{align*} \text{Posterior expected loss} &:= \int \mathcal{L}(\theta, \phi(x)) p(\theta | x) \mathrm{d}\theta \\ &\ = E_{\Theta} \left[ \mathcal{L}(\Theta, \phi(X)) | X = x \right] \end{align*} $$

$(2)$ の右辺で括弧内の値は、それぞれ固定された $\theta$ に対するリスク関数であり、式全体はその期待値であるため 期待リスク^{expected risk}と呼ばれる。

ベイズリスクを最小化する観点から式 $(2)$ の左辺を見てみる。任意の $x$ に対して $g(x) > 0$ であるため、左辺を最小化するには各括弧内の値がそれぞれ固定された $x$ に対して最小であればよい。言い換えれば、ベイズリスク（左辺の式全体）を最小化することと事後平均損失（左辺の各括弧内の値）を最小化することは同じである。したがってベイズリスクやベイズ推定量は以下のように定義しても差し支えない。文献によって定義が異なって混乱しないように注意する。

$$ \begin{align*} \text{Bayes risk} &:= E_{\Theta, X} \left[ \mathcal{L}(\Theta, \phi(X)) \right] \\[1em] &\ = E_{\Theta} \left[ \mathcal{L}(\Theta, \phi(X)) | X = x\right] \end{align*} $$

$$ \begin{align*} \text{Bayes estimator} &:= \argmin\limits_{\phi} E_{\Theta, X} \left[ \mathcal{L}(\Theta, \phi(X)) \right] \\[1em] &\ = \argmin\limits_{\phi} E_{\Theta} \left[ \mathcal{L}(\Theta, \phi(X)) | X = x\right] \end{align*} $$

性質

• 平均二乗誤差に対するベイズ推定量は 🔒事後分布の平均である. $$ \begin{align*} E_{\Theta}[\Theta | X] &= \argmin_{\phi} \int (\theta - \phi(x))^{2} p(\theta | x) \mathrm{d}\theta \\ &= \argmin_{\phi} E_{\Theta} \left[(\Theta - \phi(X))^2 | X \right] \end{align*} $$