logo

条件付き期待値は偏差の二乗和を最小化する 📂数理統計学

条件付き期待値は偏差の二乗和を最小化する

要約

次のことが成り立つ。

E[Y∣X]=arg min⁡f(X)E[(Y−f(X))2∣X] \begin{equation} E\left[ Y | X \right] = \argmin_{f(X)} E\left[ (Y - f(X))^{2} | X \right] \end{equation}

E[Y∣X]=arg min⁡f(X)E[(Y−f(X))2] \begin{equation} E\left[ Y | X \right] = \argmin_{f(X)} E\left[ (Y - f(X))^{2} \right] \end{equation}

証明

(1)

arg min⁡f(X)E[(Y−f(X))2∣X]=arg min⁡f(X)E[Y2−2Yf(X)+f(X)2∣X]=arg min⁡f(X)(E[Y2∣X]−2E[Yf(X)∣X]+E[f(X)2∣X])=arg min⁡f(X)(−2E[Yf(X)∣X]+E[f(X)2∣X]) \begin{align*} & \argmin_{f(X)} E\left[ (Y - f(X))^{2} | X \right] \\ &= \argmin_{f(X)} E\left[ Y^{2} - 2Yf(X) + f(X)^{2} | X \right] \\ &= \argmin_{f(X)} \left( E\left[ Y^{2} | X \right] - 2E\left[ Yf(X) | X \right] + E\left[ f(X)^{2} | X \right] \right) \\ &= \argmin_{f(X)} \left( - 2E\left[ Yf(X) | X \right] + E\left[ f(X)^{2} | X \right] \right) \\ \end{align*}

四番目の等号は最初の項がf(X)f(X)と無関係であるために成り立つ。

条件付き期待値のスムージング性質 (Pulling out known factors)(\text{Pulling out known factors})

[a] E[f(X)Y∣X]=f(X)E[Y∣X]E[f(X)Y | X] = f(X) E[Y | X]

条件付き期待値の性質により、上の式は再び以下のように整理される。

arg min⁡f(X)(−2E[Yf(X)∣X]+E[f(X)2∣X])=[a]arg min⁡f(X)(−2f(X)E[Y∣X]+f(X)2E[1∣X])=arg min⁡f(X)(−2f(X)E[Y∣X]+f(X)2) \begin{align*} & \argmin_{f(X)} \left( - 2E\left[ Yf(X) | X \right] + E\left[ f(X)^{2} | X \right] \right) \\ &\overset{[a]}{=} \argmin_{f(X)} \left( - 2f(X) E\left[ Y| X \right] + f(X)^{2}E\left[ 1 | X \right] \right) \\ &= \argmin_{f(X)} \left( - 2f(X) E\left[ Y| X \right] + f(X)^{2} \right) \\ \end{align*}

f(X)f(X)の最小値を見つけるために微分すると、

d(−2f(X)E[Y∣X]+f(X)2)df(X)=−2E[Y∣X]+2f(X)=0 \dfrac{d (- 2f(X) E\left[ Y| X \right] + f(X)^{2})}{d f(X)} = -2E\left[ Y | X \right] + 2f(X) = 0   ⟹  f(X)=E[Y∣X] \implies f(X) = E[Y | X]

■

(2)1

E[Y∣X]E\left[ Y | X \right]を引いて足して、前後にまとめよう。

arg min⁡f(X)E[(Y−f(X))2]=arg min⁡f(X)E[(Y−E[Y∣X]+E[Y∣X]−f(X))2]=arg min⁡f(X)E[((Y−E[Y∣X])+(E[Y∣X]−f(X)))2] \begin{align*} \argmin_{f(X)} E\left[ (Y - f(X))^{2} \right] &= \argmin_{f(X)} E\left[ (Y - E\left[ Y | X \right] + E\left[ Y | X \right] - f(X))^{2} \right] \\ &= \argmin_{f(X)} E\left[ \Big( (Y - E\left[ Y | X \right]) + (E\left[ Y | X \right] - f(X)) \Big)^{2} \right] \end{align*}

これは完全平方形(a+b)2=a2+b2+2ab(a + b)^{2} = a^{2} + b^{2} + 2abと同じであり、期待値の線形性により、

arg min⁡f(X)E[(Y−f(X))2]=arg min⁡f(X)E[((Y−E[Y∣X])+(E[Y∣X]−f(X)))2]=arg min⁡f(X)(E[(Y−E[Y∣X])2]+E[(E[Y∣X]−f(X))2]+2E[(Y−E[Y∣X])(E[Y∣X]−f(X))]) \begin{align*} & \argmin_{f(X)} E\left[ (Y - f(X))^{2} \right] \\ &= \argmin_{f(X)} E\left[ \Big( (Y - E\left[ Y | X \right]) + (E\left[ Y | X \right] - f(X)) \Big)^{2} \right] \\ &= \argmin_{f(X)} \Big( E\left[ (Y - E\left[ Y | X \right])^{2} \right] + E\left[ (E\left[ Y | X \right] - f(X))^{2} \right] \\ &\qquad\qquad\qquad + 2 E\Big[ (Y - E\left[ Y | X \right])(E\left[ Y | X \right] - f(X)) \Big] \Big) \end{align*}

最初の項はf(X)f(X)と無関係であるので、再び以下のように整理される。

arg min⁡f(X)E[(Y−f(X))2]=arg min⁡f(X)(E[(E[Y∣X]−f(X))2]−2E[(Y−E[Y∣X])(E[Y∣X]−f(X))]) \begin{align} & \argmin_{f(X)} E\left[ (Y - f(X))^{2} \right] \nonumber \\ &= \argmin_{f(X)} \Big( E\left[ (E\left[ Y | X \right] - f(X))^{2} \right] - 2 E\Big[ (Y - E\left[ Y | X \right])(E\left[ Y | X \right] - f(X)) \Big] \Big) \end{align}

二番目の項を計算してみよう。

条件付き期待値のスムージング性質 (Pulling out known factors)(\text{Pulling out known factors})

[a] E[f(X)Y∣X]=f(X)E[Y∣X]E[f(X)Y | X] = f(X) E[Y | X]

条件付き期待値の性質 (Law of total expectation)(\text{Law of total expectation})

[b] EX[EY[Y∣X=x]]=EY[Y]E_{X}\left[ E_{Y}\left[ Y | X = x \right] \right] = E_{Y}\left[ Y \right]

上の性質を(3)(3)の二番目の項に適用すると、

E[(Y−E[Y∣X])(E[Y∣X]−f(X))]=[b]E[E[(Y−E[Y∣X])(E[Y∣X]−f(X))∣X]]=[a]E[(E[Y∣X]−f(X))E[(Y−E[Y∣X])∣X]]=linearityE[(E[Y∣X]−f(X))(E[Y∣X]−E[E[Y∣X]∣X])] \begin{align*} & E\Big[ (Y - E\left[ Y | X \right])(E\left[ Y | X \right] - f(X)) \Big] \\ &\overset{[b]}{=} E \left[ E\Big[ (Y - E\left[ Y | X \right])(E\left[ Y | X \right] - f(X)) \Big| X \Big] \right] \\ &\overset{[a]}{=} E \left[ (E\left[ Y | X \right] - f(X)) E\Big[ (Y - E\left[ Y | X \right]) \Big| X \Big] \right] \\ &\overset{\text{linearity}}{=} E \left[ (E\left[ Y | X \right] - f(X)) \left( E[ Y | X ] - E \left[ E\left[ Y | X \right] \Big| X \right] \right) \right] \end{align*}

直上の数式から、最後の項はE[E[Y∣X]∣X]=[a]E[Y∣X]E[1∣X]=E[Y∣X]E \left[ E\left[ Y | X \right] \Big| X \right] \overset{[a]}{=} E\left[ Y | X \right] E \left[ 1 | X \right] = E\left[ Y | X \right] として計算されるので、

E[(Y−E[Y∣X])(E[Y∣X]−f(X))]=E[(E[Y∣X]−f(X))(E[Y∣X]−E[Y∣X])]=E[(E[Y∣X]−f(X))⋅0]=0 \begin{align*} & E\Big[ (Y - E\left[ Y | X \right])(E\left[ Y | X \right] - f(X)) \Big] \\ &= E \Big[ (E\left[ Y | X \right] - f(X)) \left( E[ Y | X ] - E\left[ Y | X \right] \right) \Big] \\ &= E \Big[ (E\left[ Y | X \right] - f(X)) \cdot 0 \Big] \\ &= 0 \end{align*}

したがって、(3)(3)の二番目の項は00であり、以下のように整理される。

arg min⁡f(X)E[(E[Y∣X]−f(X))2] \argmin_{f(X)} E\Big[ (E\left[ Y | X \right] - f(X))^{2} \Big]

従って、

arg min⁡f(X)E[(Y−f(X))2]=arg min⁡f(X)E[(E[Y∣X]−f(X))2]=E[Y∣X] \argmin_{f(X)} E\left[ (Y - f(X))^{2} \right] = \argmin_{f(X)} E\Big[ (E\left[ Y | X \right] - f(X))^{2} \Big] = E\left[ Y | X \right]

■

  1. https://gregorygundersen.com/blog/2019/10/04/expectation-median-opt/ ↩︎