logo

線形回帰分析におけるSST = SSR + SSEの証明 📂統計的分析

線形回帰分析におけるSST = SSR + SSEの証明

定理

[y1y2⋮yn]=[1x11⋯xp11x12⋯xp2⋮⋮⋱⋮1x1n⋯xpn][β0β1⋮βp]+[ε1ε2⋮εn] \begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \begin{bmatrix} 1 & x_{11} & \cdots & x_{p1} \\ 1 & x_{12} & \cdots & x_{p2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & \cdots & x_{pn} \end{bmatrix} \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{bmatrix} + \begin{bmatrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{bmatrix} nn 個のデータが与えられており p<np < n とすると、線形重回帰モデルを計画行列で表すと上記のようになり、簡単に Y=Xβ+εY = X \beta + \varepsilon と表そう。 β\beta に対する最小二乗の推定量ベクトル β=(β0,β1,⋯ ,βp)=(XTX)−1XTY \beta = \left( \beta_{0} , \beta_{1} , \cdots , \beta_{p} \right) = \left( X^{T} X \right)^{-1} X^{T} Y は最良線形不偏推定量としよう。次に、平均 y‾\overline{y}, 適合値 y^k\hat{y}_{k}, SST\text{SST}, SSR\text{SSR}, SSE\text{SSE} を次のように定義する。 y‾=1n∑k=1nyky^k=β0+β1xk1+⋯+βpxkpSST=∑k=1n(yk−y‾)2SSR=∑k=1n(y^k−y‾)2SSE=∑k=1n(yk−y^k)2 \begin{align*} \overline{y} =& {{1} \over {n}} \sum_{k=1}^{n} y_{k} \\ \hat{y}_{k} =& \beta_{0} + \beta_{1} x_{k1} + \cdots + \beta_{p} x_{kp} \\ \text{SST} =& \sum_{k=1}^{n} \left( y_{k} - \overline{y} \right)^{2} \\ \text{SSR} =& \sum_{k=1}^{n} \left( \hat{y}_{k} - \overline{y} \right)^{2} \\ \text{SSE} =& \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right)^{2} \end{align*} SST\text{SST}, SSR\text{SSR}, SSE\text{SSE} は次のような関係を持つ。 SST=SSR+SSE \text{SST} = \text{SSR} + \text{SSE}

証明

単純回帰分析ならともかく、重回帰分析では補助定理の証明のために行列関数の偏微分といったものが登場するため、思ったより難しい。実際、インターネットで証明を探してみても ∑k=1nyk=∑k=1ny^k\sum_{k=1}^{n} y_{k} = \sum_{k=1}^{n} \hat{y}_{k} という部分が数式的にどういう感じなのかを示すだけで回避する場合がほとんどだ1。回帰分析を学び始めた段階なら、このようなものがあるのかと一旦見過ごし、後で再度確認することをお勧めする。

Part 1. SST=SSR+SSE+⋯\text{SST} = \text{SSR} + \text{SSE} + \cdots

SST=∑k=1n(yk−y‾)2=∑k=1n(yk−y^k+y^k−y‾)2=∑k=1n(y^k−y‾)2+∑k=1n(yk−y^k)2+2∑k=1n(yk−y^k)(y^k−y‾)=SSR+SSE+2∑k=1n(yk−y^k)(y^k−y‾) \begin{align*} & \text{SST} \\ =& \sum_{k=1}^{n} \left( y_{k} - \overline{y} \right)^2 \\ =& \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} + \hat{y}_{k} - \overline{y} \right)^2 \\ =& \sum_{k=1}^{n} \left( \hat{y}_{k} - \overline{y} \right)^{2} + \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right)^{2} + 2 \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \left( \hat{y}_{k} - \overline{y} \right) \\ =& \text{SSR} + \text{SSE} + 2 \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \left( \hat{y}_{k} - \overline{y} \right) \end{align*} なので、最後の項 ∑k=1n(yk−y^k)(y^k−y‾)=∑k=1n(yk−y^k)y^k−y‾∑k=1n(yk−y^k) \begin{align*} & \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \left( \hat{y}_{k} - \overline{y} \right) \\ =& \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \hat{y}_{k} - \overline{y} \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \end{align*} が 00 であることを示せば証明は終わりだ。

Part 2. y‾∑k=1n(yk−y^k)=0\overline{y} \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) = 0

重回帰分析における適合値の和: β^\hat{\beta} が最良線形不偏推定量であれば、 yky_{k} の和と適合値 y^k=1=β^0+∑j=1pβ^jxj\hat{y}_{k=1} = \hat{\beta}_{0} + \sum_{j=1}^{p} \hat{\beta}_{j} x_{j} の和は等しい: ∑k=1nyk=∑k=1ny^k \sum_{k=1}^{n} y_{k} = \sum_{k=1}^{n} \hat{y}_{k}

補助定理によれば ∑k=1nyk=∑k=1ny^k\sum_{k=1}^{n} y_{k} = \sum_{k=1}^{n} \hat{y}_{k} なので ∑k=1n(yk−y^k)=0\sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) = 0 でなければならない。この投稿では単に補助定理を使って流しているように見えるが、思ったよりも重要な部分だ。補助定理の証明は必ず理解するようにしよう。

Part 3. ∑k=1n(yk−y^k)y^k=0\sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \hat{y}_{k} = 0

[y^1⋮y^n]=Xβ \begin{bmatrix} \hat{y}_{1} \\ \vdots \\ \hat{y}_{n} \end{bmatrix} = X \beta 適合値 y^1,⋯ ,y^n\hat{y}_{1} , \cdots , \hat{y}_{n} のベクトルは上記のように XX と β\beta の積で表すことができる。単位行列 EE と零行列 OO に対し、次のように数式を展開しよう。 ∑k=1n(yk−y^k)y^k=[y1−y^1⋯yn−y^n][y^1⋮y^n]=(YT−(Xβ)T)[y^1⋮y^n]=(Y−Xβ)TXβ=(Y−X(XTX)−1XTY)TXβ=([E−X(XTX)−1XT]Y)TXβ=YT(E−X(XTX)−1XT)TXβ=YT(XT[E−X(XTX)−1XT])Tβ=YT(XT−XTX(XTX)−1XT)Tβ=YT(XT−XT)Tβ=YTOTβ=0 \begin{align*} & \sum_{k=1}^{n} \left( y_{k} - \hat{y}_{k} \right) \hat{y}_{k} \\ =& \begin{bmatrix} y_{1} - \hat{y}_{1} & \cdots & y_{n} - \hat{y}_{n} \end{bmatrix} \begin{bmatrix} \hat{y}_{1} \\ \vdots \\ \hat{y}_{n} \end{bmatrix} \\ =& \left( Y^{T} - \left( X \beta \right)^{T} \right) \begin{bmatrix} \hat{y}_{1} \\ \vdots \\ \hat{y}_{n} \end{bmatrix} \\ =& \left( Y - X \beta \right)^{T} X \beta \\ =& \left( Y - X \left( X^{T} X \right)^{-1} X^{T} Y \right)^{T} X \beta \\ =& \left( \left[ E - X \left( X^{T} X \right)^{-1} X^{T} \right] Y \right)^{T} X \beta \\ =& Y^{T} \left( E - X \left( X^{T} X \right)^{-1} X^{T} \right)^{T} X \beta \\ =& Y^{T} \left( X^{T} \left[ E - X \left( X^{T} X \right)^{-1} X^{T} \right] \right)^{T} \beta \\ =& Y^{T} \left( X^{T} - X^{T} X \left( X^{T} X \right)^{-1} X^{T} \right)^{T} \beta \\ =& Y^{T} \left( X^{T} - X^{T} \right)^{T} \beta \\ =& Y^{T} O^{T} \beta \\ =& 0 \end{align*} 結果的に、次の等式が得られる。 SST=SSR+SSE \text{SST} = \text{SSR} + \text{SSE}

■

  1. https://stats.stackexchange.com/questions/207841 ↩︎