적합치, 예측치, 잔차, 오차

적합치, 예측치, 잔차, 오차

정의 1

회귀분석 $Y \leftarrow X_{1} + X_{2} + \cdots + X_{n}$ 으로 얻은 회귀식을 $y = \beta_{0} + \beta_{1} x_{1} + \beta_{2} x_{2} + \cdots + \beta_{n} x_{n}$ 이라고 하고 $i$ 번째 데이터를 $(y_{i} , x_{i1} , x_{i2} , \cdots , x_{in})$ 와 같이 나타내도록 하자.

  1. 평균Mean: $$ \displaystyle \overline{y} := {{1} \over {n}} \sum_{i=1}^{n} y_{i} $$
  2. 적합치Fitted Value: $i$ 번째 데이터 $y_{i}$ 에 대해 $$ \hat{y}_{i} := \beta_{0} + \beta_{1} x_{i1} + \beta_{2} x_{i2} + \cdots + \beta_{n} x_{in} $$
  3. 예측치Predicted Value: 새로운 데이터 $y_{0}$ 에 대해 $$ \hat{y}_{0} := \beta_{0} + \beta_{1} x_{01} + \beta_{2} x_{02} + \cdots + \beta_{n} x_{0n} $$
  4. 적합치에 따른 편차Deviation due to Fit: $$ \hat{y}_{i} - \overline{y} $$
  5. 잔차Residual: $$ y_{i} - \hat{y}_{i} $$
  6. TSS(Total Sum of Squares) 혹은 SST(Sum of Squares Total): $$ \displaystyle \text{TSS} =\text{SST} := \sum_{i=1}^{n} ( y_{i} - \overline{y} )^2 $$
  7. ESS(Explained Sum of Squares) 혹은 SSR(Sum of Squares due to Regression): $$ \displaystyle \text{ESS} = \text{SSR} := \sum_{i=1}^{n} ( \hat{y}_{i} - \overline{y} )^2 $$
  8. RSS(Residual Sum of Squares) 혹은 SSE(Sum of squared Error): $$ \displaystyle \text{RSS} = \text{SSE} := \sum_{i=1}^{n} ( y_{i} - \hat{y}_{i} )^2 $$
  9. 중회귀계수R-squared 혹은 설명력: $$ \displaystyle R^2 := {{ \text{ SSR } } \over { \text{ SST} }} $$

설명


  1. Hadi. (2006). Regression Analysis by Example(4th Edition): p40~42. ↩︎

댓글