회귀계수의 F검정 F-test for Regression Coefficient

회귀계수의 F검정 F-test for Regression Coefficient


🚧 이 포스트는 아직 이관 작업이 완료되지 않았습니다 🚧

다중회귀분석R 에서 다중회귀분석 결과

$n$ 개의 관측치와 $p$ 개의 독립변수에 대한 다중회귀분석에 대해 $i=0,1,\cdots,p$ 라고 하자.

$H_{0}$ : $\beta_{1} = \beta_{2} = \cdots = \beta_{p} = 0$ 즉, 모든 독립변수가 종속변수과 관계 없다.

$H_{1}$ : $\beta_{1} , \beta_{2} , \cdots , \beta_{p}$ 중 적어도 하나는 $ 0$ 이 아니다. 즉, 종속변수와 관계 있는 독립변수가 존재한다.

$\displaystyle F = {{ \text{SSR} / p } \over { \text{SSE} / (n-p-1 ) }}$ 는 자유도가 $(p , n-p-1)$ 인 F분포를 따른다.

수식으로 다시 나타내보면 $\displaystyle F = {{ \text{SSR} / p } \over { \text{SSE} / (n-p-1 ) }} \sim F(p, n-p-1)$ 인데, 이를 이용해 가설검정을 한다.

다만 이 F검정은 회귀계수 각각의 t검정을 볼 수 있다면 무의미하고, 진짜 진면목은 모형간의 비교에 있다.통계학에 숙명적으로 따라붙는 ‘주관성’이나 ‘애매함’을 떨쳐내고 통계적으로 의미 있는 결과를 낼 수 있게 되는것이다.(물론 실제 분석에서는 이보다 편리하고 쉬운 통계량을 이용해서 모델을 비교한다.)

$n$ 개의 관측치와 $p$ 개의 독립변수에 대한 다중회귀분석에 대해 $i=0,1,\cdots,p$ 라고 하자. 이 때의 회귀모형을 전체모형FM이라 하고, FM에서 $k$ 개의 독립변수가 제거된 모형을 축소모형RM이라 한다.

$H_{0}$ : RM이면 충분하다. 즉, 굳이 많은 변수를 써서 FM을 사용할 필요가 없다.

$H_{1}$ : RM은 불충분하다. 즉, 변수를 늘려서라도 FM을 쓰는 게 낫다.

$\displaystyle F = {{ [ \text{SSR} (RM) - \text{SSR} (FM) ] / (p +1 - k) } \over { \text{SSE} ( FM ) / (n-p-1 ) }}$ 는 자유도가 $(p + 1 - k , n-p-1)$ 인 F분포를 따른다.

그렇다면 유의수준 $\alpha$ 에서 $F \le F_{ ( p+1-k , n-p-1 ; \alpha ) }$ 이면 $H_{0}$ 가 채택되어 변수를 줄인 RM을 쓸 수 있게 된다.

댓글