회귀계수의 t-검정
📂통계적검정 회귀계수의 t-검정 가설검정 [ y 1 y 2 ⋮ y n ] = [ 1 x 11 ⋯ x p 1 1 x 12 ⋯ x p 2 ⋮ ⋮ ⋱ ⋮ 1 x 1 n ⋯ x p n ] [ β 0 β 1 ⋮ β p ] + [ ε 1 ε 2 ⋮ ε n ]
\begin{bmatrix}
y_{1}
\\ y_{2}
\\ \vdots
\\ y_{n}
\end{bmatrix} = \begin{bmatrix}
1 & x_{11} & \cdots & x_{p1}
\\ 1 & x_{12} & \cdots & x_{p2}
\\ \vdots & \vdots & \ddots & \vdots
\\ 1 & x_{1n} & \cdots & x_{pn}
\end{bmatrix} \begin{bmatrix}
\beta_{0}
\\ \beta_{1}
\\ \vdots
\\ \beta_{p}
\end{bmatrix} + \begin{bmatrix}
\varepsilon_{1}
\\ \varepsilon_{2}
\\ \vdots
\\ \varepsilon_{n}
\end{bmatrix}
y 1 y 2 ⋮ y n = 1 1 ⋮ 1 x 11 x 12 ⋮ x 1 n ⋯ ⋯ ⋱ ⋯ x p 1 x p 2 ⋮ x p n β 0 β 1 ⋮ β p + ε 1 ε 2 ⋮ ε n p p p n n n 데이터 와 주어져 있을 때 선형다중회귀모델 을 계획행렬 로 나타내면 위와 같고, 간단히 Y = X β + ε Y = X \beta + \varepsilon Y = Xβ + ε 모형진단 에서 잔차 가 선형성 과 등분산성 과 독립성 과 정규성 을 만족시킨다고 하자. 다중회귀분석 에서 각 회귀계수 에 대한 가설검정 은 다음과 같다.
H 0 H_{0} H 0 β j = 0 \beta_{j} = 0 β j = 0 j j j 상관관계 가 없다.H 1 H_{1} H 1 β j ≠ 0 \beta_{j} \ne 0 β j = 0 j j j 회귀계수 가 유의하다.유도 회귀계수의 정규성 :
β ^ ∼ N 1 + p ( β , σ 2 ( X T X ) − 1 )
\hat{\beta} \sim N_{1+p} \left( \beta , \sigma^{2} \left( X^{T} X \right)^{-1} \right)
β ^ ∼ N 1 + p ( β , σ 2 ( X T X ) − 1 ) 잔차제곱합의 불편추정량과 회귀계수의 표준오차 :
E σ 2 ^ = E [ 1 n − p − 1 ∑ i = 1 n ( y i − y ^ i ) 2 ] = σ 2
E \widehat{\sigma^{2}} = E \left[ {{ 1 } \over { n-p-1 }} \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} \right] = \sigma^{2}
E σ 2 = E [ n − p − 1 1 i = 1 ∑ n ( y i − y ^ i ) 2 ] = σ 2 s.e. ( β ^ k ) = σ ^ [ ( X T X ) − 1 ] k k
\text{s.e.} \left( \hat{\beta}_{k} \right) = \hat{\sigma} \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} }
s.e. ( β ^ k ) = σ ^ [ ( X T X ) − 1 ] kk 회귀계수의 추정치 β j ^ \hat{ \beta_{j} } β j ^ 표준오차 se ( β j ^ ) \text{se} \left( \hat{ \beta_{j} } \right) se ( β j ^ ) t j t_{j} t j t j : = β j ^ se ( β j ^ )
t_{j} := {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}}
t j := se ( β j ^ ) β j ^
카이제곱분포를 따르는 확률변수의 합 : 확률 변수 X 1 , ⋯ , X n X_{1} , \cdots , X_{n} X 1 , ⋯ , X n 상호 독립 이라고 하자. X i ∼ χ 2 ( r i ) X_i \sim \chi^2 ( r_{i} ) X i ∼ χ 2 ( r i ) ∑ i = 1 n X i ∼ χ 2 ( ∑ i = 1 n r i )
\sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right)
i = 1 ∑ n X i ∼ χ 2 ( i = 1 ∑ n r i ) 잔차제곱합 ∑ i = 1 n ( y i − y ^ i ) 2 / σ 2 \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} / \sigma^{2} ∑ i = 1 n ( y i − y ^ i ) 2 / σ 2 n n n p p p 1 1 1 ( n − p − 1 ) (n-p-1) ( n − p − 1 ) 자유도 ( n − p − 1 ) (n-p-1) ( n − p − 1 ) 카이제곱분포 를 따르고 귀무가설 하에서는―귀무가설이 참이라고 가정할 땐 β j = 0 \beta_{j} = 0 β j = 0 β ^ j ∼ N ( 0 , σ 2 ( X T X ) j j − 1 ) \hat{\beta}_{j} \sim N \left( 0 , \sigma^{2} \left( X^{T} X \right)^{-1}_{jj} \right) β ^ j ∼ N ( 0 , σ 2 ( X T X ) jj − 1 ) t j = β j ^ se ( β j ^ ) = β j ^ − 0 σ ^ [ ( X T X ) − 1 ] k k = β j ^ − 0 ∑ i = 1 n ( y i − y ^ i ) 2 n − p − 1 [ ( X T X ) − 1 ] k k = β j ^ − 0 [ ( X T X ) − 1 ] k k ∑ i = 1 n ( y i − y ^ i ) 2 n − p − 1 = β j ^ − 0 σ [ ( X T X ) − 1 ] k k ∑ i = 1 n ( y i − y ^ i ) 2 σ 2 / ( n − p − 1 ) ∼ N ( 0 , 1 ) χ 2 ( n − p − 1 ) / n − p − 1
\begin{align*}
t_{j} =& {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}}
\\ =& {{\hat{ \beta_{j}} - 0 } \over { \hat{\sigma} \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }}
\\ =& {{\hat{ \beta_{j}} - 0 } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { n-p-1 }} \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }}
\\ =& {{ {{ \hat{ \beta_{j}} - 0 } \over { \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { n-p-1 }} } }}
\\ =& {{ {{ \hat{ \beta_{j} } - 0 } \over { \sigma \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { \sigma^{2} }} / (n-p-1) } }}
\\ \sim & {{ N (0,1) } \over { \sqrt{\chi^{2} (n-p-1) / n-p-1} }}
\end{align*}
t j = = = = = ∼ se ( β j ^ ) β j ^ σ ^ [ ( X T X ) − 1 ] kk β j ^ − 0 n − p − 1 ∑ i = 1 n ( y i − y ^ i ) 2 [ ( X T X ) − 1 ] kk β j ^ − 0 n − p − 1 ∑ i = 1 n ( y i − y ^ i ) 2 [ ( X T X ) − 1 ] kk β j ^ − 0 σ 2 ∑ i = 1 n ( y i − y ^ i ) 2 / ( n − p − 1 ) σ [ ( X T X ) − 1 ] kk β j ^ − 0 χ 2 ( n − p − 1 ) / n − p − 1 N ( 0 , 1 )
t-분포 유도 : 두 확률 변수 W , V W,V W , V 독립 이고 W ∼ N ( 0 , 1 ) W \sim N(0,1) W ∼ N ( 0 , 1 ) V ∼ χ 2 ( r ) V \sim \chi^{2} (r) V ∼ χ 2 ( r ) T = W V / r ∼ t ( r )
T = { {W} \over {\sqrt{V/r} } } \sim t(r)
T = V / r W ∼ t ( r ) 정리하면 t j t_{j} t j 자유도 가 ( n − p − 1 ) (n-p-1) ( n − p − 1 ) t-분포 를 따른다. 수식으로 다시 나타내보면
t j = β j ^ se ( β j ^ ) ∼ t ( n − p − 1 )
t_{j} = {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}} \sim t(n-p-1)
t j = se ( β j ^ ) β j ^ ∼ t ( n − p − 1 ) 가설검정 을 한다. 만약
∣ t j ∣ ≥ t ( n − p − 1 , α 2 )
\left| t_j \right| \ge t_{(n-p-1 , {{\alpha} \over {2}})}
∣ t j ∣ ≥ t ( n − p − 1 , 2 α ) ∣ t j ∣ \left| t_j \right| ∣ t j ∣ β j ^ \hat{ \beta_{j} } β j ^
■
설명 j j j 유의수준 α \alpha α 신뢰구간 β j ^ ± t ( n − p − 1 , α 2 ) se ( β j ^ ) \hat{ \beta_{j} } \pm t_{(n-p-1 , {{\alpha} \over {2}})} \text{se} ( \hat{ \beta_{j}} ) β j ^ ± t ( n − p − 1 , 2 α ) se ( β j ^ )
유도과정은 담담하게 풀어 썼지만 실제로 저 증명을 회귀분석 을 배우는 학부생이 이해하기는 상당히 어려울 수 있다. t j t_{j} t j 모형진단 에 대한 개념이 확실히 잡혀있어야 한다.
같이보기 