回帰係数のt検定

仮説検定

$$ \begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \begin{bmatrix} 1 & x_{11} & \cdots & x_{p1} \\ 1 & x_{12} & \cdots & x_{p2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & \cdots & x_{pn} \end{bmatrix} \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{bmatrix} + \begin{bmatrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{bmatrix} $$ 独立変数が$p$個、$n$個のデータが与えられた時、線形多重回帰モデルを設計行列で表すと上のようになり、簡単に$Y = X \beta + \varepsilon$としよう。モデル診断で残差が線形性や等分散性、独立性、正規性を満たすとする。多重回帰分析で各回帰係数に対する仮説検定は次の通り。

$H_{0}$：$\beta_{j} = 0$つまり、$j$番目の独立変数は従属変数との相関関係がない。
$H_{1}$：$\beta_{j} \ne 0$つまり、$j$番目の独立変数に関する回帰係数は有意である。

導出 ¹

回帰係数の正規性: $$ \hat{\beta} \sim N_{1+p} \left( \beta , \sigma^{2} \left( X^{T} X \right)^{-1} \right) $$
残差平方和の不偏推定量と回帰係数の標準誤差: $$ E \widehat{\sigma^{2}} = E \left[ {{ 1 } \over { n-p-1 }} \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} \right] = \sigma^{2} $$ $$ \text{s.e.} \left( \hat{\beta}_{k} \right) = \hat{\sigma} \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } $$

回帰係数の推定値$\hat{ \beta_{j} }$と標準誤差$\text{se} \left( \hat{ \beta_{j} } \right)$について$t_{j}$を次のように置こう。 $$ t_{j} := {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}} $$

カイ二乗分布に従う確率変数の和: 確率変数$X_{1} , \cdots , X_{n}$が相互独立とする。$X_i \sim \chi^2 ( r_{i} )$ならば $$ \sum_{i=1}^{n} X_{i} \sim \chi ^2 \left( \sum_{i=1}^{n} r_{i} \right) $$

残差平方和$\sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} / \sigma^{2}$はデータの数が$n$個、独立変数が$p$個と$1$個の定数項のサンプル平均を使用する―独立な確率変数は$(n-p-1)$個しか使用されていないため、自由度$(n-p-1)$のカイ二乗分布に従い、帰無仮説の下では―帰無仮説が真であると仮定すると$\beta_{j} = 0$であることから$\hat{\beta}_{j} \sim N \left( 0 , \sigma^{2} \left( X^{T} X \right)^{-1}_{jj} \right)$が得られる。 $$ \begin{align*} t_{j} =& {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}} \\ =& {{\hat{ \beta_{j}} - 0 } \over { \hat{\sigma} \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} \\ =& {{\hat{ \beta_{j}} - 0 } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { n-p-1 }} \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} \\ =& {{ {{ \hat{ \beta_{j}} - 0 } \over { \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { n-p-1 }} } }} \\ =& {{ {{ \hat{ \beta_{j} } - 0 } \over { \sigma \sqrt{ \left[ \left( X^{T} X \right)^{-1} \right]_{kk} } }} } \over { \sqrt{ {{ \sum_{i=1}^{n} \left( y_{i} - \hat{y}_{i} \right)^{2} } \over { \sigma^{2} }} / (n-p-1) } }} \\ \sim & {{ N (0,1) } \over { \sqrt{\chi^{2} (n-p-1) / n-p-1} }} \end{align*} $$

t分布の導出: ２つの確率変数$W,V$が独立であり$W \sim N(0,1)$、$V \sim \chi^{2} (r)$とすると $$ T = { {W} \over {\sqrt{V/r} } } \sim t(r) $$

結論として、$t_{j}$は自由度$(n-p-1)$のt分布に従う。再び式で表すと $$ t_{j} = {{\hat{ \beta_{j} }} \over {\text{se} \left( \hat{ \beta_{j} } \right)}} \sim t(n-p-1) $$ で、これを使って仮説検定を行う。もし $$ \left| t_j \right| \ge t_{(n-p-1 , {{\alpha} \over {2}})} $$ であれば帰無仮説を棄却する。$\left| t_j \right|$がその程度大きいということは、帰無仮説が真であると信じるには$\hat{ \beta_{j} }$が大きすぎるという意味である。

■

説明

$j$番目の変数と有意水準$\alpha$に対する信頼区間$\hat{ \beta_{j} } \pm t_{(n-p-1 , {{\alpha} \over {2}})} \text{se} ( \hat{ \beta_{j}} )$も計算できる。

導出過程は落ち着いて書かれているが、実際に回帰分析を学ぶ学部生が理解するにはかなり難しいかもしれない。$t_{j}$がt分布に従うこと自体はそんなに難しくないが、その補助定理として回帰係数の分布を知る必要があり、モデル診断の概念をしっかりと把握している必要がある。

一緒に見る

Hadi. (2006). Regression Analysis by Example(4th Edition): p0. ↩︎