📂統計的分析

回帰係数の定義と推定量の公式導出

定義 ¹

$$ Y = \beta_{0} + \beta_{1} X_{1} + \cdots + \beta_{p} X_{p} + \varepsilon $$ 多重回帰分析で、$p$個の独立変数$X_{1} , \cdots , X_{p}$に対して上のような線形モデルを設定するとき、$\beta_{0} , \beta_{1} , \cdots , \beta_{p}$を回帰係数という。$Y$は従属変数を、$\varepsilon$はランダムに分布したエラーを意味する。

公式

$$ \begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \begin{bmatrix} 1 & x_{11} & \cdots & x_{p1} \\ 1 & x_{12} & \cdots & x_{p2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & \cdots & x_{pn} \end{bmatrix} \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{bmatrix} + \begin{bmatrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{bmatrix} $$ $n$個のデータが与えられ、$p < n$とするとき、線形多重回帰モデルを計画行列で表すと上のようになり、簡単に$Y = X \beta + \varepsilon$と表そう。$\beta$に対する最小二乗の推定量ベクトル$\hat{\beta}$は以下の通りだ。 $$ \hat{\beta} = \begin{bmatrix} \hat{\beta}_{0} \\ \hat{\beta}_{1} \\ \vdots \\ \hat{\beta}_{p} \end{bmatrix} = \left( X^{T} X \right)^{-1} X^{T} Y $$ それだけでなく、$\hat{\beta}$は$\beta$の最良不偏推定量であるから、最良線形不偏推定量（Best Linear Unbiased Estimator, BLUE）とも呼ばれる。

導出 ^{2 3}

私たちの目標は $$ \left\| \varepsilon \right\|_{2}^{2} = \sum_{k=0}^{n} \varepsilon_{k} = \begin{bmatrix} \varepsilon_{0} & \varepsilon_{1} & \cdots & \varepsilon_{n} \end{bmatrix} \begin{bmatrix} \varepsilon_{0} \\ \varepsilon_{1} \\ \vdots \\ \varepsilon_{n} \end{bmatrix} = \varepsilon^{T} \varepsilon $$ これを最小化することだ。$\varepsilon = Y - X \beta$であるから、$\varepsilon^{T} \varepsilon = \left( Y - X \beta \right)^{T} \left( Y - X \beta \right)$を最小化する$\beta$を見つければいい。両辺を$\beta$で微分すると $$ \begin{align*} {{ d } \over { d \beta }} \varepsilon^{T} \varepsilon =& - 2 X^{T} \left( Y - X \beta \right) \\ = & - 2 X^{T} \left( Y - X \beta \right) \\ = & - 2 X^{T} Y + 2 X^{T} X \beta \end{align*} $$ が$0$となるような$\hat{\beta}$は、以下の形になる。 $$ \hat{\beta} = \argmin_{\beta} \varepsilon^{T} \varepsilon = \left( X^{T} X \right)^{-1} X^{T} Y $$ 一方で、$\hat{\beta}$は$\beta$に対する不偏推定量であることが容易に分かり、最小二乗法を通じて導出されたので、これより分散が小さい$\beta$の不偏推定量は存在せず、最良不偏推定量である。

■

導出過程で$\beta$に対する微分が気に入らない場合は、行列代数でのアプローチが代替案としてある。行列代数での最小二乗法では $$ X^{\ast} Y = X^{\ast} X \hat{\beta} $$ を満たす$\hat{\beta}$が最小二乗解となり、$X \in \mathbb{R}^{n \times p}$であるから、$X^{\ast} = X^{T}$であり、結果として$\hat{\beta} = \left( X^{T} X \right)^{-1} X^{T} Y$を得る。

参照

• 単純回帰係数の推定量の導出
• 回帰係数ベクトルの多変量正規性