📂統計的分析

多重回帰分析

概要

回帰分析とは変数の間の関係を明らかにする方法であり、特に線形関係を明らかにするのに有用だ。多重回帰分析^{multiple Linear regression}とは、一つの従属変数（応答変数）に複数の独立変数（説明変数）が及ぼす影響を把握する回帰分析をいう。

モデル¹

$$Y = \beta_{0} + \beta_{1} X_{1} + \cdots + \beta_{p} X_{p} + \varepsilon $$

我々は変数が上のような線形関係を持つかどうかに関心がある。各変数は互いに独立であると仮定し、同様に回帰係数は他の変数が固定されたときの当該変数の単位変化率を意味する。計画行列で表すと $$ \begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \begin{bmatrix} 1 & x_{11} & \cdots & x_{p1} \\ 1 & x_{12} & \cdots & x_{p2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & \cdots & x_{pn} \end{bmatrix} \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{bmatrix} + \begin{bmatrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{bmatrix} $$ であり、整理すると$Y = X \beta + \varepsilon$である。

計算自体は単純回帰分析と同様に最小二乗法を使うが、幸いにも最小二乗法は次元$p$にあまりこだわらない。しかし単純回帰分析とは異なり$p$次元に対して一般化されるため、$p \ge 3$ではグラフで確認するのも難しい。

見るだけでは分析が正しく行われたかどうか分からないため、分析者は様々な診断を通じて結果を正当化しなければならない。たとえそのような診断を通過しても、交互作用や多重共線性などの問題が残っており、どの変数を選択するかも重要な問題だ。

関連リンク

• Rでの多重回帰分析の結果
• 回帰係数のF検定
• 多重回帰係数ベクトルの推定量の導出