多重回帰分析

概要

回帰分析とは、変数間の関係を解明する方法であり、特に線形関係を明らかにするのに役立つ。多重線形回帰分析^{multiple Linear regression}は、一つの従属変数（応答変数）に複数の独立変数（説明変数）がどのように影響を及ぼすかを把握する回帰分析を指す。

モデル ¹

$Y = \beta_{0} + \beta_{1} X_{1} + \cdots + \beta_{p} X_{p} + \varepsilon$

私たちは、変数が上記のような線形関係を持っているかに興味がある。各変数は互いに独立していると仮定され、同様に、回帰係数は他の変数が固定されたときのその変数の単位変化率を意味する。設計行列で表すと $\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{bmatrix} = \begin{bmatrix} 1 & x_{11} & \cdots & x_{p1} \\ 1 & x_{12} & \cdots & x_{p2} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{1n} & \cdots & x_{pn} \end{bmatrix} \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{bmatrix} + \begin{bmatrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{bmatrix}$ であり、まとめると $Y = X \beta + \varepsilon$ である。

計算自体は、最小二乗法を使用するが、幸い最小二乗法は次元 $p$ に特にこだわらない。しかし、単純回帰分析と異なり $p$ 次元に対して一般化されるため、 $p \ge 3$ ではグラフで確認するのも難しい。

ただ見るだけでは分析が適切に行われたか分からないので、分析者は様々な診断を通じて結果を正当化する必要がある。そのような診断を通過したとしても、交互作用や多重共線性などの問題が残り、どの変数を選ぶかも重要な問題だ。

多重回帰分析

概要

モデル 1

関連項目

モデル ¹