📂統計的分析

統計分析における変数選択基準

概要

変数を選択する問題には必然的に分析者の主観が介入せざるを得ないが、できる限り客観的な結論を下せるよう助けてくれる数値的な指標が必要だった。そのような値を計算できるなら、変数選択の手順をいつ止めるかについての明快な答えになる。ただしこの基準にもいろいろな種類があり、基準を変えて適用すれば結果もまた変わり得る。

指標¹

説明力^r-squared $R^2$

説明力は$\displaystyle R^2 = 1 - {{ \text{ SSE } } \over { \text{ SST} }}$で計算され、$1$に近いほどモデルがデータをよく説明していると解釈できる。

ただし変数選択基準としては、比較されるモデル同士で独立変数の数が異なると意味がなくなるため、あまり適切ではない。

修正説明力^{adjusted R-squared} $R_{a}^2$

回帰分析で変数の数が増えるということは、それだけ使えるデータが増えるということであり、そのとき説明力$R^{2}$は必ず増加する。これに対して修正説明力は、説明力と異なり$\displaystyle R^{2}_{a} = 1 - {{ \text{ SSE } / (n - p - 1) } \over { \text{ SST} / (n - 1) }}$で計算され、変数の数が反映されるという点が異なる。

修正説明力$R^{2}_{a}$は、変数の数に対してペナルティを適用することで、変数の数が異なると使えない説明力の欠点を克服する。また、他の変数選択基準が相対的な指標であってモデルとモデルを比較するときにのみ意味を持つのとは異なり、修正説明力はそれ自体でモデルがどれだけデータをよく説明しているかも教えてくれるため、どの基準を使うにせよ参考にせざるを得ない指標でもある。変数選択基準としては人気がないが、最適なモデルではなく最も説明力の高いモデルを求めるなら有用に使える。

アカイケ情報量基準^{akaike Information Criteria} $\text{AIC}_{p}$

独立変数$p$個に対して、アカイケ情報量基準は$\displaystyle \text{AIC}_{p} := n \ln \left( {{ \text{SSE}_{p} } \over {n}} \right) + 2(p+1) $で計算される。AICは実際の分析で最も好んで使われる尺度であり、二つのモデルを比較したときAICがより小さい方がより良いと判断する。

式の第二項は、$p$が大きくなるほど、つまり変数が多くなるほどペナルティを与えると考えればよい。AICの欠点は、標本$n$が異なる場合に比較が不正確になることだ。同じデータで変数だけを変えて分析するのにどうして$n$が異なり得るのかと思うかもしれないが、特定の変数が多くの欠損値を持つ場合には、これが致命的な問題になり得る。

ベイズ情報量基準^{Bayes Information Criteria} $\text{ BIC }_{p}$

独立変数$p$個に対して、ベイズ情報量基準は$\displaystyle \text{BIC}_{p} := n \ln \left( {{ \text{SSE}_{p} } \over {n}} \right) + ( p +1 ) \ln n $で計算される。AICと似ているが、最後の項を修正することでAICを補完しており、AICと同様に小さい方がより良いと判断する。

マローズ^mallows $C_{p}$

独立変数$p$個に対して、マローズ$C_{p}$は$\displaystyle C_{p} := {{ \text{SSE}_{p} } \over { \hat{\sigma}^2 }} + ( 2p - n )$で計算される。

$C_{p}$は偏りが少ない方向に変数を選択し、変数の数に近いほどより良いと判断する。いわば$C_{p} \approx p$に近づくほど偏りがないと見なせる。偏りに気を配るべき分析があるなら使えるだろうし、数学的にもきれいになるので良いのだが、最近は多少の偏りがあっても分散を大きく減らして精密に合わせる手法が脚光を浴びており、人気はない。