📂データサイエンス

次元の呪い

定義 ¹

主にユークリッド空間 $\mathbb{R}^{d}$において、ある問題を解決するために必要なメモリの量や演算回数が次元$d$に対して指数的に増加することを次元の呪い^{curse of dimensionality}と呼ぶ。

説明

多くの問題で次元が増えるということは、考慮する変数が増えることを意味する。例えば、ある化学物質の純度$c$がモデル$f$と酸素濃度$x$に▶eq06◀のように現れる場合、$x$の値を$n = 10$程度変更しながら計算し、$c$がどこで最大化されるかを把握するのはそれほど困難ではない。しかし、ここに炭素量も$y$追加で考慮されると、$c = f(x, y)$は平面上で$n^{2} = 100$回の計算を要求し、温度$z$まで考慮されると$n^{3} = 1000$回の計算が必要となる。このように、計算の精度に影響を及ぼす$n$を減らすことができず、次元が増えるにつれて計算量が大幅に増加する状況を、われわれは「次元の呪いを受けている」と言う。

機械学習などで次元の呪いとは、高次元空間を扱う際に学習のためのデータがむしろ不足する現象を指すことがある。これは一見して上記の定義と関係なさそうに思えるが、次元が増加することで「適切な学習」のためのデータが実際に存在していれば、その容量が相当あったであろうということで、本質的には同じ話になる。

次元の呪いを克服する方法は問題とデータによって千差万別であるが、共通して考えられる手段としては、主成分分析のような次元削減がまず考慮されることが多い。