📂統計的分析

次世代リザーバーコンピューティング NG-RC

定義 ^{1 2}

非線形 ベクトル 自己回帰^{NVAR, non-linear vector autoregression}の一表現^formulationとしてリザバーコンピューティングで任意性を与えていたハイパーパラメータを置き換える方法を次世代リザバーコンピューティング^{NG-RC, Next-Generation Reservoir Computing}という。

説明

リザバーコンピューティングは正確にディープラーニングと呼べるものではないが、最小二乗法を用いるブラックボックス^{black box}手法として、リザバーシステムを構築してデータの非線形性に対応する戦略を採る。

問題はリザバーコンピュータの実現が乱数の影響を受けて一貫性に欠けるだけでなく、ハイパーパラメータに非常に敏感であり、ハイパーパラメータ最適化に要するコストが非常に大きいことである。

そこでNG-RCは単純にディレイベクトルを追加し、それらの多項式によってデザイン行列を作成して直ちに最適化に入る。より簡単に言えば、遅延項を入れて変数を2倍に増やし、2次項まで追加するところで終える。

百聞は一見に如かず、データセットが $\left\{ \mathbf{u}_{t} = \left( x_{t}, y_{t}, z_{t} \right) \right\}_{t=1}^{n}$ のように与えられているとき、 $t$ 時点の $\left( x_{t}, y_{t} \right)$ ベクトルを受け取って $t+1$ 時点の $z_{t}$ を予測するモデル $\mathbf{u}_{t+1} = f \left( \mathbf{u}_{t} \right) W$ のセッティングがどうなるか実際に見てみよう。 $$ \begin{align*} U_{t+1} =& f \left( U_{t} \right) W \\ \implies \begin{bmatrix} z_{1} \\ z_{2} \\ \vdots \\ z_{n} \\ z_{n+1} \end{bmatrix} =& \begin{bmatrix} 1 & x_{0} & y_{0} && x_{0}^{2} & x_{0} x_{1} & \cdots \\ 1 & x_{1} & y_{1} && x_{1}^{2} & x_{1} x_{2} & \cdots \\ \vdots & \vdots & \vdots && \vdots & \vdots & \ddots \\ 1 & x_{n-1} & y_{n-1} && x_{n-1}^{2} & x_{n-1} x_{n} & \cdots \\ 1 & x_{n} & y_{n} && x_{n}^{2} & x_{n} x_{n+1} & \cdots \end{bmatrix} W \end{align*} $$

ここでディレイベクトルがどれだけ多くのバックシフトを取るか、多項式の次数をどこまで考慮するか、$t$ 時点のベクトルで $t+1$ 時点を予測するか、いくつのオブザーバでいくつのターゲットを予測するかなどが異なり得る。本文で記述した最小二乗問題はNG-RCを紹介した論文で示されたものとは少し異なる形だが、根本的には問題ない。

• 論文では $N$ 次元の入力に応じて $N$ 次元の出力が出る代わりに、$t$ 時点を受け取って $t+1$ 時点を予測する。これはオブザーバ^observerの介入なしに単独で予測性能を示すための設定である。