📂통계적분석

차세대 레저버 컴퓨팅 NG-RC

정의 ^{1 2}

비선형 벡터 자기회귀^{NVAR, non-linear vector autoregression}의 한 표현^formulation으로써 레저버 컴퓨팅에서 임의성을 주던 하이퍼파라미터를 대체한 방법을 차세대 레저버 컴퓨팅^{NG-RC, Next-Generation Reservoir Computing}이라 한다.

설명

레저버 컴퓨팅은 정확히 딥러닝이라고 할만한 것은 아니지만 최소제곱법을 사용하는 블랙박스^{black box} 기법으로써, 레저버 시스템을 구축해서 데이터의 비선형성에 대응하는 전략을 사용한다.

문제는 레저버 컴퓨터의 실현이 난수의 영향을 받아 일관성이 떨어질 뿐만 아니라 하이퍼파라미터에 너무나 민감해서 하이퍼라미터 최적화의 소요가 너무 크다는 것이다.

이에 NG-RC는 단순히 딜레이 벡터를 추가하고 그것들의 다항함수로써 디자인 매트릭스를 만든 후 바로 최적화에 들어간다. 더 쉽게는, 딜레이 항을 넣어서 변수를 2배로 늘린다음 제곱항까지 추가하는 선에서 끝낸다.

백문이불여일견, 데이터셋이 $\left\{ \mathbf{u}_{t} = \left( x_{t}, y_{t}, z_{t} \right) \right\}_{t=1}^{n}$ 와 같이 주어져 있을 때, $t$ 시점의 $\left( x_{t}, y_{t} \right)$ 벡터를 받아서 $t+1$ 시점의 $z_{t}$ 를 예측하는 모델 $\mathbf{u}_{t+1} = f \left( \mathbf{u}_{t} \right) W$ 의 세팅이 어떻게 되는지 직접 보자. $$ \begin{align*} U_{t+1} =& f \left( U_{t} \right) W \\ \implies \begin{bmatrix} z_{1} \\ z_{2} \\ \vdots \\ z_{n} \\ z_{n+1} \end{bmatrix} =& \begin{bmatrix} 1 & x_{0} & y_{0} && x_{0}^{2} & x_{0} x_{1} & \cdots \\ 1 & x_{1} & y_{1} && x_{1}^{2} & x_{1} x_{2} & \cdots \\ \vdots & \vdots & \vdots && \vdots & \vdots & \ddots \\ 1 & x_{n-1} & y_{n-1} && x_{n-1}^{2} & x_{n-1} x_{n} & \cdots \\ 1 & x_{n} & y_{n} && x_{n}^{2} & x_{n} x_{n+1} & \cdots \end{bmatrix} W \end{align*} $$

여기서 딜레이 벡터가 얼마나 많은 백쉬프트를 취하느냐, 다항함수의 차수를 어디까지 고려하느냐, $t$ 시점의 벡터로 $t+1$ 시점을 예측하느냐, 몇 개의 옵저버로 몇 개의 타겟을 예측하느냐 등이 달라질 수 있다. 본문에서 묘사한 최소제곱문제는 NG-RC를 소개한 논문에서 제시된 것과는 조금 다른 형태지만, 근본적으로 아무 문제 없다.

• 논문에서는 $N$ 차원의 입력에 따라 $N$ 차원의 출력이 나오는 대신, $t$ 시점을 받아서 $t+1$ 시점을 예측한다. 이는 관측자^observer의 개입 없이 혼자만의 힘으로 예측 성능을 보여주기 위한 세팅이다.