📂통계적분석

신경계형 레저버 컴퓨팅

알고리즘 ¹

레저버 컴퓨팅: $0 < t \leq T$ 까지의 데이터가 일정한 시간간격 $\Delta t$ 으로 나뉘어져서 $K$개의 데이터포인트 $\left\{ \left( \mathbf{u} \left( k \Delta t \right) , \mathbf{s} \left( k \Delta t \right) \right) \right\}_{k=1}^{K}$ 가 주어졌다고 하자. $T$ 이후의 예측출력벡터 $\hat{ \mathbf{s} }$ 는 다음과 같이 계산된다. $$ \hat{ \mathbf{s} } (t + \Delta t) = W_{\text{out}} \left[ \left( 1 - \alpha \right) \mathbf{r} (t) + \alpha \tanh \left( A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \right] $$

• $\alpha \in [0, 1]$: 누출계수^{leakage rate}
• $A \in \mathbb{R}^{N \times N}$: 저장소 레이어의 인접행렬
• $W_{\text{in}} \in \mathbb{R}^{N \times M}$: 입력 가중행렬
• $\tanh : \mathbb{R}^{N} \to \mathbb{R}^{N}$: 벡터화된 하이퍼볼릭탄젠트

레저버 컴퓨팅의 변형으로, 신경계를 설명하는 생물학적 시스템에서 영감을 받은 기법을 신경계형 레저버 컴퓨팅^{neuromorphic reservoir computing}이라 한다.

설명

뇌의 신경은 다음과 같이 자극^excitatory에 관계된 $b_{\text{ext}}$, $a_{\text{ext}}$ 와 억제^inhibitory에 관계된 $b_{\text{inh}}$, $a_{\text{inh}}$ 를 파라미터로 갖는 맵으로써 모델링 할 수 있다고 한다.

$$ \mathbf{x}_{t+1} = b_{\text{ext}} \tanh \left( a_{\text{ext}} \mathbf{x}_{t} \right) - b_{\text{inh}} \tanh \left( a_{\text{inh}} \mathbf{x}_{t} \right) $$

기존의 레저버 컴퓨팅에서 이렇게 실제 시스템의 동역학을 모방한 기법을 피지컬 레저버 컴퓨팅^{physical reservoir computing}이라 한다. 보통 ESN^{echo state network} 타입의 레저버 컴퓨팅이 하나의 하이퍼볼릭 탄젠트 함수를 사용하는 것과 달리, 신경계형 레저버 컴퓨팅은 다음과 같이 두 개의 $\tanh$ 를 사용해서 레저버 시스템을 구성한다. $$ \begin{align*} \mathbf{r} (t+1) =& b_{\text{ext}} \tanh \left( a_{\text{ext}} A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \\ & - b_{\text{inh}} \tanh \left( a_{\text{inh}} A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \end{align*} $$ 혹은 인풋 $\mathbf{u}(t)$ 에 대한 영향을 $\tanh$ 밖으로 뺀 다음과 같은 형태도 있다. $$ \mathbf{r} (t+1) = b_{\text{ext}} \tanh \left( a_{\text{ext}} A \mathbf{r} (t) \right) - b_{\text{inh}} \tanh \left( a_{\text{inh}} A \mathbf{r} (t) \right) + \mathbf{g} \left( W_{\text{in}} \mathbf{u} (t) \right) $$ 여기서 $\mathbf{g}$ 는 내재적인^intrinsic 비선형적 특성을 반영하기 위한 함수로써 원논문에서는 비교를 위한 항등함수와 $g(x) = \tanh(x)$ 이나 가우시안 커널 $g(x) = e^{-x^{2}}/2$ 을 예로 들었다. 이 논문에서는 이러한 레저버 컴퓨팅의 구현이 상대적으로 적은 수의 노드($N = 30$)으로도 기존의 레저버 컴퓨팅이 수천개의 노드와 더 많은 데이터를 사용한 것과 비슷한 수준의 성능을 보인다고 주장한다.

그런데 실제로 레저버 컴퓨팅을 쓰는 입장에서는 $b_{\text{ext}}$, $a_{\text{ext}}$, $b_{\text{inh}}$, $a_{\text{inh}}$ 와 같이 하이퍼파라미터가 늘어나서 최적화의 소요가 더 커지는 측면은 분명히 단점으로 작용하고, 어쨌거나 계산과정에서 상대적으로 비싼 $\tanh$ 함수를 두 번 계산해야 하는 점도 걸린다. 이것이 네트워크의 사이즈를 줄여서 보는 이득과 비교해서 어떤 트레이드오프를 형성할텐데, 적어도 공간복잡도 측면에서는 유리한 것이 확실해 보인다.