📂統計的分析

ニューロモルフィック・リザバーコンピューティング

アルゴリズム¹

リザバーコンピューティング: $0 < t \leq T$までのデータが一定の時間間隔$\Delta t$で分割され、$K$個のデータポイント$\left\{ \left( \mathbf{u} \left( k \Delta t \right) , \mathbf{s} \left( k \Delta t \right) \right) \right\}_{k=1}^{K}$が与えられたとしよう。$T$以降の予測出力ベクトル$\hat{ \mathbf{s} }$は次のように計算される。 $$ \hat{ \mathbf{s} } (t + \Delta t) = W_{\text{out}} \left[ \left( 1 - \alpha \right) \mathbf{r} (t) + \alpha \tanh \left( A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \right] $$

• $\alpha \in [0, 1]$: 漏れ係数^{leakage rate}
• $A \in \mathbb{R}^{N \times N}$: リザバー層の隣接行列
• $W_{\text{in}} \in \mathbb{R}^{N \times M}$: 入力重み行列
• $\tanh : \mathbb{R}^{N} \to \mathbb{R}^{N}$: ベクトル化された双曲線正接

リザバーコンピューティングの変形として、神経系を説明する生物学的システムから着想を得た手法をニューロモルフィック・リザバーコンピューティング^{neuromorphic reservoir computing}という。

説明

脳の神経は、次のように興奮^excitatoryに関係する$b_{\text{ext}}$、$a_{\text{ext}}$と抑制^inhibitoryに関係する$b_{\text{inh}}$、$a_{\text{inh}}$をパラメータとして持つ写像としてモデリングできるという。

$$ \mathbf{x}_{t+1} = b_{\text{ext}} \tanh \left( a_{\text{ext}} \mathbf{x}_{t} \right) - b_{\text{inh}} \tanh \left( a_{\text{inh}} \mathbf{x}_{t} \right) $$

従来のリザバーコンピューティングにおいて、このように実際のシステムの力学を模倣した手法をフィジカルリザバーコンピューティング^{physical reservoir computing}という。通常、ESN^{echo state network}タイプのリザバーコンピューティングが一つの双曲線正接関数を使うのとは異なり、ニューロモルフィック・リザバーコンピューティングは次のように二つの$\tanh$を使ってリザバーシステムを構成する。 $$ \begin{align*} \mathbf{r} (t+1) =& b_{\text{ext}} \tanh \left( a_{\text{ext}} A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \\ & - b_{\text{inh}} \tanh \left( a_{\text{inh}} A \mathbf{r} (t) + W_{\text{in}} \mathbf{u} (t) \right) \end{align*} $$ あるいは、入力$\mathbf{u}(t)$に対する影響を$\tanh$の外に出した次のような形もある。 $$ \mathbf{r} (t+1) = b_{\text{ext}} \tanh \left( a_{\text{ext}} A \mathbf{r} (t) \right) - b_{\text{inh}} \tanh \left( a_{\text{inh}} A \mathbf{r} (t) \right) + \mathbf{g} \left( W_{\text{in}} \mathbf{u} (t) \right) $$ ここで$\mathbf{g}$は内在的な^intrinsic非線形的特性を反映するための関数であり、原論文では比較のための恒等関数と$g(x) = \tanh(x)$、あるいはガウシアンカーネル $g(x) = e^{-x^{2}}/2$を例として挙げた。この論文では、このようなリザバーコンピューティングの実装が相対的に少ない数のノード($N = 30$)でも、従来のリザバーコンピューティングが数千個のノードとより多くのデータを使ったのと同程度の性能を示すと主張している。

ところが、実際にリザバーコンピューティングを使う立場からすると、$b_{\text{ext}}$、$a_{\text{ext}}$、$b_{\text{inh}}$、$a_{\text{inh}}$のようにハイパーパラメータが増えて最適化の手間がより大きくなる側面は明らかに短所として働き、いずれにせよ計算過程で相対的に高価な$\tanh$関数を二回計算しなければならない点も気にかかる。これがネットワークのサイズを減らして得られる利得と比べてどのようなトレードオフを形成するかは分からないが、少なくとも空間複雑度の面では有利であることは確かなように見える。