適応的な学習率: AdaGrad, RMSProp, Adam
📂機械学習 適応的な学習率: AdaGrad, RMSProp, Adam 概要 勾配降下法で使用されるアダプティブラーニングレートと、これを適用したモデルであるAdaGrad、RMSProp、Adamについて説明する。
説明 勾配降下法 で学習率learning rate は、パラメータが収束する速度、メソッドの成功の有無などを決定する重要なパラメータである。通常 α \alpha α η \eta η
学習率による最適化の様子：大きな学習率(左)、小さな学習率(右) θ i + 1 = θ i − α ∇ L ( θ i )
\boldsymbol{\theta}_{i+1} = \boldsymbol{\theta}_{i} - \alpha \nabla L (\boldsymbol{\theta}_{i})
θ i + 1 = θ i − α ∇ L ( θ i )
基本的な勾配降下法では α \alpha α 勾配 はベクトルなので、全ての変数（パラメータ）に対して同じ学習率が適用される。
α ∇ L ( θ ) = α [ ∂ L ∂ θ 1 ∂ L ∂ θ 2 ⋯ ∂ L ∂ θ k ] = [ α ∂ L ∂ θ 1 α ∂ L ∂ θ 2 ⋯ α ∂ L ∂ θ k ]
\alpha \nabla L (\boldsymbol{\theta})
= \alpha \begin{bmatrix}
\dfrac{\partial L}{\partial \theta_{1}} & \dfrac{\partial L}{\partial \theta_{2}} & \cdots & \dfrac{\partial L}{\partial \theta_{k}}
\end{bmatrix}
= \begin{bmatrix}
\alpha\dfrac{\partial L}{\partial \theta_{1}} & \alpha\dfrac{\partial L}{\partial \theta_{2}} & \cdots & \alpha\dfrac{\partial L}{\partial \theta_{k}}
\end{bmatrix}
α ∇ L ( θ ) = α [ ∂ θ 1 ∂ L ∂ θ 2 ∂ L ⋯ ∂ θ k ∂ L ] = [ α ∂ θ 1 ∂ L α ∂ θ 2 ∂ L ⋯ α ∂ θ k ∂ L ]
したがって、学習率を α = ( α 1 , α 2 , … , α k ) \boldsymbol{\alpha} = (\alpha_{1}, \alpha_{2}, \dots, \alpha_{k}) α = ( α 1 , α 2 , … , α k )
α ⊙ ∇ L ( θ ) = [ α 1 ∂ L ∂ θ 1 α 2 ∂ L ∂ θ 2 ⋯ α k ∂ L ∂ θ k ]
\boldsymbol{\alpha} \odot \nabla L (\boldsymbol{\theta})
= \begin{bmatrix}
\alpha_{1}\dfrac{\partial L}{\partial \theta_{1}} & \alpha_{2}\dfrac{\partial L}{\partial \theta_{2}} & \cdots & \alpha_{k}\dfrac{\partial L}{\partial \theta_{k}}
\end{bmatrix}
α ⊙ ∇ L ( θ ) = [ α 1 ∂ θ 1 ∂ L α 2 ∂ θ 2 ∂ L ⋯ α k ∂ θ k ∂ L ]
ここで ⊙ \odot ⊙ アダマール積（要素毎の積） を表す。このようにパラメータ毎に異なる適用される学習率 α \boldsymbol{\alpha} α アダプティブラーニングレート adaptive learning rate と呼ぶ。以下の技術はアダプティブラーニングレートを勾配に依存して決定するため、α \boldsymbol{\alpha} α
α ( ∇ L ( θ ) ) = [ α 1 ( ∇ L ( θ ) ) α 2 ( ∇ L ( θ ) ) … α k ( ∇ L ( θ ) ) ]
\boldsymbol{\alpha} (\nabla L(\boldsymbol{\theta}))
= \begin{bmatrix}
\alpha_{1}(\nabla L(\boldsymbol{\theta})) & \alpha_{2}(\nabla L(\boldsymbol{\theta})) & \dots & \alpha_{k}(\nabla L(\boldsymbol{\theta}))
\end{bmatrix}
α ( ∇ L ( θ )) = [ α 1 ( ∇ L ( θ )) α 2 ( ∇ L ( θ )) … α k ( ∇ L ( θ )) ]
以下ではAdaGrad、RMSProp、Adamを紹介する。ここで重要な事実は、モーメンタム 技術を含むこれらのオプティマイザー間に絶対的優位性はないということである。分野によって、作業によって最適なオプティマイザーは異なるので、単純に「何が最も良いか」についての判断や質問は良くない。自分が属する分野で主に使用されているものが何かを把握することが役に立ち、それがない場合やよくわからない場合は、SGD +モーメンタムまたはAdamを使用することが無難である。
AdaGrad AdaGradは論文"(Duchi et al., 2011)Adaptive subgradient methods for online learning and stochastic optimization"で紹介されたアダプティブラーニングレート技術です。この名前はadaptive gradientの略で、[エイダグラード]または[アダグラード]と読みます。AdaGradでは、各パラメータに対する学習率を勾配に反比例するように設定します。ベクトル r \mathbf{r} r
r = ( ∇ L ) ⊙ ( ∇ L ) = [ ( ∂ L ∂ θ 1 ) 2 ( ∂ L ∂ θ 2 ) 2 ⋯ ( ∂ L ∂ θ k ) 2 ]
\mathbf{r} = (\nabla L) \odot (\nabla L) = \begin{bmatrix}
\left( \dfrac{\partial L}{\partial \theta_{1}} \right)^{2} & \left( \dfrac{\partial L}{\partial \theta_{2}} \right)^{2} & \cdots & \left( \dfrac{\partial L}{\partial \theta_{k}} \right)^{2}
\end{bmatrix}
r = ( ∇ L ) ⊙ ( ∇ L ) = [ ( ∂ θ 1 ∂ L ) 2 ( ∂ θ 2 ∂ L ) 2 ⋯ ( ∂ θ k ∂ L ) 2 ]
全体の学習率global learning rate ϵ \epsilon ϵ δ \delta δ α \boldsymbol{\alpha} α
α = ϵ δ + r
\boldsymbol{\alpha} = \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}}}
α = δ + r ϵ
式からわかるように、勾配の成分が大きい変数には学習率を小さくし、勾配の成分が小さい変数には学習率を大きく適用します。δ \delta δ 0 0 0 1 0 − 5 ∼ 1 0 − 7 10^{-5} \sim 10^{-7} 1 0 − 5 ∼ 1 0 − 7 i i i ∇ L i = ∇ L ( θ i ) \nabla L _{i} = \nabla L (\boldsymbol{\theta}_{i}) ∇ L i = ∇ L ( θ i )
r i = ( ∇ L i ) ⊙ ( ∇ L i ) α i = α i − 1 + ϵ δ + r i = ∑ j = 1 i ϵ δ + r j θ i + 1 = θ i − α i ⊙ ∇ L i
\begin{align}
\mathbf{r}_{i} &= (\nabla L_{i}) \odot (\nabla L_{i}) \nonumber \\
\boldsymbol{\alpha}_{i} &= \boldsymbol{\alpha}_{i-1} + \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}_{i}}} = \sum_{j=1}^{i} \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}_{j}}} \\
\boldsymbol{\theta}_{i+1} &= \boldsymbol{\theta}_{i} - \boldsymbol{\alpha}_{i} \odot \nabla L_{i} \nonumber
\end{align}
r i α i θ i + 1 = ( ∇ L i ) ⊙ ( ∇ L i ) = α i − 1 + δ + r i ϵ = j = 1 ∑ i δ + r j ϵ = θ i − α i ⊙ ∇ L i
アルゴリズム: AdaGrad 入力 全体の学習率 ϵ \epsilon ϵ δ \delta δ N N N 1. パラメータ θ \boldsymbol{\theta} θ 2. 学習率を α = 0 \boldsymbol{\alpha} = \mathbf{0} α = 0 3. for i = 1 , ⋯ , N i = 1, \cdots, N i = 1 , ⋯ , N 4. r ← ∇ L ( θ ) ⊙ ∇ L ( θ ) \mathbf{r} \leftarrow \nabla L(\boldsymbol{\theta}) \odot \nabla L(\boldsymbol{\theta}) r ← ∇ L ( θ ) ⊙ ∇ L ( θ ) # 勾配を計算し、各成分を二乗する 5. α ← α + ϵ δ + r \boldsymbol{\alpha} \leftarrow \boldsymbol{\alpha} + \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}}} α ← α + δ + r ϵ # アダプティブ学習率更新 6. θ ← θ − α ⊙ ∇ L ( θ ) \boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \boldsymbol{\alpha} \odot \nabla L(\boldsymbol{\theta}) θ ← θ − α ⊙ ∇ L ( θ ) # パラメータ更新 7. end for
RMSProp RMSPropは R oot M ean S quare Prop agationの略で、ジェフリー・ヒントンGeoffrey Hinton の講義 Neural networks for machine learning で提案されたアダプティブラーニングレート技術です。基本的にAdaGradの変形であり、追加される項が指数的に減少するように( 1 ) (1) ( 1 ) 加重和 に変えただけです。ρ ∈ ( 0 , 1 ) \rho \in (0,1) ρ ∈ ( 0 , 1 )
α i = ρ α i − 1 + ( 1 − ρ ) ϵ δ + r i = ( 1 − ρ ) ∑ j = 1 i ρ i − j ϵ δ + r j
\boldsymbol{\alpha}_{i} = \rho \boldsymbol{\alpha}_{i-1} + (1-\rho) \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}_{i}}} = (1-\rho) \sum_{j=1}^{i} \rho^{i-j} \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}_{j}}}
α i = ρ α i − 1 + ( 1 − ρ ) δ + r i ϵ = ( 1 − ρ ) j = 1 ∑ i ρ i − j δ + r j ϵ
通常は ρ = 0.9 , 0.99 \rho = 0.9, 0.99 ρ = 0.9 , 0.99
アルゴリズム: RMSProp 入力 全体の学習率 ϵ \epsilon ϵ δ \delta δ ρ \rho ρ N N N 1. パラメータ θ \boldsymbol{\theta} θ 2. 学習率を α = 0 \boldsymbol{\alpha} = \mathbf{0} α = 0 3. for i = 1 , … , N i = 1, \dots, N i = 1 , … , N 4. r ← ∇ L ( θ ) ⊙ ∇ L ( θ ) \mathbf{r} \leftarrow \nabla L(\boldsymbol{\theta}) \odot \nabla L(\boldsymbol{\theta}) r ← ∇ L ( θ ) ⊙ ∇ L ( θ ) # 勾配を計算し、各成分を二乗する 5. α ← ρ α + ( 1 − ρ ) ϵ δ + r \boldsymbol{\alpha} \leftarrow \rho \boldsymbol{\alpha} + (1-\rho) \dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}}} α ← ρ α + ( 1 − ρ ) δ + r ϵ # アダプティブ学習率更新 6. θ ← θ − α ⊙ ∇ L ( θ ) \boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \boldsymbol{\alpha} \odot \nabla L(\boldsymbol{\theta}) θ ← θ − α ⊙ ∇ L ( θ ) # パラメータ更新 7. end for
Adam Adam“adaptive moments"から派生 は論文”(Kingma and Ba, 2014)Adam: A method for stochastic optimization"で紹介されたオプティマイザです。アダプティブラーニングレートとモーメンタム技術を組み合わせたもので、RMSProp + モーメンタムと見ることができます。RMSPropとモーメンタムを理解していれば、Adamを理解するのは難しくありません。RMSProp、モーメンタム、Adamをそれぞれ比較すると、以下のようになります。∇ L i = ∇ L ( θ i ) \nabla L_{i} = \nabla L(\boldsymbol{\theta}_{i}) ∇ L i = ∇ L ( θ i )
Momentum p i = β 1 p i − 1 + ∇ L i ( p 0 = 0 ) θ i + 1 = θ i − α p i \mathbf{p}_{i} = \beta_{1}\mathbf{p}_{i-1} + \nabla L_{i} \quad (\mathbf{p}_{0}=\mathbf{0}) \\
\boldsymbol{\theta}_{i+1} = \boldsymbol{\theta}_{i} - \alpha \mathbf{p}_{i} p i = β 1 p i − 1 + ∇ L i ( p 0 = 0 ) θ i + 1 = θ i − α p i RMSProp r i = ∇ L i ⊙ ∇ L i α i = β 2 α i − 1 + ( 1 − β 2 ) ϵ δ + r i ( α 0 = 0 ) θ i + 1 = θ i − α i ⊙ ∇ L i \mathbf{r}_{i} = \nabla L_{i} \odot \nabla L_{i} \\
\boldsymbol{\alpha}_{i} = \beta_{2} \boldsymbol{\alpha}_{i-1} + (1-\beta_{2})\dfrac{\epsilon}{\delta + \sqrt{\mathbf{r}_{i}}} \quad (\boldsymbol{\alpha}_{0}=\mathbf{0})\\
\boldsymbol{\theta}_{i+1} = \boldsymbol{\theta}_{i} - \boldsymbol{\alpha}_{i} \odot \nabla L_{i} r i = ∇ L i ⊙ ∇ L i α i = β 2 α i − 1 + ( 1 − β 2 ) δ + r i ϵ ( α 0 = 0 ) θ i + 1 = θ i − α i ⊙ ∇ L i Adam p i = β 1 p i − 1 + ( 1 − β 1 ) ∇ L i − 1 ( p 0 = 0 ) p ^ i = p i 1 − ( β 1 ) i r i = β 2 r i − 1 + ( 1 − β 2 ) ∇ L i ⊙ ∇ L i r ^ i = r 1 − ( β 2 ) i α ^ i = ϵ δ + r ^ i θ i + 1 = θ i − α i ^ ⊙ p i ^ \mathbf{p}_{i} = \beta_{1}\mathbf{p}_{i-1} + (1-\beta_{1}) \nabla L_{i-1} \quad (\mathbf{p}_{0}=\mathbf{0}) \\\\[0.5em]
\hat{\mathbf{p}}_{i} = \dfrac{\mathbf{p}_{i}}{1-(\beta_{1})^{i}} \\\\[0.5em]
\mathbf{r}_{i} = \beta_{2} \mathbf{r}_{i-1} + (1-\beta_{2}) \nabla L_{i} \odot \nabla L_{i} \\\\[0.5em]
\hat{\mathbf{r}}_{i} = \dfrac{\mathbf{r}}{1-(\beta_{2})^{i}} \\\\[0.5em]
\hat{\boldsymbol{\alpha}}_{i} = \dfrac{\epsilon}{\delta + \sqrt{\hat{\mathbf{r}}_{i}}} \\\\[0.5em]
\boldsymbol{\theta}_{i+1} = \boldsymbol{\theta}_{i} - \hat{\boldsymbol{\alpha}_{i}} \odot \hat{\mathbf{p}_{i}}
p i = β 1 p i − 1 + ( 1 − β 1 ) ∇ L i − 1 ( p 0 = 0 ) p ^ i = 1 − ( β 1 ) i p i r i = β 2 r i − 1 + ( 1 − β 2 ) ∇ L i ⊙ ∇ L i r ^ i = 1 − ( β 2 ) i r α ^ i = δ + r ^ i ϵ θ i + 1 = θ i − α i ^ ⊙ p i ^
p ^ i \hat{\mathbf{p}}_{i} p ^ i r ^ i \hat{\mathbf{r}}_{i} r ^ i 1 − β i 1 - \beta^{i} 1 − β i p i \mathbf{p}_{i} p i r i \mathbf{r}_{i} r i
アルゴリズム: Adam 入力 全体の学習率 ϵ \epsilon ϵ 0.001 0.001 0.001 N N N 小さな定数 δ \delta δ 1 0 − 8 10^{-8} 1 0 − 8 減衰率 β _ 1 , β _ 2 \beta\_{1}, \beta\_{2} β _ 1 , β _ 2 0.9 0.9 0.9 0.999 0.999 0.999 1. パラメータ θ \boldsymbol{\theta} θ 2. 学習率を α = 0 \boldsymbol{\alpha} = \mathbf{0} α = 0 3. モーメンタムを p = 0 \mathbf{p} = \mathbf{0} p = 0 4. for i = 1 , … , N i = 1, \dots, N i = 1 , … , N 5. p ← β _ 1 p + ( 1 − β _ 1 ) ∇ L \mathbf{p} \leftarrow \beta\_{1}\mathbf{p} + (1-\beta\_{1}) \nabla L p ← β _ 1 p + ( 1 − β _ 1 ) ∇ L # 加重和でモーメンタム更新 6. p ^ ← p 1 − ( β _ 1 ) i \hat{\mathbf{p}} \leftarrow \dfrac{\mathbf{p}}{1-(\beta\_{1})^{i}} p ^ ← 1 − ( β _ 1 ) i p # 和を加重平均に補正 7. r ← β _ 2 r + ( 1 − β _ 2 ) ∇ L ⊙ ∇ L \mathbf{r} \leftarrow \beta\_{2} \mathbf{r} + (1-\beta\_{2}) \nabla L \odot \nabla L r ← β _ 2 r + ( 1 − β _ 2 ) ∇ L ⊙ ∇ L # 加重和で勾配の二乗ベクトル更新 8. r ^ ← r 1 − ( β _ 2 ) i \hat{\mathbf{r}} \leftarrow \dfrac{\mathbf{r}}{1-(\beta\_{2})^{i}} r ^ ← 1 − ( β _ 2 ) i r # 和を加重平均に補正 9. α ^ ← ϵ δ + r ^ \hat{\boldsymbol{\alpha}} \leftarrow \dfrac{\epsilon}{\delta + \sqrt{\hat{\mathbf{r}}}} α ^ ← δ + r ^ ϵ # アダプティブ学習率更新 10. θ = θ − α ^ ⊙ p ^ \boldsymbol{\theta} = \boldsymbol{\theta} - \hat{\boldsymbol{\alpha}} \odot \hat{\mathbf{p}} θ = θ − α ^ ⊙ p ^ # パラメータ更新 11. end for
