📂機械学習

大学院生の降下法

ビルドアップ

冷蔵庫-象問題

伝統的に、象を冷蔵庫に入れる方法は大学院生に依存してきた。どれほど難しいか、大変か、どんな方法が良いかはよくわからないが、それは大学院生が勝手にやってくれるだろうから関係ない。それなら、ディープラーニングを含む非線形最適化問題の解決方法で最初に試みるべき手段は何だろう？

用語

いろいろなハイパーパラメータを変えながら、とにかく多くの試みをすることだ。ただし、大学院生が…

良いハイパーパラメータを得る最もシンプルな方法は、手動で異なる数のハイパーパラメータを入れて、どのように動作するかを確認することです。この戦略は驚くほど効果的で教育的だことがあります。ディープラーニングの実践者は、ディープネットワーク構造についての洞察力を養う必要があります。理論が弱いときは、経験的に研究することがディープラーニングモデルを作る方法を学ぶ最良の方法です。自身でさまざまな全結合モデルを作ってみることをお勧めします。ハイパーパラメータの選択肢と結果をスプレッドシートに記録し、体系的に探求してください。異なるハイパーパラメータの効果を理解しようと努力してください。何がネットワークの学習プロセスをより速くまたは遅くしますか？どの設定範囲で学習は完全に停止しますか？（不幸なことに、これは容易にわかります。）

…(省略)…

なぜハイパーパラメータの値を選ぶ方法を大学院生降下法と呼ぶのか？最近まで、マシンラーニングは主に学問的な領域でした。新しいマシンラーニングアルゴリズムを設計するための信頼できる方法は、新入大学院生に望む方法を説明し、彼らに細部を解決させることでした。このプロセスは一種の通過儀礼であり、学生は数多くの設計代替案を試さなければなりませんでした。全体として、これは教育的な経験です。なぜなら、設計の美学を得る唯一の方法は、機能する設定と機能しない設定に関する記憶を積み重ねることだからです。

説明

大学院生降下法^{graduate descent method}はもちろん勾配降下法^{gradient descent method}と発音が似ているから来た言葉遊びだが、ある人々にとっては現実であり、上記のように実際に作動します。肉体労働は一日や二日ではなく、同様に非効率的な作業を繰り返し行うことで、オフィスの自動化やプログラミングの経験が積み重なっていくのは避けられません。コーディングをし、大きなサーバーを使い、コンピュータに遠隔で作業状況を報告させたくなります。

原文 ¹