ディープラーニングにおけるドロップアウト
定義
ドロップアウトdropoutは、人工ニューラルネットワークのニューロンを確率的に使用しないことで過学習を防ぐ技術だ。
説明
一見するとちょっと学習を少なくするようで、実際のところそうとも言える。ある確率でニューロンを使用しないことにより、「影響が過度に強い」ニューロンを無視することができる。影響が過度に強いとは、学習データに対して確信が強いことを意味すると見ることができる。そういうニューロンが多いと、確かに学習データで問題を上手く解くことはできるが、その分実際のデータに対する感覚は落ちる可能性がある。
人間に例えるなら、既に慣れているタイプの問題に直面した時、すぐに解くのではなく、問題を丁寧に読むことにたとえられる。知っている問題だからって、飛びつくんじゃなくて、もしかしたら自分が思い付かなかった部分があるかもしれないからだ。ドロップアウトの一番いいところは、何よりも単純だということだ。他にも過学習を防ぐ技術は多くあるが、概念的に見ても実際の実装においても非常に単純でありながら、効果を見るのが容易で使いやすい。