機械学習

機械学習とは、機械が既に持っているデータセットから特徴を理解する方法を学び、新しいデータの特徴もうまく把握できるようにすることだ。

この定義は厳密なものではなく、定義が厳密である必要もない。機械とは単にコンピュータ、つまりプログラミングコードと理解すればいい。既に持っている、つまり学習に使われるデータセットをトレーニングセットと言う。機械学習を試験勉強する学生に例えると以下のようになる。

• 機械: 学生
• トレーニングセット: 過去問
• 特徴: 出題傾向
• 新しいデータ: 実際の試験問題
• 学習: 過去問を解くことで実際の試験問題を解けるようにすること

2021年現在、機械学習を実装する上で最も多く使われる方法は、人工ニューラルネットワークの隠れ層を増やすディープラーニングだ。人工ニューラルネットワークは最近になって飛躍的に性能が向上し、最も良い性能を発揮することもある。ディープラーニングが満足できる性能を示す前までは、統計的理論を基にしたモデルが機械学習の主流だった。

機械学習をするためには数学、統計学、プログラミングを知っている必要がある。理論を理解するために数学、統計学の知識が求められ、これを実装するためにはプログラミングが必要だ。特に機械学習の理論を深く学ぶためには、行列に関する線形代数学の知識だけでなく、測度論、関数解析学などが必要だ。また、最近では幾何学、グラフ理論、偏微分方程式などと人工知能を結びつけた研究も進んでいる。

また、以下の記事はできるだけ数学専攻の人が読みやすいように書かれている。

基礎

学習概念

• 教師あり学習と教師なし学習
• トレーニング/検証/テストセットとは？
  • ワンホット^one-hotエンコーディング
  • データ拡張
  • よく使われるデータセット
    • MNISTデータベース
    • Irisデータセット
• オンライン学習、バッチ学習、ミニバッチ学習

最適化

• 損失関数
• 勾配降下法、確率的勾配降下法^SGD
  • モメンタム法、ネステロフのモメンタム^NAG
  • 適応的学習率: AdaGrad, RMSProp, Adam
• 🔒 (24/07/17) 大学院生の降下法
  • 🔒 (24/07/13) グリッドサーチ、ブルートフォース、手作業
• モンテカルロ法とは？

古典的機械学習

• 正定値カーネルと再生カーネルヒルベルト空間 $k$, $H_{k}$
• 表現者定理の証明

線形回帰モデル

• 線形回帰モデル
  • 勾配降下法
  • 最小二乗法
  • 最大尤度
• サポートベクターマシン

線形分類モデル

• 線形分類モデル
  • 最小二乗法
• フィッシャーの線形判別 Fisher’s Linear Discriminant
• ネイマン-ピアソンの二項分類 Neyman-Pearson Criterion for Binary Classification
• ベイズリスク分類器 Bayes Risk Classifier

クラスタリング

• k-平均クラスタリング
• 階層的クラスタリング

サンプリング

• モンテカルロ積分
• リジェクションサンプリング
• 重要度サンプリング
• マルコフ連鎖モンテカルロ^MCMC

強化学習

• 🔒強化学習のための基礎数学
• 🔒強化学習とは
  • 🔒価値関数
  • 🔒探索と利用
• 🔒マルチアームバンディット(多腕バンディット問題)
  • 🔒ジュリアでのイプシロン-グリーディ実装
• 🔒マルコフ報酬過程
• 🔒マルコフ決定過程

ディープラーニング

チートシート：Flux、PyTorch、TensorFlowで同じ機能をするコード

理論

• 重み
• レイヤー
  • 線形層
  • 畳み込み層
  • スキップ接続
• 活性化関数
  • ReLU $\operatorname{ReLU}(x) = \max \left\{ 0, x \right\}$
  • ソフトプラス $\zeta (x) = \ln (1 + e^{x})$
  • シグモイド
  • ロジスティック $\sigma (x) = 1/(1+e^{-x})$
  • ソフトマックス $\operatorname{softmax}(x) = $
• 人工ニューラルネットワークとは
• パーセプトロンの定義
  • パーセプトロン収束定理
• ディープラーニングとは？
  • 逆伝播アルゴリズム
• ディープラーニングの数学的根拠、シーベンコ定理の証明
  • 識別関数とは？
  • シグモイダル関数とは？
• ディープラーニングでの連続学習とは
• コンピュータビジョンとは
• ボルツマンマシン
  • 制限ボルツマンマシン
  • バッチ学習アルゴリズム
  • オンライン学習アルゴリズム
  • 分類のためのRBM
• Radial Basis Function

正則化技術

• オーバーフィッティングとレギュラライゼーション
• ドロップアウト
• 論文レビュー: Do We Need Zero Training Loss After Achieving Zero Training Error?

様々なニューラルネット

• [MLP^{多層パーセプトロン}]
• [CNN^{畳み込みニューラルネット}]
• PINN^{物理情報ベースニューラルネット}論文レビュー
• [U-net論文レビュー]
  • [Juliaでの実装]

PyTorch

一般

• モデル/テンソルが乗っているデバイスを確認する方法 .get_device()
• 与えられた分布でランダムサンプリングする方法 torch.distributions.Distribution().sample()
• Numpy配列でカスタムデータセットを作成して使用する方法 TensorDataset, DataLoader
• 重み、モデル、オプティマイザを保存して読み込む方法 torch.save(model.state_dict())

ニューラルネット

• マルチレイヤーパーセプトロンの実装
• リストとループで人工ニューラルネットを定義する方法 nn.ModuleList
• モデルの重み値を得る方法 .weight.data, .bias.data
• 重みの初期化 torch.nn.init

テンソル

• モジュラー演算 fmod, remainder
• 次元、サイズを扱う方法 .dim(), .ndim, .view(), .reshape(), .shape, .size()
• ランダム順列を作成してテンソルの順序をシャッフルする方法 torch.randperm, tensor[indices]
• 深いコピーをする方法 .clone()
• くっつけるか積み重ねる方法 torch.cat(), torch.stack()
• パディングする方法 torch.nn.functional.pad()
• ソートする方法 torch.sort(), torch.argsort()

エラー

• ‘RuntimeError: grad can be implicitly created only for scalar outputs’ の解決方法
• リストに対する ‘TypeError: can’t convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first’ の解決方法
• ‘RuntimeError: Boolean value of Tensor with more than one value is ambiguous’ の解決方法
• モデルを保存する際の ‘RuntimeError: Parent directory does not exists’ の解決方法

Julia

• Juliaのディープラーニングフレームワーク Flux.jl, Knet.jl, Lux.jl
• 機械学習データセットを使用する方法 MLDatasets.jl

Flux

• 隠れ層を扱う方法
• MLPを実装して勾配降下法で最適化する方法
• ワンホットエンコーディングする方法 onehot(), onebatch(), onecold()
• MLPを実装して非線形関数を近似する方法
• MLPを実装してMNISTを学習する方法
• 🔒(24/08/12) GPUを使用する方法
• ニューラルネットワークのトレーニングモードとテストモードを設定する方法 trainmode!, testmode!
• ニューラルネットワークを自動微分する方法

主要参考文献

• Christoper M. Bishop, Pattern Recognition annd Machine Learning (2006)
• Simon Haykin, Neural Networks and Learning Machines (3rd Edition, 2009)
• Trevor Hastie, The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd Edition, 2017)
• 오일석, 기계 학습(MACHINE LEARNING) (2017)
• Richard S. Sutton, Reinforcement Learning: An Introduction (2nd Edition, 2018)