機械学習

機械学習^{machine learning}とは、機械が既に持っているデータセットから特徴^featureを把握する方法を学び、新しいデータの特徴もよく把握できるようにすることである。

上記の定義は特に厳密なものではなく、定義が厳密である必要もない。機械とは簡単に言えばコンピュータ、つまりプログラムコードと理解すればよい。既に持っている、すなわち学習に使われるデータセットをトレーニングセット^{training set、訓練データセット}と呼ぶ。機械学習を試験勉強をする学生に例えると以下のようになる。

• 機械：学生
• トレーニングセット：過去問題
• 特徴：出題傾向
• 新しいデータ：実際の試験問題
• 学習：過去問題を解くことで実際の試験問題を解けるようにすること

2021年現在、機械学習を実装するのに最も多く使われている方法は、人工ニューラルネットワークの隠れ層を増やすディープラーニング^{deep learning、深層学習}である。人工ニューラルネットワークは最近になって飛躍的に性能が向上し、最高の性能を誇ることもある。ディープラーニングが満足のいく性能を示す前までは、機械学習の主流は統計的理論に基づいたモデルであった。

機械学習を扱える人になるためには、数学、統計学、プログラミングができなければならない。理論を理解するために数学、統計学の知識が要求され、これを実装するためにはプログラミングができなければならないからである。特に機械学習理論を深く学ぶためには、行列に関する線形代数学の知識だけでなく、測度論、関数解析学なども必要である。また最近では、幾何学、グラフ理論、偏微分方程式などと人工知能を連携した研究も進められている¹。

また、以下の文章はできるだけ数学専攻者が読みやすいように作成された。

• インターネットで無料公開された人工知能、機械学習、ディープラーニングの教材

基礎

学習概念

• 教師あり学習と教師なし学習
• 訓練/検証/テストデータセットとは？
  • ワンホット^one-hotエンコーディング
  • データ拡張
  • よく使われるデータセット
    • MNISTデータベース
    • アイリスデータセット
• オンライン学習、バッチ学習、ミニバッチ学習

最適化

• 重み
• 損失関数
• 勾配降下法、確率的勾配降下法^SGD
  • モーメンタム手法、ネステロフモーメンタム^NAG
  • 適応的学習率：AdaGrad、RMSProp、Adam
• 大学院生降下法
  • グリッドサーチ、ブルートフォース、根気作業

サンプリング^{sampling、標本抽出}

• モンテカルロ法とは？
• モンテカルロ積分
• 拒否サンプリング
• 重要度サンプリング
• マルコフ連鎖モンテカルロ^MCMC

古典的機械学習

• 正定値カーネルと再生カーネルヒルベルト空間 $k$, $H_{k}$
• 表現定理の証明

線形回帰モデル

• 線形回帰モデル
  • 勾配降下法
  • 最小二乗法
  • 最尤法
• サポートベクターマシン

線形分類モデル

• 線形分類モデル
  • 最小二乗法
• フィッシャー線形判別器 Fisher’s Linear Discriminant
• ネイマン-ピアソン二値分類 Neyman-Pearson Criterion for Binary Classification
• ベイズリスク分類器 Bayes Risk Classifier

クラスタリング

• k-平均クラスタリング
• 階層的クラスタリング

細分野

強化学習

• 🔒強化学習のための基礎数学
• 🔒強化学習とは
  • 🔒価値関数
  • 🔒探索と活用
• 🔒マルチアームバンディット（多腕バンディット）問題
  • 🔒Juliaでε-グリーディー法を実装
• 🔒マルコフ（報酬）過程
• 🔒マルコフ決定過程

コンピュータビジョン

• コンピュータビジョンとは
• ノイズとアーティファクト
  • ソルト＆ペッパーノイズ

ディープラーニング理論

• レイヤー
  • 線形層
  • 畳み込み層
  • スキップコネクション
• 活性化関数
  • ReLU $\operatorname{ReLU}(x) = \max \left\{ 0, x \right\}$
  • ソフトプラス $\zeta (x) = \ln (1 + e^{x})$
  • シグモイド
  • ロジスティック関数 $\sigma (x) = 1/(1+e^{-x})$
  • ソフトマックス $\operatorname{softmax}(x)$
• 人工ニューラルネットワーク^ANNとは
  • [ANN^{人工ニューラルネットワーク}、DNN^{深層ニューラルネットワーク}、FNN^{フィードフォワードニューラルネットワーク}の意味と違い]
• パーセプトロンの定義
  • パーセプトロン収束定理
• ディープラーニングとは？
  • 逆伝播アルゴリズム
• 自動微分
  • 自動微分と双数
  • Juliaで双数による自動微分の順伝播モードを実装
• ディープラーニングの数学的根拠、シベンコの定理の証明
  • 差別関数とは？
  • シグモイド関数とは？
• ディープラーニングにおける継続的学習とは
• 過学習と正則化
  • ドロップアウト
  • 論文レビュー: Do We Need Zero Training Loss After Achieving Zero Training Error?
• ボルツマンマシン
  • 制限付きボルツマンマシン
  • バッチ学習アルゴリズム
  • オンライン学習アルゴリズム
  • 分類のためのRBM
• ラジアルベーシス関数
• [MLP^{多層パーセプトロン}]
• [CNN^{畳み込みニューラルネットワーク}]
• Autoencoder
• PINN論文レビュー
• DeepONet 論文レビュー
  • PyTorchでの実装
  • Juliaでの実装
• [U-Net 論文レビュー]
  • Juliaでの実装
• KAN^{コルモゴロフ・アーノルドニューラルネットワーク} 論文レビュー

ディープラーニングフレームワーク

• チートシート: Flux、PyTorch、TensorFlowで同じ機能を実現するコード

Python PyTorch

• モデル/テンソルが配置されたデバイスを確認する方法 .get_device()
• 指定された分布でランダムサンプリングする方法 torch.distributions.Distribution().sample()
• Numpy配列でカスタムデータセットを作成して使用する方法 TensorDataset, DataLoader
• 重み、モデル、オプティマイザを保存・読み込む方法 torch.save(model.state_dict())

ニューラルネットワーク

• マルチレイヤーパーセプトロンの実装
• リストとループでニューラルネットワークを定義する方法 nn.ModuleList
• モデルの重み値を取得する方法 .weight.data, .bias.data
• 重みの初期化 torch.nn.init

テンソル

• 剰余演算 fmod, remainder
• 次元、サイズを扱う方法 .dim(), .ndim, .view(), .reshape(), .shape, .size()
• ランダムな順列を作成してテンソルの順序をシャッフルする方法 torch.randperm, tensor[indices]
• ディープコピーする方法 .clone()
• 結合やスタックする方法 torch.cat(), torch.stack()
• パディングする方法 torch.nn.functional.pad()
• ソートする方法 torch.sort(), torch.argsort()

トラブルシューティング

• ‘RuntimeError: grad can be implicitly created only for scalar outputs’ の解決方法
• リストに対する ‘TypeError: can’t convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first’ の解決方法
• ‘RuntimeError: Boolean value of Tensor with more than one value is ambiguous’ の解決方法
• モデルを保存する際の ‘RuntimeError: Parent directory does not exists’ の解決方法

Julia

• Juliaのディープラーニングフレームワーク Flux.jl、Knet.jl、Lux.jl
• 機械学習データセットを使用する方法 MLDatasets.jl

Flux

• 隠れ層を扱う方法
• MLPを実装し、勾配降下法で最適化する方法
• ワンホットエンコーディングする方法 onehot(), onebatch(), onecold()
• MLPを実装して非線形関数を近似する方法
• MLPを実装してMNISTを学習する方法
• GPUを使用する方法
• ニューラルネットワークの訓練/テストモードを設定する方法 trainmode!, testmode!

主要な参考文献

• Christoper M. Bishop, Pattern Recognition annd Machine Learning (2006)
• Simon Haykin, Neural Networks and Learning Machines (3rd Edition, 2009)
• Trevor Hastie, The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd Edition, 2017)
• 오일석, 기계 학습(MACHINE LEARNING) (2017)
• Richard S. Sutton, Reinforcement Learning: An Introduction (2nd Edition, 2018)