ハイパーパラメータとは？ 📂データサイエンス

ハイパーパラメータとは？

用語

ベイジアンパラダイムにおいて、次のことをベイジアン階層モデルと呼ぶ。

(1) データ$y_{1} , \cdots , y_{n}$がパラメータ$\theta_{1} , \cdots , \theta_{n}$によって得られたと見なす： $$y_{1} , \cdots , y_{n} | \theta_{1} , \cdots , \theta_{n} \sim p \left( y_{k} | \theta_{k} \right)$$
(2) パラメータ$\theta_{1} , \cdots , \theta_{n}$も超パラメータ$\lambda$によって得られたと見なす： $$\theta_{1} , \cdots , \theta_{n} | \lambda \sim \pi \left( \theta_{k} | \lambda \right)$$
(3) $\lambda$も自分を説明する分布が存在する： $$\lambda \sim \pi (\lambda)$$

機械学習の技法では、データに応じた結果に関連する重みやバイアスをパラメータと呼ぶ。これらのパラメータを得るための方法とアルゴリズムでユーザーが決定する定数をハイパーパラメータと呼ぶ。

ハイパーパラメータという言葉が使われる文脈にかかわらず、ハイパーパラメータはパラメータを決定するパラメータという意味で使われる。