ハイパーパラメータとは？ 📂データサイエンス

ハイパーパラメータとは？

用語

ベイジアンパラダイムにおいて、次のことをベイジアン階層モデルと呼ぶ。

(1) データ $y_{1} , \cdots , y_{n}$ がパラメータ $\theta_{1} , \cdots , \theta_{n}$ によって得られたと見なす： $y_{1} , \cdots , y_{n} | \theta_{1} , \cdots , \theta_{n} \sim p \left( y_{k} | \theta_{k} \right)$
(2) パラメータ $\theta_{1} , \cdots , \theta_{n}$ も超パラメータ $\lambda$ によって得られたと見なす： $\theta_{1} , \cdots , \theta_{n} | \lambda \sim \pi \left( \theta_{k} | \lambda \right)$
(3) $\lambda$ も自分を説明する分布が存在する： $\lambda \sim \pi (\lambda)$

機械学習の技法では、データに応じた結果に関連する重みやバイアスをパラメータと呼ぶ。これらのパラメータを得るための方法とアルゴリズムでユーザーが決定する定数をハイパーパラメータと呼ぶ。

ハイパーパラメータという言葉が使われる文脈にかかわらず、ハイパーパラメータはパラメータを決定するパラメータという意味で使われる。