📂데이터과학

초모수, 하이퍼 파라미터란?

용어

베이지안 통계학 ¹

베이지안 패러다임에서, 다음을 베이지안 계층적 모델^{Bayesian hierarchical model}이라 한다.

• (1) 데이터 $y_{1} , \cdots , y_{n}$ 가 파라미터 $\theta_{1} , \cdots , \theta_{n}$ 에 따라 얻어졌다고 본다: $$y_{1} , \cdots , y_{n} | \theta_{1} , \cdots , \theta_{n} \sim p \left( y_{k} | \theta_{k} \right)$$
• (2) 파라미터 $\theta_{1} , \cdots , \theta_{n}$ 역시 초모수^{hyper paremeter} $\lambda$ 에 의해 얻어졌다고 본다: $$\theta_{1} , \cdots , \theta_{n} | \lambda \sim \pi \left( \theta_{k} | \lambda \right)$$
• (3) $\lambda$ 역시 스스로를 설명하는 분포가 존재한다: $$\lambda \sim \pi (\lambda)$$

머신러닝

머신러닝 기법에서 데이터에 따른 결과에 관련된 가중치^weight나 바이어스^bais들을 파라미터^parameter라 한다. 이 파라미터들을 얻기 위한 메소드와 알고리즘에서 사용자에 의해 결정되는 상수들을 하이퍼 파라미터^{hyper paremeter}라 한다.

설명

하이퍼 파라미터라는 단어 단어가 사용된 맥락이 어떻든, 하이퍼 파라미터는 파라미터라는 것을 결정하는 파라미터라는 의미로 사용된다.

같이보기

모수