파운데이션 모델
정의
방대하고 다양한 데이터로 대규모 학습되어(주로 자기지도학습self-supervision) 미세조정fine-tuning 등을 거쳐 여러 하위 작업downstream task에 두루 적응시킬 수 있는 모델을 파운데이션 모델foundation model이라 한다.
설명
파운데이션 모델이라는 용어는 2021년 8월 스탠퍼드 인간 중심 인공지능 연구소(HAI) 산하 파운데이션 모델 연구 센터(CRFM)가 처음 제안하였다. 이들은 파운데이션 모델을 "방대한 데이터로 학습되어(일반적으로 대규모 자기지도학습을 통해) 다양한 하위 작업에 적응시킬 수 있는 모든 모델"로 정의하였다.
연구진은 기존 용어들이 이 개념을 온전히 담지 못한다고 보았다. 대규모 언어 모델large language model은 대상이 언어에만 국한되지 않으므로 지나치게 좁고, 자기지도 모델self-supervised model은 학습 방식에 너무 특정되며, 사전학습 모델pretrained model은 정작 중요한 일이 사전학습 이후에 일어난다는 인상을 준다는 것이다.
파운데이션 모델의 대표적인 예로 ChatGPT, Gemini, Claude와 같은 모델을 들 수 있다. 이들은 분야(수학, 물리학, 인문학 등)나 데이터의 형태(사진, 음성, 글자 등)를 가리지 않고 학습되어, 사용자가 요구하는 다양한 작업을 두루 처리한다.
파운데이션 모델은 유니버설 모델universal model과 종종 같은 뜻으로 쓰이지만 강조점이 다르다. 유니버설 모델이 원자계처럼 하나의 도메인 안에서 여러 문제를 감당하는 데 초점을 둔다면, 파운데이션 모델은 양식과 분야를 가리지 않는 방대한 데이터로 대규모 학습된다는 점을 강조한다.