ファンデーションモデル
定義
膨大で多様なデータで大規模に学習され(主に自己教師あり学習self-supervision)、ファインチューニングfine-tuningなどを経て様々な下流タスクdownstream taskに幅広く適応させられるモデルをファンデーションモデルfoundation modelという。
説明
ファンデーションモデルという用語は、2021年8月にスタンフォード人間中心人工知能研究所(HAI)傘下のファンデーションモデル研究センター(CRFM)が初めて提案した。 彼らはファンデーションモデルを「膨大なデータで学習され(一般に大規模な自己教師あり学習を通じて)、多様な下流タスクに適応させられるあらゆるモデル」と定義した。
研究陣は、既存の用語がこの概念を十分に捉えきれていないと考えた。大規模言語モデルlarge language modelは対象が言語のみに限られないため過度に狭く、自己教師ありモデルself-supervised modelは学習方式に特定されすぎており、事前学習モデルpretrained modelは肝心なことが事前学習の後に起こるという印象を与える、というのである。
ファンデーションモデルの代表的な例として、ChatGPT、Gemini、Claudeのようなモデルが挙げられる。これらは分野(数学、物理学、人文学など)やデータの形態(写真、音声、文字など)を問わず学習され、ユーザーが求める様々なタスクを幅広く処理する。
ファンデーションモデルはユニバーサルモデルuniversal modelとしばしば同じ意味で使われるが、強調点が異なる。ユニバーサルモデルが原子系のように一つのドメインの中で複数の問題を担うことに焦点を置くとすれば、ファンデーションモデルは様式や分野を問わない膨大なデータで大規模に学習されるという点を強調する。