賢い大きいモデル（教師）の答え方を、小さいモデル（生徒）に真似させます。正解だけでなく、教師が答えに迷う度合いまで学ばせるので、小さいまま性能が近づきます。
賢い大きいモデル（教師）の答え方を、小さいモデル（生徒）に真似させます。正解だけでなく、教師が答えに迷う度合いまで学ばせるので、小さいまま性能が近づきます。
小型モデルの紹介で「元モデルを蒸留した」という言い方をよく見ます。スマホや手元の PC で動かす軽量モデルを作る場面や、DeepSeek 以降のニュース記事でよく使われる言葉です。
大きな教師モデルの箱から小さな生徒モデルの箱へ矢印が伸び、確率分布（棒グラフ）ごと転写される様子
擬人化ポンチ絵 · 後日差し込み大きい教師モデルの出力を、小さい生徒モデルに学ばせます。
小型モデルのまま、教師に近い性能へ近づけます。
教師の出力を使う際は利用規約の確認が要ります。
スマホや手元 PC で小型モデルを動かしたい場面です。
教師と生徒の関係だけ掴めば十分です。
量子化、Fine-tuning、LoRA
2015 年の Hinton らの研究が蒸留という手法の原点とされます 2025 年以降、DeepSeek をはじめ各社が蒸留モデルを公開したことで「蒸留」という語が一般の報道にも登場するよう…