蒸留攻撃(distillation attacks)は、蒸留(大きいモデルの出力で小さいモデルを学習させる技術)を、許可なく他社に対して行う行為です。多数の不正アカウントで大量に質問し、とくに思考の過程を集めます。
蒸留攻撃(distillation attacks)は、蒸留(大きいモデルの出力で小さいモデルを学習させる技術)を、許可なく他社に対して行う行為です。多数の不正アカウントで大量に質問し、とくに思考の過程を集めます。
思考の中身が全部は見えない、一部の API で過去の文脈を書き換えられないといった仕様の理由として出会います。攻撃者でなくても、対策の影響は受けます。
左から「不正アカウント群が大量に質問」→「思考の記録を集める」→「自社モデルを学習」の一本道。途中に 4 つの関所(要約の窓口・過去の文脈に鍵・検問の分類器・利用制限の遮断機)
擬人化ポンチ絵 · 後日差し込み他社モデルの能力を無断で写し取る行為です。
対策を知ると、思考が要約で返るなど仕様の理由が分かります。
技術としての蒸留は悪ではなく、無断で行うのが攻撃です。
思考の要約や API 仕様変更の背景を読むときです。
まず正当な蒸留との違いを押さえ、仕様変更の理由を読みます。
蒸留、Thinking モデル、Chain of Thought
対策の 4 段(Anthropic 公式で確認): ①推論の要約(要約で学習したモデルの SWE-bench Verified が 80.4% から 71.8% に下がったと説明)/②pres…