Fine-tuning は全パラメータを更新しますが、LoRA は各層に差分行列を足してそこだけ学習します。差分ファイルは数 MB〜数百 MB に収まり、メモリと学習時間を抑えられます。
Fine-tuning は全パラメータを更新しますが、LoRA は各層に差分行列を足してそこだけ学習します。差分ファイルは数 MB〜数百 MB に収まり、メモリと学習時間を抑えられます。
Stable Diffusion(D-54)の画像生成コミュニティでは「キャラクター LoRA」「画風 LoRA」として流通しています。SaaS が顧客別チューニングを裏で提供する際にも使われます。
元モデルを凍結したまま差分行列だけを学習する微調整手法です。
フル Fine-tuning の数十分の一のメモリで追加学習ができます。
LoRA はファイル形式ではなく学習手法と差分の保存形式です。
画像生成や LLM の用途別チューニングに役立ちます。
「元モデルは変えず差分だけ保存できる」仕組みを押さえると理解が早いです。
QLoRA、Fine-tuning(J-16)、パラメータ数(J-22)