チャンク分割とは、長い資料を検索できる単位に切り分ける前処理です。500 トークン前後に重なりを持たせる設定を出発点にできますが、文書の種類・モデル・評価結果に応じて調整します。
チャンク分割とは、長い資料を検索できる単位に切り分ける前処理です。500 トークン前後に重なりを持たせる設定を出発点にできますが、文書の種類・モデル・評価結果に応じて調整します。
社内マニュアルや FAQ を AI に読ませる RAG で、表や見出しをまたいで切ると文脈が失われ、答えがちぐはぐになる場面で出会います。
Before＝表や見出しの途中でぶつ切りにされた資料片。After＝意味の切れ目（見出し・段落）で整えて切られた資料片
擬人化ポンチ絵 · 後日差し込み検索対象を扱いやすい単位に整えます。
意味のまとまりが保たれると、検索結果の文脈が崩れにくくなります。
細かすぎても大きすぎても検索精度が落ちます。
社内マニュアルや FAQ を読ませる RAG 構築で使います。
文書種別ごとの切れ目を確認し、評価結果で調整します。
セマンティックチャンキング、メタデータ付与
500 トークン前後は既定値であって最適値ではありません。