チャンク分割とは、長い資料を検索できる大きさに切り分ける前処理です。既定は 500 トークン前後に前後の重なりを持たせるやり方で、まずまず動く水準になります。切り方の出来が回答の質をほぼ決めます。
チャンク分割とは、長い資料を検索できる大きさに切り分ける前処理です。既定は 500 トークン前後に前後の重なりを持たせるやり方で、まずまず動く水準になります。切り方の出来が回答の質をほぼ決めます。
社内マニュアルや FAQ を AI に読ませたのに答えがちぐはぐな場面で出会います。原因の多くはこの切り方で、表や見出しごと分断されていると文脈が失われます。RAG を組む人がたいていぶつかる工程です。
Before＝表や見出しの途中でぶつ切りにされた資料片。After＝意味の切れ目（見出し・段落）で整えて切られた資料片
擬人化ポンチ絵 · 後日差し込み長い資料を検索できる大きさに切り分けます。
切り方が整うと、回答の精度が上がります。
細かすぎても大きすぎても検索精度が落ちます。
社内マニュアルや FAQ を読ませる RAG 構築で使います。
500 トークン前後の目安から試すと安心です。
セマンティックチャンキング、メタデータ付与
500 トークン前後は既定値であって最適値ではありません。