42.人工智能实战：RAG Chunk 切分怎么做才不翻车？从固定长度切分到语义切分、评测与回归优化

人工智能实战：RAG Chunk 切分怎么做才不翻车？从固定长度切分到语义切分、评测与回归优化

一、问题场景：文档都入库了，但 AI 总是答不到重点

很多 RAG 系统刚开始做文档切分时，都会用一个简单策略：

每 500 字切一段

或者：

每 1000 tokens 切一段

这个方法容易实现，但上线后经常出现问题：

1. 一个完整规则被切成两半 2. 标题和正文分离 3. 表格被截断 4. 代码块被切断 5. 检索命中了半句话 6. 模型拿到上下文后仍然无法回答

我见过一个真实例子。

原文是：

销售客户拜访报销规则： 销售人员拜访客户时，一线城市住宿费不超过650元，二线城市不超过450元。 该规则仅适用于已登记客户拜访场景。

固定长度切分后变成：

chunk_1: 销售客户拜访报销规则： 销售人员拜访客户时，一线城市住宿费不超过650元，二线城市 chunk_2: 不超过450元。 该规则仅适用于已登记客户拜访场景。