文本切块是构建向量索引前的重要环节，避免语义切断和检索效果冲淡。文章详细解析了五种常见切块策略：按字符长度切分、按Token长度切分、按句子语义切分、按段落结构切分（含默认语法和自定义语法）以及混合方式切分。每种策略都有其优缺点和适用场景，实际应用中需根据效果调整。
- 文本切块
=======
在上一节内容中，我们介绍了如何将原始文档载入并完成基本的预处理。那么在正式构建向量索引之前，还有一个绕不开的环节，那就是文本切块（Chunking）。
什么叫文本切块呢？为什么要切成块（Chunk）呢？原因很简单，因为一页内容太长了，而且在非标准页的内容中，一页可能就是一个文档所有的内容。如果不进行切分处理，那么将会导致：① 词嵌入模型无法将超过长度的文本转换为向量，会采取截断处理导致语义被切断；② 文本篇幅过长会导致语义太“散”（可能整个文档的内容讲的主题很多），检索时相关内容可能被冲淡。
那文本到底该怎么切分，才能既不超出 embedding 模型限制，又能保证最终的检索效果呢？
接下来，我们将分别就常见的五种 Chunk 策略进行全面解析。
- 切块策略
=======
在对原始文本进行切分时，我们所遵循的首要目的不是让块过大或者过小，而是让块的语义边界更合理，这样我们在后续使用过程中才能更加准确的搜索到实际需要的内容。
2.1 按字符长度切分
在所有切块策略中，最简单的一种就是严格按一定字符数量对原始内容进行切分，例如每个片段是 500 个字符。同时，为了避免连续两个块之间的信息背景被撕裂开的可能性，相邻两个块之间还可以有一定字符的交叉重复（Overlap），以此来补偿语义连续性。
此时我们可以发现，对于块大小（Chunk size）和交叉重复部分存在着一定的跷跷板效应（Trade-off），块大小越大那么交叉重复部分便可以越小但是带来的后果就是语义可能不够集中（粒度粗）；而块大小越小那么交叉重复部分便要相对更多，但是带来的后果就是数据冗余增加使得计算词嵌入的次数增加，同时 RAG 阶段更容易出现内容堆叠。
具体地，严格仅按照字符长度切分的代码实现如下：
1 def text_splitter(docs):2 text_splitter = CharacterTextSplitter(3 separator="", chunk_size=500, chunk_overlap=100,4 add_start_index=True)5 all_splits = text_splitter.split_documents(docs)6 for i in range(len(all_splits)):7 print("===============")8 page = all_splits[i].metadata['page']9 s_index = all_splits[i].metadata['start_index']10 print(f"## 划分好的 chunk :\n {all_splits[i].page_content}")11 print(f"chunk 长度为：{len(all_splits[i].page_content)}")12 print(f"根据索引从原始文档中找到的 chunk ：\n{docs[page].page_content[s_index:s_index + 500]}")在上述代码中，第3行separator是指定分割符号，默认为\n\n，因为这里我们需要严格按照字符长度切分，所以修改为空字符，此后整篇文档两会被看成连续字符串进行处理；chunk_size和chunk_overlap分别指定的是每个块字符的长度和相邻两个块之间交叉重复的长度。第4行是指定是否要返回每个块在对应 page 中的起始索引。第6行便是开始进行块划分。
这里尤其需要注意的一点是相邻两个块之间有交叉重复仅对同一个 page 中的内容有效，也就是说在相邻两个 page 之间确实是被直接分开的，没有交叉重复的地方。当然，对于普通的 txt 和 html 文件，通过TextLoader和BSHTMLLoader载入后，所有的内容本身就在一个 page 中。
上述代码运行结束后，将会看到类似如下结果：
===============## 划分好的 chunk :前言 作为《跟我一起学机器学习》的姊妹篇，两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言：“为天地立心， 为生民立命， 为往圣继绝学，为万世开太平”，......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲， 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以， 一本数形结合、 动机原理并重chunk 长度为：500根据索引从原始文档中找到的 chunk(page=0) ：前言 作为《跟我一起学机器学习》的姊妹篇，两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言：“为天地立心， 为生民立命， 为往圣继绝学，为万世开太平”，......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲， 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以， 一本数形结合、 动机原理并重从上述输出结果我们可以看出，对于严格按照字符长度切分的策略来说，其优点是长度完全可控不会超 embedding 限制以及实现简单；但是缺点也非常明显，那就是容易切断语义、检索命中后上下文不完整。这种策略适用场景一般是简单的 demo，或者是对检索精度要求不高的系统。
以上完整代码可参见Code/Chapter03/C02_chunk_method1.py文件。
2.2 按 Token 长度切分
尽管通过上面的方法可以严格控制每个块的长度，但是块字符的长度并不等于实际 Token 的长度。例如在使用 Qwen3 的系列 embedding 模型中，常见片段'是什么'将会被视为一个 Token（102021），而生僻字'鱻'则会被拆成两个 Token （100024和119）。
因此，字符长度只是约等于 Token 长度。所以另外一种方式便是严格按照 Token 长度来对文档切分成块，核心示例代码如下：
1 from langchain_text_splitters import Tokenizer2from transformers import AutoTokenizer34 tokenizer = AutoTokenizer.from_pretrained("../../Qwen/Qwen3-Embedding-0.6B", )5def text_splitter(docs):6 text_splitter = CleanTokenTextSplitter(7 chunk_size=10, chunk_overlap=4, add_start_index=True)8 text_splitter._tokenizer = tokenizer9 all_splits = text_splitter.split_documents(docs)10 for i in range(len(all_splits)):11 print("\n===============")12 print(f"划分好的 chunk : {all_splits[i].page_content}")13 print(f"chunk 长度为：{len(all_splits[i].page_content)}")14 token_ids = tokenizer.encode(all_splits[i].page_content, add_special_tokens=False)15 print(f"chunk Token ids 为：{token_ids}")16 print(f"chunk Token ids 长度为：{len(token_ids)}")17 tokens = [tokenizer.decode([token_id]) for token_id in token_ids]18 print(f"chunk Token 为：{tokens}")1920if __name__ == '__main__':21 docs = load_text_file('../../data/ShenPiZi.txt')22 text_splitter(docs)在上述代码中，第2~4行是载入Qwen3对应的tokenizer，并将其用于覆盖类CleanTokenTextSplitter中的_tokenizer成员，即第8行。第6~9行则是实例化类对象，并进行切块处理。
上述代码运行结束后将会输出类似如下结果：
===============划分好的 chunk : 上海在哪儿？垚和鱻这两个生chunk 长度为：13chunk Token ids 为：[100633, 18493, 103379, 11319, 122400, 33108, 100024, 119, 105932, 21287]chunk Token ids 长度为：10chunk Token 为：['上海', '在', '哪儿', '？', '垚', '和', '�', '�', '这两个', '生']===============划分好的 chunk : 鱻这两个生僻字的读音是什么chunk 长度为：13chunk Token ids 为：[100024, 119, 105932, 21287, 118134, 18600, 9370, 57553, 78685, 102021]chunk Token ids 长度为：10chunk Token 为：['�', '�', '这两个', '生', '僻', '字', '的', '读', '音', '是什么']===============划分好的 chunk : 的读音是什么？壬戌之秋，chunk 长度为：12chunk Token ids 为：[9370, 57553, 78685, 102021, 11319, 118696, 118249, 53930, 100057, 3837]chunk Token ids 长度为：10chunk Token 为：['的', '读', '音', '是什么', '？', '壬', '戌', '之', '秋', '，']从上述输出结果可以明显看出，在划分好的块当中如果以字符长度而论，那么每个块对应的长度都超过了上面设定的长度chunk_size=10，而从 Token 长度而论，则恰好满足设定的值。
此时我们可以知道，严格验证 Token 长度进行切分的优点是不会超过 embedding API 长度上限，且更符合模型实际限制，但是缺点就是依赖tokenizer，且不同模型 token 规则不同，中英文混排可能不稳定。这种切分策略比较适用于商业级 RAG 或有明确 token 上限的场景中。
以上完整代码可参见Code/Chapter03/C04_chunk_method2_2.py文件。
2.3 按句子语义切分
从上面两种切分策略可以看出，严格按照长度进行切分忽略了一个重要的因素，那就是语义。例如在限制固定长度的情况，最后一话可能就会被从中截断。因此，我们可以考虑从语义角度来进行处理。例如先按段落切分，再按换行符切分，然后是空格符切分，最后才是强制切分，即separators=["\n\n", "\n", " ", ""]。这样就能保证语义优先，尽量保持完整表达，但长度不是严格固定的。
1 def text_splitter_recursive(docs):2 text_splitter = RecursiveCharacterTextSplitter(3 chunk_size=45, chunk_overlap=5, add_start_index=True) 4 all_splits = text_splitter.split_documents(docs)5 for i in range(len(all_splits)):6 print(f"划分好的 chunk:\n{all_splits[i].page_content}")7 print(f"划分好的 chunk 长度 len(): {len(all_splits[i].page_content)}")8 print(f"================\n")910if __name__ == '__main__':11 docs = load_text_file('../../data/Sementic.txt')12 text_splitter_recursive(docs)上述代码便是按照语义进行切分的实现，其中类RecursiveCharacterTextSplitter实例化时默认separators=["\n\n", "\n", " ", ""]，如有需要可修改，例如增加句号逗号等，优先级为从左到右。
对于如下文本来说：
我是一个段落。作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。上述代码运行结束后将会输出类似如下结果：
划分好的 chunk:我是一个段落。划分好的 chunk 长度 len(): 7================划分好的 chunk:作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 35================划分好的 chunk:随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从划分好的 chunk 长度 len(): 44================根据结果可以再次印证，RecursiveCharacterTextSplitter默认会优先按段落、换行切，不够再按字符切，所以在第3行中chunk_size和chunk_overlap并不是完全等同于字符串的长度，只是一个近似长度。同时，如果切分的分隔符恰好满足"\n\n", "\n", " "，即符合语义切分条件，那么两个块之间没有overlap部分。例如上面第几个块之间没有重复部分，尽管chunk_overlap=5，因为满足"\n"切分。
此时可以看出，这种切分策略的优点是检索结果更自然且语义完整度更高；但是缺点就是长度不稳定且差异可能较大。这种切分策略就比较适合适合对教材、说明文档等文件进行处理。
以上所有完整示例代码，可参见Code/Chapter03/C05_chunk_method3.py文件。
2.4 按段落结构切分
除了按照以不同分隔符从语义的角度来进行切分以外，对于具有特殊标记的文件，例如 Markdown文件，我们还可以按目录结构进行切分。这样我们可以让一个小节的内容就是一个块。
2.4.1 默认语法切分
具体地，核心示例代码如下：
1 from langchain_text_splitters import MarkdownHeaderTextSplitter23def text_splitter_markdown(docs):4 headers_to_split_on = [("#", "一级标题"), ("##", "二级标题"), ("###", "三级标题")]5 text_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)6 all_splits = text_splitter.split_text(docs[0].page_content)7 for i in range(len(all_splits)):8 data = all_splits[i]9 print(f"划分好的 chunk 目录信息:\n{data.metadata}")10 print(f"划分好的 chunk 内容:\n{data.page_content}")11 print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")12 print(f"================\n")1314if __name__ == '__main__':15 docs = load_text_file('../../data/markdown.md')16 text_splitter_markdown(docs)在上述代码中，第4行代码是给定一个规则，即如何匹配各个级别的标题。第5~6行则是开始对 Markdown 文件进行分块处理。
对于如下文本来说：
# 第一章 跟我一起学深度学习作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。## 第 1.1 节 简介随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。### 第 1.1.1 节 说明例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示，部分内容也是在 ChatGPT 的辅助下所完成，而这在 10 年乃至 5 年前都是难以想象的。也正因如此，对于这些热门应用背后技术的探索便逐渐成为了计算机行业及高校所追捧的对象。但对于绝大多数初学者来讲，想要跨入深度学习这一领域依旧存在着较高的门槛。所以，一本数形结合、 动机原理并重、 细致考究的入门书籍对于初学者来讲就显得十分必要了。上述代码运行结束后将会输出类似如下结果：
划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习'}划分好的 chunk 内容:作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 35================划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介'}划分好的 chunk 内容:随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。划分好的 chunk 长度 len(): 148================划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介', '三级标题': '第 1.1.1 节 说明'}划分好的 chunk 内容:例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示，部分内容也是在 ChatGPT 的辅助下所完成，而这在 10 年乃至 5 年前都是难以想象的。 ...从上述输出结果可以看出，此时每一个块对应的就是该标题下的所有内容，并且同时我们还能根据metadata属性来获得每个块对应的完整目录信息，这对于后续 RAG 检索可谓是非常友好。
此时可以看出，这种切分策略的优点是结构清晰、章节语义完整以及检索结果逻辑更强；但缺点是容易超过 Token 限制，长章节 embedding 可能报错。这种切分策略的适用场景通常有技术书、API 文档、课程内容和知识库系统等，但必须配合长度限制兜底机制。
以上所有完整示例代码，可参见Code/Chapter03/C06_chunk_method4_1.py文件。
2.4.2 自定义语法切分
从上面的示例用法我们可以发现，什么是一级标题、什么是二级标题的语法是我们按照 Markdown 的默认语法指定的，那如果被载入文件采用的是另外一套语法体系该如何处理呢？
例如在实际场景中可能会是下面这样的情况（如直接把 word 文件转换成 txt 文件）：
第一章 机器学习机器学习基础概念介绍。1.1 什么是有监督学习定义：有监督学习也叫做有指导学习，它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中，每次输入模型的数据都是形如(x,y)这样的样本对，而模型最终学到的就是从输入x到输出y这样的映射关系。1.1.1 常见有监督算法常见有监督算法有：线性回归、逻辑回归、决策树、贝叶斯算法等。1.2 什么是无监督学习定义：无监督学习......第二十章 深度学习深度学习基础概念介绍。20.1 什么是卷积操作？定义：卷积操作是指.....20.10.1 常见的卷积神经常见的卷积神经网络有：LeNet5、ResNet等。可以发现，这些都不是标准 Markdown 标题，但如果仍旧需要按段落结构切分，那么就要用到自定义的语法方式了。
此时，如果我们希望"第x章 xxx" 表示 一级标题，“x.x xxx” 表示二级标题，“x.x.x xxxx” 表示三级标题，那么可以通过定义相关正则表达式实现，核心示例代码如下：
1 def text_splitter_markdown(docs):2 header_patterns = [(1, r"^\s*第\S+章.*"),3 (2, r"^\s*\d+\.\d+(?!\.)\s+.+$"),4 (3, r"^\s*\d+\.\d+\.\d+(?!\.)\s+.+$")]5 text_splitter = RegexTextSplitter(header_patterns)6 all_splits = text_splitter.split_text(docs[0].page_content)7 for i in range(len(all_splits)):8 data = all_splits[i]9 print(f"划分好的 chunk 目录信息:\n{data.metadata}")10 print(f"划分好的 chunk 内容:\n{data.page_content}")11 print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")12 print(f"================\n")1314if __name__ == '__main__':15 docs = load_text_file('../../data/word.txt')16 text_splitter_markdown(docs)在上述代码中，第24行便是配置的正则表达式来配置三级目录，如有更多则继续追加。第56行则是开始按规则进行切分。
对于上面的示例文本，上述代码运行结束后将会输出类似如下结果：
划分好的 chunk 目录信息:{'1 级标题': '第一章 机器学习'}划分好的 chunk 内容:机器学习基础概念介绍。划分好的 chunk 长度 len(): 11================划分好的 chunk 目录信息:{'1 级标题': '第一章 机器学习', '2 级标题': '1.1 什么是有监督学习'}划分好的 chunk 内容:定义：有监督学习也叫做有指导学习，它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中，每次输入模型的数据都是形如(x,y)这样的样本对，而模型最终学到的就是从输入x到输出y这样的映射关系。划分好的 chunk 长度 len(): 115================划分好的 chunk 目录信息:{'1 级标题': '第一章 机器学习', '2 级标题': '1.1 什么是有监督学习', '3 级标题': '1.1.1 常见有监督算法'}划分好的 chunk 内容:常见有监督算法有：线性回归、逻辑回归、决策树、贝叶斯算法等。划分好的 chunk 长度 len(): 30================划分好的 chunk 目录信息:{'1 级标题': '第一章 机器学习', '2 级标题': '1.2 什么是无监督学习'}划分好的 chunk 内容:定义：无监督学习......划分好的 chunk 长度 len(): 14================划分好的 chunk 目录信息:{'1 级标题': '第二十章 深度学习'}划分好的 chunk 内容:深度学习基础概念介绍。划分好的 chunk 长度 len(): 11================划分好的 chunk 目录信息:{'1 级标题': '第二十章 深度学习', '2 级标题': '20.1 什么是卷积操作？'}划分好的 chunk 内容:定义：卷积操作是指.....划分好的 chunk 长度 len(): 14================划分好的 chunk 目录信息:{'1 级标题': '第二十章 深度学习', '2 级标题': '20.1 什么是卷积操作？', '3 级标题': '20.10.1 常见的卷积神经'}划分好的 chunk 内容:常见的卷积神经网络有：LeNet5、ResNet等。划分好的 chunk 长度 len(): 26================从上述输出结果可以看出，按照自定义的正则表达式，我们已经完全实现了根据目录来进行切分的要求。
以上所有完整示例代码，可参见Code/Chapter03/C06_chunk_method4_2.py文件。
2.5 按混合方式切分
到此，我们已经完整介绍了4种块切分方式，不过真正成熟的 RAG 系统不会只用一种方式，而是多种方式混合切分。例如最常见的就是“结构优先 ，长度兜底”这样的策略。这样做的优势是保留了章节语义的同时不会超 embedding 上限，且检索质量稳定，这是工业界常用方案。
对于先按目录结构切块，再对超长小节字符长度语义递归切分示例代码如下：
1 def text_splitter_mixture(docs):2 headers_to_split_on = [("#", "一级标题"), ("##", "二级标题"), ("###", "三级标题")]3 text_md_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)4 all_md_splits = text_md_splitter.split_text(docs[0].page_content)5 text_rec_splitter = RecursiveCharacterTextSplitter(6 chunk_size=20, chunk_overlap=3, add_start_index=True)7 all_rec_splits = text_rec_splitter.split_documents(all_md_splits)8 for i in range(len(all_rec_splits)):9 data = all_rec_splits[i]10 print(f"划分好的 chunk 目录信息:\n{data.metadata}")11 print(f"划分好的 chunk 内容:\n{data.page_content}")12 print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")13 print(f"================\n")在上述代码运行结束以后，将会得到类似如下结果：
划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习', 'start_index': 0}划分好的 chunk 内容:作为机器学习方向的一个重要分支，深度学习划分好的 chunk 长度 len(): 20================划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习', 'start_index': 17}划分好的 chunk 内容:度学习在近年来的发展可谓是大放异彩。划分好的 chunk 长度 len(): 18================划分好的 chunk 目录信息:{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介', 'start_index': 0}划分好的 chunk 内容:随着深度学习技术地不断发展，与之相关的技划分好的 chunk 长度 len(): 20================....从上出结果可以看出，对于原始 markdown 文件的第一章内容“作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。”，由于超过了上面设定的长度20，所以被切分成了两个块，大家可以将上面前两个块的结果和第2.4.1节输出结果的第一个块进行对比。
以上所有完整示例代码，可参见Code/Chapter03/C08_chunk_method5.py文件。
到此，我们就介绍了5种文本分块策略，虽然看起来比较多但在实际情况中，我们仍旧需要根据效果来进行调整，后续章节我们也将继续介绍。
假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。
接下来告诉你一条最快的邪修路线，
3个月即可成为模型大师，薪资直接起飞。
阶段1:大模型基础
阶段2:RAG应用开发工程
阶段3:大模型Agent应用架构
阶段4:大模型微调与私有化部署
配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇
