NLP-文本摘要：从“抽取”到“生成”的技术演进与实战选型

1. 文本摘要技术的前世今生

第一次接触文本摘要技术是在2013年，当时我参与了一个新闻聚合项目。客户要求将每日数百篇新闻自动浓缩成简报，最初我们尝试用最简单的"截取前几句"方法，结果发现体育新闻还行，但科技类文章经常抓不住重点。这段经历让我深刻认识到：文本摘要远不是简单的"截取"游戏。

文本摘要技术的本质，是用算法代替人工完成信息提炼。想象一下你读论文时用荧光笔标重点的过程——这就是最原始的"抽取式摘要"。而当你把读过的几篇论文用自己的话写成综述时，这已经是在做"生成式摘要"了。目前主流技术路线分为两大阵营：

• 抽取式摘要：像用荧光笔划重点，直接从原文提取关键句子
• 生成式摘要：像写读书笔记，用新语句重组核心信息

我曾在电商评论摘要项目中对两种方法做过对比测试。抽取式方法在保持原意方面表现稳定，但遇到"这个手机电池耐用但拍照模糊"这类对比评价时，生成的摘要读起来就像精神分裂。而生成式方法虽然能产出更流畅的总结，却时不时会无中生有——有次竟把"充电速度一般"改写成了"闪电快充"，吓得我们连夜加了人工审核。

2. 抽取式摘要的实战兵法

2.1 传统方法的智慧结晶

2015年给政府做舆情监控系统时，我们最先尝试了TextRank算法。这个借鉴网页排序PageRank思想的方案，把句子当作网页，用相似度替代链接关系。实测发现三个关键点：

1. 相似度计算：单纯用词频向量效果一般，加入句法分析后准确率提升15%
2. 窗口大小：设定句子间连接范围时，5-7句的窗口表现最佳
3. 权重衰减：迭代时的阻尼系数设在0.85最接近人工摘要

有次处理突发事件报道，传统Lead-3方法完全失效——记者把关键信息藏在第六段。我们改进的方案是混合策略：先用TextRank初筛，再结合位置权重（首段×1.5，尾段×1.2）。这个"土办法"让重要信息召回率直接提升40%。

2.2 神经网络的降维打击

当BERT出现后，我们做过一组对比实验：

# 传统方法 from summa import summarizer summary = summarizer.summarize(text, ratio=0.2) # BERT+序列标注 from transformers import BertTokenizer, BertForSequenceClassification model = BertForSequenceClassification.from_pretrained('bert-sum') inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # 输出每个句子的重要性概率

在金融报告摘要任务中，神经网络的F1值比传统方法高出28%。但代价是需要10倍的计算资源。这里有个坑：直接用BERT做序列标注会遇到标签稀疏问题——一篇文章可能只有3-5个句子需要标记为1。我们的解决方案是：

1. 使用Focal Loss缓解类别不平衡
2. 加入句子位置embedding
3. 用ROUGE分数作为辅助损失

3. 生成式摘要的破局之道

3.1 Pointer-Generator网络实战

在医疗报告生成项目中，我们踩过一个大坑：病历中的专业术语常被替换成通用词。比如"二甲双胍"变成"糖尿病药物"。Pointer-Generator网络的copy机制完美解决了这个问题。具体实现时要注意：

• Coverage机制的超参α需要调校，过大会导致摘要不完整
• 训练时要对OOV词做特殊标记，测试时建立词汇映射表
• 解码阶段建议用集束搜索(beam search)配合长度惩罚

我们改进的版本增加了病症严重程度识别模块，在生成摘要时会自动标注[危急][严重][轻微]等提示标签。这个功能后来成了产品的核心竞争力。

3.2 外部知识的妙用

去年做法律文书摘要时，我们发现单纯Seq2Seq模型经常混淆"原告"和"被告"。受Re3Sum论文启发，我们构建了法律条文知识库。系统现在会：

1. 自动识别文书类型（离婚/借贷/劳动纠纷）
2. 检索类似案例的判决摘要
3. 将关键条文作为生成模板的约束条件

这个方案让摘要的法律术语准确率从72%提升到93%。实现时用了Faiss做向量检索，建立了两级索引：先按案由粗筛，再按争议焦点精查。

4. 混合策略的黄金平衡点

4.1 内容选择器的设计秘诀

在电商产品描述生成中，我们开发了一套"软硬兼施"的混合方案：

1. 硬筛选：用BERT-score选取TOP10关键句
2. 软过滤：通过注意力门控保留相关短语
3. 重组生成：用GPT-3.5进行语句润色

这个方案的精妙之处在于：硬筛选保证不遗漏核心卖点，软过滤保留修饰性信息，最后生成阶段统一风格。实测显示，混合方案的ROUGE-L比纯生成式高9%，而人工评估的流畅度得分反而提升15%。

4.2 训练技巧与调参心得

经过多个项目验证，混合模型训练要注意三个阶段：

特别要监控抽取模块和生成模块的梯度比例，我们开发了一个可视化工具实时显示各层梯度分布，当发现某模块梯度长期接近零时，需要调整学习率或解冻参数。

5. 数据集选择的艺术

在实验CNN/Daily Mail数据集时，我发现匿名版和原始版的模型迁移效果差异很大。具体表现为：

• 匿名版训练的模型在科技类文章表现更好
• 原始版模型对人物报道的摘要更准确

后来发现这是因为匿名化过程中，实体类型标记（如<人名><机构>）无意中成为了重要特征。我们的应对策略是：

1. 训练时随机替换30%的实体标记
2. 在编码器加入实体类型embedding
3. 解码阶段用CRF保证实体一致性

对于中文场景，LCSTS数据集的微博特性会导致模型偏向短摘要。我们的改进是在微调阶段混入自行标注的长文本（知乎回答+专家摘要），用课程学习的方式逐步增加文本长度。