news 2026/4/23 12:29:04

Elasticsearch Bulk 写入性能问题排查实录

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Elasticsearch Bulk 写入性能问题排查实录

问题背景

在使用 Elasticsearch 进行大量数据迁移时,遇到了 bulk 写入性能严重下降的问题。虽然 bulk 请求都返回成功,但实际写入的文档数量远低于预期,且写入速度非常慢。

排查过程

第一轮:怀疑索引设计问题

现象:

  • Bulk 写入速度慢
  • 写入的文档数量远低于预期

假设:
可能是索引设计不合理,分片数过多或单个索引文档数过多导致性能问题。

尝试的解决方案:

  1. 减少分片数(从 6 个减少到 3 个)
  2. 降低单个索引的文档上限(从 80 万降低到 40 万)

结果:
问题依然存在,写入速度没有明显改善。

第二轮:怀疑并发写入导致资源竞争

现象:

  • 同时有多个迁移任务在运行
  • 怀疑是写入线程池被占满

假设:
多个 bulk 写入任务并发执行,导致 Elasticsearch 的写入线程池资源竞争,从而影响性能。

尝试的解决方案:
停止其他迁移任务,只保留一个任务运行。

结果:
问题依然存在,说明不是并发写入导致的资源竞争问题。

第三轮:发现 _id 冲突导致大量覆盖操作

关键发现:
通过分析 Elasticsearch 的索引统计信息,发现docs.deleted数量异常高,几乎与

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 8:31:01

根据这个标题帮我生成一篇新的文章,我的用户群体是软件测试从业者。

游戏测试的智能化转型趋势 随着游戏产业进入跨平台、高复杂度、快速迭代的发展阶段,传统测试方法在测试覆盖率、效率和经济成本方面面临严峻挑战。智能自动化测试通过融合机器学习、计算机视觉、自然语言处理等AI技术,正在重塑游戏测试的工作范式。本文…

作者头像 李华
网站建设 2026/4/19 3:04:35

南京大学打造视频AI新标杆:让机器真正“听懂“复杂指令描述视频

这项由南京大学计算机科学与技术系刘佳恒教授领导,联合快手科技、上海大学、中科院自动化所等多家机构共同完成的研究,于2025年10月发表在arXiv预印本平台,论文编号为arXiv:2510.18726v1。有兴趣深入了解的读者可以通过该编号查询完整论文。当…

作者头像 李华
网站建设 2026/4/16 16:04:21

香港大学突破视频生成瓶颈:一小时超长视频也能保持完美连贯性

这项由香港大学的俞逸飞、吴晓山、胡欣庭等研究者,联合字节跳动PICO团队和南方科技大学共同完成的研究,于2025年12月发表在计算机视觉领域顶级会议,论文编号为arXiv:2512.04519v1。感兴趣的读者可以通过该编号查询完整论文内容。当前的AI视频…

作者头像 李华
网站建设 2026/4/22 11:21:01

BUG: failure at drivers/pci/msi.c:376/free_msi_irqs()!

文章目录1. pci显示模块卸载2. free_irq未被调用导致xxfb_pci_unregister报错3. free_irq第二个参数与request_irq最后一个参数不一致导致报错1. pci显示模块卸载 为方便调试显示驱动将pci模块xxfb编译为内核模块,卸载命令如下: echo 0 > /sys/clas…

作者头像 李华