news 2026/4/23 15:49:11

Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

1. 最小可用 DDL

CREATETABLEblackhole_table(f0INT,f1INT,f2 STRING,f3DOUBLE)WITH('connector'='blackhole');

写入:

INSERTINTOblackhole_tableSELECTf0,f1,f2,f3FROMsome_table;

你会发现:作业在跑、吞吐很高、但没有任何外部输出(这就是它的目的)。

2. LIKE 方式:快速把某张表“替换成黑洞”

调试/压测时经常想把某个 sink 暂时换掉:

CREATETABLEblackhole_sinkWITH('connector'='blackhole')LIKEsource_table(EXCLUDINGALL);

然后把原来的INSERT INTO real_sink ...改成写入blackhole_sink,就能立刻判断:

  • 性能瓶颈是不是外部系统(把外部 IO 去掉后吞吐是否暴涨)
  • SQL/UDF 本身是否有问题(不受外部写入失败干扰)

3. 和 Print 的区别:一个“看数据”,一个“只测性能”

  • Print:把每行写到 Task 日志,适合看数据形态、RowKind、字段值;但日志 IO 会很重
  • BlackHole:完全不输出,适合压测、跑通链路、测算子性能上限

经验用法:

  • 先用Print在小流量下确认结果正确
  • 再切BlackHole做大流量压测,看吞吐/背压/CPU/GC

4. 经典压测组合:DataGen → SQL → BlackHole

用 DataGen 造数据,上游无限流,sink 用 blackhole 吞掉,测你这段 SQL 的极限吞吐:

CREATETABLEgen_src(idBIGINT,scoreINT,name STRING)WITH('connector'='datagen','rows-per-second'='50000','fields.id.kind'='sequence','fields.id.start'='1','fields.id.end'='1000000000','fields.score.min'='0','fields.score.max'='100','fields.name.length'='20','fields.name.var-len'='true');CREATETABLEbh_sink(idBIGINT,scoreINT,name STRING)WITH('connector'='blackhole');INSERTINTObh_sinkSELECTid,score,nameFROMgen_srcWHEREscore>=50;

这套非常适合你用来验证:

  • filter / projection / UDF / join / agg 哪个最吃 CPU
  • 调高rows-per-second后是否出现背压(sink 不会是原因)

5. 生产/排障小建议(很实用)

  • 定位外部 sink 瓶颈:real sink → blackhole,如果吞吐立刻上去,问题大概率在外部系统或 sink 配置(bulk、flush、并发、重试等)
  • 评估 SQL 复杂度成本:blackhole 下仍然跑不动,说明计算本身(UDF/聚合/Join/state)就是瓶颈
  • 不要指望它验证数据正确性:它不会输出任何记录,正确性要靠 Print / 结果表 / 指标来验证
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/23 9:53:15

大模型入门指南:从看懂原理到动手微调,一步步打造你的专属AI

引子:为什么你需要了解大模型技术? 最近两年,AI大模型以惊人的速度渗透到各行各业。无论是写代码的GitHub Copilot、做设计的Midjourney,还是处理文档的ChatGPT,大模型正在重塑我们的工作方式。但你是否也曾困惑&…

作者头像 李华
网站建设 2026/4/22 21:35:56

国外论文参考文献怎么找:实用方法与高效检索技巧指南

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

作者头像 李华
网站建设 2026/4/23 14:44:37

9 款 AI 写论文哪个好?实测封神!虎贲等考 AI 凭硬核实力领跑全场

毕业季的论文写作战场,AI 工具早已成为科研人的 “标配武器”。但市面上的 AI 论文工具五花八门,有的文献引用查无此文,有的数据图表漏洞百出,有的查重结果与学校标准大相径庭。作为深耕论文写作科普的测评博主,我耗时…

作者头像 李华
网站建设 2026/4/23 11:29:52

金融风控系统如何通过CKEditor保留PDF加密内容格式?

各位爷们儿,咱西安程序员又双叒叕接到个神仙需求!客户要给CKEditor装个"超级粘贴板",说是要能直接从Word里CtrlC/V,连Excel表格、PPT公式、PDF图片都要原样搬过来。这哪是编辑器啊,这分明是要造个"文档…

作者头像 李华