news 2026/4/23 23:57:04

一个postgresql奇怪慢查询现象的原因和解决

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一个postgresql奇怪慢查询现象的原因和解决

有一个复杂的CTE查询,原来最后一步直接查询的语句如下

selectt.rn,sfrom(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t,bWHEREresn=1andt.rn=b.rn;...Time:1357.870ms(00:01.358)

想统计最终结果中表t的行数,而不是关联后的行数,于是用下面的查询

selectcount(*)fromtwheret.next_pos=0;-- 2.754秒count-------2843(1row)Time:2754.143ms(00:02.754)

开始以为是row_number()函数过滤的影响,结果并不是,还是比较慢

selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1WHEREresn=1;--2.855秒count-------1000(1row)Time:2855.320ms(00:02.855)

而原来未加count( *)的直接查询只要一半的时间。奇怪的是,对加了表连接的结果再count( *)反而更快,

selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1,bWHEREresn=1andt1.rn=b.rn;--1.239秒count-------1000(1row)Time:1239.115ms(00:01.239)

查看执行计划,慢查询里有一处耗时的操作它的关联条件很长。

Nested Loop (cost=0.00..20184.70 rows=1550 width=142) (actual time=0.038..1595.842 rows=45778.00 loops=1) Join Filter: (substr(CASE CASE WHEN (length(replace(substr(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text), hh), '?'::text, ''::text)) > length(replace(substr(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text), ss), '?'::text, ''::text))) THEN 0 ELSE 1 END WHEN 0 THEN replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text) ELSE reverse(replace(replace((s.b)::text, ' '::text, ''::text), ' '::text, ''::text)) END, all_pos.pos, 1) = (all_pos.n)::text)

更快的语句执行计划同样的地方就只有(substr(b_1.b, all_pos.pos, 1) = (all_pos.n)::text)。成本也只有一半

-> Nested Loop (cost=0.00..9316.20 rows=1550 width=84) (actual time=0.006..183.893 rows=45778.00 loops=1) Join Filter: (substr(b_1.b, all_pos.pos, 1) = (all_pos.n)::text)

而上述过滤条件是在另两个子查询中

aas(selectrn,replace(replace(b,chr(10),''),' ','')bfroms,bas(selectrn,caseflagwhen0thenbelsereverse(b)endb,flagfrom(selectrn,b,casewhenlength(replace(substr(b,hh),'?',''))>length(replace(substr(b,ss),'?',''))then0else1endflagfroma)s),

看来这几个子查询都没有实体化,而是展开到了 Nested Loop连接的句子中
给子查询b 加了个MATERIALIZED,变成b as MATERIALIZED (select rn,case flag when ..., 所有的count就都快了。

selectcount(*)fromtwheret.next_pos=0;count-------2843(1row)Time:1249.923ms(00:01.250)selectcount(*)from(selectrn,s,row_number()over(partitionbyrnorderbyrn)resnfromtwheret.next_pos=0)t1WHEREresn=1;count-------1000(1row)Time:1218.167ms(00:01.218)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/22 23:27:03

TFRecord格式详解:高效存储与读取大规模数据集

TFRecord格式详解:高效存储与读取大规模数据集 在处理千万级图像、百亿条用户行为日志的机器学习项目中,一个常见的瓶颈往往不是模型结构或算力资源,而是——数据加载太慢。你有没有遇到过这样的场景:GPU 利用率长期徘徊在 20% 以…

作者头像 李华
网站建设 2026/4/23 7:52:27

TensorFlow GPU加速秘籍:释放显卡全部性能

TensorFlow GPU加速实战:释放显卡潜能的工程之道 在深度学习项目中,你是否经历过这样的场景?训练一个ResNet模型,看着GPU利用率长期徘徊在20%以下,风扇呼啸却算力空转;或是刚启动多卡训练,显存就…

作者头像 李华
网站建设 2026/4/23 7:55:28

WordPress插件漏洞研究入门指南:非授权用户如何突破防线

WordPress插件漏洞基础知识 | 第一部分 作者:Abhirup Konwar 4分钟阅读 2025年5月30日 WordPress中的用户角色 订阅者投稿者作者编辑管理员 为何大多数非授权的WordPress插件漏洞利用能够成功?😈 非认证用户的默认能力 WordPress的设计中&am…

作者头像 李华
网站建设 2026/4/23 7:56:55

学长亲荐10个AI论文软件,继续教育学生轻松搞定论文!

学长亲荐10个AI论文软件,继续教育学生轻松搞定论文! AI工具助力论文写作,轻松应对学术挑战 在继续教育的学习过程中,论文写作往往成为许多学生的“拦路虎”。无论是选题、大纲搭建,还是内容撰写与降重,每…

作者头像 李华
网站建设 2026/4/23 7:49:54

基于Spring Boot的受灾救援物资管理系统

基于Spring Boot的受灾救援物资管理系统介绍 一、系统背景与目标 在自然灾害(如地震、洪水、台风等)频发的背景下,传统救援物资管理面临以下挑战: 响应速度慢:人工登记、纸质记录导致物资分配效率低,延误救…

作者头像 李华