news 2026/6/13 2:05:52

Mysql大数据深分页速度慢优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Mysql大数据深分页速度慢优化

Mysql: 8.0.29

数据量:628W条

主键字段:id

一、Mysql分页原理

示例语句: SELECT * FROM test_logistics_contract_info LIMIT 5000000,10;

PS1:理论上生产环境不禁止SELECT * ,哪怕会用到所有的字段,这里只是示例语句。

执行原理 :

先执行 SELECT * FROM test_logistics_contract_info LIMIT 5000010;放入Mysql内存中

再取最后的10条返回

效率:

分页越深,效率越低,如果取全表的最后10条,相当于全表扫描。

二、俩种SQL语句级别优化和效率对比

原版语句: 执行时间 7.338秒

优化语句一: 查询时间 0.143秒 比原版的零头还低

SELECT a.* FROM test_logistics_contract_info a INNER JOIN (SELECT id FROM test_logistics_contract_info LIMIT 500000,10) as b
on a.id = b.id

原理:利用 InnoDB 的回表机制,先拿所需要数据的主键,再用主键拿数据。

优化二:查询时间 0.0秒(纳秒级别了) 比原版的零头的零头还低

SELECT * FROM test_logistics_contract_info WHERE id >= 5066186 LIMIT 10;

原理:先拿到上次分页的最后一条数据id,然后用id精准定位数据的位置。

缺点:禁止跳页,每次都必须拿到上一页的最后一条数据的id

PS2:Mysql自增主键具有不连续性,用页数*每页条数得到的数字作为id是不准确的(比如物理删除的数据,或者批量添加数据)

PS3:Mysql还有唯一索引不唯一的特性( ^_^!!)

三、其他优化方式

1、禁止深分页(使用多)

某东、某宝的分页都限定了100页

2、用适合大数据分页的DB 存数据 (省心)

比如es(GB~TB级别) Hbase(PB级别)

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/13 11:31:34

云屋科技发布智能信创方案 助力国产化升级

云屋科技推出智能信创方案,推动金融政企国产化升级在金融和政企单位的数字化转型进程中,将实时音视频技术融入其中已成为关键步骤。然而,实时音视频要全面适配信创并非易事,不仅复杂度极高,而且企业需要投入大量成本。…

作者头像 李华
网站建设 2026/6/12 3:39:25

宝塔Linux面板:简化服务器管理的创新工具

宝塔Linux面板:简化服务器管理的创新工具一、宝塔Linux面板:让服务器管理像使用手机一样简单在数字化时代,服务器管理曾是横亘在开发者与运维人员之间的技术鸿沟。命令行代码的晦涩难懂、配置参数的错综复杂,让许多技术团队在服务…

作者头像 李华
网站建设 2026/6/12 16:32:17

瑞昱Realtek 8188GU驱动:跨平台无线连接终极指南

瑞昱Realtek 8188GU驱动:跨平台无线连接终极指南 【免费下载链接】瑞昱Realtek无线网卡8188GU驱动Windows 本仓库提供了一个适用于瑞昱Realtek无线网卡8188GU的Windows驱动程序。该驱动程序是从水星MW150UH驱动中提取出来的,可以作为NdisWrapper安装Linu…

作者头像 李华
网站建设 2026/6/10 17:21:21

Claude-Opus-4.5极速接入指南:3步搞定,小白也能轻松上手

一、3步极速接入Claude-Opus-4.5,零门槛上手步骤1:获取Claude-Opus-4.5专属API Key完成平台注册登录后,系统将自动发放Claude-Opus-4.5免费体验额度,无需提交额外申请材料,即时到账可用;登录后台管理系统&a…

作者头像 李华
网站建设 2026/6/12 1:28:38

Jupyter Notebook滚动性能优化全攻略

Jupyter Notebook滚动性能优化全攻略 【免费下载链接】notebook Jupyter Interactive Notebook 项目地址: https://gitcode.com/GitHub_Trending/no/notebook 当您在Jupyter Notebook中处理大型数据集或复杂可视化时,是否遇到过页面滚动时的异常闪烁和卡顿现…

作者头像 李华