翼度科技»论坛 编程开发 mysql 查看内容

MySQL清理数据并释放磁盘空间的实现示例

14

主题

14

帖子

42

积分

新手上路

Rank: 1

积分
42
在我们的生产环境中有一张表:courier_consume_fail_message,是存放消息消费失败的数据的,设计之初,这张表的数据量评估在万级别以下,因此没有建立索引。
但目前发现,该表的数据量已经达到百万级别,原因产生了大量的重试消费,这导致了该表的慢查询。
因此需要清理该表数据。而实际上,使用 DELETE 命令删除数据后,我们发现查询速度并没有显著提高,甚至可能会降低。为什么?
因为 DELETE 命令只是标记该行数据为“已删除”状态,并不会立即释放该行数据在磁盘中所占用的存储空间,这样就会导致数据文件中存在大量的碎片,从而影响查询性能。所以,除了删除表记录外,还需要清理磁盘碎片。
在表碎片清理前,我们关注以下四个指标。

  • 指标一:表的状态:
    1. SHOW TABLE STATUS LIKE 'courier_consume_fail_message';
    复制代码
  • 指标二:表的实际行数:
    1. SELECT count(*) FROM courier_consume_fail_message;
    复制代码
  • 指标三:要清理的行数:
    1. SELECT count(*) FROM courier_consume_fail_message where created_at < '2023-04-19 00:00:00';
    复制代码
  • 指标四:表查询的执行计划:
    1. EXPLAIN SELECT * FROM courier_consume_fail_message WHERE service='courier-transfer-mq';
    复制代码
  1.  -- 清理磁盘碎片
  2.  OPTIMIZE TABLE courier_consume_fail_message;
复制代码
以下是清理前后的指标对比。

一、清理前

指标一,表的状态:

指标二,表的实际行数:76986
指标三,要清理的行数:76813
指标四,表查询的执行计划:


二、清理数据

下面是执行
  1. DELETE FROM courier_consume_fail_message WHERE created_at < '2023-04-19 00:00:00';
复制代码
后的统计。
指标一,表的状态:

指标二,表的实际行数:173
指标三,要清理的行数:0
指标四,表查询的执行计划:

通过指标四可以看到,清理表记录后,查询扫描的行数依然没变:8651048。

三、清理碎片

下面是执行
  1. OPTIMIZE TABLE courier_consume_fail_message;
复制代码
后的统计。
指标一,表的状态:

指标四,表查询的执行计划:

通过指标四可以看到,清理表记录后,查询扫描的行数变成了 100。

小结

可以看到,该表的数据行数和数据长度都被清理了,查询语句扫描的行数也减少了。
为了提升
  1. SELECT * FROM courier_consume_fail_message WHERE service='courier-transfer-mq';
复制代码
语句的查询效率,还是应当建立索引。
  1.  alter` `table` `ec_courier.courier_consume_fail_message ``add` `index` `idx_service(service);
复制代码
到此这篇关于MySQL清理数据并释放磁盘空间的实现示例的文章就介绍到这了,更多相关MySQL 清理数据并释放磁盘空间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

来源:https://www.jb51.net/database/2918363yl.htm
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具