MyDumper实战分享
一、前言说起MySQL的逻辑备份，一般大家用的最多的是mysqldump，MySQL官方提供的逻辑导出的工具，简单易用，可以产生一致性备份。但是mysqldump只能单线程导出，导出速度有限。为了提升逻辑备份速度，MySQL官方推出了mysqlpump，支持多线程导出，一定程度上提升了导出速度。但是，mysqlpump只支持表级别的并行导出，并且对于导入的场景无法多线程并行，速度提升有限。mydumper/myloader是由MySQL、Facebook等公司开发的开源mysql数据导出导入工具，多线程导出的并行度不再局限于表，导入时同样也支持多线程，大大提升了数据导出和导入的速度。作为进阶的MySQL DBA，不能只会用mysqldump了，mydumper也应该熟练掌握，本文将分享mydumper的实战技巧。
二、下载安装
mydumper采用C语言编写，可以基于源码编译安装。此外，官方也提供了rpm包安装。
mydumper源码编译安装：
1. 源码包下载
https://github.com/mydumper/mydumper/tags
2. 依赖安装
yum install -y cmake gcc gcc-c++ git make
yum install -y glib2-devel openssl-devel pcre-devel zlib-devel libzstd-devel
yum install -y mysql-devel
3. 编译安装
cmake .
make && make install
4. 编译好后缺少库文件
ln -s /usr/local/mysql/lib/libmysqlclient.so.21.2.31 /usr/lib/libmysqlclient.so.21
ln -s /usr/local/mysql/lib/private/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s /usr/local/mysql/lib/private/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1
5.安装成功
#mydumper -V
mydumper v0.15.1-3, built against MySQL 8.0.31 with SSL support三、常用参数
mydumper常用参数
-B 指定数据库
-G 导出trigger
-E 导出event
-R 导出routine
-m 只导出数据，不导出建库建表语句
-d 仅仅导出建表结构和建库语句
-c 压缩（gzip）
-x 正则，比如备份多个指定的库：-x 'test|mysql'，比如指定某些库不参与备份：-x '^(?!(sys|mysql))'
-T 指定表，如-T test.t1
-t 并发线程数，默认4
-r 定义行数，按此行数对表进行分块并行导出，该选项会使-F失效
-F 定义将表导出文件进行分块的大小，默认单位是 MB
-l 设置长查询的阈值，单位s，默认60s
-K 超过-l设定的时间阈值，则kill阻塞备份进程的会话
--less-locking 减少对InnoDB表的加锁时间
-k, --no-locks 不执行临时的只读锁，会导致备份不一致
--trx-consistency-only 代表本次备份只对事务表做一致性保证
--skip-tz-utc 不加的话，会在dump的时候加上SET TIME_ZONE='+00:00'，对于timestamp字段需要加上该选项myloader常用参数
-e 导入的时候会记录binlog
-t 并发线程数，默认也是4
-o 导入时如果表已存在则drop掉四、数据迁移实战
以下是mydumper/myloader在几个常用数据迁移场景的命令，可以直接复制使用。mydumper默认按表导出sql文件，也可以直接拿导出的sql文件到数据库中使用source命令导入。
1. 全实例导出与导入
mydumper -h $host -u $user -p $password -G -E -R -o /backup/dumpfile --less-locking
myloader -h $host -u $user -p $password -d /backup/dumpfile
2. 单库导出与导入
mydumper -h $host -u $user -p $password -B test2 -o /backup/shemafile --less-locking
myloader -h $host -u $user -p $password -d /backup/schemafile
3. 指定表导出与导入
mydumper -h $host -u $user -p $password -T test.sbtest1 -o /backup/tablefile --less-locking
myloader -h $host -u $user -p $password -d /backup/tablefile
4. 只导表结构，不导数据
mydumper -h $host -u $user -p $password -B test2 -d -o /backup/ddlfile --less-locking
myloader -h $host -u $user -p $password -d /backup/ddlfile
5. 只导数据，不导表结构
mydumper -h $host -u $user -p $password -T test.sbtest1 -m -o /backup/datafile --less-locking
myloader -h $host -u $user -p $password -d /backup/datafile
6. 单表分块并行导出，并发度8，按一千万行对表分块并行导出
mydumper -h $host -u $user -p $password -T test2.sbtest1 -r 10000000 -t 8 -o /backup/tablefile --less-locking
myloader -h $host -u $user -p $password -d /backup/tablefile五、其他注意事项
以下是我在使用和研究这个工具中总结的几点注意事项：
1. 实际应用中线上环境大部分都是主从或mgr架构，在主库导入时需要加上-e参数，否则默认是不会记录binlog，主库导入的数据也就不会同步到备库；
2. -t参数可以设置并发的线程数，默认是4。需要注意的是，不加-r或-F参数的情况下，也是按表进行并行导出导入。使用-r或-F参数可以将单表进行分块并行导出导入；
3. 导出时可以加上-c参数对导出结果进行压缩，默认是gizp压缩方式，但会消耗一定的压缩时间；
4. 实际使用中建议加上--less-locking参数，这将把innodb表和非innodb表的导出分开，非innodb表导完后先unlock tables再导innodb表，由于实际使用中几乎很少非innodb表，
这将大大减少全局读锁FTWRL的锁定时间；
5. mydumper提供了-k参数不加FTWRL锁，会导致备份不一致。但实际上导出的时候会把会话的隔离级别设置为REPEATABLE READ，所以理论上对于innodb表的导出仍然是一致性的；
6. 线上环境建议到备库操作，毕竟FTWRL对业务可能产生较大的影响；
来源:https://www.cnblogs.com/coygfly/p/18105210
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！
页:
[1]