好用的数据校验&修复工具gt-checksum开源啦

福源农业

• GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。
  
• GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。
  
• 作者：  GreatSQL社区
  
• 文章来源：GreatSQL社区原创
  

• 
  
  • 背景介绍
    
  
  
• 
  
  • 功能特性
    
  
  
• 
  
  • gt-checksum使用
    
  
  
• 
  
  
  
  • 3.1 标准使用案例
    
  • 3.2 直接在命令行模式下使用
    
  • 3.3 使用极简配置文件案例
    
  
  
• 
  
  • 项目信息
    
  
  
• 
  
  • 开源发布会
    
  
  

不用说，看名字也知道，gt-checksum工具是数据校验工具。
没错，gt-checksum 是GreatSQL社区新增的成员，它是 一款静态数据库校验修复工具，支持MySQL、Oracle等主流数据库，采用Go语言开发，今天正式开源。
1. 背景介绍

作为MySQL DBA，相信应该都听说过Percona出品的 pt-table-checksum & pt-table-sync 工具（没听说过的绝对不是合格的MySQL DBA，嘿嘿），可以用它俩进行数据校验及修复工作，非常好用。
不过，在MySQL MGR架构中，或者是当下常见的上云、下云业务中，以及MySQL、Oracle间的异构数据等多种场景中，pt工具并不支持。针对这些需求痛点，我们结合平时遇到的客户需求，开发了 gt-checksum 数据校验&修复工具，并贡献给GreatSQL社区，进行开源，继续促进业内开源生态健康发展。
gt-checksum工具支持以下几种常见业务需求场景：

• MySQL主从复制：主从复制中断后较长时间才发现，且主从间差异的数据量太多，这时候通常基本上只能重建复制从库，如果利用 pt-table-checksum 先校验主从数据一致性后 ，再利用 pt-table-sync 工具修复差异数据，这个过程要特别久，时间代价太大。
  
• MySQL MGR组复制：MySQL MGR因故崩溃整个集群报错退出，或某个节点异常退出，在恢复MGR集群时一般要面临着先检查各节点间数据一致性的需求，这时通常为了省事会选 择其中一个节点作为主节点，其余从节点直接复制数据重建，这个过程要特别久，时间代价大。
  
• 上云下云业务场景：目前上云下云的业务需求很多，在这个过程中要进行大量的数据迁移及校验工作，如果出现字符集改变导致特殊数据出现乱码或其他的情况，如果数据迁 移工具在迁移过程中出现bug或者数据异常而又迁移成功，此时都需要在迁移结束后进行一次数据校验才放心。
  
• 异构迁移场景：有时我们会遇到异构数据迁移场景，例如从Oracle迁移到MySQL，通常存在字符集不同，以及数据类型不同等情况，也需要在迁移结束后进行一次数据校验才 放心。
  
• 定期校验场景：作为DBA在维护高可用架构中为了保证主节点出现异常后能够快速放心切换，就需要保证各节点间的数据一致性，需要定期执行数据校验工作。
  

以上这些场景，都可以利用 gt-chcksum 工具来满足。
2. 功能特性

在正式开源之前，gt-checksum 工具已经在内部经过了十数个版本迭代，可以满足绝大多数场景下的数据校验&修复需求，尤其是MySQL、Oracle间的异构数据库场景。
gt-checksum 工具主要功能特性有：

• 支持主从复制、MGR以及MySQL、Oracle间的数据校验&修复；
  
• 数据库名、表名设置支持多种正则表达式
  
• 支持多种字符集
  
• 支持设置表名大小写敏感
  
• 支持多种数据校验模式，数据、表结构、索引、分区、外键、存储过程等
  
• 支持多种数据校验方式，全量校验，抽样校验和行数校验
  
• 支持多种数据修复模式，校验完毕后直接修复或是生成修复SQL文件再自行手动处理
  
• 支持校验无索引表
  
• 支持并发多线程校验
  
• 更好支持大表数据校验，效率更高，且基本不会发生OOM等问题
  

3. gt-checksum使用

3.1 标准使用案例

指定配置文件，开始执行数据校验，示例：

1. shell> gt-checksum -f ./gc.conf
2. -- gt-checksum init configuration files --
3. -- gt-checksum init log files --
4. -- gt-checksum init check parameter --
5. -- gt-checksum init check table name --
6. -- gt-checksum init check table column --
7. -- gt-checksum init check table index column --
8. -- gt-checksum init source and dest transaction snapshoot conn pool --
9. -- gt-checksum init cehck table query plan and check data --
10. begin checkSum index table db1.t1
11. [████████████████████████████████████████████████████]113%  task:     678/600
12. table db1.t1 checksum complete
14. ** gt-checksum Overview of results **
15. Check time:  73.81s (Seconds)
16. Schema  Table                   IndexCol                                checkMod        Rows            Differences     Datafix
17. db1     t1                      ol_w_id,ol_d_id,ol_o_id,ol_number       rows            5995934,5995918 yes             file

复制代码

3.2 直接在命令行模式下使用

设定只校验db1库下的所有表，不校验test库下的所有表，并设置没有索引的表也要校验

1. shell> gt-checksum -S type=mysql,user=root,passwd=abc123,host=172.16.0.1,port=3306,charset=utf8 -D type=mysql,user=root,passwd=abc123,host=172.16.0.2,port=3306,char
2. set=utf8 -t db1.* -it test.* -nit yes

复制代码

3.3 使用极简配置文件案例

gt-checksum还支持极简配置文件模式，最少只需要配置三个参数，即可完成数据校验，例如：

1. shell> cat gc.conf-simple
2. [DSNs]
3. srcDSN = mysql|pcms:abc123@tcp(172.17.16.1:3306)/information_schema?charset=utf8
4. dstDSN = mysql|pcms:abc123@tcp(172.17.16.2:3306)/information_schema?charset=utf8
6. [Schema]
7. tables = db1.t1
9. shell> gt-checksum -f ./gc.conf-simple
10. ...

复制代码

注意：

• 极简配置文件名必须是 gc.conf-simple。
  
• 配置文件中仅需指定源和目标端的DSN，以及要校验的表名即可。
  

更多使用场景和案例欢迎大家一起来解锁。
4. 项目信息

gt-checksum代码已上传到 gitee 上，项目地址 https://gitee.com/GreatSQL/gt-checksum，欢迎围观、加星，也欢迎来“找茬”，提patch/issue。
5. gt-checksum正式开源发布会


gt-checksum开源发布会将在 03月06日 19:00-22:30 举办
来源:https://www.cnblogs.com/greatsql/p/17182674.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！