发帖
翼度科技»论坛 › 编程开发 › mysql › 查看内容

Datax助力轻松迁移SQLServer数据至GreatSQL

追风猎人

12

主题

12

帖子

36

积分

新手上路

Rank: 1

积分
36
显示全部楼层
1.环境说明

1.1源端SQLSserver

版本IP端口Microsoft SQL Server 2017192.168.140.16014331.2目标端GreatSQL

版本IP端口GreatSQL-8.0.32192.168.139.8633082.安装环境

2.1安装SQLServer环境

环境说明：借助Docker使用镜像启动数据库
2.1.1安装docker

1.安装基础软件包
  1. $ yum install -y wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack yum-utils
复制代码
2.配置 docker-ce 国内 yum 源（阿里云）
  1. $ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
复制代码
3.安装 docker 依赖包
  1. $ yum install -y  device-mapper-persistent-data lvm2
复制代码
4.安装 docker-ce
  1. $ yum install docker-ce -y
复制代码
5.启动容器
  1. $ systemctl start docker && systemctl enable docker
复制代码
2.1.2 拉取镜像
  1. $ docker pull mcr.microsoft.com/mssql/server:2017-latest
复制代码
2.1.3运行容器
  1. $ docker run -e "ACCEPT_EULA=Y" -e "SA_PASSWORD=********" \
  2. -p 1433:1433 --name sqlserver2017 \
  3. -d mcr.microsoft.com/mssql/server:2017-latest
复制代码
此处记得密码设置为复杂密码
参数解释：

  • -e "ACCEPT_EULA=Y"：默认选择同意协议许可证
  • -e "SA_PASSWORD=********":设置连接密码，密码不能太短太简单，否则不满足sqlserver密码规范，容器会停止运行
  • -p 1433:1433: 宿主机端口映射到容器端口（前者为宿主机）
  • --name sqlserver2017：容器别名
  • -d: 后台运行
  • mcr.microsoft.com/mssql/server:2017-latest：镜像名称:标签
2.1.4使用数据库

1.进入容器
  1. $ docker exec -it sqlserver2017 bash
复制代码
2.连接数据库
  1. $ /opt/mssql-tools/bin/sqlcmd -S localhost -U SA -P "********"
复制代码
3.查询数据库
  1. 1> select name from sys.Databases;
  2. 2> go
复制代码
4.创建数据库
  1. 1> create database testdb;
  2. 2> go
复制代码
5.创建表并插入数据
  1. use testdb
  2. create table t1(id int)
  3. go
  4. Insert into t1 values(1),(2)
  5. go
复制代码
2.2安装GreatSQL环境

使用Docker镜像进行安装，直接拉取GreatSQL镜像即可
  1. $ docker pull greatsql/greatsql
复制代码
并创建GreatSQL容器
  1. $ docker run -d --name greatsql --hostname=greatsql -e MYSQL_ALLOW_EMPTY_PASSWORD=1 greatsql/greatsql
复制代码
2.3安装datax

DataX安装需要依赖的环境

  • JDK(1.8以上，推荐1.8)
  • Python(推荐Python2.6.X及以上)
安装步骤，解压即用，但是解压完成不做其他操作运行job会报错
  1. $ cd /soft
  3. $ ll
  4. total 3764708
  5. -rw-r--r--  1 root root  853734462 Dec  9 04:06 datax.tar.gz
  7. $ tar xf datax.tar.gz
  9. $ python /soft/datax/bin/datax.py /soft/datax/job/job.json
  11. DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
  12. Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
  13. 2023-07-19 11:19:17.483 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/soft/datax/plugin/reader/._mysqlreader/plugin.json]不存在. 请检查您的配置文件.
  14. 2023-07-19 11:19:18.488 [main] ERROR Engine -
  15. 经DataX智能分析,该任务最可能的错误原因是:
  16. com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/soft/datax/plugin/reader/._mysqlreader/plugin.json]不存在. 请检查您的配置文件.
  17. at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
  18. at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
  19. at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
  20. at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
  21. at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
  22. at com.alibaba.datax.core.Engine.entry(Engine.java:137)
  23. at com.alibaba.datax.core.Engine.main(Engine.java:204)
复制代码
解决报错:删除plugin目录下以及plugin/reader和plugin/writer目录下的所有._开头的文件
需要删除三个目录下的隐藏文件

  • plugin/
  • plugin/reader/
  • plugin/writer/
  1. $ rm -rf /opt/app/datax/plugin/._*
  2. $ rm -rf /opt/app/datax/plugin/reader/._*
  3. $ rm -rf /opt/app/datax/plugin/writer/._*
复制代码
运行一个测例，检测datax是否安装成功
  1. $ python /soft/datax/bin/datax.py  /soft/datax/job/job.json
  3. DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
  4. Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
  5. 2023-07-19 11:22:12.298 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
  6. 2023-07-19 11:22:12.305 [main] INFO  Engine - the machine info  =>
  7. osInfo: Oracle Corporation 1.8 25.251-b08
  8. jvmInfo: Linux amd64 4.19.25-200.1.el7.bclinux.x86_64
  9. cpu num: 48
  10. totalPhysicalMemory: -0.00G
  11. freePhysicalMemory: -0.00G
  12. maxFileDescriptorCount: -1
  13. currentOpenFileDescriptorCount: -1
  14. GC Names [PS MarkSweep, PS Scavenge]
  16. MEMORY_NAME                    | allocation_size                | init_size                     
  17. PS Eden Space                  | 256.00MB                       | 256.00MB                       
  18. Code Cache                     | 240.00MB                       | 2.44MB                        
  19. Compressed Class Space         | 1,024.00MB                     | 0.00MB                        
  20. PS Survivor Space              | 42.50MB                        | 42.50MB                        
  21. PS Old Gen                     | 683.00MB                       | 683.00MB                       
  22. Metaspace                      | -0.00MB                        | 0.00MB  
  24. 2023-07-19 11:22:12.320 [main] INFO  Engine -
  25. {"content":[{"reader":{"name":"streamreader",
  26. "parameter":{"column":[
  27. {"type":"string","value":"DataX"},
  28. {"type":"long","value":19890604},
  29. {"type":"date","value":"1989-06-04 00:00:00"},
  30. {"type":"bool","value":true},
  31. {"type":"bytes","value":"test"}
  32. ],"sliceRecordCount":100000}
  33. },"writer":{"name":"streamwriter","parameter":{"encoding":"UTF-8","print":false}}}],
  34. "setting":{"errorLimit":{"percentage":0.02,"record":0},
  35. "speed":{"byte":10485760}}}
  37. 2023-07-19 11:22:12.336 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
  38. 2023-07-19 11:22:12.337 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
  39. 2023-07-19 11:22:12.338 [main] INFO  JobContainer - DataX jobContainer starts job.
  40. 2023-07-19 11:22:12.339 [main] INFO  JobContainer - Set jobId = 0
  41. 2023-07-19 11:22:12.352 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
  42. 2023-07-19 11:22:12.352 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
  43. 2023-07-19 11:22:12.352 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
  44. 2023-07-19 11:22:12.352 [job-0] INFO  JobContainer - jobContainer starts to do split ...
  45. 2023-07-19 11:22:12.353 [job-0] INFO  JobContainer - Job set Max-Byte-Speed to 10485760 bytes.
  46. 2023-07-19 11:22:12.354 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [1] tasks.
  47. 2023-07-19 11:22:12.354 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [1] tasks.
  48. 2023-07-19 11:22:12.371 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
  49. 2023-07-19 11:22:12.375 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
  50. 2023-07-19 11:22:12.376 [job-0] INFO  JobContainer - Running by standalone Mode.
  51. 2023-07-19 11:22:12.384 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
  52. 2023-07-19 11:22:12.388 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
  53. 2023-07-19 11:22:12.388 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
  54. 2023-07-19 11:22:12.396 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
  55. 2023-07-19 11:22:12.697 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[302]ms
  56. 2023-07-19 11:22:12.698 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
  57. 2023-07-19 11:22:22.402 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.020s |  All Task WaitReaderTime 0.033s | Percentage 100.00%
  58. 2023-07-19 11:22:22.402 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
  59. 2023-07-19 11:22:22.402 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
  60. 2023-07-19 11:22:22.403 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
  61. 2023-07-19 11:22:22.403 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
  62. 2023-07-19 11:22:22.403 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /soft/datax/hook
  63. 2023-07-19 11:22:22.404 [job-0] INFO  JobContainer -
  64. [total cpu info] =>
  65. averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
  66. -1.00%                         | -1.00%                         | -1.00%
  67. [total gc info] =>
  68. NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
  69. PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s            
  70. PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s            
  72. 2023-07-19 11:22:22.404 [job-0] INFO  JobContainer - PerfTrace not enable!
  73. 2023-07-19 11:22:22.404 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.020s |  All Task WaitReaderTime 0.033s | Percentage 100.00%
  74. 2023-07-19 11:22:22.406 [job-0] INFO  JobContainer -
  75. 任务启动时刻                    : 2023-07-19 11:22:12
  76. 任务结束时刻                    : 2023-07-19 11:22:22
  77. 任务总计耗时                    :                 10s
  78. 任务平均流量                    :          253.91KB/s
  79. 记录写入速度                    :          10000rec/s
  80. 读出记录总数                    :              100000
  81. 读写失败总数                    :                   0
复制代码
3.SQLServer2GreatSQL全量迁移

3.1 源端（SQLServer）造测试数据
  1. $ docker exec -it 47bd0ed79c26 /bin/bash
  3. $ /opt/mssql-tools/bin/sqlcmd -S localhost -U SA -P "********"
  5. 1> create database testdb
  6. 1> use testdb
  7. 1> insert into t1 values(1),(2),(3);
  8. 2> go
  9. 1> select * from t1;
  10. 2> go
  11. id         
  12. \-----------
  13. ​          1
  14. ​          2
  15. ​          3
复制代码
3.2 目标端（GreatSQL）创建表结构
  1. greatsql> create database testdb;
  2. greatsql> use testdb;
  3. greatsql> create table t1 (id int primary key);
复制代码
3.3 编写Datax的job文件
  1. $ cat /soft/datax/job/sqlserver_to_greatsql.json
  2. {
  3. ​    "job": {
  4. ​        "content": [
  5. ​            {
  6. ​                "reader": {
  7. ​                    "name": "sqlserverreader",
  8. ​                    "parameter": {
  9. ​                        "connection": [
  10. ​                            {
  11. ​                                "jdbcUrl": ["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  12. ​                                "table": ["t1"]
  13. ​                            }
  14. ​                        ],
  15. ​                        "password": "********",
  16. ​                        "username": "SA",
  17. ​                        "column": ["*"]
  18. ​                    }
  19. ​                },
  20. ​                "writer": {
  21. ​                    "name": "mysqlwriter",
  22. ​                    "parameter": {
  23. ​                        "column": ["*"],
  24. ​                        "connection": [
  25. ​                            {
  26. ​                                "jdbcUrl": "jdbc:mysql://10.17.139.86:3308/testdb",
  27. ​                                "table": ["t1"]
  28. ​                            }
  29. ​                       ],
  30. ​                        "password": "******",
  31. ​                        "session": [],
  32. ​                        "username": "admin",
  33. ​                        "writeMode": "insert"
  34. ​                    }
  35. ​                }
  36. ​            }
  37. ​        ],
  38. ​        "setting": {
  39. ​            "speed": {
  40. ​                "channel": "5"
  41. ​            }
  42. ​        }
  43. ​    }
  44. }
复制代码
3.4 运行Datax迁移任务
  1. $ python /soft/datax/bin/datax.py /soft/datax/job/sqlserver_to_greatsql.json
  3. DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
  4. Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
  6. 2023-11-28 09:58:44.087 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
  7. 2023-11-28 09:58:44.104 [main] INFO  Engine - the machine info  =>
  8. osInfo: Oracle Corporation 1.8 25.181-b13
  9. jvmInfo: Linux amd64 3.10.0-957.el7.x86_64
  11. cpu num: 8
  12. totalPhysicalMemory: -0.00G
  13. freePhysicalMemory: -0.00G
  14. maxFileDescriptorCount: -1
  15. currentOpenFileDescriptorCount: -1
  16. GC Names [PS MarkSweep, PS Scavenge]
  17. MEMORY_NAME                    | allocation_size                | init_size                     
  18. PS Eden Space                  | 256.00MB                       | 256.00MB                       
  19. Code Cache                     | 240.00MB                       | 2.44MB                        
  20. Compressed Class Space         | 1,024.00MB                     | 0.00MB                        
  21. PS Survivor Space              | 42.50MB                        | 42.50MB                        
  22. PS Old Gen                     | 683.00MB                       | 683.00MB                       
  23. Metaspace                      | -0.00MB                        | 0.00MB                        
  25. 2023-11-28 09:58:44.137 [main] INFO  Engine -
  26. {
  27. "content":[
  28. {"reader":{
  29. "name":"sqlserverreader",
  30. "parameter":{
  31. "column":["*"],
  32. "connection":[
  33. {"jdbcUrl":["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  34. "table":["t1"]}],
  35. "password":"*************",
  36. "username":"SA"}},
  38. "writer":{"name":"mysqlwriter","parameter":{"column":["*"],
  40. "connection":[{"jdbcUrl":"jdbc:mysql://10.17.139.86:3308/testdb",
  41. "table":["t1"]}],
  42. "password":"********",
  43. "session":[],
  44. "username":"admin",
  45. "writeMode":"insert"}}}],
  46. "setting":{"speed":{"channel":"5"}}}
  48. 2023-11-28 09:58:44.176 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
  49. 2023-11-28 09:58:44.179 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
  50. 2023-11-28 09:58:44.180 [main] INFO  JobContainer - DataX jobContainer starts job.
  51. 2023-11-28 09:58:44.183 [main] INFO  JobContainer - Set jobId = 0
  52. 2023-11-28 09:58:44.542 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb.
  53. 2023-11-28 09:58:44.544 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  54. Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
  55. 2023-11-28 09:58:45.099 [job-0] INFO  OriginalConfPretreatmentUtil - table:[t1] all columns:[id].
  56. 2023-11-28 09:58:45.099 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  57. 2023-11-28 09:58:45.102 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
  58. insert INTO %s (id) VALUES(?)
  59. ], which jdbcUrl like:[jdbc:mysql://10..17.139.86:16310/testdb?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
  60. 2023-11-28 09:58:45.103 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
  61. 2023-11-28 09:58:45.103 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do prepare work
  62. 2023-11-28 09:58:45.104 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
  63. 2023-11-28 09:58:45.104 [job-0] INFO  JobContainer - jobContainer starts to do split ...
  64. 2023-11-28 09:58:45.105 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
  65. 2023-11-28 09:58:45.112 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] splits to [1] tasks.
  66. 2023-11-28 09:58:45.114 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
  67. 2023-11-28 09:58:45.135 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
  68. 2023-11-28 09:58:45.139 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
  69. 2023-11-28 09:58:45.142 [job-0] INFO  JobContainer - Running by standalone Mode.
  70. 2023-11-28 09:58:45.151 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
  71. 2023-11-28 09:58:45.157 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
  72. 2023-11-28 09:58:45.158 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
  73. 2023-11-28 09:58:45.173 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
  74. 2023-11-28 09:58:45.181 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select * from t1
  75. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  76. 2023-11-28 09:58:45.398 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select * from t1
  77. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  78. 2023-11-28 09:58:45.454 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[284]ms
  79. 2023-11-28 09:58:45.455 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
  80. 2023-11-28 09:58:55.175 [job-0] INFO  StandAloneJobContainerCommunicator - Total 3 records, 3 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  81. 2023-11-28 09:58:55.175 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
  82. 2023-11-28 09:58:55.175 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
  83. 2023-11-28 09:58:55.176 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do post work.
  84. 2023-11-28 09:58:55.176 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
  85. 2023-11-28 09:58:55.176 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /soft/datax/hook
  86. 2023-11-28 09:58:55.177 [job-0] INFO  JobContainer -
  87. [total cpu info] =>
  88. averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
  89. -1.00%                         | -1.00%                         | -1.00%
  90. [total gc info] =>
  91. NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
  92. PS MarkSweep         | 1                  | 1                  | 1                  | 0.061s             | 0.061s             | 0.061s            
  93. PS Scavenge          | 1                  | 1                  | 1                  | 0.039s             | 0.039s             | 0.039s            
  94. 2023-11-28 09:58:55.177 [job-0] INFO  JobContainer - PerfTrace not enable!
  95. 2023-11-28 09:58:55.177 [job-0] INFO  StandAloneJobContainerCommunicator - Total 3 records, 3 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  96. 2023-11-28 09:58:55.179 [job-0] INFO  JobContainer -
  97. 任务启动时刻                    : 2023-11-28 09:58:44
  98. 任务结束时刻                    : 2023-11-28 09:58:55
  99. 任务总计耗时                    :                 10s
  100. 任务平均流量                    :                0B/s
  101. 记录写入速度                    :              0rec/s
  102. 读出记录总数                    :                   3
  103. 读写失败总数                    :                   0
复制代码
3.5 到目标端验证数据
  1. greatsql> select * from t1;
  2. +----+
  3. | id |
  4. +----+
  5. |  1 |
  6. |  2 |
  7. |  3 |
  8. +----+
  9. 3 rows in set (0.01 sec)
复制代码
4. SQLServer to GreatSQL增量迁移

4.1 源端（SQLServer）创建测试数据
  1. 2> create table t2 (id int,createtime datetime);
  2. 3> go
  3. 1> insert into t2 values(1,GETDATE());
  4. 2> g
  5. (1 rows affected)
  6. 1> insert into t2 values(2,GETDATE());
  7. 2> go
  8. (1 rows affected)
  9. 1> insert into t2 values(3,GETDATE());
  10. 2> go
  11. (1 rows affected)
  12. 1> insert into t2 values(4,GETDATE());
  13. 2> go
  14. (1 rows affected)
  15. 1> insert into t2 values(5,GETDATE());
  16. 2> go
  17. (1 rows affected)
  18. 1> insert into t2 values(6,GETDATE());
  19. 2> go
  20. (1 rows affected)
  21. 1> select * from t2;
  22. 2> go
  23. id          createtime            
  24. ---------- -----------------------
  25. ​          1 2023-11-28 02:18:20.790
  26. ​          2 2023-11-28 02:18:27.040
  27. ​          3 2023-11-28 02:18:32.103
  28. ​          4 2023-11-28 02:18:37.690
  29. ​          5 2023-11-28 02:18:41.450
  30. ​          6 2023-11-28 02:18:46.330
复制代码
4.2 编写Datax的全量迁移job文件
  1. $ cat sqlserver_to_greatsql_inc.json
  2. {
  3. ​    "job": {
  4. ​        "content": [
  5. ​            {
  6. ​                "reader": {
  7. ​                    "name": "sqlserverreader",
  8. ​                    "parameter": {
  9. ​                        "connection": [
  10. ​                            {
  11. ​                                "jdbcUrl": ["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  12. ​                                "table": ["t2"]
  13. ​                            }
  14. ​                        ],
  15. ​                        "password": "********",
  16. ​                        "username": "SA",
  17. ​                        "column": ["*"]
  18. ​                    }
  19. ​                },
  20. ​                "writer": {
  21. ​                    "name": "mysqlwriter",
  22. ​                    "parameter": {
  23. ​                        "column": ["*"],
  24. ​                        "connection": [
  25. ​                            {
  26. ​                                "jdbcUrl": "jdbc:mysql://10.17.139.86:3308/testdb",
  27. ​                                "table": ["t2"]
  28. ​                            }
  29. ​                        ],
  30. ​                        "password": "!QAZ2wsx",
  31. ​                        "session": [],
  32. ​                        "username": "admin",
  33. ​                        "writeMode": "insert"
  34. ​                    }
  35. ​                }
  36. ​            }
  37. ​        ],
  38. ​        "setting": {
  39. ​            "speed": {
  40. ​                "channel": "5"
  41. ​            }
  42. ​        }
  43. ​    }
  44. }
复制代码
4.3 运行Datax全量迁移任务
  1. $ python /soft/datax/bin/datax.py /soft/datax/job/sqlserver_to_greatsql_inc.json
  3. DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
  4. Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
  5. 2023-11-28 10:19:59.279 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
  6. 2023-11-28 10:19:59.286 [main] INFO  Engine - the machine info  =>
  7. osInfo: Oracle Corporation 1.8 25.181-b13
  8. jvmInfo: Linux amd64 3.10.0-957.el7.x86_64
  9. cpu num: 8
  10. totalPhysicalMemory: -0.00G
  11. freePhysicalMemory: -0.00G
  12. maxFileDescriptorCount: -1
  13. currentOpenFileDescriptorCount: -1
  14. GC Names [PS MarkSweep, PS Scavenge]
  16. MEMORY_NAME                    | allocation_size                | init_size                     
  17. PS Eden Space                  | 256.00MB                       | 256.00MB                       
  18. Code Cache                     | 240.00MB                       | 2.44MB                        
  19. Compressed Class Space         | 1,024.00MB                     | 0.00MB                        
  20. PS Survivor Space              | 42.50MB                        | 42.50MB                        
  21. PS Old Gen                     | 683.00MB                       | 683.00MB                       
  22. Metaspace                      | -0.00MB                        | 0.00MB                        
  24. 2023-11-28 10:19:59.302 [main] INFO  Engine -
  25. {"content":[{"reader":{"name":"sqlserverreader","parameter":{"column":[
  26. "*"],"connection":[{"jdbcUrl":["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  27. "table":["t2"]}],"password":"*************","username":"SA"}},
  28. "writer":{"name":"mysqlwriter","parameter":{"column":["*"],
  29. "connection":[{"jdbcUrl":"jdbc:mysql://10..17.139.86:16310/testdb","table":["t2"]}],
  30. "password":"********",
  31. "session":[],
  32. "username":"admin",
  33. "writeMode":"insert"}}}],
  34. "setting":{"speed":{"channel":"5"}}}
  36. 2023-11-28 10:19:59.319 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
  37. 2023-11-28 10:19:59.321 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
  38. 2023-11-28 10:19:59.321 [main] INFO  JobContainer - DataX jobContainer starts job.
  39. 2023-11-28 10:19:59.324 [main] INFO  JobContainer - Set jobId = 0
  40. 2023-11-28 10:19:59.629 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb.
  41. 2023-11-28 10:19:59.630 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  42. Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
  43. 2023-11-28 10:20:00.027 [job-0] INFO  OriginalConfPretreatmentUtil - table:[t2] all columns:[
  44. id,createtime].
  45. 2023-11-28 10:20:00.027 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  46. 2023-11-28 10:20:00.029 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
  47. insert INTO %s (id,createtime) VALUES(?,?)
  48. ], which jdbcUrl like:[jdbc:mysql://10..17.139.86:16310/testdb?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
  49. 2023-11-28 10:20:00.030 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
  50. 2023-11-28 10:20:00.031 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do prepare work .
  51. 2023-11-28 10:20:00.031 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
  52. 2023-11-28 10:20:00.032 [job-0] INFO  JobContainer - jobContainer starts to do split ...
  53. 2023-11-28 10:20:00.032 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
  54. 2023-11-28 10:20:00.037 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] splits to [1] tasks.
  55. 2023-11-28 10:20:00.038 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
  56. 2023-11-28 10:20:00.060 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
  57. 2023-11-28 10:20:00.063 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
  58. 2023-11-28 10:20:00.066 [job-0] INFO  JobContainer - Running by standalone Mode.
  59. 2023-11-28 10:20:00.073 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
  60. 2023-11-28 10:20:00.080 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
  61. 2023-11-28 10:20:00.080 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
  62. 2023-11-28 10:20:00.093 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
  63. 2023-11-28 10:20:00.101 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select * from t2
  64. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  65. 2023-11-28 10:20:00.262 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select * from t2
  66. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  67. 2023-11-28 10:20:00.334 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[243]ms
  68. 2023-11-28 10:20:00.335 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
  69. 2023-11-28 10:20:10.087 [job-0] INFO  StandAloneJobContainerCommunicator - Total 6 records, 54 bytes | Speed 5B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  70. 2023-11-28 10:20:10.088 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
  71. 2023-11-28 10:20:10.088 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
  72. 2023-11-28 10:20:10.089 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do post work.
  73. 2023-11-28 10:20:10.090 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
  74. 2023-11-28 10:20:10.091 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /soft/datax/hook
  75. 2023-11-28 10:20:10.094 [job-0] INFO  JobContainer -
  76. [total cpu info] =>
  77. averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
  78. -1.00%                         | -1.00%                         | -1.00%                     
  79. [total gc info] =>
  80. NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
  81. PS MarkSweep         | 1                  | 1                  | 1                  | 0.034s             | 0.034s             | 0.034s            
  82. PS Scavenge          | 1                  | 1                  | 1                  | 0.031s             | 0.031s             | 0.031s            
  84. 2023-11-28 10:20:10.094 [job-0] INFO  JobContainer - PerfTrace not enable!
  85. 2023-11-28 10:20:10.095 [job-0] INFO  StandAloneJobContainerCommunicator - Total 6 records, 54 bytes | Speed 5B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  86. 2023-11-28 10:20:10.097 [job-0] INFO  JobContainer -
  87. 任务启动时刻                    : 2023-11-28 10:19:59
  88. 任务结束时刻                    : 2023-11-28 10:20:10
  89. 任务总计耗时                    :                 10s
  90. 任务平均流量                    :                5B/s
  91. 记录写入速度                    :              0rec/s
  92. 读出记录总数                    :                   6
  93. 读写失败总数                    :                   0
复制代码
4.4 验证全量迁移的数据
  1. greatsql> select * from t2;
  2. +----+---------------------+
  3. | id | createtime          |
  4. +----+---------------------+
  5. |  1 | 2023-11-28 02:18:21 |
  6. |  2 | 2023-11-28 02:18:27 |
  7. |  3 | 2023-11-28 02:18:32 |
  8. |  4 | 2023-11-28 02:18:38 |
  9. |  5 | 2023-11-28 02:18:41 |
  10. |  6 | 2023-11-28 02:18:46 |
  11. +----+---------------------+
复制代码
还可以用 checksum table x 来验证，大表就不能全表select * 了
4.5 源端（SQLServer）插入增量数据
  1. 2> insert into t2 values(7,'202311-28 03:18:46.330');
  2. 3> go
  3. Changed database context to 'jem_db'.
  4. (1 rows affected)
  5. 1> insert into t2 values(8,'2023-11-28 03:20:46.330');
  6. 2> go
  7. (1 rows affected)
  8. 1> insert into t2 values(9,'2023-11-28 03:25:46.330');
  9. 2> go
  10. (1 rows affected)
  11. 1> insert into t2 values(10,'2023-11-28 03:30:46.330');
  12. 2> go
  13. (1 rows affected)
  14. 1> select * from t2;
  15. 2> go
  16. id          createtime            
  17. ----------- -----------------------
  18. ​          1 2023-11-28 02:18:20.790
  19. ​          2 2023-11-28 02:18:27.040
  20. ​          3 2023-11-28 02:18:32.103
  21. ​          4 2023-11-28 02:18:37.690
  22. ​          5 2023-11-28 02:18:41.450
  23. ​          6 2023-11-28 02:18:46.330
  24. ​          7 2023-11-28 03:18:46.330
  25. ​          8 2023-11-28 03:20:46.330
  26. ​          9 2023-11-28 03:25:46.330
  27. ​         10 2023-11-28 03:30:46.330
复制代码
4.6 编写Datax增量迁移job文件
  1. $ cat sqlserver_to_greatsql_inc.json
  2. {
  3. ​    "job": {
  4. ​        "content": [
  5. ​            {
  6. ​                "reader": {
  7. ​                    "name": "sqlserverreader",
  8. ​                    "parameter": {
  9. ​                        "connection": [
  10. ​                            {
  11. ​                                "jdbcUrl": ["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  12. ​                                "table": ["t2"]
  13. ​                            }
  14. ​                        ],
  15. ​                        "password": "********",
  16. ​                        "username": "SA",
  17. ​                        "column": ["*"],
  18. ​                        "where":"createtime > '${start_time}' and createtime < '${end_time}'"
  19. ​                    }
  20. ​                },
  21. ​                "writer": {
  22. ​                    "name": "mysqlwriter",
  23. ​                    "parameter": {
  24. ​                        "column": ["*"],
  25. ​                        "connection": [
  26. ​                            {
  27. ​                                "jdbcUrl": "jdbc:mysql://10..17.139.86:16310/testdb",
  28. ​                                "table": ["t2"]
  29. ​                            }
  30. ​                        ],
  31. ​                        "password": "!QAZ2wsx",
  32. ​                        "session": [],
  33. ​                        "username": "admin",
  34. ​                        "writeMode": "insert"
  35. ​                    }
  36. ​                }
  37. ​            }
  38. ​        ],
  39. ​        "setting": {
  40. ​            "speed": {
  41. ​                "channel": "5"
  42. ​            }
  43. ​        }
  44. ​    }
  45. }
复制代码
4.7 运行Datax增量迁移任务
  1. $ python /soft/datax/bin/datax.py /soft/datax/job/sqlserver_to_mysql_inc.json -p "-Dstart_time='2023-11-28 03:17:46.330' -Dend_time='2023-11-28 03:31:46.330'"
  3. DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
  4. Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
  6. 2023-11-28 10:29:24.492 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
  8. 2023-11-28 10:29:24.504 [main] INFO  Engine - the machine info  =>
  10. osInfo: Oracle Corporation 1.8 25.181-b13
  11. jvmInfo: Linux amd64 3.10.0-957.el7.x86_64
  12. cpu num: 8
  14. totalPhysicalMemory: -0.00G
  15. freePhysicalMemory: -0.00G
  16. maxFileDescriptorCount: -1
  17. currentOpenFileDescriptorCount: -1
  18. GC Names [PS MarkSweep, PS Scavenge]
  19. MEMORY_NAME                    | allocation_size                | init_size                     
  20. PS Eden Space                  | 256.00MB                       | 256.00MB                       
  21. Code Cache                     | 240.00MB                       | 2.44MB                        
  22. Compressed Class Space         | 1,024.00MB                     | 0.00MB                        
  23. PS Survivor Space              | 42.50MB                        | 42.50MB                        
  24. PS Old Gen                     | 683.00MB                       | 683.00MB                       
  25. Metaspace                      | -0.00MB                        | 0.00MB                        
  27. 2023-11-28 10:29:24.524 [main] INFO  Engine -
  28. {"content":[{"reader":{"name":"sqlserverreader","parameter":{"column":["*"],
  29. "connection":[{"jdbcUrl":["jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb"],
  30. "table":["t2"]}],"password":"*************","username":"SA",
  31. "where":"createtime > '2023-11-28 03:17:46.330' and createtime < '2023-11-28 03:31:46.330'"}},
  32. "writer":{"name":"mysqlwriter","parameter":{"column":["*"],"connection":[{"jdbcUrl":"jdbc:mysql://10..17.139.86:16310/testdb","table":["t2"]}],
  33. "password":"********",
  34. "session":[],
  35. "username":"admin",
  36. "writeMode":"insert"}}}],
  37. "setting":{"speed":{"channel":"5"}}}
  39. 2023-11-28 10:29:24.542 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
  40. 2023-11-28 10:29:24.544 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
  41. 2023-11-28 10:29:24.544 [main] INFO  JobContainer - DataX jobContainer starts job.
  42. 2023-11-28 10:29:24.546 [main] INFO  JobContainer - Set jobId = 0
  43. 2023-11-28 10:29:24.830 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb.
  44. 2023-11-28 10:29:24.831 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置存在一定的风险. 因为您未配置读取数据库表的列，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  45. Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
  46. 2023-11-28 10:29:25.113 [job-0] INFO  OriginalConfPretreatmentUtil - table:[t2] all columns:[id,createtime].
  47. 2023-11-28 10:29:25.113 [job-0] WARN  OriginalConfPretreatmentUtil - 您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.
  48. 2023-11-28 10:29:25.115 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
  49. insert INTO %s (id,createtime) VALUES(?,?)
  50. ], which jdbcUrl like:[jdbc:mysql://10..17.139.86:16310/testdb?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
  51. 2023-11-28 10:29:25.116 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
  52. 2023-11-28 10:29:25.117 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do prepare work .
  53. 2023-11-28 10:29:25.117 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
  54. 2023-11-28 10:29:25.118 [job-0] INFO  JobContainer - jobContainer starts to do split ...
  55. 2023-11-28 10:29:25.118 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
  56. 2023-11-28 10:29:25.123 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] splits to [1] tasks.
  57. 2023-11-28 10:29:25.124 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
  58. 2023-11-28 10:29:25.146 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
  59. 2023-11-28 10:29:25.150 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
  60. 2023-11-28 10:29:25.153 [job-0] INFO  JobContainer - Running by standalone Mode.
  61. 2023-11-28 10:29:25.159 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
  62. 2023-11-28 10:29:25.165 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
  63. 2023-11-28 10:29:25.165 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
  64. 2023-11-28 10:29:25.176 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
  65. 2023-11-28 10:29:25.183 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select * from t2 where (createtime > '2023-11-28 03:17:46.330' and createtime < '2023-11-28 03:31:46.330')
  66. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  67. 2023-11-28 10:29:25.344 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select * from t2 where (createtime > '2023-11-28 03:17:46.330' and createtime < '2023-11-28 03:31:46.330')
  68. ] jdbcUrl:[jdbc:sqlserver://127.0.0.1:1433;DatabaseName=testdb].
  69. 2023-11-28 10:29:25.606 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[431]ms
  70. 2023-11-28 10:29:25.607 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
  71. 2023-11-28 10:29:35.173 [job-0] INFO  StandAloneJobContainerCommunicator - Total 4 records, 37 bytes | Speed 3B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  72. 2023-11-28 10:29:35.173 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
  73. 2023-11-28 10:29:35.174 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
  74. 2023-11-28 10:29:35.175 [job-0] INFO  JobContainer - DataX Reader.Job [sqlserverreader] do post work.
  75. 2023-11-28 10:29:35.175 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
  76. 2023-11-28 10:29:35.177 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /soft/datax/hook
  77. 2023-11-28 10:29:35.179 [job-0] INFO  JobContainer -
  79. [total cpu info] =>
  80. averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
  81. -1.00%                         | -1.00%                         | -1.00%
  83. [total gc info] =>
  84. NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
  85. PS MarkSweep         | 1                  | 1                  | 1                  | 0.052s             | 0.052s             | 0.052s            
  86. PS Scavenge          | 1                  | 1                  | 1                  | 0.024s             | 0.024s             | 0.024s            
  87. 2023-11-28 10:29:35.180 [job-0] INFO  JobContainer - PerfTrace not enable!
  88. 2023-11-28 10:29:35.181 [job-0] INFO  StandAloneJobContainerCommunicator - Total 4 records, 37 bytes | Speed 3B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
  90. 2023-11-28 10:29:35.183 [job-0] INFO  JobContainer -
  91. 任务启动时刻                    : 2023-11-28 10:29:24
  92. 任务结束时刻                    : 2023-11-28 10:29:35
  93. 任务总计耗时                    :                 10s
  94. 任务平均流量                    :                3B/s
  95. 记录写入速度                    :              0rec/s
  96. 读出记录总数                    :                   4
  97. 读写失败总数                    :                   0
复制代码
4.8 到目标端（GreatSQL）验证增量数据
  1. greatsql> select * from t2;
  3. +----+---------------------+
  4. | id | createtime          |
  5. +----+---------------------+
  6. |  1 | 2023-11-28 02:18:21 |
  7. |  2 | 2023-11-28 02:18:27 |
  8. |  3 | 2023-11-28 02:18:32 |
  9. |  4 | 2023-11-28 02:18:38 |
  10. |  5 | 2023-11-28 02:18:41 |
  11. |  6 | 2023-11-28 02:18:46 |
  12. |  7 | 2023-11-28 03:18:46 |
  13. |  8 | 2023-11-28 03:20:46 |
  14. |  9 | 2023-11-28 03:25:46 |
  15. | 10 | 2023-11-28 03:30:46 |
  16. +----+---------------------+
  17. 10 rows in set (0.00 sec)
复制代码
增量迁移总结：通过增加过滤条件达到增量迁移的目的。主要是通过过滤条件过滤掉了全量迁移的数据，进而变相的完成了增量迁移。

Enjoy GreatSQL
来源:https://www.cnblogs.com/greatsql/p/18150097
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！

上一篇: MySQL 8.0 Reference Manual（读书笔记65节--InnoDBLocks Set）

下一篇: GreatSQL统计信息相关知识点

发表于 2024-4-22 16:36:23

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4