ETL异构数据源Datax_日期增量同步_13

文章目录

一、全量同步

1. 增量同步SQL
2. 构建reader
3. 构建writer
4. 字段对应关系映射
5. 构建json
6. 选择同步模板
7. 查询最早时间
8. 修改任务信息
9. 添加增量参数
10. 数据清理
11. 执行任务
12. 查看执行日期
13. 数据验证
15. 查看同步脚本

二、基于日期增量同步

2.1. 新增新数据
2.2. 执行数据同步
2.3. 查看日志
2.4. 查看数据库
2.5. 日期选取

一、全量同步

声明：
以增量方式数据同步，第一次是全量同步，从第二次同步开始以第一次同步完成后的时间为开始时间，进行增量同步！
注：咱们添加项目、添加任务模板先用以前的，直接任务构建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 构建reader

构建reader，填写增量同步SQL

ETL异构数据源Datax_日期增量同步_13_增量日期同步

3. 构建writer

ETL异构数据源Datax_日期增量同步_13_数据_02

4. 字段对应关系映射

ETL异构数据源Datax_日期增量同步_13_数据同步_03

5. 构建json

ETL异构数据源Datax_日期增量同步_13_增量日期同步_04

6. 选择同步模板

基础模板，可以在执行同步前进行任务信息的修改

ETL异构数据源Datax_日期增量同步_13_数据同步_05

ETL异构数据源Datax_日期增量同步_13_数据同步_06

刷新页面

7. 查询最早时间

查询同步数据的最早时间和最晚时间，等会会以最早时间为开始时间进行同步

ETL异构数据源Datax_日期增量同步_13_字符串_07

ETL异构数据源Datax_日期增量同步_13_数据同步_08

8. 修改任务信息

ETL异构数据源Datax_日期增量同步_13_数据_09

9. 添加增量参数

ETL异构数据源Datax_日期增量同步_13_数据_10

-DlastTime='%s' -DcurrentTime='%s'

ETL异构数据源Datax_日期增量同步_13_数据_11

10. 数据清理

清空mysql数据库otbs1表的数据

ETL异构数据源Datax_日期增量同步_13_增量日期同步_12

11. 执行任务

ETL异构数据源Datax_日期增量同步_13_字符串_13

12. 查看执行日期

ETL异构数据源Datax_日期增量同步_13_数据同步_14

如果不显示就刷新页面

ETL异构数据源Datax_日期增量同步_13_数据同步_15

ETL异构数据源Datax_日期增量同步_13_数据同步_16

13. 数据验证

ETL异构数据源Datax_日期增量同步_13_增量日期同步_17

15. 查看同步脚本

存量同步完成之后，查看同步脚本

ETL异构数据源Datax_日期增量同步_13_数据_18

ETL异构数据源Datax_日期增量同步_13_字符串_19

从图中可以看出，以增量形式同步全量第一次完成后，开始时间自动变更成了当前时间，以后增量同步，就会一当前时间作为开始时间继续增量同步！

二、基于日期增量同步

查询数据库目前idno最大值

ETL异构数据源Datax_日期增量同步_13_字符串_20

1048577

2.1. 新增新数据

新增3条数据

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

ETL异构数据源Datax_日期增量同步_13_数据同步_21

插入后再次查询idno最大值

ETL异构数据源Datax_日期增量同步_13_增量日期同步_22

1048580，在以前基础上堵了3条数据。

2.2. 执行数据同步

如果，这次增量同步的数量为3条，就说明是增量数据同步对吧

ETL异构数据源Datax_日期增量同步_13_字符串_23

2.3. 查看日志

ETL异构数据源Datax_日期增量同步_13_数据同步_24

ETL异构数据源Datax_日期增量同步_13_数据_25

ETL异构数据源Datax_日期增量同步_13_增量日期同步_26

从同步日志可以看出，只同步了3条数据

2.4. 查看数据库

多了3条数据

ETL异构数据源Datax_日期增量同步_13_数据同步_27

2.5. 日期选取

找一个关键的业务日期

本文摘自：https://blog.51cto.com/g

ETL异构数据源Datax_日期增量同步_132022-09-06 22:35:50