【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述
【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门
【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax类图
【大数据进阶第三阶段之Datax学习笔记】使用阿里云开源离线同步工具Datax实现数据同步
2、快速入门
2.1 官方地址
下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。
2.2 前置要求
- Linux
- JDK(1.8以上，推荐1.8)
- Python(推荐Python2.6.X)
2.3 安装
(1) 将下载好的datax.tar.gz上传到服务器的/home/soft文件夹下
[root@xxx soft]$ ls
datax.tar.gz
(2) 解压datax.tar.gz到/opt/module
[root@xxx soft]$ tar -zxvf datax.tar.gz -C /opt/module/(3) 运行脚本检测
[root@xxx bin]$ cd /opt/module/datax/bin/
[root@xxxbin]$ python datax.py /opt/module/datax/job/job.json
(4) json配置文件注释
/*一个json就是一个job，一个job主要包含：
content,setting 两个属性*/
{
"job": {
/*content是job的核心，主要放reader和writer插件*/
"content": {
/*raader插件*/
"reader": {},
/*writer插件*/
"writer": {}
},
/*setting主要用来设置job的基本设置*/
"setting": {
/*speed流量控制*/
"speed": {
"channel": 1, /*同步时候的并发数*/
"byte": 1024 /*同步时候的字节大小，影响速度，可选*/
},
/*脏数据控制,配置的意思是当脏数据大于10条，或者脏数据比例达到0.05%，任务就会报错*/
"errorLimit": {
"record": 10,/*脏数据最大记录数阈值*/
"percentage": 0.05 /*脏数据占比阈值*/
}
}
}
}json的reader和writer内容根据插件不同而变化，具体查询官网
