云辉相映
DataX-自定义Transformer的使用和扩展以及运行参数调优 DataX-自定义Transformer的使用和扩展以及运行参数调优
写在前面:在使用数据同步工具的时候,在业务上往往不会是简单的从A库到B库,我公司现在使用的数据交换平台也有函数转换功能,最近玩DataX的时候发现她自带了字段转换预处理功能,特来实战一下。 一、本篇教程侧重点导读 使用Transfor
2020-05-26
DataX-通过debug对DataX源码进行解析 DataX-通过debug对DataX源码进行解析
写在前面:公司项目上用到了kettle作为项目的底层同步工具,后来kettle无法满足大数据和分布式环境下的数据同步,也把DataX集成进来,我对DataX同步只是停留在使用上,这次花了几天时间调试DataX源码和百度资料,把这几天的收获
2020-04-28
DataX-使用idea调试DataX源码 DataX-使用idea调试DataX源码
一、本篇教程侧重点导读 使用idea调试DataX的源码; 二、本篇教程用的软件、技术和说明 jdk版本:1.8.0_202-b08; Python版本:2.7.18(官方推荐2.6.X); Maven版本;3.6.0 ; DataX是
2020-04-27