今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0于是Flink提交遇到了许多的问题，还好有clouderaLicense有了原厂的帮助和社区的伙伴，问题解决起来快了不少。集群具体情况是CDH6.3.0Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证，所以任务提交方法我们选择统一Oozie提交任务

workflow调度使用sqoop组件，query中sql之间必须用tab键分割，workflow在解析配置文件时，无法识别空格，只能使用tab键，否则会报错，例如query"SELECTDROP\_PARTITION('table\_name','${dt}')"报错信息如下：2562\main\ERRORorg.apach

HUE通过oozie工作流执行shell脚本2018年01月17日16:20:38阅读数：217!(https://oscimg.oschina.net/oscnet/9a1eae74ef4af985291a2a47b8e62ec7dc4.png)首先上传对应的jar包和storm.sh脚本