今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

创建JOB sqoopjobDmapreduce.job.queuename'root.bi'creatext\_test\_jobimportconnectjdbc:mysql://xxxx:3306/test?tinyInt1isBitfalseusernamexxxpasswordxxx

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/7d6949c98cb712bb657c3be769edf05846b.jpg)本文作者：SheepSun本文链接：https://www.cnblogs.com/yangxusun9/p/1

一、mysql中的编码mysql show variables like 'collation_%';| Variable_name | Value |

一、概述Sqoop是apache旗下一款“Hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：把MySQL，Oracle数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等!(http

一、mysql中的编码mysql show variables like 'collation_%';| Variable_name | Value |

workflow调度使用sqoop组件，query中sql之间必须用tab键分割，workflow在解析配置文件时，无法识别空格，只能使用tab键，否则会报错，例如query"SELECTDROP\_PARTITION('table\_name','${dt}')"报错信息如下：2562\main\ERRORorg.apach