今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

一、简要介绍：Hive有2种类型用于存储变长文本。1.Hive0.12.0版本引入了VARCHAR类型，VARCHAR类型使用长度指示器（1到65355）创建，长度指示器定义了在字符串中允许的最大字符数量。如果一个字符串值转换为或者被赋予一个varchar值，其长度超过了长度指示器则该字符串值会自动被截断。2.STRING存储变长的文本，对长度

Cube的构建方式有两种：全量构建和增量构建。两者的构建过程完全一样，区别在于构建时读取的数据源是全集还是子集。Cube的构建步骤：1.创建临时的Hive平表（从Hive读取数据）。2.计算各维度的不同值，并收集各Cuboid的统计数据。3.创建并保存字典。4.保存Cuboid统计信息。5.创建HTable。6.计算

环境：CDH5.16Hive1.1.0已开启KerberosHive授权使用SQLStandardsBasedAuthorization模式（以下简称SSBA模式）症状表现：在编译好UDF的jar包之后，上传到HDFS目录。hdfs dfsmkdi

1为什么要写UDF函数    有时候hive自带的函数不能满足当前需要，需要自定义函数来解决问题2UDF，UDAF，UDTF的比较UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于这一类（比如数学函数和字符串函数）。

hiveHive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂的编程过程简化成了用SQL语言对海量数据的操作。这大大减轻了程序员的工作量。可以说，Hive的存在让海量数据的增删改查更加方便。

hivecli中显示列名进入hivecli后sethive.cli.print.headertrue;之后出现列名，但是带了表名前缀，由于网上没找到资料，于是到官网肉眼扫描所有参数，总算找到，给大家分享下。hivecli中，sethive.resultset.use.unique.column.namesfalse;

pandas和SQL数据分析实战https://study.163.com/course/courseMain.htm?courseId1006383008&share2&shareId400000000398149(https://www.oschina.net/action/GoToLink?urlhtt

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/94bbfe1fbe2f4d0db2377602bf27c988.jpg)!(https://oscimg.oschina.net/oscnet/302e2b33a7dc4b67

1.DDL操作1.建表2.3.创建简单表4.创建外部表5.建分区表6.建Bucket表7.创建表并创建索引字段ds8.复制一个空表9.显示所有表10.按正条件正则表达式显示表11.修改表结构12.表添加一列13.添加一列并增加列字段注释14.更改表名15.删除列16.增加删除分区17.重命名表18.修改列的名字类型位置注