Easter79 Easter79
3年前
sqoop从hive导入数据到mysql时出现主键冲突
今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况,搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令,该死的oozie的日志和异常提示功能太辣鸡了,最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。(1)众所周知hive表是没有主键与索引
Stella981 Stella981
3年前
CDH版本大数据集群下搭建的Hue详细启动步骤(图文详解)
关于安装请见CDH版本大数据集群下搭建Hue(hadoop2.6.0cdh5.5.4.gzhue3.9.0cdh5.5.4.tar.gz)(博主推荐)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fzlslch%2Fp%2F6
Stella981 Stella981
3年前
HUE通过oozie工作流执行shell脚本
HUE通过oozie工作流执行shell脚本2018年01月17日16:20:38阅读数:217!(https://oscimg.oschina.net/oscnet/9a1eae74ef4af985291a2a47b8e62ec7dc4.png)首先上传对应的jar包和storm.sh脚本
Stella981 Stella981
3年前
Hue中hive(hive cli)查询结果中显示列名,不带表名
hivecli中显示列名进入hivecli后sethive.cli.print.headertrue;之后出现列名,但是带了表名前缀,由于网上没找到资料,于是到官网肉眼扫描所有参数,总算找到,给大家分享下。hivecli中,sethive.resultset.use.unique.column.namesfalse;
Stella981 Stella981
3年前
OpenCV3计算机视觉+python(二)
不同色彩空间的转换当前,在计算机视觉中有三种常用的色彩空间:灰度、BGR以及HSV1.灰度色彩空间是通过去除彩色信息来将其转换为灰阶,灰度色彩空间对中间处理特别有效,比如人脸检测2.BGR,即蓝绿红色彩空间,每一个像素点都由一个三元组来表示3.HSV,H(Hue)是色调,S(Saturation)是饱和度,V(value)