Stella981 Stella981
3年前
Hive中使用row_number() over()创建自增主键
虽然hive中的表没有主键一说,但是实际数据开发中经常需要将hive中计算好的表导出到mysql库中供业务使用或开发调用,而mysql表是需要有主键的,在hive中我们可以使用row\_number()over()窗口函数来生成一个自增序列的字段,在将表导出到mysql库中的时候就可以指定该字段为主键,使用起来还是挺方便的。select
Stella981 Stella981
3年前
Hive(2)
 一.Hive下载1\.Hive官网地址http://hive.apache.org/2\.文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3\.下载地址http://archive.apac
Wesley13 Wesley13
3年前
Hive函数大全
一、关系运算:1\.等值比较:        语法:AB        操作类型:所有基本类型        描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE        举例:        Hive(https://www.oschina.net/action/GoT
Stella981 Stella981
3年前
Hive内嵌字符处理函数:regexp_extract,regexp_replace,split,replace,translate
1.Hive内嵌函数说明       官方地址:hive函数大全官方地址(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fcwiki.apache.org%2Fconfluence%2Fdisplay%2FHive%2FLanguageManual%2BUDF%23Langu
Wesley13 Wesley13
3年前
mysql 时间格式函数
平时比较常用的时间、字符串、时间戳之间的互相转换,虽然常用但是几乎每次使用时候都喜欢去搜索一下用法;本文将作为一个笔记,整理一下三者之间的转换(即:date转字符串、date转时间戳、字符串转date、字符串转时间戳、时间戳转date,时间戳转字符串)用法,方便日后查看;涉及的函数date\_format(https://www.o
Stella981 Stella981
3年前
Hive优化的十大方法
Hive用的好,才能从数据中挖掘出更多的信息来。用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。Hive在极大数据或者数据不平衡等情况下,表现往往一般,因此也出现了presto、sparksql等替代品。这里重点讲解hive的优化方式,例如优化分组:sethive.auto.convert.join
Stella981 Stella981
3年前
HIVE 时间操作函数
日期函数UNIX时间戳转日期函数: from\_unixtime语法:   from\_unixtime(bigint unixtime\, string format\)返回值: string说明: 转化UNIX时间戳(从19700101 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive   selec
Wesley13 Wesley13
3年前
mysql 计算时间函数差
根据时间计算时间差函数TIMESTAMPDIFF(unit,begin,end)unit支持的单位有:MICROSECOND,SECOND,MINUTE,HOUR,DAY,WEEK,MONTH,QUARTER,YEAR.begin,end不需要相同的数据结构,可以存在一个为
Stella981 Stella981
3年前
HIVE之UDF函数开发
1为什么要写UDF函数    有时候hive自带的函数不能满足当前需要,需要自定义函数来解决问题2UDF,UDAF,UDTF的比较UDF操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。
Stella981 Stella981
3年前
Hive 时间日期处理总结
selectday时间,date_add(day,1dayofweek(day))