Wesley13 Wesley13
3年前
hive web interface
hwi(hivewebinterface)是hive命令行接口的一个补充,主要功能包括:1.shemabrowsing:获取table的信息,包括serde、columenname、columntype2.detachedqueryexecution:在hive命令行界面,用户如果需要执行多个查询,则需要同时打开多个命令行界面。h
Wesley13 Wesley13
3年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
Stella981 Stella981
3年前
Hive中使用row_number() over()创建自增主键
虽然hive中的表没有主键一说,但是实际数据开发中经常需要将hive中计算好的表导出到mysql库中供业务使用或开发调用,而mysql表是需要有主键的,在hive中我们可以使用row\_number()over()窗口函数来生成一个自增序列的字段,在将表导出到mysql库中的时候就可以指定该字段为主键,使用起来还是挺方便的。select
Stella981 Stella981
3年前
HiveServer2集成LDAP做用户认证
HiveServer2支持多种认证方式,通过hive.server2.authentication参数来设置,包括nosasl,none,ldap,kerberos,pam,custom本文介绍如何在EMapReduce中使用LDAP配置HiveServer的认证。配置配置值备注hive.server2.au
Stella981 Stella981
3年前
Hive
问题现象写了一个简单的shell脚本调用hive执行组装的sql,在执行时总是报cannotrecognizeinputnear'<EOF'inselectclause错误,单独在hive提示符下却能正常执行。!/bin/bashkeyname"type"sql"select
Stella981 Stella981
3年前
Hive内嵌字符处理函数:regexp_extract,regexp_replace,split,replace,translate
1.Hive内嵌函数说明       官方地址:hive函数大全官方地址(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fcwiki.apache.org%2Fconfluence%2Fdisplay%2FHive%2FLanguageManual%2BUDF%23Langu
Stella981 Stella981
3年前
Hive学习之路 (三)Hive元数据信息对应MySQL数据库表
概述Hive的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有57张表!(https://oscimg.oschina.net/oscnet/622274765e1205e906542f39ccb50db93
Stella981 Stella981
3年前
Hive
解释:1、JVM重用是hadoop调优参数的内容,对hive的性能具有非常大的影响,特别是对于很难避免小文件的场景或者task特别多的场景,这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduce任务的,这是jvm的启动过程可能会造成相当大的开销,尤其是执行的job包含有成千上万个task任务的情况。JVM重用可
Stella981 Stella981
3年前
Hive基础
Hive架构简介下图是hive的架构图!(https://static.oschina.net/uploads/space/2018/0205/003509_Qw6B_1403215.png)命令执行所有的命令和查询都会进入到Driver,通过这个模块进行解析编译,对需求的计算进行优化。然后按照指定的步
Stella981 Stella981
3年前
DbVisualizer配置连接hive
最近研究hive,打算在windows上用DbVisualizer连接hive写hql。没说的,先在网上搜。。。我参考的文章如下:http://blog.csdn.net/doupeihua/article/details/52557007http://blog.csdn.net/ydb\_jason/article/details/530634