Wesley13 Wesley13
3年前
hive web interface
hwi(hivewebinterface)是hive命令行接口的一个补充,主要功能包括:1.shemabrowsing:获取table的信息,包括serde、columenname、columntype2.detachedqueryexecution:在hive命令行界面,用户如果需要执行多个查询,则需要同时打开多个命令行界面。h
Wesley13 Wesley13
3年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
Stella981 Stella981
3年前
Hive SQL使用过程中的奇怪现象
hive是基于Hadoop的一个数据仓库工具,用来进行数据的ETL,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。HiveSQL是一种类SQL语言,与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法,发现相同的SQL语句在
Stella981 Stella981
3年前
HiveServer2集成LDAP做用户认证
HiveServer2支持多种认证方式,通过hive.server2.authentication参数来设置,包括nosasl,none,ldap,kerberos,pam,custom本文介绍如何在EMapReduce中使用LDAP配置HiveServer的认证。配置配置值备注hive.server2.au
Stella981 Stella981
3年前
Hive优化
1.限制调整:查询的时候经常会用到limit来现在数据条数。不过很多情况下limit语句还是需要执行整个查询语句,然后在返回结果,这通常是浪费的。通过配置:<property<namehive.limit.optimize.enable</name<valuetrue</true
Stella981 Stella981
3年前
Hive建表的Location问题
最近公司在使用Hive做项目测试,所以就在Hive上面建了一些表,做测试。使用建表语句后发现数据被自动覆盖了,现在了解到的情况是这样的。Hive中,表的Metadata信息全部存储在MySQL中。而存储在MySQL中的数据是没有校验过程的。也就是说,你可以创建一个逻辑错误的表,两个表指向同一个HDFS文件也是有可能的。所以,在使用CREA
Stella981 Stella981
3年前
Apache Hive
点击上方蓝字关注我们!(https://oscimg.oschina.net/oscnet/759f57693e5644bcaacb52a4eb632dc7.gif)本文将详细介绍Hive使用hql语句对WordCount的实现!(https://oscimg.oschina.net/o
Stella981 Stella981
3年前
Hive基础
Hive架构简介下图是hive的架构图!(https://static.oschina.net/uploads/space/2018/0205/003509_Qw6B_1403215.png)命令执行所有的命令和查询都会进入到Driver,通过这个模块进行解析编译,对需求的计算进行优化。然后按照指定的步
Stella981 Stella981
3年前
Hive异常
错误异常如下所示:java.lang.NoSuchMethodError:org.apache.hadoop.yarn.api.records.Resource.setMemorySize(J)V20180830T14:06:08,442ERRORd95cabf41c044bad9c6dfa8651fba8f0main
京东云开发者 京东云开发者
7个月前
Hive引擎底层初探
1、什么是HiveHive是一个基于Hadoop的数据仓库工具,用于处理和分析大规模结构化数据。Hive提供了类似SQL的查询语言(HiveQL),使得熟悉SQL的用户能够查询数据。Hive将SQL查询转换为MapReduce任务,以在Hadoop集群上执