Wesley13 Wesley13
3年前
hive(06)、数据仓库Hive用户图形接口HWI的配置
       在之前的文中我们配置了一个hive监控的web界面的服务,主要用于查看当前HiveServer2服务链接的会话、服务日志、配置参数等信息,这个服务更像是一个hive提供的监控服务,本文我们将配置HWI(HiveWebInterface)hive用户图形接口,这是hive三种用户接口中的其中之一,可以在web界面上对hive服务进行操作
Stella981 Stella981
3年前
HIVE 常见报错之 设置mysql数据库权限
起因是我把访问权限都配置为:GRANTALLPRIVILEGESON\.\TO'hive'(https://www.oschina.net/action/GoToLink?urlmailto%3A%27hive%27%40%27%25%27)Identifiedby'hive'; 本机地址:192.168.10
Stella981 Stella981
3年前
Hive内部表和外部表的区别详解
内部表&外部表未被external修饰的是内部表(managedtable),被external修饰的为外部表(externaltable);区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse)
Stella981 Stella981
3年前
Flink 1.11 与 Hive 批流一体数仓实践
导读:Flink从1.9.0开始提供与Hive集成的功能,随着几个版本的迭代,在最新的Flink1.11中,与Hive集成的功能进一步深化,并且开始尝试将流计算场景与Hive进行整合。本文主要分享在Flink1.11中对接Hive的新特性,以及如何利用Flink对Hive数仓进行实时化改造,从而实现批流
Stella981 Stella981
3年前
Hive优化的十大方法
Hive用的好,才能从数据中挖掘出更多的信息来。用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。Hive在极大数据或者数据不平衡等情况下,表现往往一般,因此也出现了presto、sparksql等替代品。这里重点讲解hive的优化方式,例如优化分组:sethive.auto.convert.join
Stella981 Stella981
3年前
Install hadoop, install hive, 及hive的使用
hadoop,hive安装过程和配置文件(附件)。注意:hadoopNameNode未做ha.Hive,还是基本的hiveonMR,未使用ontez,onspark,  未配置LLAP、HCatalogandWebHCat。安装完之后,以下是hive使用例子: 从本
Stella981 Stella981
3年前
Hive 和普通关系数据库的异同
1.查询语言。由于SQL被广泛的应用在数据仓库中,因此,专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。2.数据存储位置。Hive是建立在Hadoop之上的,所有Hive的数据都是存储在HDFS(https://www.oschina.net/act
Stella981 Stella981
3年前
Hive使用必知必会系列
一、Hive的几种数据模型内部表(Table将数据保存到Hive自己的数据仓库目录中:/usr/hive/warehouse)外部表(ExternalTable相对于内部表,数据不在自己的数据仓库中,只保存数据的元信息)分区表
Stella981 Stella981
3年前
Hive系统函数之collect_list和collect_set
转自:https://www.cnblogs.com/cc11001100/p/9043946.html(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fcc11001100%2Fp%2F9043946.html)Hive中collect相关的函数
京东云开发者 京东云开发者
8个月前
hive 、spark 、flink之想一想
hive1:hive是怎么产生的?2:hive的框架是怎么样的?3:hive执行流程是什么?4:hivesql是如何把sql语句一步一步到最后执行的?5:hivesql任务常用参数调优做过什么?spark6:spark是怎么产生的?7:spark框架是怎么