捉虫大师 捉虫大师
2年前
眼见不一定为实:调用链HBase倾斜修复
hello,大家好,我是小楼。今天给大家分享一个关于HBase数据倾斜的排查案例,不懂调用链?不懂HBase?没关系,看完包懂背景最近HBase负责人反馈HBase存储的调用链数据偶尔出现极其严重的倾斜情况,并且日常的倾斜情况也比较大,讲的通俗点就是出现了热点机器。举个例子,有三台HBase机器存储调用链数据,其中大部分数据读写都在一台机器上,导致机器负载
Stella981 Stella981
3年前
Hive 数据导入HBase的2种方法详解
最近经常被问到这个问题,所以简单写一下总结。Hive数据导入到HBase基本有2个方案:  1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新  2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBase1、Hive外部表创
Stella981 Stella981
3年前
HBase四种部署模式和基本操作
本文主要包括两部分的内容,第一部分主要包HBase的四种安装方法,分别是:①单机版模式,②伪集群模式,③使用HBase自带的zookeeper构建分布式集群,④使用独立安装的zookeeper构建分布式集群。第二部分通过HBaseshell,展示HBase的基本操作,如创建表、插入记录、查询记录、删除记录等。HBase的部署方式包括:部署模
Stella981 Stella981
3年前
HBase 在HDFS上的物理目录结构
根目录配置项<namehbase.rootdir</name默认“/hbase”根级文件/hbase/WALs被HLog实例管理的WAL文件。/hbase/WALs/datahbase.com,60020,1443159380730对于每个HregionServer,日志目录中都包含一个对应的子目录
Stella981 Stella981
3年前
HBase Shell操作命令
HBase单机配置(官网):HBase下载http://www.apache.org/dyn/closer.cgi/hbase/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.apache.org%2Fdyn%2Fcloser.cgi%2Fhbase%2F)解压缩
Stella981 Stella981
3年前
HBase生产环境优化不完全指南
HBase使用定位:大规模数据高并发毫秒级响应的OLTP实时系统(数据库)。集群部署架构HBase集群一旦部署使用,再想对其作出调整需要付出惨痛代价,所以如何部署HBase集群是使用的第一个关键步骤。以下是HBase集群使用以来的部署架构变化以及对应的分析。第一阶段硬件混合型软件混合型集群集群规模:20
Stella981 Stella981
3年前
HBase
1过滤器HBase的基本API,包括增、删、改、查等。增、删都是相对简单的操作,与传统的RDBMS相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。HBase不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询。1.1过滤器的两类参数过滤器可
Stella981 Stella981
3年前
Hbase Shell 搭建Docker测试环境&常用命令
_测试环境安装与配置:_dockersearchhbasepull稳定版dockerpullharisekhon/hbase:1.3dockerrundhapp.hbase.comp2181:2181p8080:8080p8085:8085p9090:9090p9095
Stella981 Stella981
3年前
Hbase基础篇
hbase存储:HBase存储数据其底层使用的是HDFS来作为存储介质,HBase的每一张表对应的HDFS目录上的一个文件夹,文件夹名以HBase表进行命名(如果没有使用命名空间,则默认在default目录下),在表文件夹下存放在若干个Region命名的文件夹,Region文件夹中的每个列簇也是用文件夹进行存储的,每个列簇中存储就是实际的数据,以HF
Stella981 Stella981
3年前
Hbase的java_API操作
package Hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.had