捉虫大师 捉虫大师
2年前
眼见不一定为实:调用链HBase倾斜修复
hello,大家好,我是小楼。今天给大家分享一个关于HBase数据倾斜的排查案例,不懂调用链?不懂HBase?没关系,看完包懂背景最近HBase负责人反馈HBase存储的调用链数据偶尔出现极其严重的倾斜情况,并且日常的倾斜情况也比较大,讲的通俗点就是出现了热点机器。举个例子,有三台HBase机器存储调用链数据,其中大部分数据读写都在一台机器上,导致机器负载
风斗 风斗
3年前
Kotlin 协程中,关于 runBlocking, launch ,withContext ,async,doAsync 之间的简单区别
引入大佬的话,Kotlin的协程,本质上是一个线程框架,它可以方便的切换线程的上下文(如主线程切换到子线程/子线程切回主线程)。而平时我们要想在AndroidStudio使用协程,先要在gradle引入协程依赖:implementation"org.jetbrains.kotlinx:kotlinxcoroutinescore:1.3.3"
Stella981 Stella981
3年前
Hive 数据导入HBase的2种方法详解
最近经常被问到这个问题,所以简单写一下总结。Hive数据导入到HBase基本有2个方案:  1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新  2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBase1、Hive外部表创
Stella981 Stella981
3年前
Hbase表两种数据备份方法
Hbase表两种数据备份方法导入和导出示例本文将提供两种备份方法——1)基于Hbase提供的类对hbase中某张表进行备份2)基于Hbasesnapshot数据快速备份方法场合:由于线上和测试环境是分离的,无法在测试环境访问线上库,所以需要将线上的hbase表导出一部分到测试环境中的hbase表,这就是本文的由来。
Stella981 Stella981
3年前
HBase 在HDFS上的物理目录结构
根目录配置项<namehbase.rootdir</name默认“/hbase”根级文件/hbase/WALs被HLog实例管理的WAL文件。/hbase/WALs/datahbase.com,60020,1443159380730对于每个HregionServer,日志目录中都包含一个对应的子目录
Stella981 Stella981
3年前
Hbase javaAPI(工具类)表的增删改查
建立连接:packageInit;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.;importorg.apache.hadoop.hbase.client.;importja
Stella981 Stella981
3年前
Goroutine(协程)为何能处理大并发?
简单来说:协程十分轻量,可以在一个进程中执行有数以十万计的协程,依旧保持高性能。进程、线程、协程的关系和区别:进程拥有自己独立的堆和栈,既不共享堆,亦不共享栈,进程由操作系统调度。线程拥有自己独立的栈和共享的堆,共享堆,不共享栈,线程亦由操作系统调度(标准线程是的)。协程和线程一样共享堆
Stella981 Stella981
3年前
HBase Shell操作命令
HBase单机配置(官网):HBase下载http://www.apache.org/dyn/closer.cgi/hbase/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.apache.org%2Fdyn%2Fcloser.cgi%2Fhbase%2F)解压缩
Stella981 Stella981
3年前
Hbase的java_API操作
package Hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.had
京东云开发者 京东云开发者
5个月前
HBase集群数据在线迁移方案探索
一、背景订单本地化系统目前一个月的订单的读写已经切至jimkv存储,对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用,计划将这个HBase集群中的数据全部迁到jimkv,彻底下线这个HBase集群。由于这个集群目前仍在线上读写,本文从原理