Wesley13 Wesley13
3年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
拜占庭将军问题和 Raft 共识算法讲解
在分布式系统中,什么是拜占庭将军问题?产生的场景和解决方案是什么?什么是Raft共识算法?Raft算法是如何解决拜占庭将军问题的?其核心原理和算法逻辑是什么?除了Raft,还有哪些共识算法?共识问题作为分布式系统的一大难点和痛点,本文主要介绍了其产生的背景、原因,以及通用的Raft算法解决方案。
Stella981 Stella981
3年前
JMeter在linux上分布式压测遇到的坑(三)
master和slave机要在同一网段内,才能做分布式(Jmeter要配环境变量,这样不用手动起server)分布式不成功,解决方案:1、master端和slave端要ping通2、ping通后,telnetipport(Linux端),看一下1099端口是否被占用3、防火墙4、jmeter的log,如果请求发过去,但是没有返回结果
Stella981 Stella981
3年前
Spring 源码(十二)Spring 中核心的后置处理器
BeanFactoryBeanFactoryPostProcessor:BeanFactory后置处理器ConfigurationClassPostProcessor:解析配置类的BeanFactory后置处理器BeanBeanPostProcessors:Bean
Stella981 Stella981
3年前
HBase可用性分析与高可用实践
!(https://oscimg.oschina.net/oscnet/dfb0ab2b2caa297182037c5a3f91f27ded5.gif)HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢?最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢?下面我
Wesley13 Wesley13
3年前
CAP BASE ACID
CAP(理论)Consistency(一致性),数据一致更新,所有数据变动都是同步的Availability(可用性),好的响应性能Partitiontolerance(分区容错性)可靠性定理:任何分布式系统只可同时满足二点,没法三者兼顾。忠告:架构师不要将精力浪费在如何设计能满足三者的完美分布式系统,而是应该进行取舍。
Wesley13 Wesley13
3年前
CAP理论概述和现状
CAP理论断言任何基于网络的数据共享系统,最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。但是通过显式处理分区情形,系统设计师可以做到优化数据一致性和可用性,进而取得三者之间的平衡。自打引入CAP理论的十几年里,设计师和研究者已经以它为理论基础探索了各式各样新颖的分布式系统,甚至到了滥用的程度。NoSQL运动也将CAP理论当作对抗传统关系型
Stella981 Stella981
3年前
Hazelcast IMDG 带你瞬间进入内存计算的时代
!(https://docimg7.docs.qq.com/image/bpC8ocOgi1anJ8LntAqewg?w1200&h237)Hazelcast是一个平台性的分布式内存网格计算框架引擎,可以实现基于分布式内存计算的诸多场景的应用框架,它作为一个开源可内嵌式内存网格计算框架,通过简单的配置,就可以轻松的让你的应用拥有弹性可扩展的
盘活存储资源,天翼云HBlock助力企业绿色高效发展!
2023年3月10日,由百易传媒(DOIT)主办、上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛在线上成功举办。存储资源盘活系统荣获“2023分布式存储产品金奖”,天翼云国际业务事业部解决方案架构师王琢在会上介绍了HBlock存储资源盘活系统
用户标签属性流程处理方法
用户画像是一种勾画目标用户、联系用户诉求与设计方向的有效工具,目前用户画像算法普遍存在的问题是数据源较少、数据特征不明显、处理效率低下、分析维度单薄。