Wesley13 Wesley13
4年前
hive(02)、数据仓库Hive的基本使用
       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu
拜占庭将军问题和 Raft 共识算法讲解
在分布式系统中,什么是拜占庭将军问题?产生的场景和解决方案是什么?什么是Raft共识算法?Raft算法是如何解决拜占庭将军问题的?其核心原理和算法逻辑是什么?除了Raft,还有哪些共识算法?共识问题作为分布式系统的一大难点和痛点,本文主要介绍了其产生的背景、原因,以及通用的Raft算法解决方案。
Stella981 Stella981
4年前
HBase可用性分析与高可用实践
!(https://oscimg.oschina.net/oscnet/dfb0ab2b2caa297182037c5a3f91f27ded5.gif)HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢?最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢?下面我
Stella981 Stella981
4年前
JMeter在linux上分布式压测遇到的坑(三)
master和slave机要在同一网段内,才能做分布式(Jmeter要配环境变量,这样不用手动起server)分布式不成功,解决方案:1、master端和slave端要ping通2、ping通后,telnetipport(Linux端),看一下1099端口是否被占用3、防火墙4、jmeter的log,如果请求发过去,但是没有返回结果
Stella981 Stella981
4年前
Spring Boot 2.x 快速集成Kafka
1KafkaKafka是一个开源分布式的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写,2012年成为Apache基金会下顶级项目。2Kafka优点低延迟:Kafka支持低延迟消息传递,速度极快,能达到200w写/秒
Easter79 Easter79
4年前
Spring学习笔记十六
Spring事务ACID原子性一致性隔离性持久性编程式/声明式Spring事务管理抽象是PlatformTransactionManagerJDBC:DataSourceTransactionManagerJTA:JtaTransactionManagerHibernate:Hibern
GeorgeGcs GeorgeGcs
4个月前
【HarmonyOS 5】鸿蒙分布式协同应用开发详解
鸿蒙开发能力HarmonyOSSDK应用服务鸿蒙金融类应用(金融理财一、前言为什么需要分布式协同应用?首先是因为当今社会,围绕电子产品生态,人们迫切希望,周边的电子设备可以协同操作。例如手机,手表,电视机,汽车,甚至是各种家电产品。从2015年到如今,手机
大数据建模、分析、挖掘技术应用
时间2022年8月5日—2022年8月9日北京(同时转线上直播)(5日报到,6日9日上课)课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三
盘活存储资源,天翼云HBlock助力企业绿色高效发展!
2023年3月10日,由百易传媒(DOIT)主办、上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛在线上成功举办。存储资源盘活系统荣获“2023分布式存储产品金奖”,天翼云国际业务事业部解决方案架构师王琢在会上介绍了HBlock存储资源盘活系统
分布式场景怎么Join | 京东云技术团队
背景最近在阅读查询优化器的论文,发现SystemR中对于Join操作的定义一般分为了两种,即嵌套循环、排序合并联接。在原文中,更倾向使用排序合并联接逻辑。考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Jo