在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu

在分布式系统中，什么是拜占庭将军问题？产生的场景和解决方案是什么？什么是Raft共识算法？Raft算法是如何解决拜占庭将军问题的？其核心原理和算法逻辑是什么？除了Raft，还有哪些共识算法？共识问题作为分布式系统的一大难点和痛点，本文主要介绍了其产生的背景、原因，以及通用的Raft算法解决方案。

互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。第一：介绍Dubbo背景!(https://oscimg.oschina.net/oscnet/78108

一：概述 通过把表分成多几区间，每个区间存储符合特定表达式的数据(即在我们创建分区表时指定每个分区存储的条件例如：PARTITIONp0VALUESLESSTHAN(100)即p0区间存储小于100的数据)。二：分区类型 　　即根据每个区间存储值的表达式不同，可分为如下几个类型,一般都是对数字类型或时间类型的数据进行分区。2.1 R

一、名词解释GitGit是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。Git是LinusTorvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。Git与常用的版本控制工具CVS,Subversion等不同，它采用了分布式版本库的方式，不必服务器端软件支持。Github

master和slave机要在同一网段内，才能做分布式（Jmeter要配环境变量，这样不用手动起server）分布式不成功，解决方案：1、master端和slave端要ping通2、ping通后，telnetipport（Linux端），看一下1099端口是否被占用3、防火墙4、jmeter的log，如果请求发过去，但是没有返回结果

CAP（理论）Consistency(一致性),数据一致更新，所有数据变动都是同步的Availability(可用性),好的响应性能Partitiontolerance(分区容错性)可靠性定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。

1KafkaKafka是一个开源分布式的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写，2012年成为Apache基金会下顶级项目。2Kafka优点低延迟：Kafka支持低延迟消息传递，速度极快，能达到200w写/秒

!(https://docimg7.docs.qq.com/image/bpC8ocOgi1anJ8LntAqewg?w1200&h237)Hazelcast是一个平台性的分布式内存网格计算框架引擎，可以实现基于分布式内存计算的诸多场景的应用框架,它作为一个开源可内嵌式内存网格计算框架，通过简单的配置,就可以轻松的让你的应用拥有弹性可扩展的

时间2022年8月5日—2022年8月9日北京（同时转线上直播）（5日报到，6日9日上课）课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三