在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu

在分布式系统中，什么是拜占庭将军问题？产生的场景和解决方案是什么？什么是Raft共识算法？Raft算法是如何解决拜占庭将军问题的？其核心原理和算法逻辑是什么？除了Raft，还有哪些共识算法？共识问题作为分布式系统的一大难点和痛点，本文主要介绍了其产生的背景、原因，以及通用的Raft算法解决方案。

一、名词解释GitGit是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。Git是LinusTorvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。Git与常用的版本控制工具CVS,Subversion等不同，它采用了分布式版本库的方式，不必服务器端软件支持。Github

master和slave机要在同一网段内，才能做分布式（Jmeter要配环境变量，这样不用手动起server）分布式不成功，解决方案：1、master端和slave端要ping通2、ping通后，telnetipport（Linux端），看一下1099端口是否被占用3、防火墙4、jmeter的log，如果请求发过去，但是没有返回结果

CAP（理论）Consistency(一致性),数据一致更新，所有数据变动都是同步的Availability(可用性),好的响应性能Partitiontolerance(分区容错性)可靠性定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。

第1章Kafka简介1.1kafka起源Kafka是由LinkedIn开发并开源的分布式消息系统，2012年捐赠给Apache基金会，采用Scala语言，运行在JVM中，最新版本1.0.0。1.2kafka设计目标Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：①以时间复杂度O(1)的方式提供消息持久化能力，即

一、下载解压1、Zookeeper简介Zookeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是Zookeeper并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状

一、Git介绍（1）Git是一个开源（LinusTorvalds为了帮助管理Linux内核开发而开发）的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目，与常用的版本控制工具CVS,SVN等不同，它采用了分布式版本库的方式，不必服务器端软件支持。（2）Git的工作区、暂存区和版本库：工作区：就

!(https://oscimg.oschina.net/oscnet/aa50249b99964bfeba109c5e6bf81210.png)写在前面写这篇文章的背景是有个跟我关系不错的小伙伴去某大型互联网公司面试，面试官问了他关于分布式事务的问题，不巧的是他确实对分布式事务掌握的不是很深入，面试的结果挺遗憾的。不过，这

时间2022年8月5日—2022年8月9日北京（同时转线上直播）（5日报到，6日9日上课）课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三