本文旨在站在研发的角度上通过手动实践搭建运行环境，文中不拖泥带水过多讲述基础知识，结合Hadoop和Spark最新版本，帮助大家跟着步骤一步步实践环境搭建。

原文：April5,2018ScalingUber’sApacheHadoopDistributedFileSystemforGrowth(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Feng.uber.com%2Fscalinghdfs%2F)

whatisZookeeper?1，开源的分布式的，为分布式应用提供协调服务的Apache项目2，提供一个简单原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务3，设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构4，目的就是将分布式服务不再需要由于协作冲突而另外实现的协作服务Zookeep

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些pv、uv数据，然后为了实时查询的需求，或者一些OLAP的需求，我们需要mapreduce与mysql进行数据的交互，而这些特性正是hbase或者hive目前亟待改进的地方。好了言归正传，简单的说说背景、原理以及需要注意的地方：1、为了方便MapReduce

一. Flink的下载安装包下载地址：http://flink.apache.org/downloads.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fflink.apache.org%2Fdownloads.html) ，选择对应Hadoop的F

一、前提条件　　安装了Zookeeper、Hadoop HDFS HA 安装方法： http://www.cnblogs.com/raphael5200/p/5154325.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fraph

1本地模式本地模式是最简单的模式，所有模块都运行在一个JVM进程中，使用本地文件系统而不是HDFS。本地模式主要是用于本地开发过程中的运行调试用，下载后的Hadoop不需要设置默认就是本地模式。2准备工作笔者喜欢把JDK放在/usr/local下，运行前请确保设置了JAVA_HOME，注

接着上篇：https://my.oschina.net/u/988386/blog/802045(https://my.oschina.net/u/988386/blog/802045)上篇安装完成了hadoop，接下来安装zookeeper。安装zookeeper    (2台机器配置基本相同）!/bin/bash

                Hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的消息。                Rpc的序列化需要实现以下几点：                                                      

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/ab370bf9fdae437196c7572c2a94f50a.jpg)!(https://oscimg.oschina.net/oscnet/a3dd269929fa4805