原文：April5,2018ScalingUber’sApacheHadoopDistributedFileSystemforGrowth(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Feng.uber.com%2Fscalinghdfs%2F)

由于工作需要，需要在服务器上搭建ftp，方便文静传输，选用vsftpd搭建ftp服务器测试环境：1.fedora17x642.vsftpd3.3搭建步骤：1.安装vsftpd  a.查看vsftpd是否已经安装,切换到root用户环境变量(suroot)root@localhost~rpmqa|gr

whatisZookeeper?1，开源的分布式的，为分布式应用提供协调服务的Apache项目2，提供一个简单原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务3，设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构4，目的就是将分布式服务不再需要由于协作冲突而另外实现的协作服务Zookeep

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些pv、uv数据，然后为了实时查询的需求，或者一些OLAP的需求，我们需要mapreduce与mysql进行数据的交互，而这些特性正是hbase或者hive目前亟待改进的地方。好了言归正传，简单的说说背景、原理以及需要注意的地方：1、为了方便MapReduce

一学生成绩增强版数据信息!(https://oscimg.oschina.net/oscnet/dff6f4569f0ad0a3d4a5d427f9fb4b27c12.jpg)!(https://oscimg.oschina.net/oscnet/46cebb43ee0bf489f518b38f4d0c

一、前提条件　　安装了Zookeeper、Hadoop HDFS HA 安装方法： http://www.cnblogs.com/raphael5200/p/5154325.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fraph

一、检查集群状态1.1使用sh.status()查看集群摘要信息1、使用sh.status()可以查看分片信息、数据库信息、集合信息sh.status()如果数据块较多时，使用sh.status(true)又是输出会很多，就不会截断，要使用如下查看2、tooman

                Hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的消息。                Rpc的序列化需要实现以下几点：                                                      

本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/ab370bf9fdae437196c7572c2a94f50a.jpg)!(https://oscimg.oschina.net/oscnet/a3dd269929fa4805