点击上方"walkingcloud"关注，并选择"星标"公众号!(https://oscimg.oschina.net/oscnet/1e7f23481df44be8b48b89714470fb44.png)什么是Rancher!(https://oscimg.oschina.net/

总体参考：http://www.cnblogs.com/zhangs1986/p/6564839.html搭建之间同步下spark01、02、03的环境复制/opt/flume这个文件夹到spark02的/opt目录下，同理03scpr/opt/flume/spark02:/opt/scpr/opt/kafka/spar

最近开始研究大数据这块，现在从最基础的Hadoop开始，后续将逐渐学习Hadoop整个生态圈的各个部分组件。Hadoop安装分为本地安装、伪分布式、完全分布式和高可用分布式，这里为个人学习用（实际情况是本人没有那么多机器，装虚拟机的话，内存可能也不够，T\_T），仅涉及到本地安装和伪分布式安装。环境准备操作系统信

项目概述需求目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所以Hadoop的RPC显得有些笨重。Spark的RPC是通过Akka类库实现的，Akka用

分析MapReduce执行过程MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：!image

背景在搭建RabbitMQ集群的时候往往会因为.erlang.cookie而报各种错误，网上查资料也会经常说.erlang.cookie会在$home下，或者在/var/lib/rabbitmq下，到底在rabbitmq启动的时候用的哪个cookie，cookie存放的路径在哪里，那么下面我们来仔细的查证一下。.erlang.cookie是什

抽象类publicabstractclassAbstractFileSystem{}位置：org.apache.hadoop.fs.AbstractFileSystem_ThisclassprovidesaninterfaceforimplementorsofaHadoopfilesystem(analogou

!(https://oscimg.oschina.net/oscnet/0e09fe91788444f18b152e1bfb84c970.jpg)Java技术栈www.javastack.cn优秀的Java技术公众号(https://www.oschina.net/action/GoToLink?urlhttps%3

IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中

自建k8s而非云环境，组件mysql类（部分有状态服务）部署在虚机里也即集群外，业务服务部署在k8s集群内。需求：集群内、集群外，业务服务和组件相互间通过负载均衡、高可用的形式连通。此需求拆解成两个问题进行解决，接着往下看。集群内：k8s集群集群外：k8s集群外的应用部署在虚拟机或物理机环境