一、HDFS个人理解      HDFS是个文件系统，只不过加了个分布式作为文件系统的前缀而已，大概的结构就像LINUX系统。文件大的一个电脑存储不下，怎办？那就想办法存储到不同的机子上呗，于是HDFS就应用而生了。众所周知，文件在硬盘上是以文件块的形式存储。什么句柄啊，真心不懂，只能感知，没人能明白0和1，当然也没必要。二、Map个人理解

分析MapReduce执行过程MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：!image

1、启动hadoop工程!(http://static.oschina.net/uploads/space/2015/0510/202542_tg2o_1863482.png)(http://static.oschina.net/uploads/space/2015/0510/202542_tg2o_1863482.pn

概述1、MapReduce中，mapper阶段处理的数据如何传递给reducer阶段，是MapReduce框架中最关键的一个流程，这个流程就叫Shuffle2、Shuffle:数据混洗——（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并排序）3、具体来说：就是将MapTask输出的处理结果数据，按照Par

开发工具：IDEAmapreduce实现思路：Map阶段：a) 从HDFS的源数据文件中逐行读取数据b) 将每一行数据切分出单词c) 为每一个单词构造一个键值对(单词，1)d) 将键值对发送给reduceReduce阶段：a) 接收map阶段输出的单词键值对b) 将相同单词的键值对汇聚成一组c) 对每

之前一直对Hadoop的MapReduce过程知道皮毛，如今特地深入学习了这个过程一下，把我的理解写下来。以下就是是我读书，看博客，然后根据自己的理解和经验总结出来的。错误的地方，还请大神指出。^\_^由衷感谢~宏观上来说，Hadoop的MapReduce在执行每个作业的时候要经历2个大阶段：Map阶段和Reduce阶段。下图是官方对整个

MAPREDUCE基本原理      一，概念理解　　1，Mapreduce是一个分布式运算程序的编程架构，相对于HDFS来说就是客户端。其核心功能就是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个hadoop集群上。　　2，基本整体架构：MEAppMaster，MapTask，R

!(https://oscimg.oschina.net/oscnet/7ada5c19127a2e295e2b6979b4811478a43.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT

spark为什么比mapreduce快？首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），

spark为什么比mapreduce快？首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），