一、用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。1.启动hadoop!(https://oscimg.oschina.net/oscnet/e6b2225f65c582affaeaf71dd10f801fb98.bmp)2.Hdfs上创建文件夹并查看 !(https://oscimg.oschi

在执行hadoop命令或者启动dfs、yarn的时候总会出现这个警告12WARNutil.NativeCodeLoader:Unabletoloadnativehadooplibraryforyourplatform...usingbuiltinjavaclasseswhereapplicable修改下log输

环境信息虚拟机版本：centos7、HBase版本1.3.3、Hadoop版本：2.6.4、Zookeeper版本：3.4.5异常信息ERRORmainzookeeper.RecoverableZooKeeper:ZooKeeperexistsfailedafter4attempts

1\.RPC的基础概念　　RPC，即RemoteProcdureCall，中文名：远程过程调用；更详细内容可以转到RPC原理及RPC实例分析(https://my.oschina.net/hosee/blog/711632)学习。　　（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去

Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型，又是一个计算框架。也就是说，开发人员必须基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。我们先看一下作为编程模型的MapReduce。MapReduce编程模型

1.环境CentOSrelease6.5(Final)x86\_64javaversion"1.7.0\_79" hadoop2.5.0src.tar.gzapachemaven3.3.9protobuf2.5.02.配置yumyum代理配置：/etc/y

1、什么是Mapreduce　　 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；2、Mapreduce框架结构及核心运行机制

Apachehadoop是什么? 可靠的，可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用

导入包：!(https://static.oschina.net/uploads/space/2018/0314/201518_Y97h_3420885.png)理解：rpc是一种“远程过程调用协议”RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，

建议复习：分布式理论基础和原理(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNTU2Mg%3D%3D%26mid%3D2247483953%26idx%3D1%26sn%3Ddb7