在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu

Hadoop获取DFSRemaininghadoop文件系统可使用的剩余容量大小。（可以通过http://<HOST:50070直观的查看）ConfiguredCapacity:   18.22GBDFSUsed:   44KBNonDFSUsed:   15.92GBDFSRemaining:   

1完全分布模式完全分布模式是比本地模式与伪分布模式更加复杂的模式，真正利用多台Linux主机来进行部署Hadoop，对集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上，这篇文章介绍的是通过三台虚拟机进行集群配置的方式，主要步骤为：准备虚拟机：准备虚拟机基本环境ipHost配置：手

ubuntu18.04.2hadoop3.1.2zookeeper3.5.5高可用完全分布式集群搭建集群规划：hostnameNameNodeDataNodeJournalNodeResourceManagerZookeepernode01√√√node02√√node03√√

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： !这里写图片描述(https://oscimg.oschina.net/oscnet/efca778a7edff4c4b6da9b25644f902d473.png)从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不

Gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一

如果在hbase的shell中输入了status报错，hbase(main):001:0statusERROR:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException:Serverisnotrunningyetatorg.apache.ha

YARN(YetAnotherResourceNegotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用，是hadoop2.0中的核心，它类似于一个分布式操作系统，通过它的api编写的应用可以跑在它上面，支持临时和常驻的应用，集群的资源可以得到最大限度的共享。资源是指CPU，内存，硬盘，带宽等可以量化的东西。H

之前一直对Hadoop的MapReduce过程知道皮毛，如今特地深入学习了这个过程一下，把我的理解写下来。以下就是是我读书，看博客，然后根据自己的理解和经验总结出来的。错误的地方，还请大神指出。^\_^由衷感谢~宏观上来说，Hadoop的MapReduce在执行每个作业的时候要经历2个大阶段：Map阶段和Reduce阶段。下图是官方对整个

一、搭建环境的前提条件环境：ubuntu16.04hadoop2.6.0jdk1.8.0\_161。这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程，配置Java以及安装VMwareTools就自行百度解决哈，这里就不写了（因为教程有点