最近开始研究大数据这块，现在从最基础的Hadoop开始，后续将逐渐学习Hadoop整个生态圈的各个部分组件。Hadoop安装分为本地安装、伪分布式、完全分布式和高可用分布式，这里为个人学习用（实际情况是本人没有那么多机器，装虚拟机的话，内存可能也不够，T\_T），仅涉及到本地安装和伪分布式安装。环境准备操作系统信

1.连接Hive首选需要配置Hive这里我们采用的是JDBC的连接方式(1)在Hive中后台启动hiveserver2root@hadoop101hivebin/hiveserver2&(2)启动beelinebigdata@hadoop101hive$bin/be

需要安装的软件Hadoop包含HDFS集群和YARN集群。部署Hadoop就是部署HDFS和YARN集群。机器数量、角色4台。NameNode1台、DataNode3台主机名IP角色amaster192.168.37.143NameNode:9000ResourceManag

一、概述Sqoop是apache旗下一款“Hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：把MySQL，Oracle数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等!(http

当前集群主机名称IP地址角色统一安装目录统一安装用户shtsgmhadoopnn01172.16.101.55namenode,resourcemanager/usr/local/hadoop(软连接)/usr/local/hadoop2.7.4/usr/lo

概述A集群HBase中有个表testTableCopy,要将其复制到B集群的HBase中。使用HBase表复制工具./hbaseorg.apache.hadoop.hbase.mapreduce.CopyTableroot@host:/tstar/hbase/bin./hbaseorg.apache.hadoop.hba

Hadoop2.x新特性    将Mapreduce框架升级到ApacheYARN，YARN将Mapreduce工作区分为两个：JobTracker组件：实现资源管理和任务JOB；计划/监视组件：划分到单独应用中。使用MapReduce的2.0，开发人员现在可以直接Hadoop内部基于构建应用程序。Hadoop2.2也已经在微软w

集群中五台datanode结果只起来四台，查看没起来的那台datanode日志,发现报错如下：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException):DatanodeDatanodeRegistratio

Hadoop技术原理总结1、Hadoop运行原理Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，其最核心的设计包括：MapReduce和HDFS。基于Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。基于MapReduce计算模型编写分布式并行程序相对简单，

题记：Hadoop在我放下很久以后，再次拿起来。使用bin/startall.sh命令启动hadoop集群，死活不见namenode节点。在解决这个问题的时候，又不断的引出了很多新的问题。虽然这些问题在以前学习hadoop时都解决过。但，正因为以前解决过，现在遇到这些问题就更不想重复解决了。想要以最快的速度启动集群。最后想了