通常，一个Hadoop集群的安全使用kerberos来进行保障。在启用Kerberos后，需要用户进行身份验证。用户通过验证后可以使用GRANT/REVOKE语句来进行基于角色的访问控制。本文介绍一下在CDH集群中如何配置kerberos。1.KDC安装和配置脚本　　脚本install\_kerberos.sh可以完成kerberos服

原文同步至http://waylau.com/abouthadoop/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwaylau.com%2Fabouthadoop%2F)ApacheHadoop是一个由Apache基金会所开发的分布式系统基础架构。可以让用户在不了解

Kerberos协议：Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticketgrantingticket)访问多个服务，即SSO(SingleSignOn)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性

首先在yarnsite.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。FairScheduler(https://www.oschina.net/

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（i

Hadoop使用学习笔记2\.基本MapReduce工作配置与原理（下）我们先用老版本的API编写，下一篇会用新的API，并解释区别：环境配置：提交Job，开发IDE所在机器环境：Windows7，4C8G，IntelliJIDEA15.

为了验证存在不同的hdfs之间的hive的互操作（归根结底还是为了解决BUG）需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。就需要将某hdfs集群的配置文件改改。。例如hdfssite.xmlEG：<?xmlversion"1.0"encoding"UTF8"?<?

1.DDL操作1.建表2.3.创建简单表4.创建外部表5.建分区表6.建Bucket表7.创建表并创建索引字段ds8.复制一个空表9.显示所有表10.按正条件正则表达式显示表11.修改表结构12.表添加一列13.添加一列并增加列字段注释14.更改表名15.删除列16.增加删除分区17.重命名表18.修改列的名字类型位置注

IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中

!(https://oscimg.oschina.net/oscnet/5442d39bbb8253dfeb2b498c932b9c3a8d0.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3Mzg