本文由作者周梁伟授权网易云社区发布。一般我们在使用kbs登陆hadoop服务时都直接在shell中调用kinit命令来获取凭证，这种方式简单直接，只要获取一次凭证之后都可以在该会话过程中重复访问。但是这种方式一个明显的问题就是如果在本次shell中会间隔调用不同的java程序，而这些程序需要访问不同权限的问题，需要在访问前调用各自的ktab文件获

集群规划|node01|node02|node03||||||NameNode|NameNode|NameNode||ZKFC|ZKFC|ZKFC||JournalNode

  最近自己掏了三台二手主机，自己搭建了套CDH的集群，搭建是随手起了几个主机名就搭建好了。  有次突发奇想，用手机登录管理cm管理页面看看，果真能用。只是在里面点着点着，发现cdh很多页面链接都是用的主机名，而我的手机又是无法修改hosts。  后来又想到自己有一个域名，于是就在想把我的主机名都命名为我的二级域名，然后再把域名映射到我的

使用JAVAAPI连接HDFS时我们需要使用NameNode的地址,开启HA后,两个NameNode可能会主备切换,如果连接的那台主机NameNode挂掉了,连接就会失败.HDFS提供了nameservices的方式进行访问,这样只要有一个NameNode活着,都可以正常访问.HDFSNameNodeHA

本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

环境准备centos免登陆设置  在主机master上cd ~/.ssh                如果没有该目录，先执行一次ssh localhostrm ./id_rsa             删除之前生成的公匙（如果有）sshkeygen t rsa        一

本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent

1、需求：对web访问日志中的各字段识别切分，去除日志中不合法的记录，根据KPI统计需求，生成各类访问请求过滤数据2、实现代码：a)定义一个bean，用来记录日志数据中的各数据字段!(https://oscimg.oschina.net/oscnet/a73b4b714f5756458cfc0ba674

基本命令格式为：hdfsdfscmd<args1\.\ls path列出path目录下的内容，包括文件名，权限，所有者，大小和修改时间。2\.\lsR path与ls相似，但递归地显示子目录下的内容。3\.\dupath显示path下所有文件磁盘使用情况下，用字节大小表示