java程序中获取kerberos登陆hadoop
本文由作者周梁伟授权网易云社区发布。一般我们在使用kbs登陆hadoop服务时都直接在shell中调用kinit命令来获取凭证，这种方式简单直接，只要获取一次凭证之后都可以在该会话过程中重复访问。但是这种方式一个明显的问题就是如果在本次shell中会间隔调用不同的java程序，而这些程序需要访问不同权限的问题，需要在访问前调用各自的ktab文件获
500G 史上最全的JAVA全套教学视频网盘分享
500GJAVA视频网盘分享(JEECG开源社区)\涵盖从java入门到深入架构，Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有\500GJAVA视频网盘分享(JEECG开源社区)\涵盖从java入门
Kafka 配置安装
1.从官网下载安装包http://kafka.apache.org/downloads2.上传到01虚拟机，解压3.进入安装目录下的config目录4.对server.properties进行配置\root@hadoop01config\vimserver.properties配置示例：broker
Hadoop框架：HDFS简介与Shell管理命令
本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Hadoop框架：Yarn基本结构和运行原理
本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Couldn’t resolve host
在CentOS6.6上尝试安装hadoop时，遇到了yumpycurcouldn'tresolvehost的错误，但能ping通域名，尝试了网上的好多方法，终于找到了一个合理的解释，并解决了问题。 详细见curl:(6)Couldn’tresolvehost(https://www.oschina.net/action/G
Hadoop框架：HDFS读写机制与API详解
本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Hadoop_25_MapReduce实现日志清洗程序
1、需求：对web访问日志中的各字段识别切分，去除日志中不合法的记录，根据KPI统计需求，生成各类访问请求过滤数据2、实现代码：a)定义一个bean，用来记录日志数据中的各数据字段!(https://oscimg.oschina.net/oscnet/a73b4b714f5756458cfc0ba674
Hadoop2.x 常用命令
基本命令格式为：hdfsdfscmd<args1\.\ls path列出path目录下的内容，包括文件名，权限，所有者，大小和修改时间。2\.\lsR path与ls相似，但递归地显示子目录下的内容。3\.\dupath显示path下所有文件磁盘使用情况下，用字节大小表示