Wesley13 Wesley13
3年前
java Api 读取HDFS文件内容
packagedao;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.;importjava.io.;publicclassHDFSApi{/
lix_uan lix_uan
2年前
Hadoop学习总结
HDFS相关HDFS写数据的流程首先由客户端向NameNode服务发起写数据请求NameNode收到请求后会进行基本验证验证类容包括对请求上传的路径进行合法验证对请求的用户进行权限验证验证没有问题后,NameNode会响应客户端允许上传接下来客户端会对文件按照blocksize大小进行切块,切完后依次以块为单位上传此时客户端会请求上传
Stella981 Stella981
3年前
ElasticSearch 映射到 hdfs的快照
一、下载:https://artifacts.elastic.co/downloads/elasticsearchplugins/repositoryhdfs/repositoryhdfs5.4.0.zip二、安装./bin/elasticsearchplugininstallfile:///opt/elasticsearch5.
Stella981 Stella981
3年前
Apache Sentry实战之旅(二)—— Sentry客户端使用
ApacheSentry虽然可以将HDFS、Hive与Impala三个组件的权限认证统一,但是只能按照给组授予角色的方式来进行授权,不能直接授权给组中的用户,显得不太灵活。有时候为了兼容已有大数据平台的授权体系,比如只使用Sentry控制Impala服务的权限,而不控制Hive和HDFS服务的权限,希望通过调用Sentry客
Stella981 Stella981
3年前
FastDFS和HDFS性能对比测试
 FastDFS以架构简洁和性能良好著称。 今天无意中在网上看到一篇文章:《HDFS和FastDFS的上传、下载效率对比测试》,文章链接:https://blog.csdn.net/a519781181/article/details/79125379/ 我觉得这个性能对比测试结果基本符合大家的认知及预期。FastDFS适合为中
Wesley13 Wesley13
3年前
MySQL Binlog同步HDFS的方案
这个问题我想只要是在做数据开发的,有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。19年的时候我曾经写过一点canal的文章。现在你只要看这个文章就可以了。这篇文章是一个读者推荐给我的,原地址:https://dwz.cn/XYdYpNiI,作者:混绅士我对其中的一些内容做了修改。关系型数据库和Hadoop生态的沟通越来
Stella981 Stella981
3年前
Datanode没起来,报错RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException)的解决方案
集群中五台datanode结果只起来四台,查看没起来的那台datanode日志,发现报错如下:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException):DatanodeDatanodeRegistratio
Stella981 Stella981
3年前
HDFS Rolling Upgrade的实现要点分析
文章目录前言HDFSNameNode端针对RollingUpgrade的调整HDFSDataNode端针对RollingUpgrade的调整引用前言我们知道HDFSRollingUpgrade功能在几年前比较早的时间早已实现,但是我们往往只注意怎么去做HDFSRoll
Stella981 Stella981
3年前
Hadoop框架:HDFS高可用环境配置
本文源码:GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fbigdataparent)||GitEE·点这里(https://gitee.com/cicadasmile/bigdataparent
Wesley13 Wesley13
3年前
HDFS读写数据过程原理分析
!(https://oscimg.oschina.net/oscnet/c6374bc7fb527776647ee3b40dae5c7996e.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT