HDFS目录配额(quota)不足导致写文件失败

天翼云开发者社区
• 阅读 3

本文分享自天翼云开发者社区《HDFS目录配额(quota)不足导致写文件失败》,作者:5****m

问题背景与现象 给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。

[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py  /tmp/tquota2
put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB

可能原因 目录配置的剩余的空间小于写文件实际需要的空间。

原因分析 HDFS支持设置某目录的配额,即某限制某目录的下的文件最多占用空间大小,例如如下命令是设置/tmp/tquota 目录最多写入150MB的文件(文件大小*副本数)。 hadoop dfsadmin -setSpaceQuota 150M /tmp/tquota2

使用如下命令可以查看目录设置的配额情况,SPACE_QUOTA是设置的空间配额,REM_SPACE_QUOTA是当前剩余的空间配额。 hdfs dfs -count -q -h -v /tmp/tquota2

日志分析,如下日志说明写入文件需要消耗384M,但是当前的空间配额是150M,因此空间不足。写文件前,需要的剩余空间是:块大小副本数,128M3副本=384M。

[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py  /tmp/tquota2
put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB

解决办法 增加配额大小,即重新设置目录的配额大小。 hadoop dfsadmin -setSpaceQuota 150G /目录名

清空配额。 hdfs dfsadmin -clrSpaceQuota /目录名

点赞
收藏
评论区
推荐文章
全栈混合云综合架构方案研究和落地
本文分享自天翼云开发者社区《》,作者:yn(一)业务背景随着云服务的便利性日益被市场接受,企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此,混合云成为云服务市场的重要发展趋势。广义上讲,混合云的形态可以包括云与
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
E212:无法打开并写入文件
在Linux下用vim敲入:wq退出保存时,出现E212:无法打开并写入文件的错误提示。这是由于在该目录下当前用户没有写权限导致。解决办法如下:【1】将文件保存到用户目录下,再改变所有者,然后移动到配置目录下,步骤如下:1)保存退出时用 :wq!~/tmp/file.conf2)su切换到root用户,将file.conf
大数据通用组件故障处理
本文分享自天翼云开发者社区《》,作者:fnHDFS1.HDFS服务一直异常检查HDFS是否处于安全模式。检查ZooKeeper服务是否运行正常。2.HDFS维护客户端出现OutOfMemoryError异常使用HDFS客户端之前,需要在HADOOPCLIE
Centos系统云主机中nvme盘不可用解决方法
本文分享自天翼云开发者社区《》,作者:Pn问题描述Linux系统的云主机使用NVMe盘后,出现非预期的慢IO读写,导致系统或者应用程序对于NVMe磁盘的IO操作失败。系统将nvme盘踢出,在系统中通过lsblk查看不到nvme盘,后续的读写操作均失败,从而
T-rex压测工具使用
本文分享自天翼云开发者社区《》,作者:fntrex使用一、软件版本TRex版本:v3.00二、无状态模式(单设备发包)1.工作目录cd/home/root/trex/scripts/2.dpdk网卡使用modprobeuioinsmod/home/root
在使用Flink CDC时,源表没有主键如何处理
本文分享自天翼云开发者社区《》,作者:5m在FlinkCDC中,当源表没有主键时,需要设置scan.incremental.snapshot.chunk.keycolumn参数来指定一个或多个列作为切分数据流的关键列。这些列用于在获取增量快照时切割数据流,
HBase Sync功能导致HBase入库性能下降
本文分享自天翼云开发者社区《》,作者:5m问题背景与现象HBase入库慢,regionserver日志中大量打印slowsync。原因分析1.对比正常写入时间段监控,检查HBase服务整体CPU、内存以及NameNodeRPC在异常时间段是否增加;2.检查
Knative Autoscaler 自定义弹性伸缩
本文分享自天翼云开发者社区@《》,作者:我是小朋友背景如今各大云厂商都开始提供ServerlessKubernetes服务,简化集群管理,降低运维管理负担,让Kubernetes更加简单。那么问题来了,一个系统到底需要具备怎样的能力才能更好地支撑Serve
无服务器Serverless总结
本文分享自天翼云开发者社区@《》,作者:我是小朋友背景随着AWSLambda的诞生,无服务器与FaaS一起出现在舞台中,Serverless也开始进入人们的视野。全球各大云服务厂商都纷纷推出各自的Serverless平台。先了解下什么是云计算云计算是通过I
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
859
粉丝
16
获赞
40