CDH部署spark2 的时候 cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

Stella981
• 阅读 799

我在CDH界面上部署spark2的时候一直都很顺利直到在部署客户端的时候,出现了标题中的错误,之前部署从来没有遇见过好慌呀~

CDH部署spark2 的时候  cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

然后就去找日志

/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/ccdeploy_spark2-conf_etcspark2conf.cloudera.spark2_on_yarn_1768873247522152195/logs

这真的是各种找啊~~~~最后发现JAVA_HOME它没有去读取我配置的家目录而是有自己默认的家目录/usr/java/default

找到这个思路以后我总不能重新部署java吧那前边部署的那些服务万一出问题岂不得不偿失然后我最终想到了软连接

就是给原来的java的家目录做一个简单的软连接到下图中默认的java的家目录,

CDH部署spark2 的时候  cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

CDH部署spark2 的时候  cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

 解决方式

ln -s $JAVA_HOME(原来的)  /usr/java/default
因为还有一种是之前的大佬教的要把java部署成下面的样子,要不然有些软件会出问题,所以我顺便做了一个这样的软连接,这样以防在以后的部署中再出现这种奇怪的问题。
[root@hadoop001 ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_45

软连接完成以后再在页面上重新部署客户端成功啦

CDH部署spark2 的时候  cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

 运行spark案例

spark部署完成以后,要运行一个简单的小案例来确保部署是没有问题的

我们运行一个 π(派)的class

[root@test-hadoop01 examples]# pwd
/opt/cloudera/parcels/SPARK2/lib/spark2/examples/src/main/scala/org/apache/spark/examples
[root@test-hadoop01 examples]# ll
-rw-r--r-- 1 root root 1541 2018-08-30 06:49:37 SparkPi.scala 

[root@test-hadoop01 examples]# 

spark2-submit --master yarn  --num-executors 1 --executor-memory 1G --executor-cores 1 --class org.apache.spark.examples.Spa     rkPi /opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera3.jar

第一次运行这个命令的时候出现一个小报错

19/10/27 16:25:14 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

当时的截图没有留下,只留下了以上的报错内容

原因:root用户无法操作hdfs

 有2种解决:
1.修改hdfs参数  dfs.permissions=false
如下图所示,不要勾选这个参数

CDH部署spark2 的时候  cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0

 然后再submit一次,然后就成功啦

spark2的部署中我遇到的问题到这就正式分享完成啦!!!

点赞
收藏
评论区
推荐文章
技术小男生 技术小男生
3年前
tongweb部署应用的时候出现java.lang.ClassNotFoundException处理办法
1:当通过tongweb部署应用的时候经常会遇到java.lang.ClassNotFoundException这种错误。2:当出现这种报错的时候代表应用缺少某个class文件,需要通过报错的具体的路径去寻找对应的jar包,找到之后放到%tongweb%/lib目录下面。例如:Causedby:java.lang.ClassNotFoundExceptio
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
芝士年糕 芝士年糕
2年前
Nginx 报404问题,如何解决
近日在使用服务器部署项目时,出现了一些问题,如图正常的登录界面是可以访问的,但是在登录之后访问之后的地址会报404错误,于是去查看是否配置有错误,但是查看之后发现,nginx.conf与config.js两个配置文件的ip和端口都是没有错误的这个项目部署过好多次,没有出现过这样的错误。这是原版没动过的解压缩后的nginx.conf的源文件圈起来的地方是应该按
Easter79 Easter79
3年前
springboot获取项目跟目录
springboot部署之后无法获取项目目录的问题:之前看到网上有提问在开发一个springboot的项目时,在项目部署的时候遇到一个问题:就是我将项目导出为jar包,然后用javajar运行时,项目中文件上传的功能无法正常运行,其中获取到存放文件的目录的绝对路径的值为空,文件无法上传。问题链接(https://www.oschina.
Wesley13 Wesley13
3年前
CDH的免费午餐结束后,“免费”部署之路往何处去?
在今年2月份的时候,Cloudera宣布,从CDH6.3.3版本开始,将不会再提供免费版(ClouderaExpress):https://community.cloudera.com/t5/ProductAnnouncements/ANNOUNCEClouderaEnterprise633Released/tdp/289016其
Stella981 Stella981
3年前
Go + Gin + Vue打包成一个文件
介绍为方便部署,在开发时,可以是前后端分离的,但进行部署的时候,在某些领域前后端分离部署显得多此一举,为了让部署变得简单,所以需要考虑是否可以将前端与后端在生产时直接生成为一个文件所需工具https://github.com/gobindata/gobindatahttps://github.com/elaz
Stella981 Stella981
3年前
Solr
1Solr部署1.1环境准备:系统环境:CentOSLinuxrelease7.2.1511(Core)软件环境:Hadoop环境已搭建,其中包括了java以及zookeeperJavaversion"1.7.0\_79"Zookeeper3.4.5cdh5.2.
Stella981 Stella981
3年前
CDH5.12.1添加spark2.2.0服务
最新的CDH安装包中spark版本为1.6,不过对于勇于尝鲜的同学,官方也提供了spark2的升级包,在CDH中spark1和spark2可以共存,但是由于scala版本的兼容性问题,建议只装一个版本。由于spark依赖于scala所以需要在每个节点安装scala,并配置好SCALA\_HOME并将$SCALA\_HOME/bin加入PATH中。Sca
Stella981 Stella981
3年前
DubboX + SpringBoot最佳实践
一、先了解一下情况Dubbox是什么?现在微服务很火,而Dubbox就是一个支持微服务的一个框架SpringBoot又是什么?我们先来讨论一个问题,我们在使用Spring的时候,是不是要进行大量的配置,甚至部署的时候还要重新配置发布环境,重新打包,部署…………是不是觉得太麻烦了?而Spri
记录TritonServer部署多模型到多GPU踩坑 | 京东云技术团队
一、问题是怎么发现的部署chatglm2和llama2到一个4V100的GPU机器上遇到问题config.pbtxt中设置模型分别在指定gpu上部署实例配置不生效如以下配置为在gpu0上部署本模型,部署count1个实例,在gpu1上部署本模型,部署cou