推荐
专栏
教程
课程
飞鹅
本次共找到163条
spark
相关的信息
Stella981
•
3年前
Spark1.6.0 on Hadoop2.6.0单机伪分布式安装
1、Scala安装(1)解压文件ubuntu@Ubuntu:~$ sudo tar zxvf scala2.10.4.gz C /opt !(https://oscimg.oschina.net/oscnet/5fc13090fea3cd9b3e6829d482a1b5f43d9.png)(2) 环境变量配置ubunt
Stella981
•
3年前
Spark学习之路 (二十八)分布式图计算系统
一、引言 在了解GraphX之前,需要先了解关于通用的分布式图计算框架的两个常见问题:图存储模式和图计算模式。二、图存储模式 巨型图的存储总体上有边分割和点分割两种存储方式。2013年,GraphLab2.0将其存储方式由边分割变为点分割,在性能上取得重大提升,目前基本上被业界广泛接受并使用。
Stella981
•
3年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HBase
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Sp
Wesley13
•
3年前
2016薪水增长最快的十大IT技能
IT技术潮流从来没有想今天这般风云变幻,城头变幻大王旗。对于科技人才来说,这是最好的时代,也是最坏的时代。新技能和工具的不断涌现对个人的学习能力是个极大的挑战,同时也意味着无限的机遇。最近科技招聘网站Dice对年度招聘数据进行了统计,给出了就业机会和薪水增长最快的十大IT技能排行榜(上图),Spark、Azure、Salesforce、大数据和JIRA分
Stella981
•
3年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介
Stella981
•
3年前
Spark Streaming 结合 Kafka 两种不同的数据接收方式比较
SparkStreaming结合Kafka两种不同的数据接收方式比较博客分类:sparkDirectKafkaInputDStream只在driver端接收数据,所以继承了InputDStream,是没有receivers的在结合SparkStreaming及Kafka的实时应用中,我们通常使用以下两个API来获
1
•••
14
15
16
17