Wesley13 Wesley13
4年前
java spark list 转为 RDD 转为 dataset 写入表中
packagecom.example.demo;importjava.util.ArrayList;importjava.util.Arrays;importjava.util.HashMap;importjava.util.List;importjava.util.Map;
艾木酱 艾木酱
4年前
HTAP数据库调研
1.HTAP数据库背景及现状1.1起源大型实时分析应用的逐渐流行(实时库存/定价、欺诈检测,风险分析,物联网等);这些系统需要一个分布式的数据管理系统,要求能处理高并发的TP请求,同时支持对近期的数据进行分析;有些应用甚至会在TP请求中进行AP操作;Gartner:即有事务又支持分析的系统叫HTAP;实时分析:指的是实时交易过程中的分析需求,
Easter79 Easter79
4年前
Thingsboard Gateway开发环境
源码下载地址:https://github.com/thingsboard/thingsboardgateway(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fthingsboard%2Fthingsboardgateway)国内大神源码地址:htt
Wesley13 Wesley13
4年前
Ubuntu 10.04(64位)下载并编译 Android 2.2 源码[只有11条命令]
Ubuntu10.04(64位)下载并编译Android2.2源码\只有11条命令\为了方便,我把所有操作写成了命令,按顺序(软件安装\源码下载\编译)执行成功即可:1\.sudoaptgetinstallgitcoregnupg
Stella981 Stella981
4年前
Spark GraphX图算法应用【分区策略、PageRank、ConnectedComponents,TriangleCount】
一.分区策略  !(https://img2018.cnblogs.com/ibeta/1343081/201911/1343081201911271536266281023000587.png)  GraphX采用顶点分割的方式进行分布式图分区。GraphX不会沿着边划分图形,而是沿着顶点划分图形,这可以减少通信和存储的开
Stella981 Stella981
4年前
Go 源码阅读之 flag 包
Go源码阅读系列是我的源码阅读笔记。因为本人的电脑上Go的版本是1.13.4,所以就选择了该版本作为学习的版本。为此我在Github上Fork了Go的源码,并创建了study1.13.4分支,来记录对于源码的个人理解或者说中文注释也行。每当阅读完一个包后都会进行一下小结,就像这篇是对flag包的总结整理。当然在整理的过程中发现Go夜读
Wesley13 Wesley13
4年前
B 站疯传,堪称最强,一整套数据分析课程,学完月薪30K+!
2020魔幻之年,疫情下就业大受影响,很多岗位缩招,而数据分析相关工作岗位恋习Python(如数据分析师、数据挖掘师等岗位)却在增加。非专业数据分析岗位(如运营、市场、销售等岗位)也要求“数据分析”能力。大数据时代的未来,数据分析将是每个岗位的必备技能。!(https://oscimg.oschina.net/oscn
Stella981 Stella981
4年前
Spark Streaming的优化之路——从Receiver到Direct模式
!(https://images.xiaozhuanlan.com/photo/2019/cafc8f4ba89da9b75bc4fb3aac6ff80d.jpg)     _作者:个推数据研发工程师学长_1业务背景随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的
Stella981 Stella981
4年前
Golang 网络编程
目录TCP网络编程UDP网络编程Http网络编程理解函数是一等公民HttpServer源码阅读注册路由启动服务处理请求HttpClient源码阅读DemoCode整理思路重要的struct
Stella981 Stella981
4年前
Mac编译安装swfTools
Mac编译安装swfToolsMac编译安装swfTools下载源码解压源码安装依赖项./configure执行配置或者执行如下配置命令:需要注意这里存在部分代码错误,需要修改解决后执行一、cha