Easter79 Easter79
4年前
stage的划分
stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage一个Job会被拆分为多组Task,每组任务被称为一个Stage就像MapStage,ReduceStage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task,一类是shuffleMap
艾木酱 艾木酱
4年前
HTAP数据库调研
1.HTAP数据库背景及现状1.1起源大型实时分析应用的逐渐流行(实时库存/定价、欺诈检测,风险分析,物联网等);这些系统需要一个分布式的数据管理系统,要求能处理高并发的TP请求,同时支持对近期的数据进行分析;有些应用甚至会在TP请求中进行AP操作;Gartner:即有事务又支持分析的系统叫HTAP;实时分析:指的是实时交易过程中的分析需求,
Stella981 Stella981
4年前
2019年美团,滴滴,蘑菇街Java大数据面经分享!
!(https://oscimg.oschina.net/oscnet/58bb81b753d849d79b338e10909a65fe.jpg)作者:不清不慎!目前从事Java大数据开发相关的工作,对大数据spark等分布式计算领域有着浓厚的兴趣,欢迎一起交流,一起进步。大概在三月份开始面了几家互联网公司,主要方向是java
Stella981 Stella981
4年前
Linux内核分析:Linux内核启动流程分析
(注:本文参考资料:朱有鹏嵌入式课程、大神博客(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fffmxnjm%2Farticle%2Fdetails%2F75097171%3FlocationNum%3D7%26fps%3D1)。本文为个人学习记录,如有
Wesley13 Wesley13
4年前
PHP手动安装扩展
进入源码目录下的EXTcdphp/ext/使用PHP安装扩展工具phpize/usr/local/php/bin/phpize进入源码目录编译安装可以看到再EXT目录下生成里一些文件,执行./configureenablewithphpc
Stella981 Stella981
4年前
Apache Flink漏洞复现
简介ApacheFlink是高效和分布式的通用数据处理平台,由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎(简单来说,就是跟spark类似)。Flink具有监控API,可用于查询"正在运行的jobs"和"最近完成的jobs"的状态和统计信息。该监控API被用于Flink自
Stella981 Stella981
4年前
Go 源码阅读之 flag 包
Go源码阅读系列是我的源码阅读笔记。因为本人的电脑上Go的版本是1.13.4,所以就选择了该版本作为学习的版本。为此我在Github上Fork了Go的源码,并创建了study1.13.4分支,来记录对于源码的个人理解或者说中文注释也行。每当阅读完一个包后都会进行一下小结,就像这篇是对flag包的总结整理。当然在整理的过程中发现Go夜读
Stella981 Stella981
4年前
Harmony OS 开发避坑指南——源码下载和编译
本文介绍了如何下载鸿蒙系统源码,如何一次性配置可以编译三个目标平台(Hi3516,Hi3518和Hi3861)的编译环境,以及如何将源码编译为三个目标平台的二进制文件。坑点总结:1.下载源码基本上没有太多坑,可以很顺利的进行2.编译源码主要的一个大坑是,默认版本的scons依赖python3.7,鸿蒙基础编译代码依赖p
可莉 可莉
4年前
2019年美团,滴滴,蘑菇街Java大数据面经分享!
!(https://oscimg.oschina.net/oscnet/58bb81b753d849d79b338e10909a65fe.jpg)作者:不清不慎!目前从事Java大数据开发相关的工作,对大数据spark等分布式计算领域有着浓厚的兴趣,欢迎一起交流,一起进步。大概在三月份开始面了几家互联网公司,主要方向是java
Stella981 Stella981
4年前
Bootstrap的Model源码详细注释
工作中用到了Bootstrap的Model这个插件,想封装下,然后看了下源码不多,于是读了下源码并注释了下.后端狗,前端不熟,注释的不好,请务必指出. /   Bootstrap: mo