spark运行的基本流程
前言:由于最近对spark的运行流程非常感兴趣,所以阅读了《Spark大数据处理:技术、应用与性能优化》一书。通过这本书的学习,了解了spark的核心技术、实际应用场景以及性能优化的方法。本文旨在记录和分享下spark运行的基本流程。一、spark的基础组
敏捷开发 敏捷开发
1年前
敏捷激流中的测试
敏捷开发浩浩荡荡流行了20多年,彻底改变了软件研发行业。如果说敏捷开发对产品、开发和测试这三种类型的工作哪一个影响最大,我会选择测试。因为敏捷开发模式下迭代周期缩短,很多问题会更集中地暴露出来,比如用户故事拆分往往不够细致精确、开发和测试无法并行展开、开发
待兔 待兔
1年前
Java内存的可见性
Java内存的可见性可见性:一个线程对共享变量的修改,能够及时被其它线程看到共享变量:如果一个变量在多个线程的工作内存中都存在副本,那么这个变量就是这几个线程的共享变量Java内存模型(JMM):描述了Java程序中各种线程共享变量的访问规则,以及在JVM
rbd常用的配置参数
rbd常用的配置参数
死牛胖子 死牛胖子
1年前
@Inherited元注解的用法
@Inherited元注解
死牛胖子 死牛胖子
1年前
@Repeatable元注解的用法
Java注解@Repeatable元注解的用法
京东云开发者 京东云开发者
11个月前
如何优雅的处理异常
一、什么是异常Java语言按照错误严重性,从throwale根类衍生出Error和Exception两大派系。Error(错误):程序在执行过程中所遇到的硬件或操作系统的错误。错误对程序而言是致命的,将导致程序无法运行。常见的错误有内存溢出,jvm虚拟机自
EIP、VIP、RIP的区别
EIP、VIP、RIP都是网络中经常使用的术语,但是它们的意义和使用场景是不同的。
初识VPC网络的能力
VPC网络的主要功能依旧是为用户提供一个逻辑隔离的区域,构建一个安全可靠、可配置和管理的虚拟网络环境。而VPC产品架构可以分为:VPC的基本组成、访问控制、VPC连接。
京东云开发者 京东云开发者
4个月前
Java的SPI机制详解
作者:京东物流杨苇苇1.SPI简介SPI(ServiceProvicerInterface)是Java语言提供的一种接口发现机制,用来实现接口和接口实现的解耦。简单来说,就是系统只需要定义接口规范以及可以发现接口实现的机制,而不需要实现接口。SPI机制在J