用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark程序用scala和ja

摘要：本文基于Flink1.9.0和Kafka2.3版本，对Flinkkafka端到端ExactlyOnce进行分析及 notifyCheckpointComplete顺序，主要内容分为以下两部分：1.Flinkkafka两阶段提交源码分析TwoPhaseCommitSinkFuncti

写在前面的话因为Spark是由Scala开发的，所以在开发Spark应用程序之前要对Scala语言学习。虽然Spark也支持Java、Python语言，但是作为一名Java程序猿，还是决定要学习Scala哈。Scala是运行在JVM上一门语言。开发效率非常高、语法丰富简洁，三两行Scala代码能搞定Java要写的一大坨代码。

\MavenReportPlugin1.源码分析Java代码  !收藏代码(http://static.oschina.net/uploads/img/201602/14112248_QSBR.png)1.<artifactIdmavenpmdplugin</arti

简介ClickHouse是“战斗民族”俄罗斯搜索巨头Yandex公司开源的一个极具"战斗力"的实时数据分析数据库，是面向OLAP的分布式列式DBMS，圈内人戏称为“喀秋莎数据库”。ClickHouse有一个简称"CK"，与Hadoop、Spark这些巨无霸组件相比，ClickHouse很轻量级，其特点：列式存

!(https://www.w3cschool.cn/attachments/image/20170807/1502093784622523.png)上篇内容回顾可以参考；Mybatis深入源码分析之SQLSession一级缓存原理分析(https://my.oschina.net/u/3995125/blog/3079788)这里再概括下上

本文由  网易云(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.163yun.com%2F%3Ftag%3DM_cnblogs_9010969)发布。本文内容接上一篇Apache流框架Flink，SparkStreaming，Storm对比分析（一）(https

1. Flink的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flin

　　通过上一篇源码的分析已经完成了BeanDefinition资源文件的定位，本篇继续分析BeanDefinition资源文件的载入和解析。AbstractBeanDefinitionReader的loadBeanDefinitions(Stringlocation,Set<ResouceactualResouces)方法完成定位，紧接着调用loa

本文分享自天翼云开发者社区《》，作者：徐东1、自适应中reduce参数控制spark.sql.adaptive.shuffle.targetPostShuffleInputSize用于控制任务Shuffle后的目标输入大小（以字节为单位）。spark.sq