packagecom.example.demo;importjava.util.ArrayList;importjava.util.Arrays;importjava.util.HashMap;importjava.util.List;importjava.util.Map;

stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage一个Job会被拆分为多组Task，每组任务被称为一个Stage就像MapStage，ReduceStage。Stage的划分在RDD的论文中有详细的介绍，简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task，一类是shuffleMap

1.起点HelloWorld    valscnewSparkContext("spark://...","HelloWorld","SPARK\_HOME路径","APP\_JAR路径")    valfilesc.textFile("hdfs:///root/Log")   

文章目录（一）Linux系统和大数据（二）Hadoop（1）Hadoop包含哪些模块？（2）Hadoop的生态成员（3）哪些人在使用Hadoop?（三）Spark（1）Scala（2）RDD（3）主件（四）云计算（1）虚拟化技术

ES也是比较火热，在日志数据分析，规则分析等确实很方便，说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程，有需要的暂时别购买，到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试，面试管问了一下，Spark分析ES的数据，生成的RDD分区数跟什么有关系呢？稍微猜测一下就能想到