环境信息1.操作系统：macOSMojave10.14.62.JDK：1.8.0\_211(安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0\_211.jdk/Contents/Home)前提条件请参考《Mac部署hadoop3(伪分布式)》(https://www

1.前言1.1导入SpringMVC是基于Servlet和Spring框架设计的Web框架，做JavaWeb的同学应该都知道!(https://oscimg.oschina.net/oscnet/0c6bfd66042ee7eff6e4aa69652e7c93a7f.png)本文基于Spring4.3.7源码分析，（不

源文件放在github，随着理解的深入，不断更新，如有谬误之处，欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/sortshuffle.md(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%

源文件放在github，如有谬误之处，欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/sparkknowledge/md/hashshuffle.md(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%

遇到这样的场景，有一个文本里的字段是：日期，名字，数据。需要对名字和日期进行排序，大概的思路就是先将名字排序（其实准确来说是分组），再将日期排序。可以使用下面的方案。文本605370582021505150546051代码importorg.

一、reduceByKey作用    reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。importjava.util.Arrays;importjava.util.List;importorg.apache.sp

一、操作场景对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务，若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operationcatego

!(https://oscimg.oschina.net/oscnet/upb0ffdae51121af241bdecea989ce0852705.JPEG)1\.写在前面|本文主要针对HotspotVM中“CMSParNew”组合的一些使用场景进行总结。重点通过部分源码对根因进行分析以及对排查方法进行总结，排