参考文章：使用springboot构建restapi远程提交spark任务(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fhlp4207%2Farticle%2Fdetails%2F100831384)sparksubmit动态提交的办法（Sp

前言HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE7292提出。HiveonSpark的效率比onMR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用onYARN部署方式来说明。!(https://imgcon

Spark内存分配博客分类：sparkSpark1.5堆内存分配(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2Fdreamfly2016%2Fp%2F5720180.html)

4. Hadoop相关配置及Executor环境变量的设置4.1 Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下：!(https://oscimg.oschina.net/

Spark2.3.1在Idea控制台输出Spark2.3.1在Idea控制台输出时默认会打印INFO级别日志信息，在调试代码时会觉得日志太多，需要有方法调整输出的日志级别，只输出关注的日志即可调整控制台日志输出级别importorg.apache.log4j

5步教你将MRS数据导入DWSMapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据

spark为什么比mapreduce快？首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），

spark为什么比mapreduce快？首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），