Hive on spark下insert overwrite partition慢的优化
Hive版本:2.1.1,Spark版本是1.6.0 这几天发现insertoverwritepartition运行的很慢，看了下是hiveonspark引擎，这引擎平时比mapreduce快多了，但是怎么今天感觉比mapreduce慢了好几倍，运行了1h多还没运行完。 将SQL拿来手动hivef文件.sql执行
Spark DataFrame列的合并与拆分
版本说明：Spark2.3.0使用SparkSQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割
Spark RDD操作之Map系算子
本篇博客将介绍SparkRDD的Map系算子的基本用法。 1、map map将RDD的元素一个个传入call方法，经过call方法的计算之后，逐个返回，生成新的RDD，计算之后，记录数不会缩减。示例代码，将每个数字加10之后再打印出来， 代码如下importjava.util.Arrays;im
JVM 源码分析之一个 Java 进程究竟能创建多少线程
本文来自:PerfMa技术社区(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fclub.perfma.com)PerfMa(笨马网络)官网(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.
HTML5 canvas绘制雪花飘落动画（需求分析、知识点、程序编写分布详解）
看到网上很多展示html5雪花飞动的效果，确实非常引人入胜，我相信大家也跟我一样看着心动的同时，也很好奇，想研究下代码如何实现；虽然哦很多地方也能下载这些源码，不过也不知道别人制作此类动画时的思路及难点分析。我这几天刚好学习了一下，也趁着此刻有时间从需求分析、知识点、程序编写一步步给大家解剖下，要是在各位关公面前耍大刀了，可别见笑哟。最终效果图如下：
Spark SQL快速入门系列之Hive
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/e06da860dad1494799951bb8689a5ab1.jpg)!(https://oscimg.oschina.net/oscnet/5ab4ea4586bc4172
记一次JSF异步调用引起的接口可用率降低
前言本文记录了由于JSF异步调用超时引起的接口可用率降低问题的排查过程，主要介绍了排查思路和JSF异步调用的流程，希望可以帮助大家了解JSF的异步调用原理以及提供一些问题排查思路。本文分析的JSF源码是基于JSF1,7.5HOTFIXT6版本。起因问题背景