版本说明：Spark2.3.0使用SparkSQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割

二、Redis(NoSql)　　 Redis是用C语言开发的一个开源的高性能键值对（keyvalue）数据库，官方提供测试数据，50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s，　且Redis通过提供多种键值数据类型来适应不同场景下的储存需求，目前为止Redis对数据类型如下：字符串类型　　Strin

开启MongoDB服务时不添加任何参数时，默认是没有权限验证的，登录的用户可以通过默认端口无需密码对数据库任意操作而且可以远程访问数据库。2.【修复建议】：临时方案：配置AUTH，做好访问认证。打开MongoDB配置文件（.conf），设置为authtrue；修改访问端口和指定访问ip。使其只监听私有IP（或本地IP），不监听任何公

本章节给大家带来的是Lambda和Linq的关系Lambda：是实例化委托的一个参数，也就是一个方法Linq：是基于委托（lambda）的封装，代码重用，逻辑解耦，是一个帮助类库，linq是用泛型，委托，lamda实现的，总的来说：把对数据操作的通用部分完成，把可变的交给委托，使用者只关心可变部分。一、Lambda文章的开始

一、数学函数ABS(x)返回x的绝对值BIN(x)返回x的二进制（OCT返回八进制，HEX返回十六进制）CEILING(x)返回大于x的最小整数值EXP(x)返回值e（自然对数的底）的x次方FLOOR(x)返回小于x的最大整数值GREATEST(x1,x2,...,xn)返回集合中最大的值LEAST(x1,

1.numpy\支持多维数组与矩阵的科学计算器包功能：常用功能16条a.ndarrayn维数组/矢量的操作。b. 支持高级大量的n维数组与矩阵的运算。c.针对数组运算提供大量的数学函数库。2.scipy\配合numpy完成对矩阵的计算，因此依赖于numpy，且含多个子模块功能：常用15个函数a. 标准导

关于推荐引擎如今的互联网中，无论是电子商务还是社交网络，对数据挖掘的需求都越来越大了，而推荐引擎正是数据挖掘完美体现；通过分析用户历史行为，将他可能喜欢内容推送给他，能产生相当好的用户体验，这就是推荐引擎。推荐算法Slopeone的原理      首先Slopeone是一种基于项目的协同过

前言之前介绍了使用devTools进行索引库数据的crud，这里使用的是java程序，使用中间件activeMQ进行数据库和索引库数据的同步。主要是用来完成对数据库的修改来完成对索引库的同步。正文前提准备：1\.索引信息：结构化的索引，在索引的setting中，使用的是ik分词器，级别是ikmaxwo

　　最近在做报表excel导入插入数据的时候，插入数据之前要清除当前用户和报告期下的数据，删除后执行错误导致删除运行，接口报错，redis中获取的数据没有刷新，导致再次执行其他操作时报错。　　在这里用到DataSourceTransactionManager进行事务管理，可能需要多条sql完成对数据库的操作，比如账户登录，需要匹配用户名和密码，然后要