本文概述Pandas是数据科学家做数据处理时，使用最多的工具。对比Excel，我们可以发现：Pandas基本可以实现所有的Excel的功能，并且比Excel更方便、简洁，其实很多操作我们在过去的文章中，或多或少都讲述过。但是在数据框上，完成各种“条件格式”的设置，帮助我们更加凸显数据，使得数据的展示更加美观，今天还是头一次讲述。上图左表展示的是某班级

提到ES，大多数爱好者想到的都是搜索引擎，但是明确一点，ES不等同于搜索引擎。不管是谷歌、百度、必应、搜狗为代表的自然语言处理(NLP)、爬虫、网页处理、大数据处理的全文搜索引擎，还是有明确搜索目的的搜索行为，如各大电商网站、OA、站内搜索、视频网站的垂直搜索引擎，他们或多或少都使用到了ES。

事情是这样，最近在实现一个需求的时候，有一个定时异步任务会捞取主表的数据并置为处理中（为了防止任务执行时间过长，下次任务执行把本次数据重复捞取），然后根据主表关联明细表数据，然后将明细表数据进行组装，等待所有明细数据处理完成之后，将主表状态置为完成；大概当时的代码示例（只是截取部分）如下：

简介：本文由美团研究员、实时计算负责人鞠大升分享，主要介绍Flink助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式OLAP应用；5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（i

电力自动化在线数据采集报表系统，由南京畅洋科技有限公司自主研发。使用该系统，用户只需简单的配置，便可轻松获取想要的数据。该系统通过嵌入SpreadJS纯前端表格控件，可应对电力系统中针对数据处理的各项需求，让数据变得更有价值。下面，让我们一起来看看如何在“电力自动化在线数据采集报表系统”中应用表格技术，实现“数据填报(https://www.osch

注：文中使用版本为Mycat1.6.5。1、Mycat正如官方所说，Mycat是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。当然，Mycat没有自己的存储引擎，并

DolphinDBDatabase是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据

提到天猫双十一，一分钟破百亿的成交额，你肯定不会陌生，他的背后就是一套强大的流计算引擎在支撑，以便得到实时统计结果。面对日益增长的数据规模，以及越来越低时延的数据处理需求，流处理已成为每家公司数据平台的必备能力。目前主流的流计算技术有ApacheStorm，SparkStreaming和ApacheFlink，但真正能同时做到低时延、

尊敬的天翼云用户您好：近日，ApacheSpark出现shell命令注入漏洞，该漏洞危害较大且POC已公开。截至发文当前，天翼云Web应用防火墙（边缘云版）已监测并拦截到大量相关攻击，请相关用户尽快采取措施进行排查与防护。漏洞描述ApacheSpark是美国阿帕奇（Apache）软件基金会的一款支持非循环数据流和内存计算的大规模数据处理引擎,如果A