本文概述Pandas是数据科学家做数据处理时，使用最多的工具。对比Excel，我们可以发现：Pandas基本可以实现所有的Excel的功能，并且比Excel更方便、简洁，其实很多操作我们在过去的文章中，或多或少都讲述过。但是在数据框上，完成各种“条件格式”的设置，帮助我们更加凸显数据，使得数据的展示更加美观，今天还是头一次讲述。上图左表展示的是某班级

提到ES，大多数爱好者想到的都是搜索引擎，但是明确一点，ES不等同于搜索引擎。不管是谷歌、百度、必应、搜狗为代表的自然语言处理(NLP)、爬虫、网页处理、大数据处理的全文搜索引擎，还是有明确搜索目的的搜索行为，如各大电商网站、OA、站内搜索、视频网站的垂直搜索引擎，他们或多或少都使用到了ES。

随着互联网行业和大数据的兴起和蓬勃发展，数据量和并发访问量呈指数级增长，这对整个系统的架构设计和产品的能力提出了巨大的挑战。极高的总拥有成本、捉襟见肘的可扩展性、薄弱的大数据处理性能等。都成为了高并发和大数据访问需求的燃痛。同时，阿里巴巴、蚂蚁的各种应

事情是这样，最近在实现一个需求的时候，有一个定时异步任务会捞取主表的数据并置为处理中（为了防止任务执行时间过长，下次任务执行把本次数据重复捞取），然后根据主表关联明细表数据，然后将明细表数据进行组装，等待所有明细数据处理完成之后，将主表状态置为完成；大概当时的代码示例（只是截取部分）如下：

近年来，AI场景发展得如火如荼，同时其计算规模也越来越大。这也让专注于数据处理的Flink有了较大的发展空间。Flink作为在大数据生态里实时处理的一个新框架，在一定程度上也有一定的难度。!(https://oscimg.oschina.net/oscnet/88055ce26e954c86ac75a83feb1e391d.pn

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（i

简介：本文由美团研究员、实时计算负责人鞠大升分享，主要介绍Flink助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式OLAP应用；5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我

DolphinDBDatabase是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据

简介scrapy\_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发你可以启动多个spider对象，互相之间共享有一个redis的request队列，最适合多个域名的广泛内容的爬取特点分布式爬取分布式数据处理爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序

尊敬的天翼云用户您好：近日，ApacheSpark出现shell命令注入漏洞，该漏洞危害较大且POC已公开。截至发文当前，天翼云Web应用防火墙（边缘云版）已监测并拦截到大量相关攻击，请相关用户尽快采取措施进行排查与防护。漏洞描述ApacheSpark是美国阿帕奇（Apache）软件基金会的一款支持非循环数据流和内存计算的大规模数据处理引擎,如果A