HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介(https://www.oschina.net/action

Graphx   概述      SparkGraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。      众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现

“Hadoop能做什么？”，概括如下：　　1）搜索引擎：这也正是DougCutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引；　　2）大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等；　　3）大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等；　　4）

NETCore的分布式批处理框架(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fbossma%2Fp%2F10668564.html)

DolphinDBDatabase是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据

简介scrapy\_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发你可以启动多个spider对象，互相之间共享有一个redis的request队列，最适合多个域名的广泛内容的爬取特点分布式爬取分布式数据处理爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序

一、背景随着业务发展，单体系统逐渐无法满足业务的需求，分布式架构逐渐成为大型互联网平台首选。伴随而来的问题是，本地事务方案已经无法满足，分布式事务相关规范和框架应运而生。在这种情况下，大型厂商根据分布式事务实现规范，实现了不同的分布式框架，以简化业务开发者处理分布式事务相关工作，让开发者专注于核心业务开发。Seata就是这么一个分布式事

一、简介 ApacheKafka是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【MessageQueue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统