Celery(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.celeryproject.org%2F) （芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器／进程／线程上执行任务调度。架构设计!(http://s

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

1伪分布模式伪分布模式是运行在单个节点以及多个Java进程上的模式。相比起本地模式，需要进行更多配置文件的设置以及ssh、YARN相关设置。2Hadoop配置文件修改Hadoop安装目录下的三个配置文件：etc/hadoop/coresite.xmle

（点击上方公众号，可快速关注）简介ElasticJob是一个分布式调度解决方案，由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

1.MapReduce原理　1.1MapReduce简介　　　　　MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。　　　MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布

DistributedConfigurationManagementPlatform(分布式配置管理平台)专注于各种 分布式系统配置管理 的通用组件/通用平台,提供统一的配置管理服务。主要目标：部署极其简单：同一个上线包，无须改动配置，即可在多个环境中(RD/QA/PRODUCTION)上线

!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下：0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型

!(https://uploadimages.jianshu.io/upload_images/9738807a8c8f8164641456f.png?imageMogr2/autoorient/strip|imageView2/2/w/600)简介Git作为分布式版本控制系统，基于去中心化的设计思想，在每个分布式节点上都保存有完

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统

作者：京东零售张继1，概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaf