云计算亚马逊AWS：http://www.amazonaws.cn/盛大云计算：http://www.grandcloud.cn/美团云：https://mos.meituan.com/新浪云计算：http://sinacloud.com/云存储https://aws.amazon.com/cn/products/databases

如今的大数据批计算，随着Hive数仓的成熟，普遍的模式是Hivemetastore计算引擎。常见的计算引擎有HiveonMapReduce、HiveonTez、HiveonSpark、SparkintegrateHive、PrestointegrateHive，还有随着Flink1.10发布后生产可用的Flink

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

（点击上方公众号，可快速关注）简介ElasticJob是一个分布式调度解决方案，由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

DistributedConfigurationManagementPlatform(分布式配置管理平台)专注于各种 分布式系统配置管理 的通用组件/通用平台,提供统一的配置管理服务。主要目标：部署极其简单：同一个上线包，无须改动配置，即可在多个环境中(RD/QA/PRODUCTION)上线

!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下：0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型

!(https://uploadimages.jianshu.io/upload_images/9738807a8c8f8164641456f.png?imageMogr2/autoorient/strip|imageView2/2/w/600)简介Git作为分布式版本控制系统，基于去中心化的设计思想，在每个分布式节点上都保存有完

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统

作者：京东零售张继1，概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaf