一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

（点击上方公众号，可快速关注）简介ElasticJob是一个分布式调度解决方案，由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

主从模式主从模式是最简单的集群模式，其实就是复制基本只能解决读写分离问题，主机服务器一旦宕机基本完蛋，不具备高可用。基本上redis的性能瓶颈主要在于网络IO和内存主频上面，单机版Redis在不考虑高可用的情况下基本满足80%的项目需要，因为单机版Redis可以实现10W/S的请求，除非缓存KV值过大，通过读写分离缓存网卡的压

一：缓存——热数据热点数据（经常会被查询，但是不经常被修改或者删除的数据），首选是使用redis缓存，毕竟强大到冒泡的QPS和极强的稳定性不是所有类似工具都有的，而且相比于memcached还提供了丰富的数据类型可以使用，另外，内存中的数据也提供了AOF和RDB等持久化机制可以选择，要冷、热的还是忽冷忽热的都可选。结合具体应用需要注意一下：很

DistributedConfigurationManagementPlatform(分布式配置管理平台)专注于各种 分布式系统配置管理 的通用组件/通用平台,提供统一的配置管理服务。主要目标：部署极其简单：同一个上线包，无须改动配置，即可在多个环境中(RD/QA/PRODUCTION)上线

!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下：0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型

MESI（也称伊利诺斯协议）是一种广泛使用的支持写回策略的缓存一致性协议，该协议被应用在Intel奔腾系列的CPU中。MESI协议中的状态CPU中每个缓存行使用的4种状态进行标记（使用额外的两位bit表示）状态描述M(Modified)这行数据有效，数据被修改了，和内存中的数据不一样，数据只存在于本cache中

!(https://uploadimages.jianshu.io/upload_images/9738807a8c8f8164641456f.png?imageMogr2/autoorient/strip|imageView2/2/w/600)简介Git作为分布式版本控制系统，基于去中心化的设计思想，在每个分布式节点上都保存有完

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统

作者：京东零售张继1，概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaf