自GoogleDataflow模型被提出以来，流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本，但同时这对计算引擎来说是一个很大的挑战。作为Dataflow模型

想了很久，还是写这么一篇文章来总结一下有关分支策略和DevOps的一些内容吧。其实，DevOps相关的内容并不是我的工作范围，不过对于敏捷开发、DevOps、项目管理等等这一系列的与开发过程相关的内容，我还是有些经验的，也就抽时间跟大家分享一下吧。GitFlow应该是很多基于Git分布式版本控制系统的项目所实践的一种开发流程，当然，很多人对于Github

幂等概述幂等性原本是数学上的概念，即使公式：f(x)f(f(x))能够成立的数学性质。用在编程领域，则意为对同一个系统，使用同样的条件，一次请求和重复的多次请求对系统资源的影响是一致的。幂等性是分布式系统设计中十分重要的概念，具有这一性质的接口在设计时总是秉持这样的一种理念：调用接口发生异常并且重复尝试时，总

最近打算出一个系列，介绍Dubbo的使用。分布式应用现在已经越来越广泛，SpringCould也是一个不错的一站式解决方案，不过据我了解国内目前貌似使用阿里Dubbo的公司比较多，一方面这个框架也确实很OK，另一方面可能也是因为Dubbo的中文文档比较全的缘故，据Dubbo官网上的消息，阿里已经重新开始了对Dubbo的维护，这也算是使用D

一、前言上篇介绍了Redis的集成过程，可用于解决热点数据访问的性能问题。随着业务复杂度的提高，单体应用越来越庞大，就好比一个类的代码行数越来越多，分而治之，切成多个类应该是更好的解决方法，所以一个庞大的单体应用分出多个小应用也更符合这种分治的思想。于是乎微服务化的概念油然而生，微服务化的第一步就是选择适用的分布式服务框架，基于团队成员有使用

首先，什么是git？我想对于业内人士再熟悉不过了，但是对于一个普通人或者几天前才认识Linux的我来说，在听到git这个单词的时候心里大概只会有这句话“这是什么鬼...“。在经过两天的学习之后，我了解到git就是一个用于Linux开发的版本控制工具，与常用的版本控制工具不同，它采用了分布式版本控制的方式。git具有交流方便，速度快的优点，这对于一个项目的开

问题引起基于分布式计算框架Spark的室内防盗预警系统首先用摄像头录一段视频，存在电脑里，下载一个ffmpeg的软件对视频进行处理，处理成一张张图片，然后通过hadoop里边的一个文件系统叫做hdfs进行储存，之后进行分析。用spark将hdfs中存储的图片进行读取，调用opencv的人形识别算法将图片中有人形的图片识别出来，然后就代表屋子里进人了，

一年前由于工作需要从微软技术栈入坑Java，并陆陆续续做了一个Java后台项目，目前在搞ScalaJava混合的后台开发，一直觉得并发编程是所有后台工程师的基本功，所以也学习了小一年Java的并发工具，对整体的并发理解乃至分布式都有一定的提高，所以想和大家分享一下。我的学习路线首先说说学习路线，我一开始是直接上手JCIP（JavaConc

写在前面的话本章节开始在主要介绍在运维工作中绕不开的一个话题，数据缓存NoSQL服务Redis，搭建很简单，使用很简单，运行也稳定的一批，一般小公司几乎很少出现以为量的问题导致他down掉的情况，但如果我们想走上更高的台阶，只是简单的安装运行肯定是不够的。所以我会写这几篇博客，算是做一个简单的小结，其内容涉及：主从，哨兵（高可用），集群（分布式

1基本概念集群:一个集群有一个或多个节点组织在一起,并将数据组织在一起,提供索引和搜索服务.节点:一个节点是一个集群中的服务器,提供存储数据,提供搜索服务.索引:文档的逻辑的集合分片:一个逻辑索引有若干分片,其中一个分片被设置为主分片.分片为索引的存储位置.会涉及到分布式问题.类型:文档的类型文档:与lucene中的d