一、离差(Deviation)离差即标志变动度，又称“偏差”，是观测值或估计量的平均值与真实值之间的差，是反映数据分布离散程度的量度之一，或说是反映统计总体中各单位标志值差别大小的程度或离差情况的指标，常写作：即参与计算平均数的变量值与平均数之差。离差的性质有二：(1)离差的代数和等于0；(2)参与计算平均数的各变量值与平均数之差的平均和，小于这些变量值

自GoogleDataflow模型被提出以来，流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本，但同时这对计算引擎来说是一个很大的挑战。作为Dataflow模型

想了很久，还是写这么一篇文章来总结一下有关分支策略和DevOps的一些内容吧。其实，DevOps相关的内容并不是我的工作范围，不过对于敏捷开发、DevOps、项目管理等等这一系列的与开发过程相关的内容，我还是有些经验的，也就抽时间跟大家分享一下吧。GitFlow应该是很多基于Git分布式版本控制系统的项目所实践的一种开发流程，当然，很多人对于Github

幂等概述幂等性原本是数学上的概念，即使公式：f(x)f(f(x))能够成立的数学性质。用在编程领域，则意为对同一个系统，使用同样的条件，一次请求和重复的多次请求对系统资源的影响是一致的。幂等性是分布式系统设计中十分重要的概念，具有这一性质的接口在设计时总是秉持这样的一种理念：调用接口发生异常并且重复尝试时，总

之前一篇文章中我们讲了基于Mysql8的读写分离(文末有链接)，这次来说说分库分表的实现过程。概念解析垂直分片按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到不同的数据库中，从而将压力分散至不同的

最近打算出一个系列，介绍Dubbo的使用。分布式应用现在已经越来越广泛，SpringCould也是一个不错的一站式解决方案，不过据我了解国内目前貌似使用阿里Dubbo的公司比较多，一方面这个框架也确实很OK，另一方面可能也是因为Dubbo的中文文档比较全的缘故，据Dubbo官网上的消息，阿里已经重新开始了对Dubbo的维护，这也算是使用D

首先，什么是git？我想对于业内人士再熟悉不过了，但是对于一个普通人或者几天前才认识Linux的我来说，在听到git这个单词的时候心里大概只会有这句话“这是什么鬼...“。在经过两天的学习之后，我了解到git就是一个用于Linux开发的版本控制工具，与常用的版本控制工具不同，它采用了分布式版本控制的方式。git具有交流方便，速度快的优点，这对于一个项目的开

问题引起基于分布式计算框架Spark的室内防盗预警系统首先用摄像头录一段视频，存在电脑里，下载一个ffmpeg的软件对视频进行处理，处理成一张张图片，然后通过hadoop里边的一个文件系统叫做hdfs进行储存，之后进行分析。用spark将hdfs中存储的图片进行读取，调用opencv的人形识别算法将图片中有人形的图片识别出来，然后就代表屋子里进人了，

一年前由于工作需要从微软技术栈入坑Java，并陆陆续续做了一个Java后台项目，目前在搞ScalaJava混合的后台开发，一直觉得并发编程是所有后台工程师的基本功，所以也学习了小一年Java的并发工具，对整体的并发理解乃至分布式都有一定的提高，所以想和大家分享一下。我的学习路线首先说说学习路线，我一开始是直接上手JCIP（JavaConc

写在前面的话本章节开始在主要介绍在运维工作中绕不开的一个话题，数据缓存NoSQL服务Redis，搭建很简单，使用很简单，运行也稳定的一批，一般小公司几乎很少出现以为量的问题导致他down掉的情况，但如果我们想走上更高的台阶，只是简单的安装运行肯定是不够的。所以我会写这几篇博客，算是做一个简单的小结，其内容涉及：主从，哨兵（高可用），集群（分布式