1、前言　　本文是在《如何计算实时热门商品》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwuchong.me%2Fblog%2F2018%2F11%2F07%2Fuseflinkcalculatehotitems%2F)\1\一文上做的扩展，

1概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式消息系统，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2消息系统介绍一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或

概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建

!(https://oscimg.oschina.net/oscnet/80ecdd44ebb05e4051d636f8bcffac598dc.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT

本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fmiddlewareparent)||GitEE·点这里(https://gitee.com/cicadasmile/middleware

问题引起基于分布式计算框架Spark的室内防盗预警系统首先用摄像头录一段视频，存在电脑里，下载一个ffmpeg的软件对视频进行处理，处理成一张张图片，然后通过hadoop里边的一个文件系统叫做hdfs进行储存，之后进行分析。用spark将hdfs中存储的图片进行读取，调用opencv的人形识别算法将图片中有人形的图片识别出来，然后就代表屋子里进人了，

activeMQ：高效、可扩展、稳定安全企业级消息通信rabbitMQ：分布式系统可靠、可扩展、功能丰富，内存式堆积，某些条件下触发换页动作将内存中消息换页到磁盘；支持多租户  不支持重试队列，二次封装延迟队列实现呢  拉模式，不回溯，支持消息追踪  多租户kafka：高吞吐量分布式发布订阅消息系统，可水平扩展，磁盘式堆积，冗余功能

1、前言在IM这种讲究高并发、高消息吞吐的互联网场景下，MQ消息中间件是个很重要的基础设施，它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色，当然MQ消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行IM消息历史存储时，传统的信息系统作法可能是收到一条消息就马上同步存

Introduction有很多人问过我这么一类问题：\\RabbitMQ如何确保消息可靠？\\很多时候，笔者的回答都是：说来话长的事情何来长话短说。的确，要确保消息可靠不只是单单几句就能够叙述明白的，包括Kafka也是如此。可靠并不是一个绝对的概念，曾经有人也留言说过类似全部磁盘损毁也会导致消息丢失，笔者戏答：还有机房被炸了也会导

目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。