1、前言　　本文是在《如何计算实时热门商品》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwuchong.me%2Fblog%2F2018%2F11%2F07%2Fuseflinkcalculatehotitems%2F)\1\一文上做的扩展，

概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建

创建kafkatopic(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fxiaodf%2Fp%2F6093261.html%231)查看所有topic列表(https://www.oschina.net/action/GoTo

文章目录1、前言(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fu014597198%2Farticle%2Fdetails%2F100563722%231_1)2、概念(https://www.oschina.net/

!(https://oscimg.oschina.net/oscnet/80ecdd44ebb05e4051d636f8bcffac598dc.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT

本文源码：GitHub·点这里(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fcicadasmile%2Fmiddlewareparent)||GitEE·点这里(https://gitee.com/cicadasmile/middleware

问题引起基于分布式计算框架Spark的室内防盗预警系统首先用摄像头录一段视频，存在电脑里，下载一个ffmpeg的软件对视频进行处理，处理成一张张图片，然后通过hadoop里边的一个文件系统叫做hdfs进行储存，之后进行分析。用spark将hdfs中存储的图片进行读取，调用opencv的人形识别算法将图片中有人形的图片识别出来，然后就代表屋子里进人了，

1、前言在IM这种讲究高并发、高消息吞吐的互联网场景下，MQ消息中间件是个很重要的基础设施，它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色，当然MQ消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行IM消息历史存储时，传统的信息系统作法可能是收到一条消息就马上同步存

Introduction有很多人问过我这么一类问题：\\RabbitMQ如何确保消息可靠？\\很多时候，笔者的回答都是：说来话长的事情何来长话短说。的确，要确保消息可靠不只是单单几句就能够叙述明白的，包括Kafka也是如此。可靠并不是一个绝对的概念，曾经有人也留言说过类似全部磁盘损毁也会导致消息丢失，笔者戏答：还有机房被炸了也会导

目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。