概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建

　　时间戳是指格林威治时间1970年01月01日00时00分00秒起至现在的总毫秒数，是所有时间的基础，其他时间可以通过时间戳转换得到。Java中本来已经有相关获取时间戳的方法，Java8后增加新的类Instant等专用于处理时间戳问题。 1获取时间戳的方法和性能对比1.1获取时间戳方法Java8以前

1错误处理有原理分析使用SpringBoot创建的web项目中，当我们请求的页面不存在(http状态码为404)，或者服务器发生异常(http状态码一般为500)时，SpringBoot就会给我们返回错误信息。也就是说，在SpringBoot的web项目中，会自动创建一个/error的错误接口，来返回错误信息。但是针对不同的访问方式，会有以下两种

13、Spring框架中的单例Beans是线程安全的么?Spring框架并没有对单例bean进行任何多线程的封装处理。关于单例bean的线程安全和并发问题需要开发者自行去搞定。但实际上，大部分的Springbean并没有可变的状态(比如Serview类和DAO类),所以在某种程度上说Spring的单例bean是线程安全的。如果你的bean有多

简介：本文由美团研究员、实时计算负责人鞠大升分享，主要介绍Flink助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式OLAP应用；5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我

1简述公司自年初终于开始使用java8作为项目的标准jdk,在开发过程中,逐渐认识到java8的很多新特性,确实很方便.其中内容的核心,在于函数式编程,即将函数本身作为对象参数去处理.其中涉及到三个关键新特性:1.lambda表达式(及函数式接口)2.stream3.方法引用这三个新特性的使用是相辅相

简单来说网络爬虫，是指抓取万维网信息的程序或者脚本，Python在网络爬虫有很大优势，今天我们用Python实现获取王者荣耀相关数据，做一个小助手：前期准备，环境搭建：Python2.7sys模块提供了许多函数和变量来处理Python运行时环境的不同部分;urllib模块提供了一系列用于操作URL的功能，爬虫所需要的功能，基本上在urll

 有近400G的数据，首先需要写程序把目标文件标准化名称（相当耗时，各种情形，间接说明在数据采集过程中标准化操作的重要性，这样会给后续处理带来很多不必要的麻烦和消耗）网上找了个方法还不错，还有一种递归的写法。目前不再追求什么事无巨细，凡是能快速实现即可。正所谓好钢用在刀刃上。方法一：publicList<stringFindFile2(

引入责任链模式责任链模式顾名思义，责任链模式（ChainofResponsibilityPattern）为请求创建了一个接收者对象的链。这种模式给予请求的类型，对请求的发送者和接收者进行解耦。这种类型的设计模式属于行为型模式。在这种模式中，通常每个接收者都包含对另一个接收者的引用。如果一个对象不能处理该请求，那么它会

StringFormatterJS是一个js编写的可扩展的javascript字符串格式化库，它的功能远远超出了ECMA6标准所规定的字符串格式化规则。它的内置转换功能如下:1.字符串2.所有数值类型包括整数，小数，十六进制，八进制，百分比和金融符号以及对NaN和Infinity的特殊处理3.布尔型4.数组和对象