概述记录自己在工作中将生产的数据按月保存在ES中（通过logstash采集kafka数据到ES），由于生产环境数据量比较庞大（一天的日志量大概在2500万条左右），为了后期减轻服务器压力，方便我们维护，所以需要对我们的日志进行处理，按月建立不同的ES索引库，能够查询最近6个月的日志，关闭前6个月不用的日志。创建模板如果用户每次新建

我们先抛出一个问题：!file(https://oscimg.oschina.net/oscnet/upd5d01172c006977f680f3d99ad039ce7279.png)LSM树是HBase里使用的非常有创意的一种数据结构。在有代表性的关系型数据库如MySQL、SQLServer、Oracle中，数据存储与索引的基本结构就是我们

MySQLInnoDB表介绍一、索引组织表在InnoDB引擎中，表都是根据主键顺序存放的。这种存储方式称为索引组织表，在InnoDB引擎中，每张表都有逐渐。如果没有显示定义主键，则引擎会按照以下方式选择或创建主键。（1）、判断表是否有非空唯一索引，如果有，则该字段为主键。如果有多个非空唯一索引，则选择第一个定义的非空索引字段作为

背景一：世界需要更多的计算能力信息技术时代的基石是建立在“计算”之上的。以搜索引擎为例，早期的搜索引擎是人工分类索引的，类似黄页，但是随着网站数量的增多，人工索引的工作量变得巨大，而且更新时效低得难以忍受了。后来的一波搜索引擎都采用了由计算机算法自动索引，查找相关文档，并排序展示的方式。这种方式就导致了对计算能力的巨大需求，类似的趋势出现在多种技术领域，

Elasticsearch可以根据待索引数据自动建立索引、自动定义映射类型。1PUT data/_doc/1 2{ "count": 5 }执行上述请求时，索引"data"不必预先创建，该API首先会自动创建索引data、类型映射\_doc，其映射类型下包含字段count，其类型为long。自动根据文档的值推测其类型的过程，就是本文要重点描述

分析和优化的基本步骤如下：1、如果是SQL语句的写法问题，我们可以通过在不更改业务逻辑的情况下改写SQL来加以解决；2、如果是不必要的全表扫描/排序而导致了目标SQL的性能问题，我们可以通过建立合适的索引（包括函数索引、位图索引等）来加以解决；3、如果是表或者索引的不良设计导致的目标SQL的性能问题，我们可以通过重新设计表/索引

基本概念索引（Index）ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的

最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.roncoo.com%2Farticle%2Fdetail%2F129594)来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升

简述在数据库中处理查询请求时，如果可以尽早的将无关数据过滤掉，那么后续的算子就可以少做无用功，提升整个SQL的执行效率。过滤数据最常用的手段是使用索引，TiDB的优化器也会尽量采用索引过滤的方式处理请求，利用索引有序的特点来提升查询效率。比如当查询条件为 a1 时，如果a这一列上有索引，我们就可以利用索引很快的把满足 a

ElasticSearch是一个开源的搜索引擎，建立在一个全文搜索引擎库ApacheLucene™基础之上。Lucene可以说是当下最先进、高性能、全功能的搜索引擎库——无论是开源还是私有。