作者：京东物流康睿

1.重建索引需求背景

1.1 集群版本升级

ES版本兼容性

同一大版本范围内升级，索引读写兼容
不同大版本升级，索引读写不兼容，需要重建索引

ElasticSearch必知必会-Reindex重建索引

1.2 集群迁移

集群索引迁移

集群迁移，索引服务不停机，数据提前迁移

1.3 索引分片数量调整

分片数量变更

原有分片数量太少，重建变多
原有分片数量太多，重建变少
ES索引分片，一旦创建，原索引是不能修改分片数量的

ElasticSearch必知必会-Reindex重建索引

1.4 索引文档结构变更

文档结构变更

字段类型变更，已有索引字段类型是不可以修改的
字段属性变更，历史数据的字段属性是不会刷新的
文档对象结构变更

ElasticSearch必知必会-Reindex重建索引

2.常用重建索引方式

2.1 Reindex初识

索引重建说明

重建是创建新索引，原有索引保留
原有索引_source必须开启，否则找不到原始数据
索引重建建议，严格业务场景，目标索引mapping结构建议先创建好，不使用es动态推测字段类型的方式。

POST_reindex
{
  "source": {
    "index": "原始索引"
  },
  "dest": {
    "index": "新目标索引"
  }
}

2.2 Url参数解读

URL参数

refresh，目标索引是否立即刷新
waif_for_active_shards, 重建索引分片响应设置
Scroll, 快照查询时间
slicing, 重建并行任务切片
Max_docs , 单次最大数据量，条数
requests_per_second . 单次执行的重建文档数据量

2.3 Request body参数解读

请求参数

confilicts, 索引数据冲突如何解决，直接覆盖还是中断
source: 原索引配置信息
dest，新索引配置信息
script，脚本处理，修改原索引信息后再写入新索引

2.4 Response 参数解读

响应参数

成功数
更新数
新增数
失败数

2.5 重建索引任务管控

任务管控必要性

重建索引是一个异步任务，由ES后台进程完成调度执行，集群可能有并行其他异步任务，有时需要中断停止或查看进度

任务管控API

_tasks，服务端API

3.高级索引重建方式

3.1 单秒数据量阈值控制

单秒数据量控制

requests_per_second
默认1000，设置-1则不限制
生产重建时，建议控制范围500-1000左右
控制重建速度，防止集群瞬间IO过大

3.2人工切片

数据切片应用

人为指定切片数量，并行任务
用于降低索引redinx速度

POST_reindex
{
  "source": {
    "index": "my-index-000001",
    "slice": {
      "id": 0,  // 执行下标，从0开始，即0切第一批数据做迁移，1切第二批数据做迁移
      "max": 2  // 切分分片数
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

ElasticSearch必知必会-Reindex重建索引

3.3 自动切片

自动切片

仅需指定自动切片大小即可，后续的调度由es完成

POST_reindex?slices=5&refresh
{
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

3.4 限制reindex重建数据的范围

3.4.1 query

限制查询条件

基于DEL语言规则编写，可以任意复杂，限制数据范围

POST_reindex
{
  "source": {
    "index": "my-index-000001",
    "query": {
      "term": {
        "user.id": "kimchy"
      }
    }
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

3.4.2 max docs

限制数据条数

限制重建数据总条数，默认全部

POST_reindex
{
  "max_docs": 1,
  "source": {
    "index": "my-index-000001"
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}

3.5 多索引重建

多索引重建

ES也支持将多个索引数据合并到一个索引里面去
若多个索引数据ID相同，则会相互覆盖

POST_reindex
{
  "source": {
    "index": ["my-index-000001", "my-index-000002"]
  },
  "dest": {
    "index": "my-new-index-000002"
  }
}

3.6 限制重建索引数据字段

限制重建索引数据字段

source filter
原有数据字段过多，需要限制筛选部分进行重建

POST_reindex
{
  "source": {
    "index": "my-index-000001",
    "_source": ["user.id", "_doc"]
  },
  "dest": {
    "index": "my-new-index-000001"
  }
}