本文简单介绍MongoDB的分片功能,对分片进行了概述,具体的功能详解,后续文章会陆续推出
分片是把数据分配到多个服务器上的一种方式,MongoDB使用分片实现大数据部署以及高吞吐操作。
大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如,高频率的查询操作会消耗服务器的CPU,如果数据集大于系统的RAM容量,也会对硬盘的性能造成影响。
应对系统容量增加有两种方式:水平扩展和垂直扩展。
垂直扩容就是增加单个服务器的容量,比如,使用更高性能的CPU,增加RAM容量,或者增加存储容量。但是单个服务器扩容是有限制性的,何况,云设备提供商在硬件配置上很容易达到容量上限。所以垂直扩容很有限制性。
水平扩容就是把数据和系统压力分散到多个服务器上,增加多个服务器以达到增加整个系统容量的目的。尽管单个服务器的速度或者容量并不是很大,但是每个服务器都可以分担一部分系统压力,比单个高性能的服务器更加高效。增加整个部署系统的容量只需要增加几台服务器,这样比增加单个服务的性能更节约成本。缺点就是增加了系统的复杂性以及系统的维护成本。
分片集群
分片集群包括以下几个成员:
shard:每个shard包含一组分片数据,每个shard都可以以复制集的方式部署。
mongos:mongos的任务是查询路由,是客户端和分片集群之间的交互接口
config servers:配置服务器存放着系统的元数据以及集群的配置信息。MongoDB3.4之后,配置服务器必须用复制集的方式部署。
下图是集群的示意图:
分片是把数据分配到多个服务器上的一种方式,MongoDB使用分片实现大数据部署以及高吞吐操作。
大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如,高频率的查询操作会消耗服务器的CPU,如果数据集大于系统的RAM容量,也会对硬盘的性能造成影响。
应对系统容量增加有两种方式:水平扩展和垂直扩展。
垂直扩容就是增加单个服务器的容量,比如,使用更高性能的CPU,增加RAM容量,或者增加存储容量。但是单个服务器扩容是有限制性的,何况,云设备提供商在硬件配置上很容易达到容量上限。所以垂直扩容很有限制性。
水平扩容就是把数据和系统压力分散到多个服务器上,增加多个服务器以达到增加整个系统容量的目的。尽管单个服务器的速度或者容量并不是很大,但是每个服务器都可以分担一部分系统压力,比单个高性能的服务器更加高效。增加整个部署系统的容量只需要增加几台服务器,这样比增加单个服务的性能更节约成本。缺点就是增加了系统的复杂性以及系统的维护成本。
分片集群
分片集群包括以下几个成员:
shard:每个shard包含一组分片数据,每个shard都可以以复制集的方式部署。
mongos:mongos的任务是查询路由,是客户端和分片集群之间的交互接口
config servers:配置服务器存放着系统的元数据以及集群的配置信息。MongoDB3.4之后,配置服务器必须用复制集的方式部署。
下图是集群的示意图:
MongoDB是在集合级别对数据进行分片的。
片键
MongoDB是使用片键对集合中的文档进行分片的。片键是被分片集合中所有文档都有的一个或者多个字段。
对集合分片时需要选择片键,片键一旦选定后就不能再进行修改了。一个分片集合只能有一个片键。
对于非空集合,片键上必须有索引。如果集合是空的,MongoDB在创建片键的时候会自动在片键上创建索引。
片键的选择会影响系统的性能、高效性以及集群的可扩展性。集群即使有最好的硬件设备,如果片键选择有问题也会使集群很快达到性能瓶颈。片键的选择也会影响集群使用的分片策略。
块
MongoDB分片会把数据分配到块中。每个块都含有基于片键的一部分数据。MongoDB通过均衡器实现各个分片服务器的数据的平衡性。
分片的优势
读写
MongoDB集群通过分片来分散读写压力,每个分片维护一部分集群操作,这样通过增加分片就可以水平扩展读写能力。
如果查询中含有片键,mongos会定位到具体的分片上。这种操作比遍历整个集群要高效的多。
存储
每个分片会维护一组数据,随着数据增长,增加分片就能增加集群的容量。
高可用
分片集群在一个或者多个分片宕机的情况下仍然可以提供读写操作。即使宕机分片上的数据无法操作,其他可用分片上的数据还可以操作。
生产环境中,分片建议部署为复制集,提供冗余性以及可用性。
分片前需要考虑的事情
分片集群的基础设施需要经过精细的容量规划、执行、维护。
片键的选择必须要谨慎,保证集群的性能和高效性。因为分片后片键不能再修改,也不能取消。如果查询里面没有片键,mongos会遍历整个集群,这种操作会比较耗时。
分片和非分片集合
数据库可以含有分片集合以及非分片集合。分片集合被分配在集群的多个分片服务器中,未分片的集合存放在主分片中。每个数据库都有一个主分片。
连接到分片集群
要想与分片中的集合进行交互,就必须先连接到mongos路由上。客户端绝对不应该连接到单个分片上进行读写操作。连接mngos的方法和连接到单个mongod实例是一样的。
分片策略
MongoDB支持两种分片方式:hash分片、范围分片
Hashed 分片
哈希分片就是把片键的值形成一组哈希值,每个分片依据哈希值的范围存放一定量的文档。
即使片键的值是相近的,但是他们的哈希值很可能不一样,所有就不会分配在一个分片服务去上,这样的好处就是,在分片键上基于范围的查询会分散到多个服务器上进行操作,减少了单个服务器的压力。
Ranged****分片
范围分片是依据片键值的范围进行分片的,每个分片服务器存储一定范围的数据。
片键值相近的数据就很有可能会被分配到同一个块中。对于范围分片来说,片键的选择很重要,片键选择合适就可以大大提高系统的系统,反之亦然。选择的片键不合理会导致数据分布不均匀,反而体现不出分片的优势或者造成系统早早出现系统瓶颈。