MongoDB开发系列

Wesley13
• 阅读 831

本篇文章主要介绍数据集设计中的分桶范式以及使用实例。

数据集设计模式,MongoDB在官方文档https://docs.mongodb.com/ecosystem/ 中的use cases部分提供了详细的参考内容。

结合文档,本篇说一些比较深入的MongoDB使用-分桶模式
分桶模式是MongoDB数据集设计的一种范式。

分桶buckets

分桶设计原则

所谓分桶优化,就是与其对每一条数据创建一个文档,我们可以把某一个时间段内的测量数据聚合到一起放到一个文档内,利用MongoDB提供的内嵌式数组或子文档特性

我们知道许多传感器数据都是时间序列数据。例如:风传感器,潮汐监测以及位置追踪等采集数据的无非这种类型: Timestamp,采集器名称/ID,采集值。对于时序类型的数据,我们可以采用一种叫做时间分桶的优化策略。

时间序列数据

简单的说 时间序列就是各时间点上形成的数值序列,时间序列分析就是通过观察历史数据预测未来的值。采用分桶设计写入的数据集,元素更多的是采用时间作为排序元素,依次写入和读取。

官方有一篇翻译文章,专门叙述 分桶设计模式

使用场景描述

基础数据集如下

 {    sensor_id: 12345,    timestamp: ISODate("2019-01-31T10:00:00.000Z"),    temperature: 40  }  {    sensor_id: 12345,    timestamp: ISODate("2019-01-31T10:01:00.000Z"),    temperature: 40 }  {    sensor_id: 12345,   timestamp: ISODate("2019-01-31T10:02:00.000Z"),    temperature: 41 }

改进后的文档集如下

 {     sensor_id: 12345,      start_date: ISODate("2019-01-31T10:00:00.000Z"),      end_date: ISODate("2019-01-31T10:59:59.000Z"),      measurements: [       {        timestamp: ISODate("2019-01-31T10:00:00.000Z"),        temperature: 40        },        {        timestamp: ISODate("2019-01-31T10:01:00.000Z"),     temperature: 40       },       …       {        timestamp: ISODate("2019-01-31T10:42:00.000Z"),        temperature: 42       }    ],   transaction_count: 42,   sum_temperature: 2413 }

我们在程序写入文档时,可以做一些简单的计算和整理,按时间分段,根据业务需要,将一个时间断内的大量文档合并,避免数据使用时的随机聚合和查询。这样的时间段,可以理解为桶。

在处理时间序列数据时,知道2018年7月13日加利福尼亚州康宁市下午2:00至3:00的平均温度通常比知道下午2:03那一时刻的温度更有意义也更重要。通过用桶组织数据并进行预聚合,我们可以更轻松地提供这些信息。

官方有一篇关于Iot使用场景的推荐文章 https://www.mongodb.com/customers/bosch,可以作为参考。

评论设计模式中的分桶

https://docs.mongodb.com/ecosystem/use-cases/storing-comments/ Hybrid Schema Design节点下说明了评论中的分桶操作场景。

首先我们看数据集模式

    _id: ObjectId(...),    discussion_id: ObjectId(...),    bucket: 1,    count: 42,    comments: [ {        slug: '34db',        posted: ISODateTime(...),        author: { id: ObjectId(...), name: 'Rick' },        text: 'This is so bogus ... ' },    ... ]}

我在数据集设计的文章中提到分桶模式的设计场景,主要用于时间序列的数据预处理和分块存储。时间序列也就是按照时间的先后排序,依次写入。分块的标准可以是时间,比如一天,一个小时,或者是评论数目。

Also, 100 comments is a soft limit for the number of comments per bucket. This value is arbitrary: choose a value that will prevent the maximum document size from growing beyond the 16MB BSON documentsize limit,

以上总体含义是说每个桶内的元素个数不是固定的,是应用开发时,根据实际情况评估后的一个度量。但是需要考虑MongoDB本身每个文档最多16M的限制。

对于应用程序来说,这样的设计模式在写入操作是需要做一些简单的逻辑,来确定写入哪个桶,以及简单计算,如下

if bucket['count'] > 100:    db.discussion.update(        { 'discussion_id: discussion['_id'],          'num_buckets': discussion['num_buckets'] },        { '$inc': { 'num_buckets': 1 } } )

借助2019年MongoDB中国用户大会的一张PPT更加清晰的认识下分桶范式

MongoDB开发系列

buckets.png

文章中的观点有不严谨之处,欢迎评论沟通。边学习,边实践,边参考,边改进,在问题中成长。

本文分享自微信公众号 - 图南日晟(tunan_technology)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表(关于日期时间时分秒显示不出来)
在使用皕杰报表设计器时,数据据里面是日期型,但当你web预览时候,发现有日期时间类型的数据时分秒显示不出来,只有年月日能显示出来,时分秒显示为0:00:00。1.可以使用tochar解决,数据集用selecttochar(flowdate,"yyyyMMddHH:mm:ss")fromtablename2.也可以把数据库日期类型date改成timestamp
Wesley13 Wesley13
3年前
Java日期时间API系列31
  时间戳是指格林威治时间1970年01月01日00时00分00秒起至现在的总毫秒数,是所有时间的基础,其他时间可以通过时间戳转换得到。Java中本来已经有相关获取时间戳的方法,Java8后增加新的类Instant等专用于处理时间戳问题。 1获取时间戳的方法和性能对比1.1获取时间戳方法Java8以前
Stella981 Stella981
3年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
00_设计模式之语言选择
设计模式之语言选择设计模式简介背景设计模式是一套被反复使用的、多数人知晓的、经过分类编目的、代码设计经验的总结。设计模式(Designpattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这