Stella981 Stella981
3年前
Linux实战教学笔记45:NoSQL数据库之redis持久化存储(一)
第1章redis存储系统1.1redis概述REmoteDIctionaryServer(Redis)是一个基于keyvalue键值对的持久化数据库存储系统。redis和大名鼎鼎的Memcached缓存服务软件很像,但是redis支持的数据存储类型比memcached更丰富,包括strings(字符串),lists(列
Stella981 Stella981
3年前
Curve 技术解析之 MDS 元数据管理
Curve简介Curve是网易数帆于今年7月份开源的一个高性能、高可用、高可靠的分布式存储系统(https://www.oschina.net/p/curve),主打高性能、低延迟。Curve设计可以作为多种存储场景的底层存储:例如块存储,对象存储,云原生数据库,EC等。当前Curve已实现高性能块存储,并且基
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
Elasticsearch Mapping parameters(主要参数一览)
Elasticsearch在创建类型映射时可以指定映射参数,下面将一一进行介绍。analyzer指定分词器。elasticsearch是一款支持全文检索的分布式存储系统,对于text类型的字段,首先会使用分词器进行分词,然后将分词后的词根一个一个存储在倒排索引中,后续查询主要是针对词根的搜索。analyzer该参数可以在查询、字段、索引级
Stella981 Stella981
3年前
EMC升级的ViPR进击在大数据
EMC发布了一个更新的ViPR,该公司的软件定义的存储管理平台,使企业可选用,从数据方面看,目前驻留在他们的存储系统,没有它转移到专门的系统上。在公开的的文章中,EMC公司的高级软件事业部副总裁ManuvirDas宣布,EMC“加强的ViPR的一个Hadoop分布式文件系统(HDFS)数据服务(https://www.osc
Wesley13 Wesley13
3年前
360自研分布式海量小文件存储系统的设计与实现
背景近年来,公司业务发展迅猛,为数众多的业务场景产生了大量的图片,文档,音频,视频等非结构化数据,尤其是随着移动互联网、AI、IoT技术的成熟和应用市场的全面爆发,大量智能硬件设备将会生成更大规模的非结构化多媒体数据。如此大量的小文件如何存储,问题应运而生。传统存储厂商出售的存储服务价格昂贵,公有云厂商对具体业务场景的定制化改造略有欠缺,因此,我们
Wesley13 Wesley13
3年前
Java之一致性hash算法原理及实现
一致性哈希算法是分布式系统中常用的算法。比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是数据的key,N是机器节点数,如果有一个机器加入或退出这个集群,则所有的数据映射都无效了。一致性哈希算法,解决了普通余数Hash算法伸缩性差的问题,可以保证在上线、下线服务
郑文 郑文
7个月前
Qt 全流程实战企业级项目 – 云对象存储浏览器
Qt全流程实战企业级项目–云对象存储浏览器itzcw.com/9359/一、什么是云对象存储浏览器云对象存储浏览器是一种用于管理和操作云对象存储服务的图形化用户界面(GUI)工具或Web应用程序。云对象存储通常是一种分布式存储系统,用于存储和管理大量数据,
灾难恢复中的异步复制和同步复制
异步复制用于在远程位置创建数据备份。它涉及从主存储系统复制数据到辅助存储系统,并在两个系统之间设置延迟。这种延迟可以从几秒钟到几分钟不等,具体取决于实现和网络条件。