Wesley13 Wesley13
3年前
java Redis Jedis存储Java对象
Redis入门–Jedis存储Java对象(Java序列化为byte数组方式)Redis入门–Jedis存储Java对象\(Java序列化为byte数组方式)原文地址:http://alanland.iteye.com/admin/blogs/1600685(https://www.oschina.net/action/GoT
Stella981 Stella981
3年前
ElasticSearch的Gateway及存储原理
ES里有一个叫做gateway的东西,今天抽空理一下,前面翻译ES的一篇博文叫做“搜索引擎与时间机器(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Flog.medcl.net%2Fitem%2F2010%2F09%2Ftranslationsearchengineandthet
Stella981 Stella981
3年前
Kafka 消息存储与索引设计
消息中间件的性能好坏,它的消息存储的机制是衡量该性能的最重要指标之一,而Kafka具有高性能、高吞吐、低延时的特点,动不动可以上到几十上百万TPS,离不开它优秀的消息存储设计。下面我按照自己的理解为大家讲解Kafka消息存储设计的那些事。在Kafka的设计思想中,消息的存储文件被称作日志,我们Java后端绝大部分人谈到日志,一般会联想到
Stella981 Stella981
3年前
Gitee 存储库体积控制策略
前言作为全球Top2的代码托管平台之一,Gitee拥有350W用户和600W存储库,海量的存储库对Gitee的硬件设施提出了更高的要求,以600W存储库为例,如果按照平均1GB的大小磁盘体积,这些存储库将需要总共5860TB的空间,按照Gitee每台存储磁盘14TB,则需要419台存储设备。实际上在Gite
Stella981 Stella981
3年前
Redis持久化存储详解(一)
为什么要做持久化存储?持久化存储是将Redis存储在内存中的数据存储在硬盘中,实现数据的永久保存。我们都知道Redis是一个基于内存的nosql数据库,内存存储很容易造成数据的丢失,因为当服务器关机等一些异常情况都会导致存储在内存中的数据丢失。持久化存储分类在Redis中,持久化存储分为两种。一种是aof日志追加的方式
Stella981 Stella981
3年前
Kafka文件存储机制那些事
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言一个商
Wesley13 Wesley13
3年前
MySQL知识体系——存储引擎
你需要get的小点存储引擎是MySQL有别于其他数据库管理系统的最大特色。MySQL中的数据用各种不同的“技术”存储在文件(或者内存)中。每一种“技术”都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。这些不同的技术以及配套的相关功能在MySQL中被称作存储引擎(也称作表类型:\
Easter79 Easter79
3年前
Structured Streaming 之状态存储解析
引言我们知道,持续查询的驱动引擎StreamExecution会持续不断地驱动每个批次的执行。对于不需要跨批次的持续查询,如map(),filter()等,每个批次之间的执行相互独立,不需要状态支持。而比如类似count()的聚合式持续查询,则需要跨批次的状态支持,这样本批次的执行只需依赖上一个批次的结果,而不需要
Wesley13 Wesley13
3年前
Java容器——Set和顺序存储
  当Set使用自己创建的类型时,存储的顺序如何维护,在不同的Set实现中会有不同,而且它们对于在特定的Set中放置的元素类型也有不同的要求:Set(interface)存入Set的每个元素都必须是唯一的,因为Set不保存重复元素。加入Set的元素必须定义equals()方法以确保对象的唯一性。Set和Collection具有完全一样的接口,但S
Stella981 Stella981
3年前
Mesos各种存储处理方式
Mesos各种存储处理方式需要配合永久存储机制的任务包括MySQL、MongoDB等数据库,以及Nginx缓存、日志记录目录和博客软件用于存储数据的数据目录等Web缓存机制。框架始终需要依靠Mesos为其提供执行任务所必需的物理或虚拟资源。ApacheMesos的任务运行对资源加以调度,并在容器内运行,而部分任务可能需要永久存储作为配合。需要配合永