Easter79 Easter79
3年前
springboot2.X 集成redis+消息发布订阅
需求场景:分布式项目中,每个子项目有各自的 user 数据库, 在综合管理系统中存放这所有用户信息, 为了保持综合管理系统用户的完整性,    子系统添加用户后将用户信息以json格式保存至redis,然后发布到消息到消息通道,综合管理系统监控到子系统发布的消息前往redis     获取出用户信息保存到自己的数据库1)redis配置
Stella981 Stella981
3年前
Scala编程实战
项目概述需求目前大多数的分布式架构底层通信都是通过RPC实现的,RPC框架非常多,比如前我们学过的Hadoop项目的RPC通信框架,但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所以Hadoop的RPC显得有些笨重。Spark的RPC是通过Akka类库实现的,Akka用
Stella981 Stella981
3年前
Spring Boot 与 Kotlin 使用MongoDB数据库
我们在产品中用到NoSQL数据库MongoDB。下面就来简单介绍一下MongoDB,并且通过一个例子来介绍SpringBoot中对MongoDB访问的配置和使用。MongoDB简介MongoDB是一个基于分布式文件存储的数据库,它是一个介于关系数据库和非关系数据库之间的产品,其主要目标是在键/值存储方式(
Easter79 Easter79
3年前
TiKV Committer 庄天翼:只要能提升 Codebase 质量,就值得提交 PR
2020年2月,TiKV项目迎来了一位新晋Committer——庄天翼(GitHubID:TennyZhuang),他2018年毕业于清华大学,目前在旷视科技担任分布式存储开发工程师,平时爱看动漫,工作之余也喜欢写一些代码,实现自己的想法。前天,我们“正儿八经”地采访了庄天翼同学,在互相努力憋笑中,愉快地掉落了以下文字……传说中的“天
Stella981 Stella981
3年前
Hadoop机架感知
倘若世子殿下身死拒北城外会有一断手残脚青年自中原而来拾春秋剑入陆地神仙仰头望天而喊我温不胜在此恭请拓跋菩萨赴死!_订正:__在上篇文中NM类比为部门负责人一段中,段中的RM应为NM,感谢_DN_同学的指正。_1.数据分块HDFS作为Hadoop中的一个分布式文件系统,
Wesley13 Wesley13
3年前
MongoDB进阶之路:不仅仅是技术研究,还有优化和最佳实践
摘要:MongoDB是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。本文将从操作手册、技术研究、会议分享、场景应用等几个方面给大家推荐干货好文。MongDB操作手册快速入门旨在帮助您快速创建MongoDB实例、对实例进行基本设置以及连接实例数据库
Stella981 Stella981
3年前
Elasticsearch文档读写模型实现原理
ES系列基于ElasticSearch6.4.x版本。1、简介ElasticSearch的存储设计天生就是分布式的。每个索引被分成多个分片(默认每个索引含5个主分片(primaryshard)),每个主分片又可以有多个副本。当一个文档被添加或删除时(主分片中新增或删除),其对应的复制分片之间必须保持同步。如果我们不这样做,那么对于同一个文档的检索请
事务,不只ACID | 京东物流技术团队
不论是ACID事务还是基于流处理系统的分布式事务,它们都保证数据的完整性。因为违反及时性可能会令人困惑,不过这只是暂时的,但是如果违反完整性,那么它的结果可能是灾难性的。违反一致性,最终一致性;违反完整性,永无一致性,是最好的概括
Vitess全局唯一ID生成的实现方案 | 京东云技术团队
为了标识一段数据,通常我们会为其指定一个唯一id,比如利用MySQL数据库中的自增主键。但是当数据量非常大时,仅靠数据库的自增主键是远远不够的,并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此,产生了多种解决方案,如UUID,Sn