艾木酱 艾木酱
3年前
MemFireDB获华为云“鲲鹏云服务”和“Stack 8.0”兼容性认证
近日,敏博科技自研的MemFireDB分布式关系数据库系统与华为云鲲鹏云服务、华为云Stack8.0完成兼容性认证,正式成为华为云鲲鹏凌云合作伙伴。本次测试内容涵盖产品功能、性能、可靠性、安全性、合规性等方面,重点验证了高并发、大容量的服务能力,分布式ACID事务、在线平滑弹性伸缩、跨数据中心部署等能力。面向高并发在线事务系统、海量数据存储、数据备份容灾等
Hadoop 及Spark 分布式HA运行环境搭建
本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hadoop和Spark最新版本,帮助大家跟着步骤一步步实践环境搭建。
Stella981 Stella981
3年前
Spark RDD工作原理详解+RDD JAVA API编程
第1章RDD概念1.1RDD为什么会产生   RDD:ResilientDistributedDataset弹性分布式数据集RDD是Spark的基石,是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢?
Stella981 Stella981
3年前
Nebula Flink Connector 的原理和实践
摘要:本文所介绍NebulaGraph连接器NebulaFlinkConnector,采用类似Flink提供的FlinkConnector形式,支持Flink读写分布式图数据库NebulaGraph。文章首发NebulaGraph官网博客:https://nebulagraph.com.cn/posts/neb
Stella981 Stella981
3年前
Skywalking部署常见问题以及注意事项
Skywalking部署常见问题以及注意事项IntroSkyWalking(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fskywalking.apache.org) 创建与2015年,提供分布式追踪功能。从5.
Stella981 Stella981
3年前
SnowFlake分布式唯一ID生成器
写在前面架构是权衡的结果,架构也是一层层的组件拼接起来的,如果没有好用的组件,架构势必会做阉割,架构的理想态是建立在一堆友好、易用、标准化的组件之上的。在我过去的经验中,有两类组件经常会出现在我的架构方案中,一个是唯一ID生成器,一个是推拉结合配置中心,有了他们我可以解决分布式系统下的时序问题,不会再因数据不一致问题手足无措,推拉结合的数据中心
Easter79 Easter79
3年前
Storm消息机制
Storm消息机制博客分类:分布式计算这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "fully processed"?首先的问题
Wesley13 Wesley13
3年前
Java之一致性hash算法原理及实现
一致性哈希算法是分布式系统中常用的算法。比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是数据的key,N是机器节点数,如果有一个机器加入或退出这个集群,则所有的数据映射都无效了。一致性哈希算法,解决了普通余数Hash算法伸缩性差的问题,可以保证在上线、下线服务
redis分布式锁,setnx+lua脚本的java实现 | 京东物流技术团队
本文是基于redis缓存实现分布式锁,其中使用了setnx命令加锁,expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口
分布式场景怎么Join | 京东云技术团队
背景最近在阅读查询优化器的论文,发现SystemR中对于Join操作的定义一般分为了两种,即嵌套循环、排序合并联接。在原文中,更倾向使用排序合并联接逻辑。考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Jo