Wesley13 Wesley13
3年前
AI领域最最最稀缺的人才——AI架构师
分布式技术是深度学习技术的加速器。同时利用多个工作节点,分布式地、高效地训练出性能优良的神经网络模型,能够显著提高深度学习的训练效率、进一步增大其应用范围。《首席AI架构师——分布式高性能深度学习实战培养计划》,力图从更宽的视角,梳理清楚深度学习框架、AI应用、部署上线的整个环节,让你在AI职业规划上可以多一些选择。!(https
Stella981 Stella981
3年前
Hadoop压缩
一、Hadoop压缩简介1、hadoop的3个阶段(1)分布式文件系统HDFS(2)分布式编程框架MapReduce(3)yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储(HDFS)读写字
Stella981 Stella981
3年前
ElasticJob-分布式作业调度神器,你们还在用Quartz吗?!
(点击上方公众号,可快速关注)简介ElasticJob是一个分布式调度解决方案,由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务。
Stella981 Stella981
3年前
Kafka.network包源码解读
最近阅读了kafkanetwork包的源码,主要是想了解下kafka底层通信的一些细节,这部分都是用NIO实现的,并且用的是最基本的NIO实现模板,代码阅读起来也比较简单。抛开zookeeper这部分的通信不看,我们就看最基本的producer和consumer之间的基于NIO的通信模块。在network中主要包含以下类:!(http://static
Stella981 Stella981
3年前
25 张图,1.4 w字!彻底搞懂分布式事务原理
!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下:0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型
Wesley13 Wesley13
3年前
#分布式系统架构之# 事件驱动模式以及与之匹配的长时间处理过程讨论
     在分布式系统下,可以很多种架构从事设计,或者分布式系统对技术架构本身没有做严格的限制。但是结合自己的实践以及基于《领域驱动设计》的推荐,采用【事件驱动模式】是比较好的一种分布式系统架构方式。该模式充分实现了不同系统之间的代码解耦,所有的业务流转是通过事件广播进行驱动的。所有业务都是在针对名为【事件总线】的组件在编程,也无需知道事件的生产者
Stella981 Stella981
3年前
MapGis如何实现WebGIS分布式大数据存储的
作为解决方案厂商,MapGis是如何实现分布式大数据存储的呢?MapGIS在传统关系型空间数据库引擎MapGISSDE的基础之上,针对地理大数据的特点,构建了MapGISDataStore分布式数据库引擎,其集成整合了多种开源分布式数据库和文件系统,分别用来存储和管理关系型数据,切片型数据,实时型数据和非结构化数据,形成针对地理大数据应用场景相关的解
可莉 可莉
3年前
16个方面深入前端工程化开发技巧《上》
关注 Vue中文社区,回复“加群”加入我们一起学习,天天进步!(https://oscimg.oschina.net/oscnet/629757cf86871851f76f9a7c5692cebf0c6.jpg)作者:小锁君少|来源:掘金前言之前使用过Vue开发后
Wesley13 Wesley13
3年前
DRDS 柔性事务漫谈
_摘要:_ 在阿里巴巴,“柔性事务”已经是重构分布式事务的标准方法,覆盖了商品、交易、支付各个大规模应用场景,并且经受了双十一的考验。DRDS 是阿里云提供的一款分布式数据库产品,它的原型是在阿里内部使用了10年的数据库中间件TDDL。DRDS在TDDL提供的数据切分和SQL路由能力上,强化了分布式查询,事务和水平扩容能力。
京东云开发者 京东云开发者
1个月前
缓存之美:Guava Cache 相比于 Caffeine 差在哪里?
作者:京东科技王奕龙本文将结合GuavaCache的源码来分析它的实现原理,并阐述它相比于CaffeineCache在性能上的劣势。为了让大家对GuavaCache理解起来更容易,我们还是在开篇介绍它的原理:GuavaCache通过分段(Segment)锁