Wesley13 Wesley13
3年前
AI领域最最最稀缺的人才——AI架构师
分布式技术是深度学习技术的加速器。同时利用多个工作节点,分布式地、高效地训练出性能优良的神经网络模型,能够显著提高深度学习的训练效率、进一步增大其应用范围。《首席AI架构师——分布式高性能深度学习实战培养计划》,力图从更宽的视角,梳理清楚深度学习框架、AI应用、部署上线的整个环节,让你在AI职业规划上可以多一些选择。!(https
Stella981 Stella981
3年前
Hadoop压缩
一、Hadoop压缩简介1、hadoop的3个阶段(1)分布式文件系统HDFS(2)分布式编程框架MapReduce(3)yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储(HDFS)读写字
Stella981 Stella981
3年前
ElasticJob-分布式作业调度神器,你们还在用Quartz吗?!
(点击上方公众号,可快速关注)简介ElasticJob是一个分布式调度解决方案,由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务。
Stella981 Stella981
3年前
Disconf部署安装
DistributedConfigurationManagementPlatform(分布式配置管理平台)专注于各种 分布式系统配置管理 的通用组件/通用平台,提供统一的配置管理服务。主要目标:部署极其简单:同一个上线包,无须改动配置,即可在多个环境中(RD/QA/PRODUCTION)上线
Stella981 Stella981
3年前
Kafka.network包源码解读
最近阅读了kafkanetwork包的源码,主要是想了解下kafka底层通信的一些细节,这部分都是用NIO实现的,并且用的是最基本的NIO实现模板,代码阅读起来也比较简单。抛开zookeeper这部分的通信不看,我们就看最基本的producer和consumer之间的基于NIO的通信模块。在network中主要包含以下类:!(http://static
Stella981 Stella981
3年前
25 张图,1.4 w字!彻底搞懂分布式事务原理
!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下:0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型
Wesley13 Wesley13
3年前
#分布式系统架构之# 事件驱动模式以及与之匹配的长时间处理过程讨论
     在分布式系统下,可以很多种架构从事设计,或者分布式系统对技术架构本身没有做严格的限制。但是结合自己的实践以及基于《领域驱动设计》的推荐,采用【事件驱动模式】是比较好的一种分布式系统架构方式。该模式充分实现了不同系统之间的代码解耦,所有的业务流转是通过事件广播进行驱动的。所有业务都是在针对名为【事件总线】的组件在编程,也无需知道事件的生产者
Stella981 Stella981
3年前
MapGis如何实现WebGIS分布式大数据存储的
作为解决方案厂商,MapGis是如何实现分布式大数据存储的呢?MapGIS在传统关系型空间数据库引擎MapGISSDE的基础之上,针对地理大数据的特点,构建了MapGISDataStore分布式数据库引擎,其集成整合了多种开源分布式数据库和文件系统,分别用来存储和管理关系型数据,切片型数据,实时型数据和非结构化数据,形成针对地理大数据应用场景相关的解
Stella981 Stella981
3年前
Git 命令使用
!(https://uploadimages.jianshu.io/upload_images/9738807a8c8f8164641456f.png?imageMogr2/autoorient/strip|imageView2/2/w/600)简介Git作为分布式版本控制系统,基于去中心化的设计思想,在每个分布式节点上都保存有完
天翼云电脑和企业安全 “锁”了!
每家企业的核心系统和关键信息是企业顺利运作、不断发展的关键。数字化转型浪潮涌来,海量信息在云上高速流动,如何为“核心信息”加一把“安全锁”,成为许多企业关注的重点。天翼云电脑配备多项安全防控措施,可有效提升企业信息安全防控水平。天翼云电脑水印,企业信息防控再加码在企业信息安全防控过程中,涉及到员工的关键环节该怎么做?天翼云给出了解决方案——水印。通过天翼云电