Wesley13 Wesley13
3年前
AI云原生浅谈:好未来AI中台实践
AI时代的到来,给企业的底层IT资源的丰富与敏捷提出了更大的挑战,利用阿里云稳定、弹性的GPU云服务器,领先的GPU容器化共享和隔离技术,以及K8S集群管理平台,好未来通过云原生架构实现了对资源的灵活调度,为其AI中台奠定了敏捷而坚实的技术底座。在2020年云栖大会上,好未来AI中台负责人刘东东,分享了他对AI云原生的理解与好未来的AI中台实践,本文为演
Stella981 Stella981
3年前
Kafka基于topic的分区设计
1.若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈。有了分区后,假设一个topic可能分为10个分区,kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上,比如:A服务
Stella981 Stella981
3年前
Node.js 应用故障排查手册 —— 利用 CPU 分析调优吞吐量
楔子在我们想要新上线一个Node.js应用之前,尤其是技术栈切换的第一个Node.js应用,由于担心其在线上的吞吐量表现,肯定会想要进行性能压测,以便对其在当前的集群规模下能抗住多少流量有一个预估。本案例实际上正是在这样的一个场景下,我们想要上线Node.js技术栈来做前后端分离,那么刨开后端服务的响应QPS,纯使用Node.js
Stella981 Stella981
3年前
K8s 从懵圈到熟练 – 镜像拉取这件小事
作者|声东阿里云售后技术专家导读:相比K8s集群的其他功能,私有镜像的自动拉取,看起来可能是比较简单的。而镜像拉取失败,大多数情况下都和权限有关。所以,在处理相关问题的时候,我们往往会轻松的说:这问题很简单,肯定是权限问题。但实际的情况是,我们经常为一个问题,花了多个人的时间却找不到原因。这主要还是我们对镜像拉取,特别是私有镜像自动
Easter79 Easter79
3年前
TiDB 4.0 为解决热点问题做了哪些改进?
作者:李坤热点问题概述一直以来,TiDB的数据访问热点问题,是用户比较关注的问题。为什么这个问题如此突出呢?这其实是“分布式”带来的结构效应。单机数据库由于只有一个节点,是不存在热点问题的(因为性能的上限就是单机的处理能力),而分布式数据库集群存在多个节点,在达到存储扩展、读写能力扩展的目的上,我们希望大量的读写压力能够平摊在每个节点
Stella981 Stella981
3年前
Redis for OPS 01:关于 Redis 基础说明与安装部署
写在前面的话本章节开始在主要介绍在运维工作中绕不开的一个话题,数据缓存NoSQL服务Redis,搭建很简单,使用很简单,运行也稳定的一批,一般小公司几乎很少出现以为量的问题导致他down掉的情况,但如果我们想走上更高的台阶,只是简单的安装运行肯定是不够的。所以我会写这几篇博客,算是做一个简单的小结,其内容涉及:主从,哨兵(高可用),集群(分布式
Easter79 Easter79
3年前
TensorFlow分布式实践
大数据时代,基于单机的建模很难满足企业不断增长的数据量级的需求,开发者需要使用分布式的开发方式,在集群上进行建模。而单机和分布式的开发代码有一定的区别,本文就将为开发者们介绍,基于TensorFlow进行分布式开发的两种方式,帮助开发者在实践的过程中,更好地选择模块的开发方向。基于TensorFlow原生的分布式开发分布式开发会涉及到更新梯度
Easter79 Easter79
3年前
TiDB优化
搭建了TiDB数据库集群。不过性能上没有达到我想要的秒级返回的结果。不过也能接收了,毕竟我们主要是用于olap,进行历史数据的分析。时间旧一点也是可以接受的。之前的历史数据是存放在oracle中的,由于历史数据很多,导致查询很慢,公司现在只能查询3个月前的订单(热数据),对于3个月后的订单,就不给客户查询了。我想到的一种解决办法就是分库分表,比如每一家门
弹性存储关键技术介绍
关键技术:(1)一致性HASH算法,保证数据分片尽量均衡在不同的故障域上,提升存储数据的安全可靠性。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为一致性HASH算法的输入,可以随时随地通过计算获取数据所在的底层存储设备并直接通信获取或者写入数据,从而避免查表操作,实现去中心化和高度并发,将数据均衡的存储到各个存储节点,实现数据存储的负载均衡
从挑战到突破:HBlock定义智算存储新范式!
近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。