Wesley13 Wesley13
3年前
HADOOP性能优化和运维
集群中任意一个节点都可以被用来提交认任务,虽然通常我们使用master节点提交任务。HADOOP客户端不参与计算和存储,专门用来上传下载文件和提交任务。性能优化4大块:!(https://static.oschina.net/uploads/space/2017/0406/111251_QSBe_192561.png)具体优化如下:1.选
Stella981 Stella981
3年前
K8S备份、恢复、迁移神器 Velero
前言Kubernetes集群备份一直是我们的痛点。虽然可以通过Etcdv3备份与恢复(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzA4MzIwNTc4NQ%3D%3D%26mid%3D2247484108%
Stella981 Stella981
3年前
Rancher3
官方说:Rancher是使用一系列的Docker容器进行部署的。运行Rancher跟启动两个容器一样简单。一个容器作为管理服务器部署,另外一个作为集群节点的Agent部署官方的意思是:学好docker基础是关键官方安装要求:!(https://oscimg.oschina.net/oscnet/79bdc381dc
Wesley13 Wesley13
3年前
MYSQL5.7实时同步数据到TiDB
操作系统:CentOS7mysql版本:5.7TiDB版本:2.0.0同步方法:使用TiDB提供的工具集进行同步说明:单机mysql同步时,可以直接使用binlog同步,但mysql集群进行同步时,则必须依靠GTID,但开启GTID后,对事物要求更高,导致以下操作会失败:(1)不能同时揉合多个事件;(2)事务内部不能创建
Stella981 Stella981
3年前
Kubernetes 调度器实现初探
Kubernetes调度器Kubernetes是一个基于容器的分布式调度器,实现了自己的调度模块。在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。调度器工作方式Kubernetes中的调度器,是作为单独组件运行,一般运行在Master中,和Master数量保持
Stella981 Stella981
3年前
Kerberos Ticket管理
KerberosTicket管理本章介绍如何管理您的KerberosTicket,这里的Ticket是指TicketGrantingTicket(TGT),是您访问集群中服务的凭证。我们假设您已经有自己的principal和密码(或者keytab),如果您还没有这些信息,请联系您的系统管理员获取。下面的指令您可以在安装了Ke
Stella981 Stella981
3年前
Mars Remote API 轻松分布式执行 Python 函数
Mars是一个并行和分布式Python框架,能轻松把单机大家耳熟能详的的numpy、pandas、scikitlearn等库,以及Python函数利用多核或者多机加速。这其中,并行和分布式Python函数主要利用MarsRemoteAPI。启动Mars分布式环境可以参考:1.命令行方式在集群中部署。2.Kube
基于Sentinel自研组件的系统限流、降级、负载保护最佳实践探索 | 京东云技术团队
作者:京东物流杨建民一、Sentinel简介Sentinel以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel具有以下特征:丰富的应用场景:秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控
RALB负载均衡算法的应用 | 京东云技术团队
一、背景搜索推荐算法架构为京东集团所有的搜索推荐业务提供服务,实时返回处理结果给上游。部门各子系统已经实现了基于CPU的自适应限流,但是Client端对Server端的调用依然是RR轮询的方式,没有考虑下游机器性能差异的情况,无法最大化利用集群整体CPU,
天翼云助力中国交建,引领交通基建迈入数智新时代!
在2025智能云生态大会•智能云合作论坛上,中国交建科学技术与数字化部副总经理王健介绍了通过天翼云异构智算底座与交建云推理集群的协同,成功实现央企首个土木建筑行业大模型——“蓝翼”的混合云部署实践。