Wesley13 Wesley13
3年前
90%的开发都没搞懂的CI和CD!
据IDC统计,2017年,DevOps的全球软件市场已达到约39亿美元的水平,预计到2022年市场将达到80亿美元左右!在敏捷软件开发环境中,工作模型和操作需要对公司不断变化的需求具有超级灵活的能力。DevOps——一种工具和实践的结合,有助于软件开发与IT运维并携手共进。这种跨功能的工作模式旨在最小化系统开发生命周期的持续时间,并提供持续的部署
Stella981 Stella981
3年前
OneAPM 云监控部署与试用体验
作为Zabbix骨灰级粉丝,一直以来对第三方监控(APM)都是拒绝的。一来觉得收费,二来担心数据被人所知,三来觉得Zabbix牛逼到无可取代。但是,随着APM市场的火爆,我决定「放下身段」试用一次,并且会总结出它与开源监控之间差别在哪里。运维经历的磨难虽然都在不同的公司,做着不同的业务,但是大多运维总会经历相同的故事,以及
Wesley13 Wesley13
3年前
TiDB 4.0 新特性在电商行业的探索
作者介绍冀浩东,转转公司数据库负责人,负责转转公司整体的数据库运营。初引入TiDB解决了哪些问题?转转使用TiDB主要解决了两个问题,一个是分库分表问题,另一个是运维复杂度。分库分表是一个非常普遍的问题,会增加我们业务逻辑的复杂性,并且多维度的mapping可能导致我们整体性能的下降。有了
Stella981 Stella981
3年前
Python批量删除mysql中千万级大量数据
场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多。运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只能删了。删,怎么删?因为这是线上数据库,里面存放有很多其它数据表,如果直接删除这张表的数据,肯定不行,可能会对其它表有影响。尝试每次只删除
Wesley13 Wesley13
3年前
DTCC专家组何春涛:国内大数据发展瓶颈
作为国内最具影响力的IT盛会,第五届中国数据库技术大会将于2014年4月10日12日在北京五洲皇冠国际酒店隆重举行。大会云集国内水平最高的数据库架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,邀请近百位顶级技术专家和行业领袖分享数据库与大数据技术(https://www.oschina.net/action/GoToL
Stella981 Stella981
3年前
Flink 在又拍云日志批处理中的实践
日前,由又拍云举办的大数据与AI技术实践|OpenTalk杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者,现场分享各自领域的大数据技术经验和心得。以下内容整理自又拍云资深开发工程师张召现场分享:张召,资深开发工程师,目前负责又拍云CDN的刷新预热、日志处理和运维平台开发。熟悉OpenRes
Stella981 Stella981
3年前
Kafka连接器之在2.3版本中的改进
在Kafka的2.3版本中,对Kafka连接器做了很大的改进。首先就是在添加和删除连接器时,修改了Kafka连接器处理任务的方式。之前这个动作造成了整个系统的停顿,这是一直被开发和运维人员诟病的地方,除此之外,社区中频繁提到的其他一些问题,也得到了解决。Kafka连接器中的增量协作再平衡Kafka连接器集群由一个或
Easter79 Easter79
3年前
TarsGo新版本发布,支持protobuf,zipkin和自定义插件
Tars是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架,目前支持C,Java,PHP,Nodejs,Golang语言。该框架为用户提供了涉及到开发、运维、以及测试的一整套解决方案,帮助一个产品或者服务快速开发、部署、测试、上线。它集可扩展协议编解码、高性能RPC通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体,通过它可以快速用
Easter79 Easter79
3年前
TiDB 4.0 新特性在电商行业的探索
作者介绍:冀浩东,转转公司数据库负责人,负责转转公司整体的数据库运营。初引入TiDB解决了哪些问题?转转使用TiDB主要解决了两个问题,一个是分库分表问题,另一个是运维复杂度。分库分表是一个非常普遍的问题,会增加我们业务逻辑的复杂性,并且多维度的mapping可能导致我们整体性能的下降。有了T
Wesley13 Wesley13
3年前
2011架构师大会心得
1、架构应该是对开发者是透明的2、在架构中,存储是难度最大的3、百度贴吧是如何测试的,采用轻量型解决方案,支持开发者快速4、视频存储非常适合keyvalue形式5、运维自动化,不需要改每台服务器的设置6、增加流量能力的,可以利用多网卡7、有些领域的流量会突发增加10倍,甚至更多,这时候需要考虑加锁来缓冲一下,防止cach