主题:MyRocks在网易使用和优化实践
大纲:
1. 企业选择一种新型数据库,从0到1的实践过程中经过哪些阶段会更稳妥
2. MyRocks在网易的应用,会带来哪些优势
3. MyRocks和传统的InnoDB相比,需要配置哪些周边工具
4. 相比INNODB,MyRocks更适用哪些场景
5. MyRocks的高可用方案,王老师更推荐哪种
听说3306π要搞事情了
是啊,马上要搞3306π深圳站了
啊,是吗?哪天啊,在哪里办,怎么报名?
12月19日,就在深圳南山区海岸城,点文末的原文链接或者扫描二维码就可以报名了,一起来吹吹牛逼。
嘉宾自我介绍
王刚 数据库内核工程师 网易杭州研究院数据库内核开发工程师,4年数据库技术开发经验,为网易传媒、音乐等业务提供数据库系统性能、稳定性与可靠性的支撑,擅长 myrocks/innodb 存储引擎,专注数据库及存储领域,喜欢探究底层原理,相信源码之前了无秘密。
01
可否请王老师分享下,企业选择一种新型数据库,从0到1的实践过程中经过哪些阶段会更稳妥呢?
我介绍一下MyRocks 在网易内部从0到1落地的过程,供大家参考。业务需要选择一种新型数据库,通常来说是现有的数据库在某些方面存在痛点了,比如云音乐的实时推荐场景,这是MyRocks落地的一个比较重要的场景。该场景写流量很大,RT 敏感。首先考虑的是LSM 模型的数据库,比如pika,myrocks,hbase。除了满足性能要求之外,稳定性、后续的运维难度、和公司其他组件的兼容程度这几个方面也是需要考虑的。实际性能测试下来MyRocks 性能满足需要,并且属于MySQL生态,运维上手快,DDB(网易内部中间件)以及binlog复制都可以继续使用。基于内核组对MyRocks充分的稳定性测试和异常模拟测试,业务最终选择了MyRocks。
02
请问王老师, MyRocks在网易的应用,会带来哪些优势呢 ?
节省存储成本是其一大优势,以网易传媒某业务为例,业务之前使用RDS,表中存有longtext类型的字段且数据量较大,RDS最大规格为2T,按数据增长量,已不能满足需求。当时可供于选择的有两种解决方案,分别为MyRocks和DDB(网易内部中间件),由于阿波罗业务数据库使用场景多为等值查询,最终考虑资源及DDB业务还需要在一定程度上变更使用姿势,符合Myrocks大数据量高压缩比及读性能也能满足业务需要,最终选择了Myrocks, 磁盘空间占用由1.8T降至630G,节省了很多存储成本。
03
MyRocks和传统的InnoDB相比,需要配置哪些周边工具吗?
在 MySQL 5.7 上适配的MyRocks,目前还缺少物理备份恢复工具,Percona 在 8.0 版本xtrabackup 才支持备份MyRocks。Facebook 5.6 版本提供一个myrocks_hotbackup python 脚本工具,但是这个工具在5.7上使用存在问题,网易内部是在xtrabackup 2.4.8上适配了MyRocks 的备份恢复。
04
MyRocks发展已经比较成熟,相比INNODB,MyRocks更适用哪些场景呢?
MyRocks 在网易内部主要应用在以下场景,供大家参考:
i. 推荐类场景,这类业务通常写流量很大,并且数据量还不小,RT 敏感,用Redis成本太高,这类场景可以考虑使用MyRocks。
ii. 大数据量场景,这类业务通常是一些历史数据,数据量非常大并且增长很快,原来可能用innodb 存储,成本比较高,而且经常需要扩容,运维成本也高,这类场景适合MyRocks。
05
MyMyRocks的高可用方案,王老师更推荐哪种呢?
MyRocks 其实上层还是 MySQL嘛,因此基于binlog 的异步、半同步复制依然可以继续使用,网易内部还适配了MGR for myrocks ,也可以作为一个方案。
扫码报名
点击文末“阅读原文”链接亦可报名
参与活动
学习新技能
赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子
活动规则
在 《年轻人不讲武德?12月19日来3306π深圳站学点真本事》下方留言
写下您对本次活动的建议
或是想向嘉宾提出的问题
有效留言被选中后,点赞数超过30
按点赞数排名取前10名
赠送礼品
二者任选其一
关于「3306π」社区
围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水
本文分享自微信公众号 - 老叶茶馆(iMySQL_WX)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。