ClickHouse和他的朋友们(14)存储计算分离方案与实现

Stella981
• 阅读 903

原文出处:https://bohutang.me/2020/09/18/clickhouse-and-friends-compute-storage/

ClickHouse和他的朋友们(14)存储计算分离方案与实现

最后更新: 2020-09-18

如果多个 ClickHouse server 可以挂载同一份数据(分布式存储等),并且每个 server 都可写,这样会有什么好处呢?

首先,我们可以把副本机制交给分布式存储来保障,上层架构变得简单朴素;

其次,clickhouse-server 可以在任意机器上增加、减少,使存储和计算能力得到充分发挥。

本文就来探讨一下 ClickHouse 的存储计算分离方案,实现上并不复杂。

1. 问题

ClickHouse 运行时数据由两部分组成:内存元数据和磁盘数据。

我们先看写流程:

w1. 开始写入数据w2. 生成内存part信息,并维护part metadata列表w3. 把part数据写到磁盘

再来看读流程:

r1. 从part metadata定位需要读取的partr2. 从磁盘读取part数据r3. 返回给上层数据

这样,如果 server1 写了一条数据,只会更新自己内存的 part metadata,其他 server 是感知不到的,这样也就无法查询到刚写入的数据。

存储计算分离,首先要解决的就是内存状态数据的同步问题。

在 ClickHouse 里,我们需要解决的是内存中 part metadata 同步问题。

2. 内存数据同步

在上篇 <**ReplicatedMergeTree表引擎及同步机制**> 中,我们知道副本间的数据同步机制:首先同步元数据,再通过元数据获取相应part数据。

这里,我们借用 ReplicatedMergeTree 同步通道,然后再做减法,同步完元数据后跳过 part 数据的同步,因为磁盘数据只需一个 server 做更新(需要 fsync 语义)即可。

核心代码:MergeTreeData::renameTempPartAndReplace

    if (!share_storage)        part->renameTo(part_name, true);

3. 演示demo

script:

  1. 首先起 2 个 clickhouse-server,它们都挂载同一份数据  <path>/home/bohu/work/cluster/d1/datas/</path>

  2. 通过 clickhouse-server1(port 9101) 写入一条记录:(111, 3333)

  3. 通过 clickhouse-server2(port 9102) 进行查询正常

  4. 通过 clickhouse-server2(port 9102) truncate 表

  5. 通过 clickhouse-server1(port 9101) 查询正常

4. 代码实现

原型(https://github.com/BohuTANG/ClickHouse/commit/f67d98ef408fda1a359e4fb17848619ef1f6e59b) 需要注意的是,这里只实现了写入数据同步,而且是非常 tricky 的方式。

由于 DDL 没有实现,所以在 zookeeper 上的注册方式也比较 tricky,demo 里的 replicas 都是手工注册的。

5. 总结

本文提供一个思路,算是抛砖引玉,同时也期待更加系统的工程实现。

ClickHouse 暂时还不支持 Distributed Query 功能,如果这个能力支持,ClickHouse 存储计算分离就是一个威力无比的小氢弹。

全文完。

Enjoy ClickHouse :)

叶老师的「MySQL核心优化」大课已升级到MySQL 8.0,扫码开启MySQL 8.0修行之旅吧

ClickHouse和他的朋友们(14)存储计算分离方案与实现

本文分享自微信公众号 - 老叶茶馆(iMySQL_WX)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
2个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
2年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
8个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这