MYSQL5.7实时同步数据到TiDB

Wesley13
• 阅读 862

操作系统:CentOS7

mysql版本:5.7

TiDB版本:2.0.0

同步方法:使用TiDB提供的工具集进行同步

说明:

单机mysql同步时,可以直接使用binlog同步,

但mysql集群进行同步时,则必须依靠GTID,但开启GTID后,对事物要求更高,导致以下操作会失败:

(1) 不能同时揉合多个事件;
(2) 事务内部不能创建临时表;
(3) 不能在同一事务中即更新InnoDB表,又更新MyISAM表。

配置mysql基本信息,添加如下配置

vi /etc/my.cnf

# server-id默认为0,不接受任何slaves。所以必须修改为0以外的数字
server-id=1
# STATEMENT,ROW,MIXED三种模式。默认为MIXED,需要修改为ROW
binlog_format=ROW

# 开启日志输出,并指定log文件位置与名称
log_bin=mysql-bin
log-bin-index=mysql-bin.index


# 日志提交后的写入模式,提供0,1,2三种选择,1是最为可靠的,也是性能最差的
# 0:log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。
# 1:每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去,该模式为系统默认。
# 2:每次事务提交时MySQL都会把log buffer的数据写入log file,但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。
innodb_flush_log_at_trx_commit=1 


# 二进制日志(binary log)同步到磁盘的频率
# 0 不主动同步,而依赖操作系统本身不定期把文件内容 flush 到磁盘。
# 1 每个语句或者事物后同步一次
# n 指定为n个语句或者事物后同步一次
sync_binlog=1


# 是否将同步记录记入自己的binlog,默认为0,即不记录。
# 如果本机B有从机C,当A同步binlog到B时,该选项没有开启,则A的操作只会同步到B,而不会同步到C。即B不会记录binlog,也就不会同步到C
log-slave-updates=1

配置完成后重启mysql

# systemctl restart mysql
  • 导出前检查

导出前需要对表进行检查,这里以mysql的系统库做例子,实际导出数据时,应指定对应库。如果出错,则说明无法进行同步

# 检查整个mysql库
 ./checker -host 172.18.100.65 -L debug -user root -password root mysql 

# 检查mysql库下的db表
 ./checker -host 172.18.100.65 -L debug -user root -password root mysql db
  • 导出数据

    ./mydumper -h 172.20.51.68 -P 3306 -u root -p root -B housedata -t 5 -F 1 --skip-tz-utc -o test

-h 源数据库IP   

-P 源数据库端口   

-u 用户名 -p 密码   

-B 源数据库名   

-t  导出线程数 

-F 分割文件大小,单位M(推荐64)

--skip-tz-utc 不修改时间   

-o 导出到文件夹名,支持绝对路径

导出后,到对应文件夹中可以看到对应的导出数据:

数据库名-schema-create.sql  库信息
数据库名.表名-schema.sql  表信息
数据库名.表名.sql   表数据
metadata   同步信息(后续做增量同步时,需要用到该文件中的信息)
  • 导入数据

    ./loader -h 172.18.100.66 -P 4000 -u root -t 3 -d test

-h 目标数据库IP

-P 目标数据库端口

-u 用户名

-p 密码(密码为空时,去掉该参数)

-t 导入线程数

-d 导入的文件夹,支持绝对路径

导入时会创建一个tidb_loader数据,里边会有checkpoint表,记录了每张表导入的进度

MYSQL5.7实时同步数据到TiDB

如果清理掉目标记录,再次导入时,数据将不会被再次导入,可以清理掉checkpoint后,再进行导入。

  • 启动同步

在syncer的目录下创建config.toml和syncer.mata

# vi syncer.meta 
binlog-name = "mysql-bin.000001"
binlog-pos = 68335

# vi config.toml

log-level = "info"
server-id = 101

#meta 文件地址
meta = "./syncer.meta"

worker-count = 16
batch = 10

## pprof 调试地址, Prometheus 也可以通过该地址拉取 syncer metrics
## 将 127.0.0.1 修改为相应主机 IP 地址
status-addr = "172.20.51.68:10086"

replicate-do-db = ["housedata"]

[from]
host = "172.20.51.68"
user = "root"
password = "root"
port = 3306

[to]
host = "172.18.100.66"
user = "root"
password = ""
port = 4000

启动同步程序

./syncer -config config.toml

如果同步成功了,syncer.meta文件的binlog-pos应该被自动更新的,但实际上没有,所以导致每次数据都会被重新同步一次。

这里要跟踪一下,看看是什么问题。

  • GTID同步

查看mysql版本,版本最好是5.7的,其它版本不保证能够配置成功。因为GTID在5.6版本才刚刚提供

mysql>show variables like 'version';

在binlog同步配置的基础上,再增加GTID的相关配置。

# vi /etc/my.cnf
gtid-mode                  = ON
enforce_gtid_consistency = ON

systemctl restart mysqld

使用./mydumper导出数据,方式与binlog方式一样。

但注意导出前需要插入一条记录,否则metadata文件中的GTID会时空的。因为刚刚启用GTID,还没有生成记录。

./mydumper -h 172.20.51.68 -P 3306 -u root -p root -B housedata -t 5 -F 1 --skip-tz-utc -o test

导入数据与binlog方式一样

./loader -h 172.18.100.66 -P 4000 -u root  -t 3 -d test

设置syncer.mate,需要从meta文件中多拷贝一个binlog-gtid过来

binlog-name = "mysql-bin.000002"
binlog-pos = 13355
binlog-gtid = "c1d8336d-5d6d-11e8-8ad0-0050563c1c70:1-30"

 启动同步,需要增加对应参数

./syncer -config config.toml --enable-gtid

同步后syncer.mate文件虽然刷新了binlog-pos,但是binlog-gtid依旧没有被刷新。

所以如果重启了,只能手工再导一次,

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
5个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这