数据库同步工具
sqlserver,Mysql数据同步软件

【MySQL Canal 数据同步】Canal入门 2020_01_01

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件

  • 简介
      • 起源
      • 常见使用场景
      • 工作原理
      • Binlog
          • Binlog类型
  • MySQL配置
      • 授权
      • 修改my.cnf
      • 检查binlog
  • 运河安装
      • 资源
      • 部署
      • 验证

运河是Atteraba Otter中间件的一部分。

水獭的存在:解决了阿里巴巴远程计算机室业务数据库的实时同步问题。

实现原理:基于数据库增量日志解析,提供中间件以供增量数据订阅使用Java开发。

Canal执行MySQL的binlog日志分析,然后使用Canal客户端获得的增量数据分析结果。

1.更新缓存(监控MySQL,更新Redis)

2.抓住新添加的变更表来制作拉链表

3.业务数据库的实时项目

MySQL本身具有主从复制机制(高可用性),Canal使用从属从身份来合法获取主数据库的所有更新数据(本质上是由主数据库执行的SQL语句,从属会再次执行它,因为要达到数据同步的效果)

具体步骤:

  1. master master数据库会将数据的SQL记录更改为二进制日志文件(binary log)
  2. 从站将转储协议从主库发送到主主库,将主主库的二进制日志事件复制到从属库自己的中继日志中;
  3. 从站从库中读取并重现中继日志中的事件,以实现数据同步的效果[莫名其妙地记住了历史重现(笑)

二进制日志,它记录所有DDL和DML(数据查询语句除外)语句,以事件的形式记录,并且还包含执行该语句所消耗的时间,MySQL二进制日志是事务安全的。

Binlog包含两种类型的文件:

①二进制日志索引文件(.index)用于记录所有二进制日志文件;

②二进制日志文件(.00000X)记录数据库的所有DDL和DML(数据查询语句除外)语句事件。

Binlog日志文件的前缀是mysql-bin。稍后生成的日志文件为mysql-bin.00000X,该文件后面的数字X按顺序生成。每次mysql重新启动或达到单个文件大小的阈值时,都会创建一个新文件并按顺序编号。所有二进制日志文件将存储在索引索引文件中。

如果启用Binlog,将损失大约1%的性能。使用方案:

  1. 主从高可用性
  2. 数据恢复

Binlog类型

共有三种mysql binlog模式,即STATEMENT,MIXED和ROW。

您可以选择在配置文件中进行配置

差异:

1)声明

在语句级别,binlog记录每次执行写操作时执行的语句。

但是可能存在诸如更新t1设置日期= now()之类的不一致之处,这将根据执行时间生成不同的数据

优点:节省空间

缺点:可能会导致数据不一致。

2)行

在行级别,binlog记录每次操作后行记录中的更改。

优点:保持数据的绝对一致性。因为无论是什么sql,都引用了什么函数,因此他记录了执行后的效果。

缺点:占用更多空间。

3)混合

该声明的升级版本已在一定程度上得到解决。某些情况导致的语句模式不一致

在某些情况下,该语句不适用,将以
行的方式对其进行处理

当函数包含UUID()时;当包含AUTO_INCREMENT字段的表被更新时;

当执行INSERT DELAYED语句时;使用UDF时;

优点:节省空间,同时考虑到一定的一致性。

缺点:仍然有一些非常罕见的情况仍然会导致不一致。另外,在需要监视二进制日志的情况下,语句和混合语句并不方便。

因此,基本上只使用行模式

MySQL部署请参阅另一篇博客文章:[MySQL入门] MySQL 5/8两种操作系统部署2019_12_30

在主库Master中,提供和伪装在从库Canal中注册的帐户的密码,并授予其权限。

/etc目录中可能没有my.cnf,请转到/usr/share/mysql/目录,并将my-default.cnf的副本复制到/etc中。

注意:它需要重命名为my.cnf,server-id在整个LAN中是唯一的

 

重新启动MySQL服务

,不建议重新启动。 。 。我从来没有成功

https://github.com/alibaba/canal/releases

 

通过Java客户端API连接到Canal。省略

未经允许不得转载:数据库同步软件|Mysql数据同步软件|sqlserver数据库同步工具|异构同步 » 【MySQL Canal 数据同步】Canal入门 2020_01_01

分享到:更多 ()

syncnavigator 8.6.2 企业版

联系我们联系我们