数据库同步工具
sqlserver,Mysql数据同步软件

debezium获取mysql binlog通过kafka实现mysql同步

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件



  • 下载地址
  • 解压缩tar-zxvf confluent-5.1.2-2.11.tar.gz
  • 汇合
  • 快速入门ZooKeeper,Kafka,架构注册表,控制中心,Kafka Connect,Kafka REST代理,KSQL。
  • https://blog.csdn.net/microopithecus/article/details/bin/confluent开始

    描述

    如图所示,快速启动成功

官方网站地址

debezium-connector-mysql/0.8.1。最终下载连接

  • 安装插件Debezium并将解压缩的debezium复制到混合安装目录中的share/java文件,例如/usr/local/hadoop/confluent-5.1.2/share/java/
  • 配置后,重新启动配置
  • 编辑my.cnf

 

重新启动服务

 

  • 登录后查看

 

 

  • 创建后,您可以查看它

 

  • 成功启动后,您将在主题中找到与表格对应的主题

 

  • 使消费者能够更改以查看数据

 

  • 使用kafka-connect-jdbc
  • 修改/usr/local/hadoop/confluent-5.1.2/etc/kafka-connect-jdbc/sink-quickstart-sqlite.properties文件

 

*直接开始连接并加载,因为它已经启动

 

  • 如果没有同步,请在启动后使用命令检查状态

 

因为它是使用avro序列化的,所以需要一个同步程序来解析它并将其写入mysql

程序配置

 

  • 同步程序主要用于消费消息并将其写入mysql。消费者有两个监听器,因为debezium分别监听ddl和dml
  • ddl
  1. 插入:INSERT
  2. 更新:UPDATE
  3. 删除:删除
  • dml

    数据定义语言DDL用于在数据库表,视图,
    中创建各种对象

    索引,同义词,聚类等:

    创建表/查看/索引/同步/集群

    表格视图索引同义词簇

    DDL操作是隐式提交的!无法回滚

  • 代码

 

  • 此处未列出过多的提供程序和表字段解析器。如有需要,请与我联系。
  • 坑1:

 

较少的mysql-connect驱动程序包

在下面的/usr/local/hadoop/confluent-5.1.2/share/java/kafka-connect-jdbc/中添加mysql-connect的驱动程序jar包

  • 2号坑

    通过查看日志,我怀疑avro的序列化问题无法写入mysql

    可以写,但是sql会报告sql错误(由同步程序解决)

  • 3号坑

    连接后,我发现创建表并启动同步习惯用法不会读取历史记录,这被认为是偏移量问题。 (由于在测试过程中使用了相同的使用者组,因此偏移量将始终具有记录的值-记录连接器的主题Middle:连接器也位于单独的Kafka主题(即数据库历史记录主题)中

  • 4号坑

    首先,可以监视相应表的主题,但是不能监视相应的服务器tiopc(ddl)。如果无法创建表,则在更改表后写入表时将报告错误(问题与上面相同)

  • 5号坑

    为什么连接成功后默认情况下只有一个分区

    (数据库历史记录主题仅由连接器使用,但是连接器可以选择在另一个kafka主题上生成模式更改事件,特别是针对使用者应用程序。(在数据库模式(模式)历史记录中,确保事件的全局顺序非常重要,因此无法对数据库历史记录主题进行分区,这意味着在创建此主题时,必须将分区数指定为1。当依靠kafka自动创建主题的机制时,请确保配置中的默认分区数选项num.partitions设置为1)。)

  • 索引

https://damonchow.github.io/2019/08/07/cdc-debezium-two/#more

https://debezium.io/blog/2016/09/19/Serializing-Debezium-events-with-Avro/

https://cloud.tencent.com/developer/article/1406858

https://blog.csdn.net/laoyang360/article/details/87897886

https://docs.confluent.io/current/schema-registry/installation/config.html#avro-compatibility-level

http://www.luyixian.cn/news_show_17625.aspx

https://blog.csdn.net/qq_42612645/article/details/82891815

未经允许不得转载:数据库同步软件|Mysql数据同步软件|sqlserver数据库同步工具|异构同步 » debezium获取mysql binlog通过kafka实现mysql同步

分享到:更多 ()

syncnavigator 8.6.2 企业版

联系我们联系我们