数据库同步工具
sqlserver,Mysql数据同步软件

将数据处理结果保存在mysql,redis等可以设置主键的数据库中

购买事宜请联系QQ:1793040

根据您自己的理解和kafka权威指南提供的方法,有两种方法可以实现消费者的一次性语义。在kafka 1.10之后,kafka可以保证从生产者到代理的一次性语义。

以这种方式使用的数据库主键的唯一性,我们只需要确保数据不会丢失,即使数据被消费方重复使用,我们只需要在替换结果时替换原始结果即可存储在数据库中。太。

优点:我们不需要复杂的实现,可以将偏移量继续保存到kafka中,而无需自己进行管理

将kafka参数enable.auto.commit设置为false,并放弃将偏移量自动提交给kafka端。我们将自行管理卡夫卡胶印机。这个实现比第一个实现更复杂,并且我们暂时还没有发现任何东西。好处的核心是使用数据库事务的原子性。提交成功,数据结果和偏移量已更新,或者未成功。数据结果和偏移量不会更新。不管是哪种结果,都不会影响我们的一次性。语义概念,数据既不会丢失也不会被重用。此外,我们需要自定义重新平衡监视器,以在客户挂起时完成偏移量的提交以及启动后获取偏移量的方式。

代码如下:

 

消费者代码:

 

未经允许不得转载:数据库同步软件|Mysql数据同步软件|sqlserver数据库同步工具|异构同步 » 将数据处理结果保存在mysql,redis等可以设置主键的数据库中

分享到:更多 ()

syncnavigator 8.6.2 企业版

联系我们联系我们