V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
SachinBeyond
V2EX  ›  问与答

数据库重启导致 CDC 中间件无法继续受到 CDC 消息该如何处理?

  •  1
     
  •   SachinBeyond · 2021-06-24 19:09:20 +08:00 · 724 次点击
    这是一个创建于 1251 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ( 1 )贵公司使用的 cdc 开源框架是哪个 canal /debezium? (2)贵公司的业务场景是怎样的 ( 3 )我们公司用到的是 Debezium,目前遇到几个问题,其中有一个问题:Debezium 提供了一个 EmbeddedEngine,这个 Engine 的工作流程可以大致简单描述未

    run (){

      step1:Engine 内部会 启动一个线程 A,连接 mysql 数据库 读取 binlog 日志,将读取到的数据放置到某一个队列中
    
     step2:
      while(xxxx){
           data=queue.take();
           //交给项目的业务类处理
      }
    

    }

    问题:重启了 mysql 服务器之后,线程 A 抛出了异常导致 无法继续从 mysql 服务器读取 binlog 日志。 然后这个时候 Engine 感知不到,就会一直阻塞在 take 处。

    然后我们的业务代码就收不到 CDC 消息了,这个该如何处理?

    3 条回复    2021-06-24 21:58:02 +08:00
    liprais
        1
    liprais  
       2021-06-24 19:13:16 +08:00
    跟着重启不就完了
    你更应该解决的是为啥数据库重启了你不知道
    SachinBeyond
        2
    SachinBeyond  
    OP
       2021-06-24 21:19:34 +08:00 via Android
    @liprais 那个线程抛出的异常我捕捉不到,导致我这边都不知道数据库重启了。业务组那边说有几个单子没有收到 cdc 消息,然后检查日志才发现是数据库被人重启了
    liuhouer
        3
    liuhouer  
       2021-06-24 21:58:02 +08:00 via iPhone
    flinkx 支持按照时间点抓取 cdc 变更
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1852 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 16:35 · PVG 00:35 · LAX 08:35 · JFK 11:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.