V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Saxton
V2EX  ›  Elasticsearch

Elasticsearch 和 Mysql 数据冗余更新问题

  •  
  •   Saxton · 2021-09-10 11:19:07 +08:00 · 2499 次点击
    这是一个创建于 930 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看了官方文档,官方文档提成反规范化设计,并且提供了 4 种方式,最简单不影响性能的就是把有关系的数据掰成扁平化,目前我们系统做了一个自定义字段,考虑数据量大而且前端要做复杂筛选条件,上了 es,存数据时同时操作了 es 和 mysql,查询全部采用 es
    插入的时候把自定义和系统字段全部掰成了一份文档储存,那么字段数据更新的时候该怎么办呢,或者有什么更雅的方案嘛,有做个的大佬麻烦给点意见,第一次使用 es

    12 条回复    2021-09-11 01:52:29 +08:00
    theOneMe
        1
    theOneMe  
       2021-09-10 11:40:02 +08:00
    binlog
    Saxton
        2
    Saxton  
    OP
       2021-09-10 11:40:45 +08:00
    @theOneMe 我了解到了阿里的 canal
    kidlj
        3
    kidlj  
       2021-09-10 12:15:01 +08:00 via iPhone
    cdc debezium kafka
    strawberryBug
        4
    strawberryBug  
       2021-09-10 12:48:38 +08:00
    看你 es 和 mysql 存储的数据结构是否一致? es 不好做 join 查询,多表写入一个索引这种需求的话还是选用传统的方式更好扩展些,即推送更新到 mq,消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种,canal,logstash 都行
    jabari
        5
    jabari  
       2021-09-10 12:54:29 +08:00
    Change Data Capture (CDC) canal kafka
    gBurnX
        6
    gBurnX  
       2021-09-10 13:18:04 +08:00
    你都没说你的业务需求,一上来就问怎么用工具?
    misaka19000
        7
    misaka19000  
       2021-09-10 13:50:06 +08:00
    这不简单,插入和更新都走同一套数据格式处理逻辑不就行了
    ElmerZhang
        8
    ElmerZhang  
       2021-09-10 13:57:51 +08:00
    https://github.com/alibaba/canal
    要保证数据一致性,这基本是最优解
    swcat
        9
    swcat  
       2021-09-10 14:31:12 +08:00
    go-mysql-transfer -> 使用 lua 写同步逻辑
    wangxin13g
        10
    wangxin13g  
       2021-09-10 17:41:05 +08:00
    想说 canal 的 然后看了下发现有人发了
    changdy
        11
    changdy  
       2021-09-10 19:18:45 +08:00
    debezium 😎
    WriteCloser
        12
    WriteCloser  
       2021-09-11 01:52:29 +08:00   ❤️ 1
    1. 阿里云 DTS 订阅 binlog 同步
    2. 实时性要求不高并且数据量不大可以每天跑下全量
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4395 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:10 · PVG 18:10 · LAX 03:10 · JFK 06:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.