V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
daodao97
V2EX  ›  问与答

在数据变动的情况下如何对原始数据进行统计和查询

  •  
  •   daodao97 · 2019-11-20 14:09:16 +08:00 · 1613 次点击
    这是一个创建于 1828 天前的主题,其中的信息可能已经有所发展或是发生改变。
    因为业务逻辑问题,数据随时可能发生变动,现在的需求是,在一定时间段内对原始数据进行统计,并查询出相关的数据明细(初期数据量百万级)。除了给变动数据加上时间来排除以外,还有什么好办法没有,想的头疼。
    9 条回复    2019-12-01 04:50:41 +08:00
    daodao97
        1
    daodao97  
    OP
       2019-11-20 14:15:15 +08:00
    数据库用的 mysql
    clancyliu
        2
    clancyliu  
       2019-11-20 18:13:24 +08:00
    你百度一下 CDC,不知道这个可以解决你的需求不。
    areless
        3
    areless  
       2019-11-20 18:35:15 +08:00 via Android
    Binlog 可视化
    akira
        4
    akira  
       2019-11-20 18:36:05 +08:00
    记录下所有数据的变动情况
    liuzhaowei55
        5
    liuzhaowei55  
       2019-11-20 22:38:03 +08:00 via iPhone
    是数据更新还是还是有新的数据进来?数据更新的话不复制出来没有别的办法保存吧,是有新数据进来的话就加时间戳吧,不过按这数据量感觉 mysql 的时间戳也不太够用吧
    daodao97
        6
    daodao97  
    OP
       2019-11-20 22:58:04 +08:00
    @liuzhaowei55 数据更新,复制出来不太现实,有很多时间段统计,太占空间了
    TomVista
        7
    TomVista  
       2019-11-21 09:30:55 +08:00
    上 redis 维护统计数据,数据变动,修改 redis. 比如某个 sum newSum = oldSum+ newValue-oldValue.
    daodao97
        8
    daodao97  
    OP
       2019-11-21 22:55:50 +08:00 via Android
    还有什么更有效率和性价比的办法吗
    daodao97
        9
    daodao97  
    OP
       2019-12-01 04:50:41 +08:00 via Android
    继续寻找方案
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3010 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:17 · PVG 22:17 · LAX 06:17 · JFK 09:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.