这是一个创建于 1501 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在数据库有一张表数据已经过亿了，需要从不同维度统计按日，按月的数据，有没有什么好的解决方案呀，求教各位大神
 |
1
imherer 2020-10-13 17:11:33 +08:00
再建一张表把统计结果放进去，下次有用户统计的时候直接展示统计结果表里的数据即可
|
 |
2
clf 2020-10-13 17:12:50 +08:00
看看 ClickHouse ？
|
 |
3
duyuyouci OP @imherer 现在有几个维度是这样做的，但是还存在修改往日数据的场景，有没有类似于数据订阅那样的统计，或者是实时查询效率比较高的方案
|
 |
5
misaka19000 2020-10-13 17:19:14 +08:00
Spark
|
 |
6
NeezerGu 2020-10-13 17:19:43 +08:00
涉及上亿数据按天 /月 group by 的建议找大数据团队走 hive 来统计吧？
如果没有这方面的资源，那我很怀疑直接跑 sql，会比直接 select 出来然后 python 来跑还要慢？ 另外如 1L，如果不不涉及历史记录修改，只涉及增量数据更新，那建议直接生成每天的结果数据，然后单独保存展示 |
 |
7
sonice 2020-10-13 17:30:09 +08:00
为啥都觉得上亿就多，单机的 es 或者 clickhouse 解决都是轻轻松松
|
 |
11
huayumo 2020-10-13 18:06:31 +08:00
我也觉得 es 挺好用
|
 |
12
jenlors 2020-10-13 21:36:35 +08:00
ClickHouse 可以满足你
|
 |
16
user8341 2020-10-14 00:41:03 +08:00
|
 |
17
wellsc 2020-10-14 01:40:50 +08:00
时序数据库
|
 |
18
lifanxi 2020-10-14 01:55:33 +08:00 via Android
|
 |
19
rapperx2 2020-10-14 08:19:05 +08:00
我们公司也是过亿表遇见你这种情况，现在方案是迁移数据库 clickhouse （之前是 sqlserver ）
|
 |
21
kaiz1121 2020-10-14 09:58:24 +08:00  1
如果是单表，可以选择 clickhouse,但是 clickhouse join 操作不行，但 clickhouse 单表还是宇宙第一。复杂多表不能单单靠一个组件就解决的。需要上一套系统，从 ETL 开始 监听 MySQL binlog，或者写入 mysql 的业务，双写到消息队列，然后把数据同步到写优化层，比如 hudi，然后从从写优化层导入到读优化层，比如 doris，然后从 doris 查询就很快了。如果是简单的统计，可以用 hbase，不用引入读优化层，和写优化层。但是如果是报表类的复杂查询，hbase 是不够的，有钱的话，直接用 ES，省心，慢了加机器。 还是得看具体业务需求。
|
 |
22
laminux29 2020-10-14 10:21:23 +08:00
什么业务，什么设备以及设备性能指标，什么系统，什么软件，数据结构怎样，相关设备最近一个月以分钟为粒度的负载表，你做这事有什么资源，做着事有什么性能指标或特性偏向，等等。你问的这个问题，至少要给出以上这些基本这些信息。不然，让我学楼上所有老哥，激活天赋技能 [先知] ，进行盲猜？
而且你做这事，信息安全，数据权限，备份等问题，你还得自己想好怎么处理。 |
 |
23
madworks 2020-10-14 11:40:19 +08:00
上亿数据，不同维度，按日按月？？？直接报表工具啊，powerbi，tableau，ssas
|
Select Language