请教各位，这种海量数据的存储方案~

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2171 天前的主题，其中的信息可能已经有所发展或是发生改变。

每天 5~8 亿条同类型的数据，每条数据在 50+个字段（有部分没有，但是也填充成一样的字段了），求助各位 v 友，有没有什么好的数据库方案可以推荐？我好学习下

字段

数据

填充

方案

14 条回复 • 2018-12-15 14:27:02 +08:00

misaka19000

2018-12-14 23:34:39 +08:00

nosql

misaka19000

2018-12-14 23:36:20 +08:00

可以用 ES

hyperdak288

2018-12-14 23:37:07 +08:00 via Android

需求事务就 tidb
不需求就 es
还是看具体的也许类型

dapang1221

2018-12-14 23:37:09 +08:00

“每天 5~8 亿条同类型的数据，每条数据在 50+个字段”……你这是想把日志存起来……？检索日志试下 EFK 吧，冷数据进磁带机……

JL1990

2018-12-14 23:52:59 +08:00

没有事务需求，可以说是日志呢，ES 性能怎么样？抱歉，没有用过相关的。我查了下，是属于开源搜索与分析的软件，但存储方案呢？选什么数据库比较好？做集群的话，得多少台机器起步呀~
@hyperdak288
@dapang1221

jiang2018

2018-12-15 00:26:09 +08:00 via Android

要做分析吗

jiang2018

2018-12-15 00:26:25 +08:00 via Android

加微信 1259131780

jiang2018

2018-12-15 00:26:48 +08:00 via Android

HANA 内存数据库了解下

FullBridgeRect

2018-12-15 00:27:29 +08:00 via Android

@JL1990 es 貌似可以存东西的

SsuchingYu

2018-12-15 00:31:46 +08:00 via Android

@jiang2018 #8 我总觉得不开源不好。

yanaraika

2018-12-15 01:58:53 +08:00 via Android

如果里面有非结构化数据需要搜索那就 es + mongodb，否则就 influxdb

yidinghe

2018-12-15 10:02:45 +08:00 via Android

日志存储对性能要求不高，对可扩展性要求高。用内存数据库不合适，看看 cassandra。

byteli

2018-12-15 10:20:32 +08:00 via Android

堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好，3 台 8 核 32g 是肯定够了的，甚至 16g 也能凑合，磁盘要大点，每天 8 亿不是很大其实

JL1990

2018-12-15 14:27:02 +08:00

没有很复杂的后续分析，目前考虑就用 ES 了，后续再考虑 4#说的 EFK 方案吧，感谢各位
@byteli