V2EX › noobmaster 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2021-12-03 20:19:30 +08:00

2021-12-03 20:03:13 +08:00

@rrfeng 其实数据库硬抗也是能扛下的，只是不希望这个需求把数据库资源给占用太多。还是需要缓存在前面扛一扛

2021-12-03 20:00:10 +08:00

@matrix1010 300w 每天是比较极端的情况，正常应该是百万以下。因为原始数据比较多，所以需要过滤掉已经存在的数据，但是为了避免遗漏所以不存在是必须返回 false 。

2021-12-03 18:42:07 +08:00

存 redis 的话，set 应该是最合适的数据类型了吧。

2021-12-03 18:39:36 +08:00

@moliliang 布隆过滤器是 “存在的不一定存在”，实现不了“存在的一定存在”吧。
反过来去思考，要求存在这个信息是准确的话，不存在的信息就也是精确的了。
看起来是必须保存这 1 亿个 md5 的完整信息了😳

2021-12-03 18:01:39 +08:00

@colatin 所以就是必须以某种形式保存最多 1 亿个 md5 ，只是用什么形式成本和效率有比较好平衡

2021-12-03 17:59:47 +08:00

@colatin 是的，把自己绕进去了。

2020-04-24 11:21:39 +08:00

分子