请问有做过时序数据库的大佬么？

[Saunak]

当前将监护仪的毫秒级数据存储到数据库，少量数据还可以访问，但是时间长了就无法访问。是应该替换成时序数据库吗？比如 基于 PostgreSQL 的 TimescaleDB ？有没有可以参考的方案

[faceair]

VictoriaMetrics

[defunct9]

不要用 TimerscaleDB ，之前 prometheus 的持久化放到 TimescaleDB ，一是机器的 CPU 占用极高，而是磁盘空间极高，没法用。

[qi1]

阿里的 TSDB 呢，有问题他们还能给运维（我没用过，听说来的）

[hugowangnz]

我读研那会儿做时序数据，那时候最热门的时序数据库是 influxDB

[bigdude]

国产的 tdengine 可以试试

[Yasuke]

https://github.com/taosdata/TDengine

[opengps]

传统关系数据库想用出时序的效果，确实需要费很大精力优化，还是直接用时序更省心

[chaoshui]

推荐 InfluxDB

[polarbearn]

Apache IoTDB
https://github.com/apache/iotdb

[KongLiu]

时序数据库推荐 InfluxDB ，之前我们有个项目是要本地存储的，用的方案是存成 SQLite ，做好分库也不错

[cnleon]

@faceair 用这个最好

[sxhJoker]

我们有个项目需要存储传感器数据，用的 influxDb

[mrsatangel]

https://github.com/GreptimeTeam/greptimedb 支持 MySQL/PG 协议

[care]

@defunct9 zabbix 现在使用 timescaleDB 作为时序数据库

[emacsistyzy]

clickhouse . 查询性能和数据压缩比都相当可以. 而且也相对简单.

[xmdbb]

目前在用 clickhouse ，量大的話查詢時候也是撐不住，除非集群；
目前基本只存儲 3/7/30 天的日誌，暫時沒問題，如果要求存更久就讓加預算走集群或使用雲服務

[sead]

clickhouse +1 不过这个不合适实时频繁写入，需要实时部分得隔离到 PostgreSQL 这类能频繁写入的，并分批入库到 clickhouse ； 其他的没有用过，clickhouse 最给力的是内存资源使用的没有那么猛，查询还非常给力

[526326991]

国产做的好的涛思数据库（ https://www.taosdata.com/）可以试试
但是迭代版本过快 我司正在用

[yudoo]

@xmdbb #16 你们日志量多少呀， 之前我们每天千万请求 ，感觉能存 1 年

[stardustree]

“毫秒级数据”，时间精度这么高的数据，要做好降采样。

[Saunak]

@stardustree 生理信号的原始波形。100-500Hz 。从研究目的上来说似乎不太好降采样

[snow0]

超大数据量考虑 cassandra

[waising]

@mrsatangel 最近也在看这个，有实际项目使用吗，体验如何，我们主要存储设备上报的数据，目前在用 timescaleDB ，主要考虑设备量有上来看选什么方案更好。

[stardustree]

@Saunak 降采样的策略很灵活：
比如是否存在查询超长时间波形的需求：如果有的话，直接展示原始数据大概率是不行的，哪怕不考虑性能，前端的图都画不出来。可以处理成最大值、最小值、P95 值之类的按时间颗粒度的统计值，有点像股票 k 线图

如果只支持查询短时间的波形：随便 1 个时序数据库都能满足需求，非常简单，你只需要考虑可维护性、并发限制、成本这些方面

甚至可以考虑一种特殊算法的降采样逻辑，精度只有轻微的变化： https://www.base.is/flot/

[BQsummer]

tdengine 就是坨屎, 底层用关系型数据库魔改的; prometheus 不合适, 取值的时候会做估算, 不适合精确数据

[HunterPan]

@faceair 这个乱序不行

[v1]

大胆点，上 elasticsearch

[yemoluo]

@sead 这块我们是直接扔 redis ，以 5 分钟作为单位扔的，然后写一个任务 5 分钟写到 clickhouse 里。最后差不多直接搞了一台来写

[luckyc]

InfluxDB 不能满足么?

[playniuniu]

可以试试 questdb ，做量化高频不少人选这个，可以满足需求

[0x663]

dolphindb

[mrsatangel]

@waising 利益相关，我是 greptimedb 的员工。目前国家电网、oceanbase 、emqx 以及海外不少客户已经生产使用了。可以留个联系方式我拉你进用户群。

[malaohu]

今年打算折腾一下用 InfluxDB 试一试！

[realpg]

@mrsatangel #32
这项目是中国公司做的吗?

[waising]

@mrsatangel #32 V2Fpc2luZw==

[iamtuzi3333]

如果是同一个数据格式就很好处理，随便一个都行；我这也是物联网，但是每个设备数据格式都不一样，最后还是用了 MySQL 处理。

[lancelock]

选个主流的时序库都行

[chenxiansheng]

推荐用国内的涛思吧，有社区版本，存储查询效率都还不错

[zouzou0208]

greptimedb 不错

[kapaseker]

有个 cnosdb ，我看过他家的 rust 课程，哈哈。

[tanxnative]

@faceair VictoriaMetrics 是个非常棒的时序存储中间件,时序数据计算方面有什么推荐吗?
好像现在 flink , risingwave 均未对 VictoriaMetrics 提供完善支持
timescaledb 单机(默认)
influxdb 集群收费
tdengine 集成 flink 部分功能需要企业版
clickhouse 依赖 zk

[shellic]

我们设备数据是秒级的，我们直接简单粗暴用 Doris 了配合 Group Commit 凑活用着哈哈哈哈

[vincent109]

TDengine

[play78]

不建议用 TDengine ，以前营销过度，经常拉踩同行。营造产品很厉害的感觉。

[AnroZ]

毫秒级数据先存到一个数据块（可以用：parquet 格式），再把数据块或者地址存到关系库；嫌弃麻烦可以用 TD 或 InfluxDB

[mrsatangel]

@realpg 是一个开源项目（ https://github.com/GreptimeTeam/greptimedb ），我们在硅谷和国内都有 office

[mrsatangel]

@tanxnative https://docs.greptime.cn/user-guide/flow-computation/overview/ GreptimeDB 的流计算功能开源版可以免费使用，支持降精度，可以用 SQL 来写流计算任务

[faceair]

@tanxnative #41 PromQL 就行，你套一个别的查询引擎没必要吧

[Jiubia]

@tanxnative 推荐 VictoriaMetrics ，支持集群部署。api 接口和查询语句兼容 Prometheus ，所以你可以直接把他当做 Prometheus Plus 来用。
数据来源支持 Prometheus 的主动抓取，和 HTTP 的被动接受
性能尚可，之前每分钟约 5G 数据，在一个 6c12g 的服务器就能扛住了
目前他们的企业版只有多租户集群，单用户版集群是免费商用的。

[spritecn]

@AnroZ OpenObserve 的实现就很舒服,新版本的 OpenObserve 也是 parquet 的

[han3sui]

毫秒级，基本是要做本地缓存机制的，一般先往内存写，设置一个阈值，超出了往 redis 写，然后每秒批量往时序库里插

[tanxnative]

@faceair 需要关联其他数据源中数据

[spritecn]

@AnroZ OpenObserve 的实现就很舒服,新版本的 InfluxDB 也是 parquet 的,上面那条写错了

[madadimy]

目前在用 InfluxDB 用 InfluxDB 最好配套用固态硬盘，有点吃内存，数据备份不友好 增量备份不好用

[Yosomi]

绕不开 Influxdb 的

[tf2]

不推荐 InfluxDB 2.x 。那个 查询语法不能说恶心只能说怪。

1.x 的各种性能问题，如果你用得不多还行。

[chd0919]

之前用的 tdengine ，但是不推荐，感觉还不成熟

[spritecn]

@tf2 用 3,直写 sql

[masterclock]

influxdb 1 的时候使用很好，但不支持 cluster ，然后 1-2-3 升级过于不平滑，甚至查询语言都换了

[masterclock]

手滑发出了：
timescaledb 现在用着还行，问题不大
tdengine 过去碰瓷营销，太恶心了

[tf2]

@spritecn 3 都出来了？让我康康。。。

好家伙，2 那个什么 Flux 语言脑残得要死。。

[encro]

clickhouse ，最简单最好用了。
我比较过 VictoriaMetrics,TimerscaleDB,TSDB

[encro]

现在在用一个 starrocks

[tanxnative]

刚去看了一下资料, 如果需要计算, 还可以考虑 risingwave

[ThisDay]

@mrsatangel #32 国内有什么 offer ？感兴趣！！

[yeelooyeeuu]

推荐 InfluxDB

[ponder09]

@yeelooyeeuu 建议用 influxdb 的哪个版本呢

[tanxnative]

@yeelooyeeuu 之前了解到 influxdb 最新的集群版本是需要收费的

[realpg]

@stardustree #24
科研用途的超大规模数据 基本没有需要直接显示的


@mrsatangel #46
你国内的公司持有软件著作权吗?

[xmdbb]

@yudoo 目前平均每天 200 万左右，我们就一台 4c8g 的机器，写入日志目前是队列批量定时写入。
但是磁盘空间和查询时候 CPU 占用很高，所以才取平衡点减少保留天数。

[mrsatangel]

@realpg 软著申请了不少，这玩意不是挺简单的吗？