Kubernetes 该用什么开源存储

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

目前，我们公司正在使用青云的 KES ，不过尚未购买存储服务。目前采用 NFS 方案，但其性能似乎已不能满足我们的需求。因此，我们考虑进行更换，选择了 Ceph 。然而，根据一些反馈，Ceph 的运维难度较大。

因此，我想请教各位专家，是否有其他推荐的分布式存储方案？(最好是免费的，因为我们公司的预算有限。感谢大家的建议和帮助！)

第 1 条附言 · 1 天前

买的是青云的 KES,本地许可.部署在集团的 VM 机器上

28 条回复 • 2024-11-26 17:56:33 +08:00

mightybruce

1 天前

提供的信息太少，分布式存储多的很，免费还想好用，性能还不错没有这个可能性。

GeekGao

1 天前

试试 juicyfs ？

defunct9

1 天前

GlusterFS

PeiXyJ

1 天前

@GeekGao 大佬有在生产环节上用过吗?

PeiXyJ

1 天前

@mightybruce 您说的很有道理,其实就是在免费里面找一个最好的而已...

GeekGao

1 天前

@PeiXyJ 没有，我都是用公有云上的。只是之前调研过它

thet

1 天前

GlusterFS+1

tap91624

1 天前

用过 hdfs 魔改的，估计和 hdfs 差不多

joyoyao

1 天前

分布式存储最好不要上 k8s ，数据库之类的可以搞主备方案。分布式存储中网络是最大的瓶颈，如果不是自建物理集群，单独对网络进行优化，性能都不太行, 而且网络优化这一块难度比较大，设备也比较贵。如果用分布式存储的话推荐 ceph 。不过要单独搞个 10G 以上的网口给 ceph 用。主备方案可以考虑 kubeblocks 或者各种数据库 operator 。

perfectlife

1 天前

云上不是可以直接挂在云盘作为 pv 么，简单省事

hutoer

1 天前

开源里面最好的估计也就 Ceph 了。GlusterFS 小文件性能极差，不适合 k8s 中使用。

hutoer

1 天前

我们线上 10 多台存储服务器，跑 Ceph ，还行吧，平常也没啥需要运维的

COW

1 天前

我建议先从硬盘规格、网络带宽、共享协议这几个方面进行优化，然后再考虑分布式存储方案，Ceph 已经是个比较理想的选择了，运维上确实有一定门槛，而且硬件差的话运维起来会很难受。

zed1018

1 天前

mark 一下这个帖子，我们现在在用 nfs ，作为 client 的那个 node 性能指标确实很难看。

CCIEliu

1 天前

如果你想方便易用，强推 Longhorn ，甚至有 web 管理页面，全量备份，增量备份，离线备份到 S3 ，多副本，热升级，都行。用了都说好。
https://longhorn.io/

当然如果你想功能完善健壮，那还是要用 ceph+rook

sunziren

1 天前

ipfs

pckillers

1 天前

目前用腾讯云的 K8s 。貌似叫 TKE 吧。储存原来是 nfs 协议的 CFS 服务。后来跑 ai 就上了个不知啥协议的腾讯自己封装的 cfs-turbo 服务。插件里点一下，就装好对应的 storage-class 了。很方便。

COW

1 天前

@CCIEliu longhorn 是块存储设计，如果 k8s 上利用 RWX 共享卷给团队用，相当于走了 nfs + 块存储两层，而 NAS 直接走 nfs 只要走一层，同样的硬件下，性能说不定更慢了

CCIEliu

1 天前

@COW
0. Longhorn 当然是快存储设计，楼主正在寻找分布式存储，Longhorn 即为分布式快存储。
1. 楼主没说要 RWX ，目前只是已经在用 NFS 的方式提供持久化方案。
2. 楼主明确说 NFS 已经不满足读写性能，如果切换 longhorn ，楼主不至于用已经存在性能问题的 NFS 当后端。过两遍存储逻辑。
3. 也有没在回复中推荐将 NFS 作为 longhorn 的底层存储。
4. 没明白你单独拎出来这种"如果"想表达什么。

CCIEliu

1 天前

@CCIEliu *块存储

COW

1 天前 via Android

@CCIEliu 我的意思是 op 可能就不需要块存储的需求，NAS 本身主要就是用于文件共享和备份，是基于 nfs smb 这种文件级协议设计的，如果想找替代品的话，应该是倾向于类似 cephfs 这种文件级的存储方案。