为什么没人用多台跑了 open-zfs 的 NAS，搭配 ceph 跑分布式存储？怎么还没普及？

[mrzx]

以后多台 NAS 肯定是趋势吗，安全性大不了用三副本吗

是大多数家庭内网不到 10G 速率，还是分布式存储目前属于“溢价和额外收费阶段”，不好下放到民用级？

我看成熟的群晖，和 truenas 主流的 NAS 系统，都把类似功能做成企业级功能进行额外收费

[xtreme1]

如果我的 home server 达到这个规模, 我肯定存算分离

[dode]

NAS 天然都配置了 RAID ，没有处理性能，没有 CEPH 运行设备条件

[banmuyutian]

家庭用还搞分布式纯属给自己找活干吗

[mrzx]

@dode 底层用 raiz2,再 ceph 上 双副本都用不着。。。

主要多台 nas,为什么不做有效的存储资源整合？

[KagurazakaNyaa]

ceph 的 osd 最好是直接跑在物理硬件上，不建议再套一层 raid ，否则 PG 的再平衡可能会出问题哦

[mrzx]

@KagurazakaNyaa 我懂你的意思，一旦某个 raid 组中的硬盘损坏，或导致 raid 组性能下降（并且还存在数据安全），但 ceph 还认为这个 raid 组是好的单个节点存储。继续向已损坏的硬盘写入数据,并且会造成整个分布式存储性能下降。
导致 PG 的再平衡出现严重问题。。


但是，这一切的前提是建立在 raid 组出现问题的条件下。。。家里有好几台 NAS ，哪个硬盘损坏，不是很快就发现了吗？

[mrzx]

而且，我大不了不用 raid 吗，就单纯用 zfs,不行吗？

靠 ceph 的三副本冗余机制也可以吗

[KagurazakaNyaa]

@mrzx 你都用 ceph 了何必还要 zfs 呢，你是打算 zfs 跑在 ceph 的块存储上？

[mrzx]

@KagurazakaNyaa 是，因为 NAS 里还有很多没用完的资源，想整合

[KagurazakaNyaa]

@mrzx 那为啥不直接用 cephfs ，ceph 本身是有块存储、文件系统存储和对象存储功能的

[ntedshen]

天天普及，啥都普及，啥都主流
等于啥都不普及，啥都非主流

[8675bc86]

纯属给自己挖坑，ceph 的坑比 zfs 大多了，一般公司小团队都不一定能搞定，屎山一样的代码。那个 C++，写的各种风格，看着贼难受。

[HTravel]

CEPH 家用很垃圾的，因为它把每个大文件分成小块，这就导致看一部电影，可能要到所有磁盘上找各个块来合并成一部电影。商用场景下没错，IO 性能最高。但家用场景下所有磁盘都不能休眠，耗电高、温度高、空调散热压力大、炒豆子声音和散热风扇声更是受不了。

其实基于文件散列值，自己写一个家用的分布式存储并不难。基于散列值分片，每个片有 3 块硬盘来达到三副本。考虑到不是同一时期买的硬盘（但一次必须买 3 块盘），后买的硬盘容量更大，那可以数据分片时环形哈希就行了。不考虑动态扩容，存不下了采用数据割接方案。

在确保三副本前提下，应该尽可能将一个文件完整存储在一个磁盘上。家用场景很可能是晚上才看部电影，甚至都不看，所以所有硬盘在正常情况下都应该休眠。

当然实际上都不需要这么麻烦。只需要保证 3 副本，然后不同的磁盘取不同的名字就完了，手动往上面放就行，最简单最好维护。我家里就这么玩的。而我之所以提了散列值，是因为我的文件快照，就是这样实现的。

[goodryb]

就 nas 这种需求你要上 ceph ，属于是大炮打蚊子

[viking602]

nas 还要上 ceph 了吗...? 没活给自己找点活干？

[YUyu101]

这是企业级的需求了吧，除非做慈善免费给家用，不然就要人人学运维。

[47jm9ozp]

国家电网战略合作单位

[zzboat0422]

ceph 这种软件定义存储，cpu 和内存消耗都很高，不如硬件直接配置的存储功能

[charles0]

Ceph 操作太复杂，没必要，这属于工作量不饱和

[dann73580]

家用的话为什么要多台 NAS?单台冗余够了，哪怕整个节点故障，数据又不会丢，只是有停机时间。家用用户要为 0.1% 每年的故障时间上分布式的意义在哪？再说免费的方案你也可以跑多个 pve 主机，人家内置 ceph 集群方案，免费的，直接跑就完事了（然后给自己挖坑）

[allplay]

家庭+分布式=有病

[felixcode]

回家上运维的班

[wtsamuel]

zfs 够用了。raidz1 不够上 raidz2, raidz2 不够上 raid3 。重要的数据，远程再备份 1 到 2 个

[coldle]

企业都不一定乐意用 ceph ，民用也太搞了，我有 pve 都不想跑

[KagurazakaNyaa]

另外其实 ceph 的性能损耗挺严重的，我之前 3 节点跑 ceph ，要满速必须要独立的 10G 网卡和交换，你直接数据和管理用同一个 10G 口速度很容易就上不去，如果是全闪甚至要做聚合才够支持，就这样在再平衡的时候带宽可能都不够跑满

[Donahue]

谁家好人家庭储存 50TB 以上的

[flyqie]

挺好奇一个问题，楼主的 nas 主要拿来做 storage 还是 netdisk ？

[Danswerme]

全世界 99%的家庭内网不到 2.5G 速率，也没有 NAS 这种东西，更不关心 “分布式存储” 这种东西。

[lengyuqu]

我就想知道家用 zfs 的价值在哪里？是我的全闪 nas 不够快了，还是 raid+本地备份+网盘加密备份不够用？家用高频到一天一备份不够了？
就这还配置个 ceph ，那是怕自己班上的不够吗？

[SuPerC]

家用集中式的存储就够了，上分布式的不是给自己找麻烦嘛。

[zhouu]

不如把 3 台设备的硬盘放到一台上单池多 vdev 这样性能高，然后如果需要块存储直接 NVMe of 提供给别的机器，不然 smb/nfs 挂载就行

[vopsoft]

两个都不稳定 似乎也都只是用来折腾的玩具。ceph 复杂，性能是应当是已知网络存储中最差的 ZFS 更新丢数据 最近刷到过 b 站有影视公司恢复几十 T ZFS 案例

[tywtyw2002]

ceph 还套 raid 没事吧？ ceph 是节点冗余啊。

zfs 不跑分布式，是硬件冗余，连阵列柜。

[msg7086]

多台 NAS 为什么是趋势？
家用为什么要分布式高可用？
为什么同一个楼里做分布式可以提高安全性？

我做分布式存储是用 garage 做的，家里和异地机房构成异地多节点存储，但这玩意儿是当 OSS 存重要数据用的，比如网站的备份之类的。家用 NAS 一台不就够了，你要 12 盘就买 12 盘的 NAS ，要 36 盘就买 36 盘的 NAS ，我相信一般人家里 36 块 28T 应该日常够用了吧，为什么还要搞多台 NAS 组分布式？

[msg7086]

@lengyuqu ZFS 主要看中 RAIDZ 冗余和 sanoid 自动快照管理。实在没必要搞 ceph 就是。

[BN5MDKFM]

@flyqie 他应该是属于酒后一时冲动，看了一眼百度百科就开始构建完全理想的大同世界了，哪怕问下豆包这种基础 GPT 也不会放出这种过度情绪性的脑补狂言

[cpstar]

如果我选 ceph 和 minio ，我倾向于后者，如果选择直接连接分散的磁盘和 RAID 化的磁盘，minio 推荐用前者。至于 zfs ，跟对象存储应该是两条路，混在一起，有点四不像。

[hefish]

op ，起来加班啦。。

[chenjichao729]

有什么意义？你是怕国家像翻当年快手一样翻你 nas🤔，我记得当年快手就是有 4 台服务器忘记分布式被国家逮了，怎么滴，你是怕自己 nas 被国家翻

[thtznet]

企业级为什么叫企业级是因为 99.9999999%的家庭是不需要这种功能的，也永远不会遇到这个场景。极个别发烧友自己喜欢折腾，那就自己折腾，别来问：为什么厂家不做这个功能？收购了厂家自己出任 CEO ，你说啥是啥。厂家是盈利单位，没利润的项目根本就通不过立项，不是拍脑袋出来的。至于为啥没人用？因为大部分人是那 99.99999999%，有这时间折腾，不如想想怎么多弄点钱下班去会所放松下。大概如此吧。

[efsg]

@Danswerme 都玩 NAS 了用 2.5G 甚至 10G 不是很正常吗，不如直接说 99.99%以上的人不使用也不需要 NAS

[proxychains]

给自己找活干, ceph 这玩意要一个团队 7*24 伺候着

[zhanying]

就现在硬盘的价格，还多台 NAS 是趋势，个人 NAS 不被干死就谢天谢地了。。。

[webcape233]

说实话，家庭又会搞这么多花火干什么？即使要用分布式存储 ceph 也是找事干吧，大多数使用情况 glusterfs 就行了，简单稳定，对于家庭用户来说，我觉得很合适

[neroxps]

家里跑分布式？某些垃圾佬连 nas 都不舍得开机用的时候才开机你让他跑 ceph 不天天重建？

我自己是 raid 都懒得搞

[Kirkcong]

nas 的配置太低了，不是说性能，是指接口，如果你要上标准的分布式存储，那么你需要三个网络接口，一个是 mgmt,用来管理分布式集群的，又或者他们之间同步配置的，一个是存储网，用来传输存储数据，还需要一个业务网，这个是对外提供访问需求的。

为了防止分布式集群脑裂，节点需要有三个，并且至少需要配置两组交换机去连接这些网络。这些额外的成本算下来有得好几千。nas 三台+10GB 交换机，还得要求 nas 支持光卡，开销很大的，光卡+光纤+光模块就要好几百。算下来增加很多成本的，都要求这么高了，不如上 rack 吧。