ryd994

@mrzx 呃，但是我至今也没需要重建过，除了测试用的那一次。这么多年遇不到一次，这个麻烦还是可以接受的。
我也不是要说服你用 smr ，你有性能需求可以理解。你不接受这个麻烦也可以理解。
对于不需要那么高性能的人来说，smr 的数据安全性并没有问题，没必要闻 smr 色变。
对于非 zfs 的普通 raid 来说，smr 就更不是问题了。wd 偷偷改 smr 是很黑心，但是 wd 并不傻，事实上就是很多人用 smr 完全没问题。

最近这个行情，硬盘价格也比较贵。在充分了解 smr 的缺点之后，smr 也是可以用的。拆壳的白标氦气盘也是可以用的，那是正经的企业盘盘体，比所谓 nas 盘还可靠。促销时的价格比 smr 盘只贵一点，如果能遇到促销也是可以考虑。

@mrzx 用户权限在导出的配置文件里，这我说了好多遍了。其实说是权限，实际只是用户名和 UID 之间的对应关系而已。真正的文件权限信息也是在文件系统里的，只是记录的是 UID 。

“我家里 2 个台式机都没怎么买硬盘,就一个 ssd 做系统盘,通过 iscsi 挂载实现硬盘大容量扩容的,”
你问问这个帖子里有几个是像你这样开网吧的？你有这个性能需求我不拦着。但是 smr 也不是不能用，我从头到尾就是这么一句。你上面对 smr 的数据正确性的观点，显然是偏见。smr 的性能问题是客观事实，我提出的方案也只是一种方法而已。不用也是可以的。

折腾吗？我这套系统从 18 年到现在，并没有折腾过什么，硬盘也没坏过。从 nas4free 到 freenas 到 truenas ，真就是流水的系统流水的硬件，铁打的数据。
应用盘下载盘折腾的比较多，但那些都是不重要的数据。都是用来玩的东西。

@mrzx smr 盘也这么多年了，性能问题是技术局限。但是数据正确性还是有保障的。你对 smr 的偏见还是比较强。
对于数据安全，我的观点一直是流水的硬盘，铁打的数据。通过合理的 raid 和备份，还有定期的校验，完全可以在不可靠的廉价硬件上实现可靠的数据保存。
我目前用的是 4 块西数 my book 拆壳的白标氦气盘，不同渠道分别购买。2 块希捷的拆壳盘，smr 。另外还有 1 块白标氦气盘做备件。
应用盘和下载盘都是翻抽屉找到的老机械盘，又不是不能用。区别是应用盘没坏道，定期 smart+scrub ，ZFS 开 3 副本，这样就算有坏道也大概率能纠正。整盘坏就算了，反正只是 docker 镜像，我实测过从零恢复（其实是我折腾 truenas app 的时候搞坏了）。
下载盘就是我上面贴的坏道盘，什么时候它想不开了挂就挂吧，我不在乎。

@mrzx
1. 这是性能问题不是数据正确性问题。只要软件要求它落盘（ flush ）的时候它确实落盘了，那就只是性能问题。ZFS 的正确性不依赖硬盘的缓存，而是在关键节点上落盘实现的。COW 文件系统就是这一点好。写到一半挂了，那你至少有旧数据还在。
2. smart 定期检测，有坏道的立刻淘汰。不管是不是 smr 都迟早要坏的。我从 18 年用到现在，还没坏过一块硬盘。那两块 smr 盘我就是等着它先坏的。我有 cmr 备件待命，也实测过我上面说的重建方法，对我来说可以接受。
3. ZFS 经常 scrub ，不会出现你说的问题。不 scrub 用什么 ZFS 。


“truenas 系统盘即使保存配置,也受版本影响的,我家里的硬件平台整体迁移了 3 次(现在 nas 服务器配置了 256G 内存,服务器主板+E5 cpu)...我很清楚,而且阵列信息都在配置里,怎么能算没价值的数据呢?如果系统盘损毁,你又没保存配置,请问你原先做的所有用户权限怎么恢复的过来?”
truenas 系统升级不影响数据盘的 ZFS 版本，只要 ZFS 版本不变，就能在对应版本的 openzfs 导入。如果 ZFS 版本有更新，truenas 不会自动升级，只有你确认升级才升级。
阵列信息不在配置文件里。你把数据盘放到任何一台有 openzfs 驱动的系统上都能读取。硬盘加载的顺序和卷标不重要，只要能读取硬盘，ZFS 都能自动识别。ZFS 和 raid 卡不一样。
用户和权限设置在配置文件里啊。我说了备份配置文件没有？ truenas 可以导出配置文件的啊。你所有的用户和服务配置信息都在里面。
我捡垃圾换了好几次硬件了，都没什么问题。

“后期 truenas 的版本要求系统盘也必须存放再 SSD 硬盘里了,安装时有个检测机制,我是一路升上去的,没这个问题”
垃圾 SSD 单盘足矣。官方推荐配置是考虑企业用户推荐的。你不关心 SLA 的话就无所谓。数据安全由 ZFS 保证。

“你知道 raidz2 有个问题,就是写入性能低下,双副本天生自带的,没办法...”
家用 nas 也就存存备份文件。瓶颈是网络，我 6 盘 raidz2 也有 500MB/s 读写。远超千兆网络上限了。我也没那么多数据要备份。
跑下载跑应用的，我上面提到过，就是单盘，垃圾 SSD ，有坏道的旧硬盘，我都用。备份数据的 app （比如 immich ）的数据库文件和备份的数据还是在 raidz2 上，性能可以接受。垃圾 SSD 上只有 docker 镜像，这些都可以从网上下载。恢复的时候只要数据盘在就行了。

你有一个误区就是程序和数据分不开。程序要性能，数据要安全。同时要性能和安全的话成本会非常高。分开程序和数据是业界的趋势。docker 就是一个例子。程序部分只读，就不需要担心状态一致性的问题，这就可以很方便地横向扩展。

没必要随时取吧，通知存款的利率回稍微高一点

@msg7086 #38 持续读写负载导致发热、磨损，还是很严重的。虽然和硬盘的正常寿命比可能九牛一毛，但也可能是最后一根稻草。特别是如果都是同批次或者同时期购买，那概率就更大了。我的 nas 是希捷和西数不同型号混用，而且还有一块备件盘偶尔会换掉，避免磨损程度一样。

此外，硬盘还有 ure 的问题。家用盘一般标称 10^-15 ，保守估计只能算它 10^-14 甚至更低。10TB 也不过是 10^13B ，所以这个概率就不可忽视了。所以只有一盘冗余是绝对不够的。

@mrzx #40 truenas 的系统盘不需要用高级 SSD 。备份一下配置就够了。系统盘上没有什么有价值的数据。

然后 smr 盘也不是绝对不能用。我的 raidz2 6 盘阵列里就有 2 块 smr 盘。smr 如果从零开始填数据，完全没有问题。性能差一点，但也超过 100MB/s 。
但是绝对不能往有数据的 zpool 里加空的 smr 盘，resilver 过程是持续随机写入，smr 盘能掉到 1MB/s 以下。
怎么办？你需要有一块同容量或更大的 cmr/ssd 作为暂存。先用 cmr 盘重建。重建完成之后下线 cmr 盘，dd 复制到 smr 盘上，再把 smr 盘加回阵列里，之后只需要很少 resilver 就能同步。如果能把 zpool 下线就更好，那就连 resilver 都不需要。

已经有坏道的盘不能用来存有价值的数据。就算 raid1 ，那万一好盘先挂了，你拿什么恢复？这块坏盘无法提供任何冗余度

只能用来做下载盘用。我这块下载盘是坏道集中在末尾，所以我分区分小一点，也用了快一年了。不屏蔽坏道的话容易卡 IO 。

@coderluan 不仅是教法错了，应用题首先要审题。楼主审题错误。
A 比 B 少 17/24
B 比 A 多 17/24
这两个数字不一样。前者是 B 的 17/24 ，后者是 A 的 17/24 。

楼主你这个情况分两份也没用啊。现在的情况是 2 盘坏了，重建/重新同步时发现 1 盘也坏了。定期 smart 测试很重要。smart 测试可以检测到大部分读取错误，也就是 1 盘这种情况完全可以早就发现。smart 报错的盘只能降级为下载盘，随时坏了不心疼。

你现在不定期跑 smart 测试，不定期读取数据验证，那就算你存了两份，还是躲不过盘 2 损毁，盘 1 无法读取的问题。因为你从来都没有验证过盘 1 上的数据是否能读取。没有恢复测试的备份等于不存在，因为你不知道这个备份是否还存活，备份内容是否还正确。备份不是把数据复制一份，然后指望硬件不坏就完事的。好的备份是一整套流程，从数据备份到校验到恢复，都需要定期执行。比如 zfs 定期 resilver ，就是验证数据和镜像内容。

充分证明了我一贯的观点：如今这个大硬盘时代（单盘>2TB ），任何只有 1 度冗余的 raid 都是不够的。因为重建耗时超过 24 小时，且全程是满负荷读写，非常有可能在重建过程中再挂一块。你要数据安全，raid6 以上是必须。在这一点上 raid10 都不如 raid6 ，因为 raid10 是先做 raid1 再做 raid0 。重建时负荷最大的是坏盘配对的镜像盘，所以最有可能挂的还是那一块。偏偏最不能挂的就是那一块。根据墨菲定律，raid10 的安全性和 raid5 没有本质区别。

对于家庭使用，瓶颈是网速，raid10 的性能优点没有实际意义。
对于生产环境，性能是重点，数据安全可以通过别的方式解决。比如近年流行的分布式文件系统。不仅可以应对硬盘故障，还能应对机器任何部分的故障（比如电源炸了）。

@datocp #5 你描述的情况属于冷错误。硬盘没有报错，但返回了错误数据。raid 原版模型里没有考虑这种情况。原版模型里硬盘只有正常工作和彻底掉线两种状态。不会卡死，不会返回错误数据。
ZFS 带校验，可以排除冷错误问题。高级的 raid 卡可以在后台定期校验，也可以自动检测冷错误。

非启动盘，一般不建议使用硬 raid 。你说的小文件速度慢，基本可以确定为没有 BBU cache ，也没有 nand cache 。自带非易失缓存的 raid 卡都是高端产品，价格不便宜。

相反，ZFS 或 btrfs 都可以加 SSD 做缓存。而且基于文件系统的 raid 可以根据文件特点做不同的写入策略，也有助于性能。