帮忙参考下这套 PVE 集群高可用配置方案

[simplove]

现有业务系统如下： 是做教育考试相关的，大体的业务流程就是学生在系统上唱歌，上传，做客观题等。
上传对接的是 oss ，由客户端电脑直接上传到 oss ，不经过服务器中转。
oss 套的 cdn ，客观题那些歌曲，图片全部走 cdn 。
服务器带宽上行是 300M ，高峰也只跑了不到 100M 左右，大流量全部走 oss 和 cdn 了，只登录，API,网页的静态文件那些。
学生数量有 10 万左右，并发不高，因为只有那么多台电脑，电脑的数量大概是 3000 台。所以实际的并发肯定不会大于 3000 。

要做业务迁移，之前做的是 ESXI ，没做高可用。现在准备用 PVE 集群来实现高可用。
业务就直接重新部署了。
我选的架构配置如下：
从易用性，可扩展和成本上考虑的，3 台计算服务器用的是零刻小主机，配置如上图（自带风扇，机房有 24 小时空调）。分布式部署，128G 装 PVE 系统，2T 做存储。
华为那台存储直接用来备份或者挂载。
华为存储配了一台 UPS 。

价格如下：
零刻小主机 每台 4200 元 3 台共 12600 元
华为存储服务器 11000 元

大伙看看这样配行不行？有没有一些更好的建议

我自己家用的小主机装的 PVE ALL IN ONE 直接仍弱电箱好几年了，无风扇，无空调。
期间有死过机，重启就好了。
6900HX
基本频率: 3.3 GHz
最大加速频率: 4.9 GHz
支持 DDR5-4800 内存
PCIe 4.0 nvme 硬盘，读 5000 ，写 4000
双 2.5G 网卡，1 个网卡专门用来做集群。
好像并不不妥

听劝，又配了一套。
服务器都是放公司自己机房，就在办公室旁边，很好管理。
计算服务器 3 台：
华为 1288v3 CPU2686v4*2 ，内存 32g*4 ，460w 单电 英特尔固态 SATA 240+ 2T u2 固态*2 10G 光口*2 带光模块
存储服务器 1 台：
2288V3-U2 版 CPU2680V4*2 内存 32G*4 硬盘架*12 750W 单电源 10G 网卡，2 个 10G 光模块 240SATA SSD*2 装系统 2T U2*2 做缓存 16T 机械*3 存储数据
交换机换成 10G 全光，支持划分 VLAN 的。
全部配双 10G 口，一个网络，一个集群专用。

[diivL]

生成环境服务器用零刻小主机,不知道你在想什么.

[iloveayu]

半小时过去了，看到大伙儿都无语了，我就放心了。

[RogerL]

没搞过，但是你生产用零刻是真的猛，我最多家里用用

[suguo210]

整个戴尔工作站吧，高可用你用迷你主机

[GT1]

如果是我的话（没考虑到的暂时忽略），
中国移动-->中国电信，有钱就再上一条宽带备用，可以同时接入软路由
N100 软路由 --> x86 台式机 + 万兆网卡 + 软路由（ cpu 再差也是能秒 n100 ）
交换机不变
小主机 --> 1. 淘宝二手 x99 服务器（没钱上这个） 2. 有钱就上更高端的 或者楼上提的工作站

你没有提到的 pbs ，了解一下

[qxdo1234]

这么 6 的嘛兄弟，感觉你在开玩笑啊，反串吗？

[EVJohn]

起码得二手服务器把

[ghhccghk]

起码得服务器吧，这能稳定（？

[lm930129]

零刻也能跟高可用扯上。。。

[sideny]

你用爱快拨号我没意见，但是服务器为什么要用小主机啊

[aminobody]

感觉是降本增效了, 就是和"高可用"毫无关系.

[byte10]

我觉得小主机没问题，但是推荐那稍微大一点的散热好一些的，三台算是高可用把，建议留一台小型工作站 兜底一下吧，也不是很贵。

[Greenm]

没有带外管理，死机了怎么办，需要重启怎么办？ 自己去机房按按钮吗？

[ExplodingFKL]

无 ipmi + 小厂工控机 + 垃圾内存 + 垃圾固态 + bug 之王的 i226v + 有黑历史的 ikuai 路由系统 + 私有云环境用却用公有云的对象存储 ... buff 拉满了

[byte10]

@Greenm bug 之王的 i226v ，这个网卡 现在还有问题吗？

[BD8NCF]

同意 14 楼。
补充几句：
1 、华为那台应该是二手 E5 吧? 可以把小主机也换成二手 E5 服务器
2 、既然是内网使用，oss 可以自建，使用公有云，是钱多么? 钱多可以用好点的服务器

[geekvcn]

二手洋垃圾滞销，帮帮我们，楼上的一口一个零刻小主机不稳定，转手推荐洋垃圾我是看不懂的。感情洋垃圾被淘汰单纯是因为性能问题似的

[geekvcn]

没有售后的服务器和稳定毫无关联，服务器保修内出问题厂家售后第一时间来解决才是企业采购服务器最核心的原因，其次才是 ECC ，多层 PCB 主板，电源主备，UPS 之类的。

[geekvcn]

楼主原先的方案在不考虑购买全新服务器的情况下我觉得和洋垃圾服务器半斤八两，谁也别说谁，然后 OSS 加个静态页面，页面大小优化的尽可能小，就显示这几个字，“系统维护中，请稍作等待...” 出问题先展示这个静态页面，第一时间解决就是了，学生晚上一般不会使用这个系统，在周末晚上加个定时重启任务。

还有你入了洋垃圾配置服务器也不代表就和“高可用”沾边了，机房带 UPS 吗？有灾备吗？网络是多线路可切换吗？

你这业务属于传统行业，要结合业务负载特点降低成本和预算，而不是追求虚假的“7x24 高可用”，而是要追求在用户使用时间内尽可能可用。

[geekvcn]

还有 N100 软路由也是离谱，用什么系统？我的建议是路由器有条件买硬件防火墙，没条件用反代做负载均衡而不是用软路由 NAT 。

另外确定小主机的话或者家用硬件的话，DDR5 内存一定要用海力士颗粒的，DDR5 海力士的内存颗粒稳定性吊打三星美光，海力士自己的牌子叫科赋，也就是内存换成海力士原厂科赋，而不是用威刚这种没自己生产颗粒能力的牌子，颗粒很乱，而且大概率美光三星的垃圾颗粒

[geekvcn]

我的建议是按业务硬件和带宽需求阿里云配置一套按使用量计费的虚拟机，你这套系统出问题第一时间启动虚拟机把流量切过去，按量计费平时不启动也就磁盘的钱，绝对比洋垃圾服务器省钱靠谱。

[simplove]

@BD8NCF OSS 和 CDN 不变，我查过 OSS 占用的带宽可以达到 2G ，公司要购买 2G 的带宽成本很高。CDN 也不能抛弃，CDN 高峰宽带有 800M 了。

[simplove]

@geekvcn 你说的按量计费是不用的时候关机？
我们现在也有业务系统部署在阿里云，包月，按带宽计费，成本也还好。
这套系统 OSS 和 CDN 仍然保持不变，不然公司带宽撑不住，自建 OSS 考虑的问题很多。
目前是等存储的数据多了，把 OSS 里面不常用的数据下载到本地作为 OSS 的镜像，可以省去 OSS 的存储成本。

[ijimmy]

@simplove 你这内网应用，如果 OSS 部署在内网的话，还需要什么互联网带宽呢？何况 PVE 本来就支持 ceph ，大不了装一个 minIO

[simplove]

@ijimmy 客户端是学校电脑，走互联网上传到 oss ，又不是我自己上传东西到 oss 。几千台电脑了，全部的上传带宽达到 2G ，并发也有几千，把 oss 迁移到内网不合适。
而且用 oss 很便宜啊，上行流量不花钱，CDN 回源是 OSS ，流量很少，一次考试存储要花 1T ，后期下沉到本地做为 OSS 的镜像。
自己搞 OSS ，要考虑带宽，还有磁盘 I/O 和并发问题，不划算。

[geekvcn]

@simplove 学生上传的音频和图片可以在 web 端压缩后上传，有现成的库，还能统一资源文件规格，比如音频码率，图片分辨率

[geekvcn]

@simplove 按量计费的好处是你带宽拉满，短时间成本也能承受，平时关机付个磁盘钱，用来做灾备性价比不要太高。当然按月计费成本和性能能满足要求那更好。 高可用说白了拼的是机房资源和运维能力，一般企业和高可用完全不沾边，最省钱的高可用就是上云，或者用云做灾备。

[gearfox]

@diivL 同样懵逼了

[tangzhiyong]

高可用至少要异地多活吧？不然如何避免火灾，地震，水灾，停电，断网，战争等等。最好是机房分布在全球。哈哈