这是一个创建于 388 天前的主题，其中的信息可能已经有所发展或是发生改变。
四块 NVIDIA TESLA P4 想跑 Meta 的开源大模型 Llama （🦙 有同好吗
 |
1
GeekGao 2023-12-04 02:33:11 +08:00  1
只能跑 LLaMA-7B
|
 |
2
kanepan19 2023-12-04 09:40:15 +08:00 1
请教一下，用的什么板子能上 4 显卡？
|
 |
4
6m7 2023-12-04 10:31:17 +08:00 1
建议了解下超威系列的服务器主板，例如 x10 ，x11 这种的，尤其是 AMD 的 EPYC 平台
我有一张，超威的 intel 主板 x10dri ，7PCIE 插槽，但是通道比较少 而超威的 amd 主板，x11 之类的，8 条全通道 PCIE ，印象中是这样 海鲜市场里面也有很多选择，不管是二手的主板，还是超威的主机 |
 |
5
NoDataNoBB 2023-12-04 13:34:57 +08:00 1
这不得上个服务器？风扇嗡嗡嗡的那种
|
 |
6
Regened 2023-12-04 14:07:43 +08:00 1
@6m7
x10x11 偏贵，小黄鱼上现在联想 RD450 拆机双路才三四百，普通 E-atx 版型的 Epyc 通道是多，但架不住主板贵，通道齐全的基本都还在 2k+，低于 2k 都是服务器异型板普通机箱装不了 |
|
7
Regened 2023-12-04 15:05:39 +08:00 1
不太清楚跑 llm 模型对核心和内存大概是什么要求，不过既然捡 P4 了应该也不会有太高要求
如果只要 PCIe 通道多点的话就 C612 平台，联想 RD450 主板 300 ，E5v4 几十块 要考虑以后小升级的可以看新一点的 3647 平台，6 通道内存，pcie 也更多，cpu 现在也便宜了，还有比较偏门的澜起 cpu 不介意服务器噪音的话，浪潮 5212m5 现在很便宜，支持 4 条 x16 ，准系统 1k 出头 |
Select Language