装一台深度学习主机，双 3090 显卡，请问配置怎么选择？
reaCodes · zhatlas · 2020-11-04 10:52:04 +08:00 · 13928 次点击这是一个创建于 1509 天前的主题，其中的信息可能已经有所发展或是发生改变。
主要是主板怎么选择，还有选什么样的 CPU 能让这两张 3090 物尽其用，电源起码 1100W 吧
 |
1
wmwmajie 2020-11-04 11:13:27 +08:00
同问！！
|
 |
2
FantaMole 2020-11-04 11:19:26 +08:00
先等厂商把炸机问题解决了再决定电源选多少，选什么牌子吧
|
 |
3
saintube 2020-11-04 11:20:57 +08:00  1
3090 最近出现了几波爆炸事故，甚至涉及到海盗船 ax1600i 这种电源，建议观望
|
 |
4
mhycy 2020-11-04 11:24:48 +08:00 1
3090 据说峰值达到了 900W，1100W 电源不太够
|
 |
5
dadachen1997 2020-11-04 11:27:52 +08:00 1
楼主怎么选的呢？我们实验室要装一台 4 路 3090，愁大我了
|
 |
6
w99wjacky 2020-11-04 11:29:30 +08:00
起码 1100W.
个人推荐到 1300,主要是怕你买的卡放宽了功率墙，瞬时峰值功率 1100 顶不住，伤卡伤电源 (350 - 500) * 2 + cpu （ 150 ） + 200 (外设等) |
 |
7
lrh3321 2020-11-04 11:29:48 +08:00
据说有 1600W 的 EVGA 都被 3090 带走了。建议先观望
|
|
8
w99wjacky 2020-11-04 11:30:17 +08:00
保险期间，到 1600w，毕竟电源比显卡便宜多了。。
|
 |
9
2kCS5c0b0ITXE5k2 2020-11-04 11:31:28 +08:00
如果能受得了 amd 就选 amd Threadripper PRO 3995WX;
否则选 i9-10980XE |
|
10
w99wjacky 2020-11-04 11:32:50 +08:00
保险起见到 1600w，毕竟电源比显卡便宜多了
|
 |
11
Raynard 2020-11-04 11:34:23 +08:00
炸鸡好像振华电源多？
不过先别买是真的 主板 m12f，cpu10900k，电源海盗船 ax1600i |
|
12
2kCS5c0b0ITXE5k2 2020-11-04 11:36:33 +08:00
其实有 2000w 电源的
|
|
13
Raynard 2020-11-04 11:38:56 +08:00
直接上 x299 吧（ doge
|
|
14
Raynard 2020-11-04 11:44:33 +08:00
@dadachen1997 你这个需求给你推荐个 tb 店：骋罡数码专营店
|
 |
15
deorth 2020-11-04 12:40:49 +08:00
单卡瞬时功耗 940W，BOOM
|
 |
18
reaCodes OP @dadachen1997 分析了一下，4 卡行不通，选不到民用级别的主板和电源
|
|
19
deorth 2020-11-04 12:56:49 +08:00
|
 |
21
maichael 2020-11-04 13:08:15 +08:00
双路 7F52 （#滑稽
|
 |
22
Umenezumi 2020-11-04 13:35:06 +08:00
你在观望下，现在炸了很多，不清楚是 bios 调教问题还是电源缺陷
|
|
23
w99wjacky 2020-11-04 13:44:18 +08:00
|
|
24
w99wjacky 2020-11-04 13:48:20 +08:00
@dadachen1997
追风者 719 这个可以双电源 |
|
25
dadachen1997 2020-11-04 13:50:02 +08:00
@w99wjacky 目前打算上的服务器 cpu 和 ecc 内存，电源选了 2000W 的，但是感觉压不住，4 个 turbo 3090 真不知道怎么搞，服务器那种噪音挺大的吧，机架式的那种吗？
|
|
26
w99wjacky 2020-11-04 13:51:16 +08:00
@dadachen1997
追风者 719 |
|
28
dadachen1997 2020-11-04 13:53:42 +08:00
@w99wjacky 我看看，多谢老哥
|
 |
29
Porphet 2020-11-04 13:54:00 +08:00 1
一个星期之前刚用上：
四路技嘉 3090 Turbo 24G 192G 内存 2000w 1+1 冗余电源 2 路 CPU 就是 |
|
30
Porphet 2020-11-04 13:55:20 +08:00
一个星期之前刚用上：
四路技嘉 3090 Turbo 24G 192G 内存 2000w 1+1 冗余电源 2 路 CPU 就是普通的 E5 超微的塔式，总价不到 10w  |
 |
33
Kupanda82 2020-11-04 14:07:42 +08:00
电源上双电源吧，单 1100w 不够用。
其实可以等等，3090 没那么强 |
 |
35
pC0oc4EbCSsJUy4W 2020-11-04 14:14:17 +08:00
振华 2000w
|
|
36
pC0oc4EbCSsJUy4W 2020-11-04 14:15:13 +08:00
振华（ SUPER FLOWER ） 额定 2000W LEADEX P 2000 电源 （ 80PLUS 白金认证 /全模组 /智能免识别插拔 /十年质保）
|
 |
37
ThatYear 2020-11-04 14:22:20 +08:00
过来学习，表示还没装过双显卡
|
 |
38
sl0000 2020-11-04 14:23:08 +08:00
supermicro 工作站
|
 |
39
northisland 2020-11-04 14:29:51 +08:00
看起来是 350w，保险起见搞 1500w 不过分，双路电源也不过分。
阔佬你打算搞箱式主机，还是刀片主机 |
|
40
Porphet 2020-11-04 14:30:39 +08:00
@secsilm 拿来做关系抽取的，要写论文的嘛，哈哈哈。就这样 batch_size 只能设 1，DDP 用起来四卡就占满了
|
|
41
northisland 2020-11-04 14:31:29 +08:00
我只晓得，intel 家 cpu 貌似走到了瓶颈，明年的 cpu 还是 14nm 制程。。。
选个农企 cpu 应该更强大。 |
|
42
northisland 2020-11-04 14:37:01 +08:00
要是做图像，这显卡，一个 iter，不得吃进去 256 张图，这个 batchsize，至少 48 核 cpu 。
|
 |
43
wangzhangup 2020-11-04 15:01:13 +08:00
@reaCodes 4 卡不太可行，3090 占 3 个宽度。工作站主板，2080ti 可以放 4 张，3090 只能插两张。
|
|
44
reaCodes OP @dadachen1997 加我微信我们交流一下，WX 15651212115
|
 |
45
jeeyong 2020-11-04 15:59:50 +08:00
@dadachen1997 你这个怕是要独立电源给显卡供电
|
 |
46
CallMeReznov 2020-11-04 16:04:05 +08:00
8 路 2080TI 在机房瑟瑟发抖
|
 |
47
nightwitch 2020-11-04 16:09:36 +08:00
这种一般找供应商，你在消费者市场是比较难找到合适的机箱和主板的。 可以咨询下 Dell，惠普，浪潮，联想之类的销售，他们塔式和刀片的方案都有。
|
 |
48
qiaobeier 2020-11-04 16:20:51 +08:00
1300W 的主机。。。 开了这玩意不需要开暖气了吧。
|
|
49
dadachen1997 2020-11-04 16:21:50 +08:00
@wangzhangup #43 turbo 卡只占两个 slot
|
 |
51
murmur 2020-11-04 16:53:30 +08:00
现在单一电源最猛的可以买到 1600w，供电不是问题，剩下看你的主板和 u 了，hedt 的板子应该都有 6 个 pci 插槽
|
 |
52
DesperadoJ 2020-11-04 17:00:48 +08:00
RTX3090 的峰值功耗可以上到 940W，建议用双电源
|
|
53
DesperadoJ 2020-11-04 17:01:33 +08:00
|
|
54
Porphet 2020-11-04 17:03:56 +08:00
@zirconium #50 在 jd 上找了一家超微的代理，让他给出了个配置单。然后找我们自己的供应商给买的设备加上安装和调试。
配置单我还有，但是供应商说这个 cpu 和主板马上要停产了，再买就要买新的了，超微的塔式四路 GPU 服务器好像就那一款 |
 |
55
qoras 2020-11-04 17:10:59 +08:00
3090 背部显存温度非常高, 注意降温及小心烫伤
|
 |
56
zzh1224 2020-11-04 17:14:22 +08:00
amd 不香吗
|
 |
57
nmecury 2020-11-04 17:16:55 +08:00
搞个超微准系统吧，别自己折腾了
|
|
58
wangzhangup 2020-11-04 17:29:40 +08:00
如何配置一台适用于深度学习的工作站？知乎的下面有讲的很清楚。
|
 |
59
w1573007 2020-11-04 17:39:23 +08:00 via Android
兄弟，我和你研究的差不多，但多路显卡显存可以共享么，先谢大佬指路了。我没找到相关资料
|
 |
60
philobar 2020-11-04 20:07:22 +08:00
感觉需要折腾双电源
|
 |
61
zhady009 2020-11-04 20:39:53 +08:00
现在不建议上 3090 各种 boom 的消息
|
 |
62
dlsflh 2020-11-04 22:37:14 +08:00 via Android
不可以外接电源单独给显卡供电吗？
|
 |
63
daliandefei 2020-11-04 22:49:53 +08:00
啊哈哈 来闲鱼搜一下我的顶配黑苹果 ，macpro 复刻机箱 小超到 1.22v 全核 4.7 mesh 33， 比 MACPRO 2019 顶配强一些~ 还有配套压缩机出 如果
|
 |
66
tianshilei1992 2020-11-05 02:22:26 +08:00
要选 PCI-E Lane 大于 32+4 的 CPU
|
 |
68
devlnt 2020-11-05 04:27:43 +08:00
担心电源的话，可以考虑工作站这种的，一般有俩电源，可以挑俩 2000W 这种的
|
 |
69
mostkia 2020-11-05 08:14:13 +08:00
老黄真就是造核弹的啊，带 9 的卡碰不得，想当年的 GTX690 也是个核弹[狗头]
|
 |
70
337136897 2020-11-05 09:36:06 +08:00 2
楼上的全是搞深度学习的科学家吗...
|
 |
71
MeteorCat 2020-11-05 09:39:34 +08:00 via Android
单个 3090 的功耗 1100w 压不住，建议等等避免上烈士墙
|
|
73
Porphet 2020-11-06 17:08:31 +08:00
@isler
Supermicro SYS-7048GR-TR E5-2680V4 * 2 三星 32G RECC 内存 * 6 技嘉 RTX 3090 TURBO * 4 硬盘机械加固态 机箱和 CPU 应该是马上停产，供应商装好机器才跟我说，升级型号应该是 SYS-7049GP-TRT，CPU 也要换 虽说是塔式，我们还买了导轨，放在那种恒温机房里 |
|
74
Porphet 2020-11-06 17:19:24 +08:00
@w1573007 #59
关于显存共享我差不多搞明白了，只针对深度学习： 1. 显存不可能在底层叠加，也就是说永远是四个单独的 24G 显存 2. 我认为的显存叠加只是增加了 batch_size 的大小（已实现），或者可以把模型分半一块卡加载一部分模型。 3. 第二条所述的功能都需要在代码层面实现，底层上是通过 PCIe 来传输梯度 4. NvLink 的作用就是加速第三条中梯度传输的速度，避免数据通过 CPU 传输，以实现类似一整块 4*24G 显卡的效果 这些是我踩坑之后的理解 |
|
75
w1573007 2020-11-06 17:55:00 +08:00 via Android
谢谢啦，太感谢了👍👍👍
|
 |
76
isler 2020-11-07 12:45:22 +08:00
|
|
78
Porphet 2020-11-07 14:54:29 +08:00
|
|
80
isler 2020-11-08 01:24:39 +08:00
@Porphet
DGX A100 买不起，不过万兆网卡和交换机就好说了，Intel 的万兆寨卡也没几百，没有现成的万兆交换机，直接上全 sfp+的也不贵，接几个服务器买几个模块就是了 |
 |
81
chenjunqiang 2021-11-06 15:37:02 +08:00
@Porphet 你好，我准备上你这个方案，你这个是放在恒温机房托管的吗？还是放在公司的？我感觉这个玩意散热会不会有问题，不敢直接上
|
|
82
Porphet 2021-11-12 20:12:03 +08:00
@chenjunqiang 我们放在恒温机房，放在公司应该也可以。就是噪音大，显卡 io 板上装了两个暴力服务器风扇，直接往外抽风，反正不用插 hdmi 。
|
Select Language