预算一万五攒个深度学习的主机，有好哥哥来看看配置吗

[nidongpinyinme]

需求：放在实验室跑一些小模型的验证和代码调试，最终的训练会放到学习的服务器上。对灯光没有要求，越低调越好。
从 B 站抄了一套配置，这是昨天的报价，包邮包安装
想问一下这个价格现在看怎么样，如果等一等 618 会不会降下来一点
还有 32G 内存有没有必要上 64

谢谢好哥哥们的建议，对硬件的选择有了更清晰的认识了：
1. 不考虑二手，本身代码的问题就已经够头疼了，没有精力再去折腾可能存在的硬件问题
2. 工作站由于几乎都推荐的二手，而且配套的 gpu 也不是很熟，暂时也不考虑，还是想配一个比较主流的机器，出了问题也好搜解决方案
3. 显卡上败家之眼这个没明白，我理解的不是猛禽才带信仰吗，选的是 tuf
4. 内存会在买的时候根据预算尽可能上个 64G

再次感谢各位老哥
有一些人推荐云服务器的，这个暂时不考虑，学校里是有服务器可以免费用的，配置也还行
还有很多人推荐了一些性价比更高的搭配路径，比如至强的 2680v4 、魔改的 2080ti ，看到很多人也收藏了这个帖子，如果你们有兴趣的话可以去试试
就我个人而言，希望组一台比较主流的机箱，尽可能避免遇到一些奇怪的问题，毕业之后也能留下来继续打打游戏，起码五年内不会换机
更新一下配置
2024-05-06 10:40
cpu：i5 14600kf （虽然不超频，但是似乎没看到不带 k 的 1949
散热：雅浚 E6SE 139
主板：华硕 tuf B760M PLUS （有老哥推荐 Z 系列，去查了一下也是超频玩法，但是铭瑄的 B760M 只卖 800 块，不知道区别在哪 1399
内存：金百达 银爵 64G （用的是海力士 A die 颗粒 1399
固态：三星 990PRO 2T （这个看最终剩下的预算了，比之前选的宏碁贵了一倍 1549
显卡：8500 块左右的 4080s ，大概率七彩虹
机箱：199 左右的需要推荐，不清楚兼容性怎么确定
电源：推荐的长城和原配置里的海盗船 850w 都是 799
这样一套下来是 15933 ，剩下 66 块买个 KFC 套餐吃完猛猛装，15999 的预算也是一万五

[zhandouji2023]

为什么不买工作站？

[herozzm]

没有 4090 差评

[nidongpinyinme]

@zhandouji2023
@herozzm 我没有钱

[xhuuanniqege]

这个主板好像不能超频，你买带 K 的 cpu 用不上吧

[zhandouji2023]

二手 hp z840 内存加满

[mythabc]

@nidongpinyinme 没有钱还上败家之眼？

[zhangshine]

按理来说商家 618 前夕都会涨价一波，这个节点确实尴尬😅

[NoOneNoBody]

内存不够

[Inn0Vat10n]

内存加到 256 或者 512

[TomDu]

哪有败家之眼，不是 tuf 么？

[paranoiagu]

搞个服务器平台如何？二手金牌 6138 这种 ，加上 tesla 计算卡

[LiJie]

二手工作站吧。内存能上到更高容量。a 系列显卡

[NI3TECH]

显卡上四张 2080TI 22G

[NI3TECH]

我 13600KF 64G 内存 3060TI 8G 跑 svc ，sd ，chatglm 还可以

[NI3TECH]

推断的时候真是 64G 内存都不够

[uncat]

B 站瓜皮群主，了解一下

[nidongpinyinme]

@xhuuanniqege 是的，基本也不会超频用，但是好像没看到不带 k 的合适的 cpu ，大哥有推荐吗

[nidongpinyinme]

@zhandouji2023 搜了一下，带的显存好小

[nidongpinyinme]

@mythabc 没上猛禽啊，不然显卡选啥，七彩虹吗

[nidongpinyinme]

@zhangshine 也不是很着急，可以 618 买，就是不确定行情

[nidongpinyinme]

@NI3TECH 2080ti 好是好，但是搜了一下都是二手的啊

[nidongpinyinme]

@uncat 好的哥

[nidongpinyinme]

@paranoiagu 本身对常规配置就不是很熟，这俩硬件更是没碰过，再叠上二手 buff ，怕是要踩一路坑哦

[nidongpinyinme]

@LiJie 先不考虑二手了，风险有点高，而且 cuda 是硬性要求，a 卡拿来跑怕是还得做好多适配

[kaleido]

我看最近都说，13600kf 性价比还行，而且 14600kf 提升不大，如果跟 146 差价 200 以上就可以考虑 13 代了，省下的几百加内存，对你很有用吧

[nidongpinyinme]

@kaleido 好的哥，正在考虑从哪抠点预算出来加内存

[mythabc]

@nidongpinyinme 主板换成微星、技嘉的，显卡换成技嘉、七彩虹或者其他二线品牌的，能省一千块。FC140 没必要买全新的，我去年闲鱼收了一个，一百多。把能省的钱省一省，再咬咬牙，上 4090D 。

[hiphooray]

跑啥类型的任务？ 16G 显存 OK 嘛？

[nidongpinyinme]

@hiphooray 图像处理的，机器就拿来跑一下验证，正儿八经训练还是放服务器上

[paopjian]

2080ti 22g 都是改的,没有新卡了肯定是二手的. 没必要买败家之眼, 去年双十二我 13700KF+Z790P 3448 pdd 下来了

[nidongpinyinme]

@mythabc 这个牙很难咬啊，4090D 一万三起步了，这预算得干到两万去了吧

[nidongpinyinme]

@paopjian 我是琢磨硬件水太深，显卡能新就新，不然我也不咋会验机啥的。9000 块的 80s 其实还行，我在京东上看也都要 9000+了，自己组的话就选技嘉或者微星，买他的整机就不换显卡了

[frankyzf]

看苹果官网，32G 翻修的最低不到 13000 ， 会不会更有性价比？

[hertzry]

你就老老实实服务器搞吧。

二手工作站便宜大碗还有专业卡，怎么说也有 8 个内存插槽，配上 24G 的 3090 ，你不考虑。扣扣嗖嗖的用 32G 内存，内存显存不加起来，你到时候还要花时间优化数据加载，图什么。机械硬盘也没有，你不怕固态挂了吗，2T SSD 挂载个 tmp 目录读零碎数据差不多，真用几天数据越来越多根本不够用。

[nidongpinyinme]

@frankyzf 我现在用的就是 mac ，cuda 没法用搞烦了

[nidongpinyinme]

@hertzry 二手工作站+30 系默认矿，不会整出来太多坑吗，我这不是拿来训练的啊，学校里有服务器可以用，本地调调代码跑跑验证就行

[EndlessMemory]

CNN 真太搞了，不使用迁移学习的话，训练起来资源消耗量太大了

[bugu1986]

我刚整完 双 3090 128g 30000

[frankyzf]

@nidongpinyinme 记得 mac 有自己的一套技术和 cuda 对应，好像叫 Apple Metal 什么的，是不兼容吗？

[nidongpinyinme]

@bugu1986 超了超了，暑假还要出去玩呢

[nidongpinyinme]

@frankyzf mps ，得改很多配置，主流代码都是 cuda 不行就直接用 cpu 的，好多还必须要 cuda ，而且 mps 也没快多少……

[frankyzf]

@nidongpinyinme 谢谢 op ，因为需要测试加载和 fine-tuning 7b 的模型，之前还想用 mac 来代替 nvidia 的 cuda ，看来比较困难。

[frankyzf]

不过这显卡也真贵啊，16G 就需要 9000 ，估计我自己想试只能暂时租显卡了，等选择多了价格合适再考虑买。

[LiJie]

@nidongpinyinme 工作站都是 99 新，清明刚买，我说的 a 系列是 nv 的 a 系列。不到 3000 元可以买到戴尔 t5810 ，就是全新的，64G x 2 内存，2680v4

[mikywei]

我是装机高手，这个配置说实话杂牌很多，价格高了，建议换下：
内存：推荐闪存颗粒原厂的品牌，三星、英睿达(镁光)、科赋(海力士)；金百达垃圾杂牌。
SSD：一样推荐原厂，基本代表着最高水平，三星、铠侠（东芝）、西数、致钛(长江存储)，宏碁垃圾杂牌。
散热器：风冷基本拉不开差距，剩下的钱都花在静音和灯光上；推荐雅俊 E6 才 139 块钱，压 i5 妥妥的.
电源：海韵、长城的电源都不错，海韵是做服务器电源的但溢价高，长城是老厂家了现在是国企收购了。
主板：这个价格可以买 Z 系列主板了，及时不超频默认频率也比 B 系列高；便宜的推荐白色的铭瑄 MS-终结者 Z790M 和技嘉 Z790M 小雕/冰雕，价格都在 1399 左右。
机箱：你喜欢就好 199 的选择就很多

[winglight2016]

这预算上云啊，足够用个两三年了

[gransh]

我去年看三星好的 SSD

[nidongpinyinme]

@frankyzf #43 是的，年底不是说 50 系要出了吗，不急可以等等

[gransh]

楼上没敲完发出去了：我去年看好的三星 SSD 才 3000MB/S ，今年都发展到 7200MB/S 了？

[yplam]

建议留位置加 4T 或者 8T 的机械盘，一个模型几十 G ，SSD 很快就会满

[CatCode]

朋友前段时间配的，供参考。
14700KF 盒装、微星 Z790 A MAX 主板、瓦尔基里 280 水冷、佰维 6400MHz 32G （ 16G*2 ） DDR5 内存、4080 Super 魔鹰显卡、振华 850W ATX3.0 电源
固态、机箱自己选吧，还额外装了 4 把机箱风扇

[nidongpinyinme]

@mikywei #45 内存和硬盘价格一下就拉上来了呀哥哥，超预算了

[nidongpinyinme]

@winglight2016 #46 不想毕业除了几坨屎山啥也不剩

[nidongpinyinme]

@gransh #49 每年翻一番很合理

[nidongpinyinme]

@yplam #50 好的

[nidongpinyinme]

@CatCode #51 这一套配置我感觉上不去，预算超太多

[CatCode]

@nidongpinyinme 别去 JD 买显卡 然后看看板 U 套 应该问题不大

[nidongpinyinme]

@CatCode #57 那去哪买啊，不都推荐 JD 吗

[Yuhyeong]

显存太小，以后碰到稍微大一些的模型或训练会很痛苦

[CatCode]

@nidongpinyinme JD 显卡溢价太高，除非你能抢到原价公版卡
显卡就去淘宝找找呗

[dahaoyoubeifeng]

内存肯定不够啊。。。

[nidongpinyinme]

@CatCode #60 好的我去淘宝也看看

[nidongpinyinme]

@Yuhyeong #59 只能安慰自己大模型放服务器上跑了

[nidongpinyinme]

@dahaoyoubeifeng #61 32 不够还是 64 不够？

[quanzan]

需要这么折腾吗？我买了一个 RTX 3090 的整机，目前在做 LLM 的服务器用，详细请参考全赞工程师公众号。

[charslee013]

如果只是跑一些小模型或者作业之类的，我更加推荐用云 GPU 更划算

以 autodl 里的 4090 为例子，CPU 是 12 核 Xeon(R) Platinum 8352V,内存是 90GB ，每周的价格为 342 元，一个月下来优惠价格是 1276 元，一年也就 13176 元，这个价格比 1 万 5 的主机还要便宜一些

而且考虑到实验室有专门的机器来跑正式的作业，云上 GPU 在不运行的时候可以关掉更加省钱，并且显存不够还可以换其他机型这个是本地无法比较的优势

当然以上都是建议，希望能帮助上 OP 的需求。

[osilinka]

Intel 换 AMD 类似的吧，感觉 intel 现在性价比很低很低了

[mumbler]

做任何关于 AI 的事，显存大小都是关键，核心数量没有显存重要，16G 能干的事太少了。我 4000 多配了一台洋垃圾 E5 18 核心+64G 内存+2080ti 22G ，跑模型比你这台性能强。代码有 gpt4 ，谁还手动写

[waklealone]

@mikywei 金百达银爵用的也是海力士 A-Die 颗粒,差别不大的

[hidder]

@nidongpinyinme #24 a 系列显卡不是 amd 显卡

[fuwenpei]

4080super 好价 8300 一般 8500 ，你这都 9k 了

[nidongpinyinme]

@charslee013 #66 主要是配的主机毕业了还能接着用，租的服务器用完就没了

[fredweili]

谁出钱？必须要买么？ 32G 能跑的大模型也不怎么样

[nidongpinyinme]

@fuwenpei #71 好的，这个价格是七彩虹的吗

[nidongpinyinme]

@mumbler #68 好哥哥抄个配置

[nidongpinyinme]

@fredweili #73 自己买自己用，没说要在本地跑大模型啊

[nidongpinyinme]

@LiJie #44 谢谢哥，有推荐链接吗，淘宝看了一圈没有价格对得上的

[cexll]

内存太低了 32G 不够的 其次就是硬盘要求也挺高的 最好买稳定 速度快的，这个配置玩游戏还可以
其实如果是短期玩，可以直接订阅 google colab

[nidongpinyinme]

@cexll #78 是的， 更新了配置，给内存加到 64 了

[fuwenpei]

@nidongpinyinme 是，入门非盖的，比如 ultra w oc 这个水平，40 系比 30 的能耗低很多，不用堆料太高级

[nidongpinyinme]

@fuwenpei #80 好的

[hjb]

我也计划 618 整一台，显卡选 4070ti super ，

[hiphooray]

@nidongpinyinme 啊，那真是羡慕了，我推理还只能用 3060

[nidongpinyinme]

@hjb #82 我也在犹豫，显卡上砍下来一点可以把存储拉高一点

[man2vec]

16G 显存，跑个 8B 的 LLM 都跑不动，更别说训练了。
还不如搞个 64GB 内存的 mac 啥的。

[nidongpinyinme]

@man2vec #85 你是真不看需求文档啊

[man2vec]

@nidongpinyinme #86
真有这个必要吗？学校延迟超低的吧，vscode 之类的用 remote server 就直接可以在服务器上写代码调试之类的。难道你们计算资源用 slurm ？

[nidongpinyinme]

@man2vec #87 学校的服务器每次用需要提前申请，还要排队什么的，不太方便

[xiaobox]

@mikywei 老哥我最近也想装机，能不能留个邮箱咨询一下

[lchynn]

@nidongpinyinme #63 你大模型是跑 10B 以下的还是 70B, 110B 这种的？ 如果是后 2 者， 你就是量化 Q4 ，你这个显卡也推理起来够呛， 如果是只有几个 B 的，比如 GEMMA, PHI3 这种的。 拿 AMD 8845 或者 INTEL ULTRA 核显都推理的飞快。 如果你要微调大模型（ SFT ）？ 我觉得消费级显卡，基本没啥关系吧， 哪怕你买了 4090 ，也够呛。