这是一个创建于 258 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
fskemp233 258 天前
小黄鱼 32G 康康。大模型快慢你要先放一边了。
|
 |
2
renmu 258 天前 via Android
加个 0 勉勉强强，要么就 2080 及其魔改版
|
 |
3
hertzry 258 天前 via iPhone  2
SXM2 的 V100 16G 加 PCIe 转接卡，2000 只能这样了。
|
 |
4
pixelbook 258 天前
等 5060 吧
|
 |
5
Solix 258 天前 via iPhone
这价位只能 2080ti 魔改
|
 |
6
irrigate2554 258 天前
2080ti 22g 魔改要么，我想出
|
 |
8
pigzilla OP 感谢各位的意见。忘记提了，是公司测试用途买的，所以需要能开票的，闲鱼和各种魔改的方案都不行。
我自己找了下淘宝的价格，好像只有 3060 12GB 的能符合。 |
|
10
irrigate2554 258 天前 via Android
2080ti 22g 公版涡轮扇，某鱼价格 2500 左右，要的话 2400 顺丰包邮卖你，不管现存还是性能都比 op 选的 3060 好。
@nocae |
 |
12
zuotun 258 天前
两千块跑 AI 还要开票？没有这种东西，别说划算了，连门槛都够不着。
|
 |
13
mumbler 258 天前 1
2080ti 魔改 22G+洋垃圾 E5 准系统，大概 4000 元，能跑 99%开源项目的模型，deepseek R1 32B 能流畅跑
生产力工具别省钱，宁可不吃饭 |
 |
14
Foxkeh 258 天前
租用云服务器算力吧,能开票
|
 |
15
lneoi 258 天前
对 租服务器吧
|
 |
16
macadurian 258 天前
4060Ti 16GB ，预算提升一下，4070
|
 |
17
paopjian 258 天前
这公司有点搞笑了, 2000 想搞 AI, CPU 乱七八糟的怎么办? 直接买服务吧, 要是两千万当我没说
|
 |
18
gouflv 257 天前 via iPhone
2000 看着少，但也别这么浪费，劝你们老板留着吃顿好的吧
|
 |
19
ferock PRO 1
用下来，mac mini 性价比最高，可以流畅跑 14b ，可以跑 32b 一秒大概 4 、5token ，3600 的价格
|
 |
20
pwinner 257 天前 via iPhone
2000 建议吃顿好的，或者调硅基流动之类推理平台的 api ，本地推理要么建议找台有 avx512 的电脑多插点内存用 cpu 推理到天荒地老
|
 |
21
leo72638 257 天前 via iPhone
2000 还要票，建议云上跑吧，买 N 卡真是门槛都够不着
|
|
23
pigzilla OP @Foxkeh #14
@lneoi #15 感谢建议。不过我们需要测试和调试底层驱动的东西，所以云服务不行。 另外，我发现大部分回复者都挺搞笑，属于一班只懂个皮毛就尾巴翘上天的： 第一阅读能力不行：我已经写的很清楚了，“主要是测试”，而不是跑生产应用；“大模型也会试试”，而不是专跑大模型。 第二对 AI 的理解极为偏执：以为 AI==LLM ，以为 AI==上层的应用。实际上 AI 的应用类型极多，涉及到的也是整个系统——硬件+OS+驱动+系统库+应用库+AI 框架+应用...，训练和推理场景也有很大差别。不是所有 AI 人的工作都是搞个上层应用包装个 LLM 来对话。在你们心里面，底层的那些东西都是货架上刷新出来的么？ 第三以为所有东西都要靠堆钱来解决。实际上 2000 以内 N 卡 3060 12G 可跑 DS-R1 14b(9GB)，用来测试绰绰有余。我们还要测 Intel Arc A770 （一样 2000 以内），同样也是为了了解不同方案的表现和性价比。更不用说清华最近那个新的突破了（虽然还是要 24G 显存，但谁说未来不能更小？） |
 |
24
norland 257 天前
算了，还是建议楼主有机会换个公司吧。
|
 |
25
w568w 257 天前
@pigzilla #23 楼主具体描述一下需求？
1. AI 到底是指哪一类？下到单片机几十 MB 内存跑 YOLO ，上到几千张 H100 集群跑 LLM 预训练都叫「 AI 」… 2. 面向的场景是什么？单机部署模型？端侧推理？还要调试底层驱动，是做 NPU 开发？ |
 |
26
nxforce 257 天前
这个预算还不如租用云厂商的 GPU 资源。
|
 |
27
MacsedProtoss 257 天前 via iPhone 2
@pigzilla #23 这个定义你要说就早点说 描述啥都没有在这里让人猜吗？现在语境里谁不是默认 ai=大模型？
|
 |
28
GGMM 257 天前 1
1 、如果看 GPU ，买显存最高的版本，可以不关注算力。那可能就是 3060 12g 或者 4060 16g ，后者会超预算。
2 、如果是推理，不训练，可以看看一些计算棒（ NPU ）或者换 CPU |
 |
30
jamos 256 天前 1
3060 12G ，14B 我这边跑不起来，直接回退到使用 cpu 的，非常慢
|
 |
31
JensenQian 256 天前
2000 块钱
买个 4060 打游戏都觉得垃圾 跑 ai 加点钱吧 至少怎么也得 4070ti super 这种卡吧 |
|
32
JensenQian 256 天前 2
@JensenQian 常见显卡给你看下
来源 https://www.bilibili.com/video/BV1ogAKe3EAb/ 2000 预算买个 100 瓦的 4060 打游戏都觉得不太行真的 老黄现在显卡感觉没个 5000 块都没法入门了感觉  ) ) |
 |
33
roygong 256 天前 via iPhone
直接租服务器，放弃本地跑大模型的幻想。不过这预算真要租服务器跑大模型，估计一周也就花完了。
|
|
34
pigzilla OP |
|
35
pigzilla OP 铜币已送给有建设意义回复。谢谢各位。
|
 |
36
kloseWu 256 天前
2000 的话只能上 P40 了
|
 |
37
xyfan 256 天前 2
你自己不把需求说清楚还在这指责别人，还说“14b 不行可以拿 8b 、7b 的测试”，那你直接用 1.5b 不就行了，2G 显存都能跑，买个 GTX750 亮机卡也能测试。
|
 |
38
Bom 256 天前
+1
|
 |
39
kennylam777 240 天前
才 2000 塊, 跑 8bit quantization 的 VRAM 也不夠, 不如拿去租 GPU 摸清楚需求再算
|
Select Language