这是一个创建于 382 天前的主题，其中的信息可能已经有所发展或是发生改变。
如果跑大模型，对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ，不知道还有没有其他方式。
 |
1
kindjeff 2023-11-05 13:45:24 +08:00  2
emmm 或许是 intel 核显跑 pytorch 吧，然后插 32 G 内存条
|
 |
2
kidlj 2023-11-05 14:27:46 +08:00
找一个大模型算法工程师的工作 :doge:
|
 |
3
chesha1 2023-11-05 14:37:30 +08:00
在 GPU 云（比如 autodl ）上租个 A100 ，因为看上去不是专业用途，个人用户自己玩玩的话，还是租比较合算，A100 大概每小时 6 块钱
担心不会用浪费时长，可以去 paperspace 买个包月会员 |
 |
4
RiESA 2023-11-05 15:07:05 +08:00
 个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G |
 |
5
cwyalpha 2023-11-05 15:42:08 +08:00 via iPhone 1
4060ti 16g 2
|
 |
6
1KTN90lKW9gVJ9vX 2023-11-05 15:46:23 +08:00 via iPhone
把内存分配给显存用、弄个 512g 显存🤔
|
 |
7
em70 2023-11-05 16:26:38 +08:00
阿里云已经停售 A100 了，现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右，比买 4090 划算
|
 |
8
yummysakko 2023-11-05 17:31:04 +08:00
sxm2 的 V100 吧
|
 |
9
icyalala 2023-11-05 17:40:06 +08:00
本地跑的话，Mac Studio 64GB 内存，RTX8000 48G 显存，都是两万上下？
|
 |
10
paopjian 2023-11-05 18:00:28 +08:00 1
超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
我觉得你如果还不清楚自己的需求话不如先租服务器试一下? |
 |
11
modestdeveloper 2023-11-05 20:07:05 +08:00 1
不考虑速度的情况下，mac 确实是一个性价比之选
|
 |
12
lithiumii 2023-11-05 21:45:15 +08:00 via Android
能多卡的话就买老卡呗
|
 |
13
bihui 2023-11-05 22:02:51 +08:00
4060 16g 不够用吗？
|
 |
14
netabare 2023-11-06 07:19:33 +08:00 1
如果不限定操作系统的话，MacBook 好像不错
|
 |
15
frankyzf OP 谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ，所以先问下。因为没有实践过，所以不确定实际的效果。
|
 |
16
sketcherly 2023-11-06 15:20:06 +08:00
如果只是玩的话可以找一些租显卡的服务，可以看下我之前用过的这个，为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ，或者顺着这个思路找个同类产品
|
Select Language