深度学习入门 求工作站配置。

[hrn961110]

作为一个深度学习的小白，最近在搞 llm 微调。

用过 colab ，gpu 云服务部署过模型，但感觉都不是很方便

想拥有一台自己的深度学习工作站。但对硬件配置不是很懂

例如是选择专业卡还是消费卡。是 v100 ，还是 4090 ，还是 3090

如果要微调 70b 往上的模型，单卡显存不够的，具体怎么配置还请有经验的大佬指教一下

预算： 2w-3w+ （个人学习预算） 上限: 8w （公司预算）

要求： 1.能微调 7b~100b+ 2.尽可能便宜

[osilinka]

目前性价比最高的是 3090 ，就看你能买多少

[hrn961110]

具体的配置可以推荐一下么

[hrn961110]

@osilinka 具体的配置可以推荐一下么

[cloud2000]

消费级最多微调 7-13B, 100B 是不现实的，只能云端。

[osilinka]

https://www.reddit.com/r/LocalLLaMA/

可以到这里来看看吧，我个人没有那么多的资源，就买了个 4060

还可以加个千问的群，里面应该很多坐这个的

[vincent7245]

个人学习，我是一个旧电脑上的 8 代 i3 ，买了两块 Tesla P40 花了大概一千，从学习机器学习到现在调大模型，一直用的挺好的，慢点就慢点，又不是不能用。

[hrn961110]

@vincent7245 太慢时间成本受不了。在云服务器上用过，微调 chatglm3-6b 版本 lora 会爆内存，得 qlora 才行。而且是给公司做 rag 。
@osilinka 感谢