V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
isSamle
V2EX  ›  程序员

显卡拓展方案?

  •  
  •   isSamle · 2023-08-01 17:29:53 +08:00 · 1520 次点击
    这是一个创建于 474 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有没有便宜实惠的显卡拓展方案啊,最近想玩一下模型自部署,机器实在是带不动。

    21 年入手的机器 --> 雷神 911 Master2 代 8 核 I7-10870H 16G 内存 GTX1650 显卡。

    前几天试着跑了下 GLM 量化模型,根本带不动,配置显示共享 GPU 内存还有 7G ,但是只能使用到独显的 4G 。

    看了下 GPU 电脑,消费不起……

    考虑使用显卡拓展坞搭载外部显卡,预算 5000 内。

    15 条回复    2023-08-02 17:34:30 +08:00
    noe132
        1
    noe132  
       2023-08-01 18:07:32 +08:00
    扩展坞性价比低到爆炸,还不如买电脑。
    liberize
        2
    liberize  
       2023-08-01 18:30:05 +08:00 via Android
    配一套,捡矿渣 p104 ,全套 400 以内搞定。
    p104 相当于 1070 8g 。
    有更多预算加 250 上 40hx 。
    documentzhangx66
        3
    documentzhangx66  
       2023-08-01 20:09:22 +08:00
    跑模型谁用笔记本...兄弟你搞错方向了。

    而且笔记本雷电外置显卡扩展坞,贵的像金逼似得,完全没必要,还不如租一台正儿八经的 AI 服务器,反正你玩一阵子就腻了。
    isSamle
        4
    isSamle  
    OP
       2023-08-01 21:07:34 +08:00
    @noe132 但是带高配 GPU 的电脑简单看下都 1 万多两万
    isSamle
        5
    isSamle  
    OP
       2023-08-01 21:08:26 +08:00
    @liberize 直接在海鲜市场搜 p104 吗,谢谢,我去瞅瞅
    isSamle
        6
    isSamle  
    OP
       2023-08-01 21:09:24 +08:00
    @documentzhangx66 云服务也不便宜啊,我看也要千来块一个月最少,想着还不如自己弄个本地的,不然部署来部署去也麻烦
    buaacss
        7
    buaacss  
       2023-08-01 21:43:13 +08:00
    https://item.taobao.com/item.htm?spm=a1z10.5-c-s.w4002-24199657618.30.665b5e772gTfaq&id=694709333551
    https://item.taobao.com/item.htm?spm=a1z10.5-c-s.w4002-24199657618.20.665b5e772gTfaq&id=667265648824

    他们家的扩展坞还可以的。我现在就用它接 4090 。pcie3.0 可以跑满。sd 跑图什么的很轻松。

    玩儿 LLM 跑个 4bit 量化的 llma2 13b 没有问题。训练的话最高调过 13B 模型。
    buaacss
        8
    buaacss  
       2023-08-01 21:48:59 +08:00
    ![4090]( https://i.imgur.com/DUHY6ka_d.webp?maxwidth=760&fidelity=grand) 上张图,架子放不下 4090 ,用乐高 diy 了一个,大小刚好合适。目前还没有烧接口。
    Tyuans
        9
    Tyuans  
       2023-08-01 22:13:15 +08:00
    买个台式机啊,不行就显卡钱多花点,当作服务器放边上也行啊
    isSamle
        10
    isSamle  
    OP
       2023-08-02 01:03:28 +08:00 via Android
    @Tyuans 看了下,95 新的戴尔 T5820 图形工作站:至强 W-2135 处理器 3.7 主频 6 核 12 线程 / DDR4 32G 内存 / 全新三星 M.2 256G 固态 / RTX3060 12G 显卡 价格:5680 元,可以接受吗
    isSamle
        11
    isSamle  
    OP
       2023-08-02 01:03:41 +08:00 via Android
    @Tyuans 主要是不太懂这些
    isSamle
        12
    isSamle  
    OP
       2023-08-02 01:04:08 +08:00 via Android
    @buaacss 放弃了,硬件动手能力不太行😂
    cloud2000
        13
    cloud2000  
       2023-08-02 12:27:30 +08:00
    方向可能错了。

    应该是租赁;
    或搞 p40 24G 或 2080ti 魔改 22G 的台式机, 然后笔记本 ssh 上去。
    cloud2000
        14
    cloud2000  
       2023-08-02 12:28:04 +08:00
    按照你的预算, 可以至少有 44G 显存
    RichardML
        15
    RichardML  
       2023-08-02 17:34:30 +08:00
    @isSamle 我的卖你你要吗戴尔 T5820 ,I9-10920X ,32G 内存,intel 512G 的固态,2080Ti (还没魔改),有一个配件是硬盘拆分卡,7000 。买来搞 PVE 虚拟机加玩炼丹相关的东西来。盖板有一个定位的脚断了,完全不影响使用和外观。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   882 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 21:36 · PVG 05:36 · LAX 13:36 · JFK 16:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.