iwasthere
V2EX  ›  问与答

关于合力租算力搭建大模型

  •  
  •   iwasthere · 14h 20m ago · 599 views

    RT,几个人一起出资租好点的算力然后部署开源大模型( Qwen,h3,deepseek 等),做成一个接口访问是不是比订阅更划算?

    12 replies    2026-08-19 16:50:29 +08:00
    ktyang
        1
    ktyang  
       14h 18m ago
    没办法高效调度和满载利用的话是不可能划算的
    iwasthere
        2
    iwasthere  
    OP
       14h 16m ago
    @ktyang 5 ,6 个人这样规模的是不是应该可以应付?
    azuis
        3
    azuis  
       14h 15m ago
    怎么解决高峰时段大家都想用的问题呢?
    iwasthere
        4
    iwasthere  
    OP
       14h 1m ago
    @azuis 这个问题或许只能实际部署下试试
    mingtdlb
        5
    mingtdlb  
       13h 48m ago
    你讲这个话前,先去调研看看算力租赁什么价格吧...H200 一个月十几万。

    现在的问题我认为不是 token 贵,而是它不能保证一次解决问题,比如 100 块解决一个任务

    现在做算力的应该都是赔钱赚吆喝吧
    strobber16
        6
    strobber16  
       13h 47m ago via Android
    您是不是在找: ollama cloud
    iwasthere
        7
    iwasthere  
    OP
       13h 40m ago
    @mingtdlb 我参考的是 vast.ai
    iwasthere
        8
    iwasthere  
    OP
       13h 39m ago
    @strobber16 不不不,你这个还是订阅
    soulflysimple123
        9
    soulflysimple123  
       13h 29m ago
    你的成本控制的会比那些云服务厂商更强吗?
    sillydaddy
        10
    sillydaddy  
       13h 3m ago
    这个问题我觉得我已经有答案了:
    「个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型?既是自用,也是某种防止硬件涨价的投资?」: /t/1234981

    「两台 dgx-spark 部署满血 deepseek v4 flash 完全指南,稳定 60~70tok/s 单流」: /t/1232688

    即使是 DGX-Spark 这样的显存带宽很低的,按照现在的 API 价格,跑满负载的话,也完全可以在 1 年左右回本儿。

    但是,考虑到订阅价格普遍比 API 价格低 20 倍,即使按照 API 是 1 年回本来计算的话,按现在的低订阅成本,也需要 20 年才能回本。也就是说自己部署是永远也不如订阅划算的!

    为啥订阅这么便宜呢?不太清楚。收集真实数据?通过入口留住用户?总之,这可能就是厂商的一种补贴吧。你能打得过补贴吗?

    除非因为某些原因,无法使用订阅,比如隐私,比如订阅中缺乏替代模型,比如订阅会被限额限速。
    ktyang
        11
    ktyang  
       12h 58m ago
    @iwasthere #2 h3 可以搞,甚至都不需要多好的算力,搞个 80G 的显存就够了,视频模型的定价和代码模型的定价逻辑完全不一样,除此以外的都没必要了,写代码的那些模型如果你想保证质量且流畅的使用价格都很高,五六个人也没办法应付的,远比一人一个 x20 要贵的多。
    46fo
        12
    46fo  
       12h 56m ago
    租西半球的谷电算力
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   950 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 21:47 · PVG 05:47 · LAX 14:47 · JFK 17:47
    ♥ Do have faith in what you're doing.