V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
murmur
V2EX  ›  程序员

从学习角度来说,不折腾模型精调和模型训练,购买第三方 api 是不是最划算的

  •  
  •   murmur · 104 天前 · 3034 次点击
    这是一个创建于 104 天前的主题,其中的信息可能已经有所发展或是发生改变。

    即便是 rag ,embedding ,大模型,重排模型,向量数据库,第三方都有服务,还不需要解决网络,也不需要多少内存,还有赠送额度用

    虽然 50wtoken 玩一玩就没了( b 站有人利用超长模型让 AI 学习三国演义全书,测试和 rag 的对比)

    相比之下即便是 macmini m4pro 32g 的也一万块了

    25 条回复    2025-05-23 18:51:35 +08:00
    tool2dx
        1
    tool2dx  
       104 天前
    还是看具体用途吧,自己辅助写代码,你也只会用顶级 API ,本地参数太小智商太低,你也不会用。

    如果是企业文档,你公司知识库全部放别人服务器上,总感觉也不太好。

    最好就是公司能报账,买 macmini m4pro 32g 丢在局域网,用 ollama 布置一下,给部门同事用是最好的了。
    murmur
        2
    murmur  
    OP
       104 天前
    @tool2dx 公司的集群在搞,据说能跑至少 2 套完整的 deepseek ,但是招标你也知道的,没个把月搞不下来
    starlion
        3
    starlion  
       104 天前
    还是看你想先学哪方面内容,你有钱当然可以买更好的硬件,有一个性价比。
    没钱就搞免费的 API 或 小模型,最近 Qwen3 不是出了个小模型
    xiaomushen
        4
    xiaomushen  
       104 天前
    @tool2dx 没见过 macmini 做为 PRD 严肃应用的公司,太不正经了。。
    sentinelK
        5
    sentinelK  
       104 天前   ❤️ 1
    “购买第三方 api 是不是最划算的”

    如果只考虑 AI 的执行层面,是的。
    目前即便是最低成本的方案( k'transformer ),跑 671B 的 deepseek ,也就 3token 每秒。大概的硬件成本在 5~6 万。你可以换算一下,3token/s ,跑价值 6 万的 api ,大概需要多少年。如果想让 token/s 提升,价格基本也是指数级提升。

    但是使用 API 也有很多不便。
    1 、不能微调,不能训练。导致很多细分业务场景下没有收敛度很高的模型 api 可用。
    2 、第三方也有一些使用上的限制。比如隐私、xx 限制等。而且第三方 api 的审核模型与内容控制会污染最终输出的精度。
    3 、很多高品质的 api 提供商并不服务于大陆。

    所以可以看到很多垂直领域的公司,宁肯自己成本高,也要自建,甚至是自训练、自开发。比如彩云系。
    sentinelK
        6
    sentinelK  
       104 天前   ❤️ 1
    btw:v 站的关键词限制越来越魔怔了,上文比较“扭捏”的名词都是我经过“润色”的,否则直接封 IP
    tool2dx
        7
    tool2dx  
       104 天前
    @xiaomushen Nvidia 在推 arm cpu 的 AI 集成 PC ( NVIDIA DGX Spark ),有统一的 128G 显存/内存,按理说都不是正经的 GPU ,但架不住比显卡要便宜啊。
    conn457567
        8
    conn457567  
       104 天前 via Android
    就纯学习的角度我觉得 mac mini 24G 或者 32G 最具性价比,24G 足够部署 14B 的模型,本地学习足够了。微调训练模型什么的还是直接用云厂商的比较划算
    zhanying
        9
    zhanying  
       104 天前
    @murmur 不用 ktransformer 等方案把未激活的参数放到内存中,纯用 GPU 跑未量化未蒸馏的满血 fp8 671b r1 需要大概 16 块 A100 ,贵司一出手就是两套还是很有实力的啊。。。https://apxml.com/posts/gpu-requirements-deepseek-r1
    xiaomushen
        10
    xiaomushen  
       104 天前
    @tool2dx 目前个人玩玩可能可以吧。
    反正我公司,我碰到的,要做私有化部署的其他公司,都是采购正经 H20 机器。(有信创要求,则是昇腾机)
    xiaomushen
        11
    xiaomushen  
       104 天前
    @tool2dx 便宜就自己买了自己玩呗,公司正规采购自建 AI 数据中心,或者你给正经客户做方案,目前用 mac mini 堆,恐怕只是程序员思维了。。。
    xiaomushen
        12
    xiaomushen  
       104 天前
    @zhanying A100 也不支持 FP8 鸭...
    crackidz
        13
    crackidz  
       104 天前
    是的,买是最划算的
    rahj
        14
    rahj  
       104 天前
    没有时间就花钱买
    sworld233
        15
    sworld233  
       104 天前
    我觉得是的
    rogerer
        16
    rogerer  
       104 天前
    是的,自购硬件绝对是不划算的。服务商能跑满 GPU ,基本上不留空闲,个人很难做得到。
    ayelky
        17
    ayelky  
       104 天前
    只要跑不满,时刻在浪费钱
    lqw3030
        18
    lqw3030  
       104 天前
    如果是独立开发者,在模型层面投入回报比会特别低,建议直接借 api 杀入应用层面
    yb2313
        19
    yb2313  
       104 天前
    有些东西只能本地 ai 能说, 网络 api 全给你屏蔽了
    testliyu
        20
    testliyu  
       104 天前
    @tool2dx #1 为啥不用带显卡的机器
    zhengfan2016
        21
    zhengfan2016  
       104 天前
    @yb2313 不一定,你本地跑个 deepseek/gemma ,问点不能碰的滑梯,照样不回答,得看模型背后的公司的所处郭嘉。每个郭嘉都有属于它们的不能被讨论的 zz 正确
    yb2313
        22
    yb2313  
       104 天前
    @zhengfan2016 本地的可以调教啊, 可以清洗掉思想钢印, 不会有关键字检测
    sanshi2018
        23
    sanshi2018  
       104 天前
    AI 学习三国演义全书 的 b 站链接求分享一下
    murmur
        24
    murmur  
    OP
       104 天前   ❤️ 1
    qingzhijiusheng
        25
    qingzhijiusheng  
       103 天前
    自用买 api ,公用买设备
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3384 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 04:59 · PVG 12:59 · LAX 21:59 · JFK 00:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.