V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mingtdlb
V2EX  ›  问与答

自研 AI 需要多大资源?

  •  
  •   mingtdlb · 2 天前 · 1184 次点击

    我司在讨论 AI ,又是提效、又是赋能的。应该还是探索阶段,做一些有公司特性的应用,集成到卖的产品中、客服系统改造之类的。

    我局外人,纯好奇,对这方面没什么认识,想来问问各位大佬。

    如果自研 AI 需要多少资源,硬件、人员...?

    如果调接口的话,是不是 简单点 成本也低?训练完,提供服务时是不是跟接口就没关系了?

    21 条回复    2024-12-20 03:24:53 +08:00
    murmur
        1
    murmur  
       2 天前
    没个几百万别折腾了,最后折腾来折腾去也就是本地部署个画画或者聊天机器人要么就是知识库

    而且国内 AI 正确性比能力更高,你在牛逼的 AI 说错话也要被敲打
    lerosua
        2
    lerosua  
       2 天前
    几百万下去一个浪花都没有,想啥呢,自研 AI 这么大口气
    dapang1221
        3
    dapang1221  
       2 天前   ❤️ 2
    啥叫自研 ai ,根据业务写 prompt 然后调豆包的接口也叫自研,部署个开源的 chatGLM+向量数据库也叫自研,抱抱脸上找个底模然后自己喂业务数据二次训练也叫自研,找几个炼丹师啃论文自己标注数据从头炼也叫自研……
    Liftman
        4
    Liftman  
       2 天前
    微软 1363-1635 亿
    谷歌 1817-2726 亿
    Meta 1000-1181 亿
    名马逊 454-727 亿
    X 181 亿

    根据统计。今年为止这五家花了大概这么多。你感受下。而且明年要喊都要继续翻倍显卡。
    x86
        5
    x86  
       2 天前 via iPhone
    几百万一个月发工资差不多
    huluhulu
        6
    huluhulu  
       2 天前
    自研?大的那几家模型训练一次平均成本(主要是电费) 0.5 亿-1 亿。
    你们难道认为微调算自研吗?
    nikenidage1
        7
    nikenidage1  
       2 天前
    不错的数据,请问数据来源有吗?
    qiniu2025
        8
    qiniu2025  
       2 天前
    2025 了还想从 0 到 1 做大模型? 市场已经开始洗牌了,根本不需要那么多模型,国内做大模型的公司很多都转型做应用了
    sagaxu
        9
    sagaxu  
       2 天前
    自研 AI ❌

    开源模型/SAAS + 喂入特定材料 ✅
    mayli
        10
    mayli  
       2 天前
    自研是啥?

    你这问题直接问 llm 就完事, 属于简单难度问题。看了下这几个方面基本上你们一个也没有。

    计算资源:
    - 训练大型 AI 模型通常需要数百到数千个 GPU/TPU,持续时间从数周到数月不等
    - 对于较小规模的模型,至少需要几十个 GPU 进行分布式训练
    - 需要高性能计算集群和存储系统的支持

    数据资源:
    - 高质量的训练数据至关重要,规模从几 TB 到数百 TB 不等
    - 需要专业团队进行数据收集、清洗、标注等工作
    - 特定领域的数据获取可能面临难度

    人才资源:
    - 核心研发团队需要机器学习、算法、系统等专业人才
    - 工程团队负责训练框架、分布式系统等基础设施
    - 领域专家提供行业知识和应用场景指导

    资金投入:
    - 硬件设施投入可能达到数千万到数亿
    - 人力成本每年至少数百万到上千万
    - 还需要考虑数据采购、计算资源租用等费用
    fulajickhz
        11
    fulajickhz  
       2 天前
    @Liftman 马斯克才投了这么点钱? 他的 10 万张 H100 的 Colossus 集群 这么便宜吗?
    walkbox
        12
    walkbox  
       2 天前
    看到提效 赋能这 2 词就想到了各种骗国家补助的各种机构, 这公司是要拿歪果的现成 gpt 套壳号称自研了吧
    bk201
        13
    bk201  
       2 天前
    你们的自研顶多就是应用层面的自研吧。
    kinghly
        14
    kinghly  
       2 天前 via Android
    国内哪有什么自研,还不都是开源扒下魔改。要么就是微调后 API 调用封装。
    zuotun
        15
    zuotun  
       2 天前
    重新定义自研,不说别的,硬件成本愿意投入多少?上面也说了有十万 H100 的集群而且这个还不是最大的。
    Yanlongli
        16
    Yanlongli  
       2 天前
    国内小公司所谓的自研无非就是拿通用开源项目改改然后本地部署,不想给其它公司的 AI 产品付费,实际折腾的费用要高出付费好几倍还不咋能用。
    jettzhang
        17
    jettzhang  
       2 天前
    不是,阿珍,你来真的啊?
    unco020511
        18
    unco020511  
       2 天前
    你这些都不需要自研大模型,做应用层开发就行了
    mingtdlb
        19
    mingtdlb  
    OP
       2 天前
    @dapang1221 按国内公司的尿性,开源的拿来改 logo 宣传的时候也算自研,我是鄙视这种行为的,但大环境就这样,评论区很多兄弟也提了。
    @x86 听说字节从阿里挖过去那个好像 8 位数年薪
    @unco020511 只是借这个 好奇问下。我这小破公司肯定调接口的,正文说了,应该是搞一些应用层的东西。

    帖子的目的还是想认识一下这方面,我只知道用😂
    akriafly01
        20
    akriafly01  
       1 天前
    别瞎折腾了。AI 这事和中国基本无缘份了
    现在互联网上都什么垃圾内容,加上各种审核限制,说错几句话分分钟教你做人
    屏蔽关键字之后,还要重新组织 ai 的内容,最后发现还不如搞几个人看呢
    真想搞 AI 的噱头,直接买 API 是最快和见效的方式。
    当然可以在 prompt 上搞点微创新或者结合几个 api 工具
    JeriffCheng
        21
    JeriffCheng  
       1 天前
    能自研 AI 的,全球不超过 20 家公司/机构,剩下的绝大多数都是在他们的开源基础上微调,再训练。
    建议你们公司直接购买大公司的 AI 服务,调用 API ,导入自己公司的数据进行微调!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2859 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:07 · PVG 16:07 · LAX 00:07 · JFK 03:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.