V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
eedh
V2EX  ›  Local LLM

怎样部署 ai 大模型然后训练他

  •  
  •   eedh · 1 天前 · 1596 次点击

    本地电脑,用数据库训练

    15 条回复    2025-09-04 17:50:11 +08:00
    mixuxin
        1
    mixuxin  
       1 天前
    你说的可能是微调?
    qwzhang01
        2
    qwzhang01  
       1 天前
    lamafactory 训练
    vllm 部署
    dlmy
        3
    dlmy  
       1 天前
    你是认真的吗?

    我在本地电脑上用 ollama 部署了 deepseek-r1:7b ,就是个反应迟钝的玩具
    qwzhang01
        4
    qwzhang01  
       1 天前
    我看了下内容,如果按照微调思路回答的话:
    1. 本地电脑要看什么显卡,显卡对应的 Python 版本、coda 版本等等环境还是比较麻烦的,如果是实验可以按小时组一些 GPU 试试,环境最好现成的。
    2. 数据库训练,也就是使用自己数据库里面的数据,这个要根据你训练的模型以及使用的框架构建数据,可能要对数据库做下转换,不过这个也简单,直接让大模型出代码就行

    目前只能回答这些了
    PandaIsGood
        5
    PandaIsGood  
       1 天前
    自己部署跑着玩可以弄个 lm studio ,mac 这种统一内存就比较方便
    CEBBCAT
        6
    CEBBCAT  
       1 天前
    之前听过一些厂商来宣讲,主要讲的就是怎么用他们的云服务来便利地微调,忘记是哪家了,楼主可以了解下(但个人不爱阿里)

    ---
    @dlmy #3 不可以翻译吗?我现在用的沉浸式翻译是 glm 4 9b chat 模型,我看效果还行,比肩内置 Google 翻译水平了
    gaobh
        7
    gaobh  
       1 天前 via iPhone
    你再说啥,本地就部署一套 dify 调 api 玩玩就行了
    tcper
        8
    tcper  
       1 天前
    一个非常大的疑问就是,你训练出来的模型如果比市面上的都差,怎么办?
    cheng6563
        9
    cheng6563  
       1 天前
    训练个屁,个 7b 模型本来就弱智,再训练赛点东西进去更弱智了。
    richarddingcn
        10
    richarddingcn  
       1 天前
    你数据库数据是想 rag 还是真要训练
    qiancheng
        11
    qiancheng  
       1 天前 via iPhone
    真想弄就去闲鱼找个人帮忙,花不了多少钱 甚至都不需要 GPU
    BlueSkyXN
        12
    BlueSkyXN  
       1 天前 via iPhone
    你有这钞能力吗,存疑
    msg7086
        13
    msg7086  
       1 天前
    之前有个小姐姐想给男友训练个自己口吻的聊天模型,在谷歌上基于现有模型跑了个简单的微调,第二天收到了 11 万人民币的账单。
    Pi10t
        14
    Pi10t  
       21 小时 12 分钟前
    @msg7086 那个好像不是小姐姐,而是一个男生给他的男朋友训练的
    2020diyige
        15
    2020diyige  
       19 小时 36 分钟前
    大模型训练,个人那点硬件不够用啊,,太贵了
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4026 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 05:26 · PVG 13:26 · LAX 22:26 · JFK 01:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.