V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
clear
V2EX  ›  Apple

有用 Mac 跑 deepseek 模型的么,效果怎么样,有坑没有

  •  
  •   clear · 6 天前 · 3753 次点击

    看到有人评论,说 9G 内存就够跑 Qwen 14B 了,效果直逼 o1mini ,高配 32B 都可以跑。

    求证一下,有没有大佬已经上手了,感觉怎么样。

    28 条回复    2025-02-02 19:16:28 +08:00
    spike0100
        1
    spike0100  
       6 天前 via iPhone
    本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些,啪啪啪 think 了一堆,但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
    vipviphaha
        2
    vipviphaha  
       6 天前
    9g 内存跑 14b ,速度不行
    0619
        3
    0619  
       6 天前
    M1 Max 64G 32b 速度可以用,70b 速度非常慢
    0619
        4
    0619  
       6 天前
    @spike0100 32b 回答没问题
    tanrenye
        5
    tanrenye  
       5 天前
    试了一下 7b ,不太行的感觉,还有混着英文来回答,估计要 14b 以上会好一点,不如 qwen2.5 的 7b
    windirt
        6
    windirt  
       5 天前
    16G M1 Pro ,关掉所有 app 能跑 14B
    jiuzhougege
        7
    jiuzhougege  
       5 天前
    32G 内存跑 32B, 20G 的模型文件,无压力
    GabrielleBellamy
        8
    GabrielleBellamy  
       5 天前
    128gb 内存跑 32b 中。
    hearlessnor
        9
    hearlessnor  
       5 天前
    @windirt 速度如何,回答质量如何?
    pricky777
        10
    pricky777  
       5 天前
    16G 的 M2 跑 7b ,错误挺多的,跑 14b 的话内存直接炸了,结果也没好到哪里去
    neilxu
        11
    neilxu  
       5 天前
    与楼上不同,我 16G 的 M1 ,ollama 跑 14b ,速度不慢,内存占用 12G ,回答质量和速度都可以,问的是苏联和蒙古的历史问题,跟 ds 官网的答案差不多,没有明显减少字数。
    就是 air 没风扇,输出的时候温度 88-90 度,输出完就降温了。
    zeyangstudies
        12
    zeyangstudies  
       4 天前   ❤️ 1
    跑了 32b 的 4bit 量化的 mlx 版本,感觉挺好用~
    skylha
        13
    skylha  
       4 天前
    @zeyangstudies 老哥你是啥配置?有比直接跑 7b 效果好吗?
    zeyangstudies
        14
    zeyangstudies  
       3 天前
    @skylha 我的是 48g 的 M3 ,没试过 7b 的诶
    18m
        15
    18m  
       3 天前 via Android
    @skylha 同关注
    sunmker
        16
    sunmker  
       3 天前
    @spike0100 我也是,本地跑 1.5B 和 7B 都不太行,不如通义千问。官网的确实还可以的
    hiiragiharunatsu
        17
    hiiragiharunatsu  
       3 天前
    m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
    idlerlestat
        18
    idlerlestat  
       3 天前
    蒸馏版 14b 在 16G m3 air 上跑问题不大
    至于完全版的,真想在 mac 上跑的估计要这样
    https://x.com/exolabs/status/1872444906851229814
    sheller
        19
    sheller  
       3 天前
    @zeyangstudies 求个链接,谢谢
    wsbqdyhm
        20
    wsbqdyhm  
       2 天前 via iPhone
    @0619 #3 配置一样,32b 和 70b 我都安装了,可以接受。ds 真的好很多,国内妥妥的第一,中文也比免费版的 chatgpt 强,付费版没有试过
    winson030
        21
    winson030  
       1 天前 via iPhone
    话说。能跑是能跑,但是效果怎样? 32gb m1pro 跑哪个规格的模型是能用好用的?
    kimizen
        22
    kimizen  
       1 天前
    看有人用 8 个 mac mini 跑成功了
    findex
        23
    findex  
       17 小时 32 分钟前
    @hiiragiharunatsu 这个效果确实不如几百瓦功耗的 N 卡。m4 ultra 应该会好很多,目前 mac 的瓶颈卡在内存/显存带宽上。其他都是浮云
    SGL
        24
    SGL  
       15 小时 59 分钟前
    我想问下本地跑 deepseek 模型的意义是什么,回答质量也不高,纯为了玩儿吗
    lrigi
        25
    lrigi  
       15 小时 42 分钟前 via iPhone
    @SGL 隐私保护,也不是所有问题都要在线问
    Donaldo
        26
    Donaldo  
       14 小时 12 分钟前
    32b 起吧,14b 效果太差了,32b 也很慢,而且开了十几 G 内存没了,本身内存就捉急。。
    wsbqdyhm
        27
    wsbqdyhm  
       14 小时 10 分钟前
    @SGL 在线问三天打鱼两天晒网,服务器崩来崩去,真是无语,还是本地靠谱,讲真,有些问题本地比在线要来得好。
    Themyth
        28
    Themyth  
       12 小时 31 分钟前
    我是 36G 内存 一开始跑 70b 卡死……跑 32b 速度挺快的,但是挺弱智的。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   864 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:48 · PVG 07:48 · LAX 15:48 · JFK 18:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.