看到有人评论,说 9G 内存就够跑 Qwen 14B 了,效果直逼 o1mini ,高配 32B 都可以跑。
求证一下,有没有大佬已经上手了,感觉怎么样。
1
spike0100 6 天前 via iPhone
本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些,啪啪啪 think 了一堆,但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
|
2
vipviphaha 6 天前
9g 内存跑 14b ,速度不行
|
3
0619 6 天前
M1 Max 64G 32b 速度可以用,70b 速度非常慢
|
5
tanrenye 5 天前
试了一下 7b ,不太行的感觉,还有混着英文来回答,估计要 14b 以上会好一点,不如 qwen2.5 的 7b
|
6
windirt 5 天前
16G M1 Pro ,关掉所有 app 能跑 14B
|
7
jiuzhougege 5 天前
32G 内存跑 32B, 20G 的模型文件,无压力
|
8
GabrielleBellamy 5 天前
128gb 内存跑 32b 中。
|
9
hearlessnor 5 天前
@windirt 速度如何,回答质量如何?
|
10
pricky777 5 天前
16G 的 M2 跑 7b ,错误挺多的,跑 14b 的话内存直接炸了,结果也没好到哪里去
|
11
neilxu 5 天前
与楼上不同,我 16G 的 M1 ,ollama 跑 14b ,速度不慢,内存占用 12G ,回答质量和速度都可以,问的是苏联和蒙古的历史问题,跟 ds 官网的答案差不多,没有明显减少字数。
就是 air 没风扇,输出的时候温度 88-90 度,输出完就降温了。 |
12
zeyangstudies 4 天前 1
跑了 32b 的 4bit 量化的 mlx 版本,感觉挺好用~
|
13
skylha 4 天前
@zeyangstudies 老哥你是啥配置?有比直接跑 7b 效果好吗?
|
14
zeyangstudies 3 天前
@skylha 我的是 48g 的 M3 ,没试过 7b 的诶
|
17
hiiragiharunatsu 3 天前
m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
|
18
idlerlestat 3 天前
|
19
sheller 3 天前
@zeyangstudies 求个链接,谢谢
|
20
wsbqdyhm 2 天前 via iPhone
@0619 #3 配置一样,32b 和 70b 我都安装了,可以接受。ds 真的好很多,国内妥妥的第一,中文也比免费版的 chatgpt 强,付费版没有试过
|
21
winson030 1 天前 via iPhone
话说。能跑是能跑,但是效果怎样? 32gb m1pro 跑哪个规格的模型是能用好用的?
|
22
kimizen 1 天前
看有人用 8 个 mac mini 跑成功了
|
23
findex 17 小时 32 分钟前
@hiiragiharunatsu 这个效果确实不如几百瓦功耗的 N 卡。m4 ultra 应该会好很多,目前 mac 的瓶颈卡在内存/显存带宽上。其他都是浮云
|
24
SGL 15 小时 59 分钟前
我想问下本地跑 deepseek 模型的意义是什么,回答质量也不高,纯为了玩儿吗
|
26
Donaldo 14 小时 12 分钟前
32b 起吧,14b 效果太差了,32b 也很慢,而且开了十几 G 内存没了,本身内存就捉急。。
|
28
Themyth 12 小时 31 分钟前
我是 36G 内存 一开始跑 70b 卡死……跑 32b 速度挺快的,但是挺弱智的。。。
|