cwcc's recent timeline updates
cwcc

cwcc

V2EX member #530166, joined on 2021-01-24 11:08:01 +08:00
Today's activity rank 886
简单使用了一周在本地 Mac 的 qwen3.6-35b-a3b 模型
AI Agent 智能体  •  cwcc  •  2 days ago  •  Lastly replied by cwcc
6
五一的『爱达魔都号』邮轮返程回来,说一下体验
旅行  •  cwcc  •  May 7, 2025  •  Lastly replied by cwcc
30
有办法把中国联通的“欢迎使用中国联通业务”屏蔽?
iPhone  •  cwcc  •  Jan 11, 2025  •  Lastly replied by bao3
24
MacBook Air M2 好像有硬件问题
MacBook  •  cwcc  •  Apr 8, 2025  •  Lastly replied by lsvl
1
cwcc's recent replies
不是算力的问题,是显存太紧张了,只能跑个 7b 左右的才能达到每秒 70-100tok 的速度,跑更大模型受限的情况瓶颈基本全在 PCIe 带宽和显存上。

真要横向比较的话,我自己的 36G 的 MacBook Pro 能跑 qwen3.6035b-a3b 模型,每秒能到 30token ,但长上下文直接把内存撑爆死机;相比我的 5060Ti 只能直接跑小模型,或者 CPU 混合计算下利用 64G 的 RAM 能以很慢的速度跑很大的模型也不会爆内存死机。总之各有各的瓶颈,你得知道自己的硬件瓶颈在哪里。
说白了还是要解决一个 Agent 的根本问题:有限的显存空间和膨胀的上下文之间的问题。不过模型的拆分确实能更好地解决一个复杂项目下上下文爆炸的问题,不管是大模型还是小模型。这点我甚至感觉可以通过优化现有的 Copilot 、Copilot 、Roo Code 等 prompt 和 tool call 实现,比如加入 subagent 、优化子项目流程、自动 compact context 等。
早上班早下班比晚上班晚下班其实更舒服,早点睡就好了。
@cnrting #45 那么问题来了,找境外工作躺平是不是呢?
2 days ago
Replied to a topic by bearbest 情感问题 对象躺得太平了怎么办?
蹲了半天 v 友的答案,我来说下我的心得吧。

我也和对象在一起很多年了,还没结婚,就是嫌办婚礼麻烦,还有得让两家父母和老人见面,又是比较远的异地,所以一直拖着。说实话除了节假日会一起去远处旅游之外,其他的和楼主几乎是一样的,平日没什么事情。

工作日基本都是各忙各的,也没有什么机会一起吃喝,只有周末,但周末往往就是在家里蹲,玩游戏、看视频。

我自己的长期生活动力:10 年内攒钱去一次南极。
我自己的短期生活动力:写开源代码,积累知识和成就感、小假期旅游
对象长期的生活动力:买房子。
对象短期的生活动力:考各种证、职称、跳槽到轻松的公司。

还有一个点:乍一看都很平常,我们日常过得也都挺单一的,但偶尔还是会费心搞搞宠物、被同事约野餐或出去逛逛,或者一两个月叫朋友来家里搓麻将等。这些属于外力介入,除了上面的生活动力基本上是满足自己的,有外力干涉一下生活(非贬义)会感觉不那么无聊。

另外,我感觉你可以试着强迫两个人一起,减少手机、电脑的使用,或者强制断开互联网一天或几天,看看两个人会找什么事情、想做什么事情。人不可能一直发呆的,没有电子设备消耗能量的话,不可能一直“躺平”的。
2 days ago
Replied to a topic by bearbest 情感问题 对象躺得太平了怎么办?
+1 。
搞安全的人弄杀毒软件反而很闹心,自己写个马,马上就被删掉了。
@cat9life 只试过 qwen3.6-27b ,但太慢了。gemma4 没试过,有时间摸鱼可以测测。
@Seanfuck qwen3.6-27b 在 M3 Pro 的 Mac 上太慢了,不到 8 token/s ,基本不可用。
https://github.com/ggml-org/llama.cpp/discussions/4167

Mac 跑大模型天梯图。

目前我自己用下来兼顾速度和效果的感觉也就最新的 qwen3.6-35b-a3b 了,需要微调一下模型的参数。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3169 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 13:40 · PVG 21:40 · LAX 06:40 · JFK 09:40
♥ Do have faith in what you're doing.