BernieDu 最近的时间轴更新 BernieDu 最近的时间轴更新 |
BernieDuV2EX 第 435347 号会员，加入于 2019-08-12 11:13:33 +08:00今日活跃度排名 15088 |
BernieDu 最近回复了
1 天前 回复了 doyoo 创建的主题 › 问与答 › 兄弟们，感觉自己的表达能力比较差，遇到一些事情容易“学生思维”，缺乏冷静思考的能力，有什么锻炼提升的好方法吗 |
大脑用进废退。程序员的语言中枢得到训练的程度大概率是不如销售行业的。反正我是退化了，而且我负责写字的大脑中枢也退化了，得了”电脑失写症“。但感觉我的逻辑能力变强了。
8 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@swmjjy 感谢数据，被 ds 的回答误导了。。
8 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@ShadowPower 14B 5bit 的小模型大概需要 9g 显存，你这用不着交火吧。我自己没试过 pcie 显卡交火跑模型，但是 ds 查的模型并行(场景是模型过大，需拆分到多个 GPU) 前向传播时需频繁传递中间张量（如层间输出）。PCIe 带宽 7.88GB/s 会限制大张量传输。成为推理瓶颈。让我用 nvlink 。（应该不会封号吧）
8 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@ShadowPower 如果推理不要求带宽那都用内存推理了。。
9 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@tap91624 2 条 nvlink 通道没办法实现 8 卡交火吧，而且 nvlink1 的带宽也不过 100 GB/s
9 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@mumbler 8 块 2080ti 魔改 22g 交火带宽是多少，没记错的话 2080ti 不支持 nvlink 。PCIe 3.0 每卡双向带宽 7.88 GB/s 。是 m4 ultra 内存带宽的 100 分之一。你确定能流畅跑 70B fp16 ？ 每秒输出多少 token ？
17 天前 回复了 Kinnikuman 创建的主题 › Local LLM › 本地部署的小模型（小于 16G 显存）适合轻任务，哪一个模型比较好用？ |
小模型肯定是新出的 qwq32 最好，不过 ollama 默认 q4 需要 20g 显存，你可以等等看有没有人量化 q2 的
21 天前 回复了 Belmode 创建的主题 › 程序员 › TRAE 大家用的怎么样？和 Cursor 对比呢，体验是不是更好呢？ |
写 SwiftUI ，trae 用 sonnet 3.7 一个问题问了 3 遍写的还是有问题，就是最简单最基础的问题。copilot 用 sonnet 3.5 一遍解决。 估计用了什么节约 token 的手段导致的实际体验很差，根本不是 3.7 的水平
30 天前 回复了 cameron321 创建的主题 › 生活 › 父母打电话给我要钱了，跟我心里想的不太一样 |
你要是想把这笔钱省下来交彩礼，我劝你还是给家里盖房吧， 两害相权取其轻。
31 天前 回复了 nbboy 创建的主题 › 分享创造 › 刚跟着花生老师学习了 Cursor，写了一个小网站 |
哥飞老师表示震怒
Select Language