V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  diudiuu  ›  全部回复第 1 页 / 共 25 页
回复总数  482
1  2  3  4  5  6  7  8  9  10 ... 25  
@mxT52CRuqR6o5
DGX Spark 是个挫货就不用想了,内存+带宽两个都要盯着
@coefu 等我拿这个赚钱,到时候买显卡
@nanshan2012
算法重新优化了一下,差不多

使用 MoE ,类型的需要默认打开 MoE CPU 卸载(在左下角),现在已经默认打开了

之前没有打开这个,没有考虑显存不够的情况,目前已经加上去了。

可以再试下
@coefu 老哥看下小弟做的这个预测准不准
@qazwsxkevin 已经追加了,希望能帮到你
@qazwsxkevin 没问题的
4 月 27 日
回复了 mightofcode 创建的主题 职场话题 我公司真的有古法编程程序员
都是丑打工当牛马的,不知道你在笑什么
@KaiWuBOSS 没有用 kuaiwu,我给的参数是实际自己部署的

我就是好奇这个已经是带宽的最大能力了,还能有优化空间吗?

有什么新的思路
@coefu 大哥你把我挂这了
这个 dgx spark 带宽就是 274g,比如部署 gemma4 31b 16bf 的,理论值也就 4token/s,我用 llama.cpp 部署也就到达 2.5token/s,这个是靠什么优化的.

还是我理解的不对
4 月 24 日
回复了 chuchen023 创建的主题 职场话题 Vibe coding 有什么意义?
老板觉得牛逼就行
4 月 23 日
回复了 coolpace 创建的主题 分享创造 写了一个 NestJS 中文文档站
这个跟之前叫 egg.js 类似
难得现在还有人手搓这个
有导弹
@gloeaerris 我的跟新的一样,官网报价
4 月 21 日
回复了 diudiuu 创建的主题 Local LLM 部署本地模型 token 输出万能公式
@coefu 买机子的钱不是我掏的,我就是过了一下手,下次让他买 H200
我就问下她能换衣服不
4 月 21 日
回复了 Croow 创建的主题 程序员 真心发问,想学后端需要学啥?
curd
@nc 好奇你这个是怎么做的,我已经关注你的 github,可以的话,项目里面有什么复杂的网络 ip 限制
1  2  3  4  5  6  7  8  9  10 ... 25  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   812 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 22:32 · PVG 06:32 · LAX 15:32 · JFK 18:32
♥ Do have faith in what you're doing.