 |
BingoXuanV2EX member #170096, joined on 2016-04-22 13:23:09 +08:00Today's activity rank 7473 |
 |
Per BingoXuan's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
BingoXuan's recent replies
8h 57m ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
@sentinelK
sglang 推荐 nvfp4 量化是 RadixArk/Qwen3.8-27B-NVFP4 版本。unsloth 家的 nvfp4 量化可能还不如自家的 gguf 。NVIDIA 的 3.6 27B 的 nvfp4 量化明显比 unsloth 好得多。qwen3.8 的 kv cache 量化最多只能去到 fp8 ，到目前 nvfp4 的 kv cache 量化各家支持还是半残废。Blackwell 的硬件潜力还没有完全挖掘出来。
sglang 推荐 nvfp4 量化是 RadixArk/Qwen3.8-27B-NVFP4 版本。unsloth 家的 nvfp4 量化可能还不如自家的 gguf 。NVIDIA 的 3.6 27B 的 nvfp4 量化明显比 unsloth 好得多。qwen3.8 的 kv cache 量化最多只能去到 fp8 ，到目前 nvfp4 的 kv cache 量化各家支持还是半残废。Blackwell 的硬件潜力还没有完全挖掘出来。
1 day ago Replied to a topic by BingoW › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议 |
等 Qwen3.8 35BA3B 吧。3.8 27B 最大问题不是权重。而是 kv cache 。q8 量化跑满 262k 上下文要 8-9G 显存。开 turbo quant 有损失。即使是 Blackwell 显卡，vllm 和 sglang 都还没支持完整的 nvfp4 kv cache 支持
8 days ago Replied to a topic by OBJECTION › 健身 › 中登有多少在健身的... |
一三五去游半个小时
12 days ago Replied to a topic by netox › 分享发现 › 在线体验 16K token/s 的新大模型部署架构 |
@cowcomic
deepseek 激活也是 13B 。这时候就是 xilinx 出马了，通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。
deepseek 激活也是 13B 。这时候就是 xilinx 出马了，通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。
18 days ago Replied to a topic by eccstartup › 分享发现 › 加拿大 Coldcard 硬件钱包生成的随机数不安全，导致大量 BTC 被盗，草台班子 |
@Hyschtaxjh
六面骰子一样不够随机。参考 cloudflare 办公室的随机数采样
六面骰子一样不够随机。参考 cloudflare 办公室的随机数采样
Jul 29 Replied to a topic by qxmqh › Codex › codex 最近这两次重置之后，能明显感觉消耗速度快了不少 |
我昨天一天就消耗了 65%了。现在 review 也是用自己部署的 27B 在干。感觉就是逼着人升级 Pro （因为不禁用，我有这个升级想法）
以前的技术是不同个体探索得到的知识和经验，现在探索都靠 AI 了，经验都被模型厂吸收了转换到模型中。所以技术更多是，和 AI 协作过程中，个体未知知识是否被消化。
Jul 21 Replied to a topic by Leon6868 › 程序员 › 多端 GUI 真的没有银弹吗 |
@Leon6868
skill+多模态+playwright 能加速回环。小模型可以用来验证流程和细节提供相关信息，大模型负责实现。
skill+多模态+playwright 能加速回环。小模型可以用来验证流程和细节提供相关信息，大模型负责实现。
Jul 21 Replied to a topic by Leon6868 › 程序员 › 多端 GUI 真的没有银弹吗 |
@Leon6868
去年就用 webgl shader 实现了一个实时波形渲染，300 个信号，信号长度 2k ，120fps 点毫无压力。web 反馈回环非常快，AI 很擅长的。如果 AI 就是一个 compiler ，那么任何框架都不重要
去年就用 webgl shader 实现了一个实时波形渲染，300 个信号，信号长度 2k ，120fps 点毫无压力。web 反馈回环非常快，AI 很擅长的。如果 AI 就是一个 compiler ，那么任何框架都不重要
Jul 16 Replied to a topic by TimBradford › Apple › 已故妻子的 iPhone 因失窃设备保护卡在 Face ID 验证，已知锁屏及 Apple 账户密码，能否提取微信数据？ |
R.I.P. 也许写信个 tim cook 更有效，但前提是怎么这台手机是你妻子购入或者所有的
Select Language