V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  WuSiYu  ›  全部回复第 1 页 / 共 37 页
回复总数  740
1  2  3  4  5  6  7  8  9  10 ... 37  
2 月 22 日
回复了 seafog 创建的主题 强迫症 活不下去了。
你这大概率病理性的精神疾病,精神科开点药就行了,不要觉得有啥不好的,大脑神经出问题跟别的器官出问题要吃药一个道理
不错啊,收藏了
2 月 22 日
回复了 theArrowOfCupid 创建的主题 宽带症候群 记河南联通自行更换光猫的过程
搞个几十块的 7015TV3 就行,2.5G 猫,破解好的,telnet 进去 mac 啥的随便改,改成跟旧的一致,插上去就能用
难绷楼上几乎没一个在讨论技术的。。。
搜了一下文章: https://kaitchup.substack.com/p/taalas-hc1-absurdly-fast-per-user

确实是相当 fancy 的一个工作,直接将权重固化成了物理电路,不是“推理任务 ASIC”而是“特定模型的 ASIC”。效果自然是单请求 decode 速度力大砖飞,完全没有 memory wall ,吊打一切 HBM 甚至是 SRAM/存算的工作,也吊打一切投机推理和 dLLM 。

但代价也很明显:为了塞下一个 3bit 8b 的权重,die size 达到了 815mm² ( TSMC N6 ),要知道 4090 才 600+mm² ( N5 ),塞下更大模型成本很高。另外并发能力和最大上下文长度未知,可能就只有单并发能力和几千 token 量级,毕竟看起来全靠 sram:

https://substackcdn.com/image/fetch/$s_!I1yU!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F45cfa22a-ce4b-4704-9aed-ba7a4214c656_612x408.png

评价是科技与狠活,作为学术工作的话非常 fancy ,作为商业用途的话需要找到合适场景,毕竟这么小的模型比较唐是正常的,但这推理速度能干很多之前 LLM 因为实时性没法干的事
2 月 18 日
回复了 andyJado 创建的主题 iPhone iphoneAir 5499 版, 激活两周内, 自动重启三次.
首发就有的通病,我就遇到了,当时换新后就无问题了
2 月 17 日
回复了 mangmaimu 创建的主题 iPhone magsafe 外置电池能减少电池循环吗
更可能因为更热反而折寿
2 月 17 日
回复了 ggp1ot2 创建的主题 投资 看着智谱和 minimax 翻倍,心情很复杂
正常了,我一个做 infra 的,看着之前寒武纪涨成那样也很难绷
2 月 17 日
回复了 superhero007 创建的主题 宽带症候群 主路由 clash 国内跑不满 2000m
直连流量走核心了吧,硬件加速没了
2 月 17 日
回复了 strobber16 创建的主题 宽带症候群 除夕当天给我 nas 失联了,气死
软路由吗?
先问宽带师傅,不行就上咸鱼找破解,还不行就花几十块闲鱼买个破解好的猫
2 月 13 日
回复了 v0rtix 创建的主题 宽带症候群 ikuai 可以更新 4.0 beta 了 UI 大焕新
功能说不定比 unifi 还更适合国内,不过鉴于其“优秀历史”并不是很想用
2 月 13 日
回复了 feunterban 创建的主题 宽带症候群 论家宽建站的可行性?
运营商有 dpi 的话能看到你的跑了 http/https 服务
2 月 11 日
回复了 unpay 创建的主题 宽带症候群 运营掐上行本质还是“钱”PCDN 只是理由
不为了钱还能为啥。。。家宽、商宽费用不对等的必然结果呗,一切都是为了高价的商宽有人买
2 月 10 日
回复了 fiht 创建的主题 随想 你愿不愿意打开引擎盖?
对于搞 LLM 算法或者 infra 的 1 那些都属于常识,但对于普通 LLM 用户而言知道个 sampling 就够了,毕竟 DNN 的可解释性一直就不强,知道 softmax(Q @ K^T / sqrt(d_k)) @ V 也不会对使用技巧有太多帮助
2 月 10 日
回复了 fengwq 创建的主题 NVIDIA 4090 置换 5090,我花了 2400
差不多,我 4090 1.85w 卖的,当时 2.1w 换的 5090
2 月 9 日
回复了 shenjialun 创建的主题 iPhone 国行能否使用 6Ghz
用起来很折腾吧
2 月 8 日
回复了 wshjdx 创建的主题 宽带症候群 求推荐家用硬件防火墙
“防火墙”概念太宽泛了,iptables 、DPI 流量检测、IDS/IPS 、WAF 都是不同的东西,后面几种的特征库基本都是要钱的
另外我在用的 unifi ucg fiber 网关自带免费的 DPI 和 IDS/IPS ,但我感觉图一乐,平时也就帮你拦截一些脏 ip
2 月 8 日
回复了 keaidian 创建的主题 程序员 千问的这次崩了,会属于事故吗?
很难的啦.jpg
跑 LLM 又不像 Web 后端那么简单,LLM 一个请求在输出结束前 kv cache 都要驻留在显存里,一个 8 卡服务器只能顶个几百到几千并发。再加上 LLM 服务冷启动慢(分钟级),动态扩容响应速度也不快。再加上现在 LLM infra 搞的很复杂,又是 PD 分离又是全局多级 kv cache 缓存,一个大 EP 实例横跨几百卡,failover 的工作却不多,一崩炸一片
1  2  3  4  5  6  7  8  9  10 ... 37  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2859 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 56ms · UTC 03:39 · PVG 11:39 · LAX 19:39 · JFK 22:39
♥ Do have faith in what you're doing.