 |
WuSiYuV2EX 第 117744 号会员，加入于 2015-05-19 20:37:14 +08:00 |
wusiyu.me
WuSiYu 最近回复了
你这大概率病理性的精神疾病，精神科开点药就行了，不要觉得有啥不好的，大脑神经出问题跟别的器官出问题要吃药一个道理
2 月 22 日 回复了 C0VN 创建的主题 › 分享发现 › midlife.engineering 一款网页端音乐治疗工具，也许对你的 ADHD 症状有帮助 |
不错啊，收藏了
2 月 22 日 回复了 theArrowOfCupid 创建的主题 › 宽带症候群 › 记河南联通自行更换光猫的过程 |
搞个几十块的 7015TV3 就行，2.5G 猫，破解好的，telnet 进去 mac 啥的随便改，改成跟旧的一致，插上去就能用
2 月 21 日 回复了 rmrf 创建的主题 › 程序员 › 这个推理速度也太快了吧！ chatjimmy.ai 比查 db 都快啊！ |
难绷楼上几乎没一个在讨论技术的。。。
搜了一下文章： https://kaitchup.substack.com/p/taalas-hc1-absurdly-fast-per-user
确实是相当 fancy 的一个工作，直接将权重固化成了物理电路，不是“推理任务 ASIC”而是“特定模型的 ASIC”。效果自然是单请求 decode 速度力大砖飞，完全没有 memory wall ，吊打一切 HBM 甚至是 SRAM/存算的工作，也吊打一切投机推理和 dLLM 。
但代价也很明显：为了塞下一个 3bit 8b 的权重，die size 达到了 815mm² （ TSMC N6 ），要知道 4090 才 600+mm² （ N5 ），塞下更大模型成本很高。另外并发能力和最大上下文长度未知，可能就只有单并发能力和几千 token 量级，毕竟看起来全靠 sram：
https://substackcdn.com/image/fetch/$s_!I1yU!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F45cfa22a-ce4b-4704-9aed-ba7a4214c656_612x408.png
评价是科技与狠活，作为学术工作的话非常 fancy ，作为商业用途的话需要找到合适场景，毕竟这么小的模型比较唐是正常的，但这推理速度能干很多之前 LLM 因为实时性没法干的事
搜了一下文章： https://kaitchup.substack.com/p/taalas-hc1-absurdly-fast-per-user
确实是相当 fancy 的一个工作，直接将权重固化成了物理电路，不是“推理任务 ASIC”而是“特定模型的 ASIC”。效果自然是单请求 decode 速度力大砖飞，完全没有 memory wall ，吊打一切 HBM 甚至是 SRAM/存算的工作，也吊打一切投机推理和 dLLM 。
但代价也很明显：为了塞下一个 3bit 8b 的权重，die size 达到了 815mm² （ TSMC N6 ），要知道 4090 才 600+mm² （ N5 ），塞下更大模型成本很高。另外并发能力和最大上下文长度未知，可能就只有单并发能力和几千 token 量级，毕竟看起来全靠 sram：
https://substackcdn.com/image/fetch/$s_!I1yU!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F45cfa22a-ce4b-4704-9aed-ba7a4214c656_612x408.png
评价是科技与狠活，作为学术工作的话非常 fancy ，作为商业用途的话需要找到合适场景，毕竟这么小的模型比较唐是正常的，但这推理速度能干很多之前 LLM 因为实时性没法干的事
2 月 18 日 回复了 andyJado 创建的主题 › iPhone › iphoneAir 5499 版, 激活两周内, 自动重启三次. |
首发就有的通病，我就遇到了，当时换新后就无问题了
2 月 17 日 回复了 mangmaimu 创建的主题 › iPhone › magsafe 外置电池能减少电池循环吗 |
更可能因为更热反而折寿
2 月 17 日 回复了 ggp1ot2 创建的主题 › 投资 › 看着智谱和 minimax 翻倍，心情很复杂 |
正常了，我一个做 infra 的，看着之前寒武纪涨成那样也很难绷
2 月 17 日 回复了 superhero007 创建的主题 › 宽带症候群 › 主路由 clash 国内跑不满 2000m |
直连流量走核心了吧，硬件加速没了
2 月 17 日 回复了 strobber16 创建的主题 › 宽带症候群 › 除夕当天给我 nas 失联了，气死 |
软路由吗？
Select Language