$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 rmrf 打赏,数额会 100% 进入 rmrf 的钱包。
 rmrf 最近的时间轴更新
rmrf

rmrf

V2EX 第 62533 号会员,加入于 2014-05-13 11:15:57 +08:00
今日活跃度排名 4423
这个推理速度也太快了吧! chatjimmy.ai 比查 db 都快啊!
程序员  •  rmrf  •  12 分钟前  •  最后回复来自 slert
54
买了 Qoder ,此前公司有提供来着
程序员  •  rmrf  •  2 天前  •  最后回复来自 rmrf
14
大家千万别随便点击链接了, npm 上 18 个流行的软件包又被投毒了
  •  1   
    信息安全  •  rmrf  •  2025 年 9 月 11 日  •  最后回复来自 marktask
    17
    看完小孩 2025 EWC 街霸六 卫冕冠军,很有感触
    游戏  •  rmrf  •  2025 年 8 月 26 日  •  最后回复来自 chixinzei
    47
    买了个马鞍椅,现在对正确坐姿有了新的看法
    健康  •  rmrf  •  2025 年 8 月 16 日  •  最后回复来自 rmrf
    8
    给 Ladybird 浏览器捐赠了 10 美元
    浏览器  •  rmrf  •  2025 年 8 月 5 日  •  最后回复来自 ThinkCat
    41
    公司下午放假了
    上海  •  rmrf  •  2025 年 7 月 31 日  •  最后回复来自 coryxu
    18
    推荐个游戏 Neva
    游戏  •  rmrf  •  2025 年 6 月 29 日  •  最后回复来自 rmrf
    3
    尝试了一下 Brave 浏览器
    Chrome  •  rmrf  •  1 月 19 日  •  最后回复来自 NicholasZhan
    18
    阿里云故障,全网 aliyuncs.com DNS 解析受到影响
    云计算  •  rmrf  •  2025 年 6 月 6 日  •  最后回复来自 kapaseker
    1
    rmrf 最近回复了
    17 小时 16 分钟前
    回复了 rmrf 创建的主题 程序员 这个推理速度也太快了吧! chatjimmy.ai 比查 db 都快啊!
    今天看到 https://www.anuragk.com/blog/posts/Taalas.html 这里讲的:技术原理

    1. 固定功能 ASIC 架构
    Taalas 的芯片是一种固定功能 ASIC (专用集成电路),类似于 CD-ROM 、游戏卡带或印刷书籍——只能运行一个特定模型,无法重写。
    他们将 Llama 3.1 的 32 层网络结构直接蚀刻到硅片上,模型权重成为物理晶体管,而非存储在内存中的数据。

    2. 突破"内存墙"
    传统 GPU 的瓶颈:GPU 需要从 VRAM/HBM 反复读取每一层的权重矩阵,进行计算后将中间结果存回内存。这种频繁的内存读写造成延迟和能耗(即"内存墙"或冯·诺依曼瓶颈)。
    Taalas 的方案:输入向量直接流入第一层物理晶体管,通过他们发明的"魔法乘法器"(单个晶体管实现 4-bit 数据存储和乘法运算),电信号通过物理导线直接流入第二层,依此类推,直到生成最终 token 。无需外部内存来回搬运数据。

    3. 芯片制造策略
    他们设计了带有大规模通用逻辑门和晶体管网格的基础芯片。
    针对特定模型,只需定制最上面的两层光罩即可,无需从头制造芯片。
    为 Llama 3.1 8B 开发专用芯片仅用了 2 个月——在 AI 领域虽显漫长,但在定制芯片领域已属极快。

    4. 内存使用
    不使用外部 DRAM/HBM ,但包含少量片上 SRAM:
    存储 KV Cache (对话的上下文窗口)
    支持 LoRA 适配器进行微调
    @catazshadow 这才开始,后面慢慢优化起来,很有想象力啊。
    @renfei 是的,精度不行,但这推理速度,让很多事情很有想象力了。尝试了一下大段翻译,超级快,而且基本正确。
    2 天前
    回复了 rmrf 创建的主题 程序员 买了 Qoder ,此前公司有提供来着
    @hongye 多谢提醒,我去看看
    4 天前
    回复了 rmrf 创建的主题 程序员 买了 Qoder ,此前公司有提供来着
    @shenyankm [握手] ,今天在 Qoder 中尝试了一下新支持的 qwen3.5-plus ,体验也很好。而且只要 0.2x 。感觉大部分事情其实用 0.2x 就完全够用了。
    5 天前
    回复了 rmrf 创建的主题 程序员 买了 Qoder ,此前公司有提供来着
    trae 没有 Linux 版本,我现在编程主力机在 Fedora 上,因此用不了。虽然那个 cli 是可以用在 linux 上,但我完全想不明白既然都用了人家 vscode 来做 IDE 了,偏偏摘掉了 Linux 支持是为了啥?

    另外用了 Qoder 直接就可以用目前最新的几个国产模型,GLM5, Kimi2.5, MimiMax2.5 ,而且是以很低的 Credit 的消耗的系数进行使用的。分别是 0.5x, 0.3x, 0.2x ,简直非常良心了,省的我去各家平台花钱了。
    8 天前
    回复了 abcfreedom 创建的主题 职场话题 年前这段时间上班是真的爽
    哈哈哈哈哈
    @DOLLOR #10

    说重点了啊,就是点击了钓鱼邮件中的链接才这样的,链接千万不能随便点击。。。。
    steam 玩家 买了不吃亏,我觉得很赞。
    2025 年 8 月 25 日
    回复了 rmrf 创建的主题 游戏 看完小孩 2025 EWC 街霸六 卫冕冠军,很有感触
    刚刚上班跟公司同事聊了一下这个事情,大家一致的感慨就是:

    面对如此强大的 Blaz ,在 0:3 大比分落后的情况能翻盘,简直不可思议。

    就凭这个,小孩就可以封神了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2259 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:01 · PVG 15:01 · LAX 23:01 · JFK 02:01
    ♥ Do have faith in what you're doing.