V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
catyun88
V2EX  ›  Local LLM

3090 跑文本向量模型可以么? 3090 是不是有点过剩?

  •  
  •   catyun88 · 3 月 21 日 · 826 次点击

    如题 3090 涡轮 24G 客户拿来跑文本向量模型,配的铂金 8259CL 的处理器 是不是有点过剩

    2 条回复    2026-03-23 17:52:45 +08:00
    malusama
        1
    malusama  
       3 月 21 日
    这还过剩? 4090 我都嫌弃不够
    coefu
        2
    coefu  
       3 月 23 日
    embedding 的话,凑合 带宽窄了点,主要是 GPU core 算的快一点,Tensor core 多一点。 用 qwen3 embedding FP16 ,显存差不多可以用完。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1370 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 16:45 · PVG 00:45 · LAX 09:45 · JFK 12:45
    ♥ Do have faith in what you're doing.