zhq566

本地部署的开源 AI 是不是都不咋能用

  •  
  •   zhq566 · Oct 26 · 803 views

    5060ti 16g ,只能部署量化后 qwen3.8 coder Q3 ,感觉慢还傻傻的。 升级显卡需要花的钱是不是该直接买商用付费版本就好了。

    4 replies  •  2026-10-31 19:22:00 +08:00
    skallz
    skallz
    Oct 26
    1
    真想本地部署可以买个那种两三万的小主机,虽然慢,但是好歹能部署能用的,不过折腾半天发现算上硬件和电费还不如直接用 deepseek ,更别说那些更强的模型了
    penisulaS
    penisulaS
    Oct 26
    2
    现在连老矿卡都大幅涨价了,更别说为了跑什么 strata 买更大的 ddr5 内存。硬件成本实在太高了,买大肥鱼 api 搞搞得了
    Nasdaq
    Nasdaq
    Oct 26
    3
    跑跑 Decisions 类的可以,其他通用的真的拉胯,不如用小梁的。
    azhi2007
    azhi2007
    Oct 31
    4
    相当缓慢,自媒体整天疯了一样教本地部署,普通人就装个千问或者 deepseek 应用就够用了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5022 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 06:47 · PVG 14:47 · LAX 22:47 · JFK 01:47
    ♥ Do have faith in what you're doing.