V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ProxyXAI
V2EX  ›  OpenAI

体验 llama3 系列的速度吧

  •  
  •   ProxyXAI ·
    proxyxai · 9 天前 · 2046 次点击
    第 1 条附言  ·  9 天前
    抱歉流量超级大.... 不得已限流 3 次/分钟
    第 2 条附言  ·  8 天前
    10 次/分钟
    第 3 条附言  ·  8 天前
    需要 API 的, 请联系 wx: proxyxai
    第 4 条附言  ·  8 天前
    支持无上限多个 keys 轮询, 理论请求无上限, 取决于带宽瓶颈 和 keys 数量
    29 条回复    2024-04-25 21:56:46 +08:00
    bearqq
        1
    bearqq  
       9 天前
    点之前:本来一脸不屑
    点之后:卧槽?????????
    junan
        2
    junan  
       9 天前
    试了几次后和#1 一样的反应
    hooych
        3
    hooych  
       9 天前 via iPhone
    速度确实嘎嘎快,GPT 是便秘,这个有种一泻千里的畅快感
    qinfengge
        4
    qinfengge  
       9 天前
    G 了,一直请稍后再试
    xier9213
        5
    xier9213  
       9 天前
    速度确实快,就是太不稳定了
    zsxzy
        6
    zsxzy  
       9 天前
    用什么 gpu 跑的, 我用笔记本的 3060 6G, 好慢 😆
    Goghho
        7
    Goghho  
       9 天前 via iPhone
    @zsxzy 这么快感觉就是 groq 吧
    hebwjb
        8
    hebwjb  
       9 天前
    挂了
    djangovcps
        9
    djangovcps  
       9 天前
    fredweili
        10
    fredweili  
       9 天前
    8b 的本地跑,效果已经不错了
    nwg
        11
    nwg  
       9 天前
    我擦 这么快
    itskingname
        12
    itskingname  
       9 天前
    用 groq ,速度可以达到 700Token/s ,已经没有必要使用 Stream 模式了。
    maolon
        13
    maolon  
       9 天前 via Android
    是 groq 快不是 llama3 快吧...用其他方式 host 速度跟其他模型差不多
    param
        14
    param  
       9 天前 via Android
    @hooych gpt 用最低配的 ada 一样很快
    lizhisty
        15
    lizhisty  
       9 天前
    怎么挂了啊
    coolair
        16
    coolair  
       9 天前
    请稍后再试!
    coderluan
        17
    coderluan  
       9 天前
    你们说的快不是瞬间就输出 “请稍后再试” 吧😀😀😀
    Chad0000
        18
    Chad0000  
       9 天前
    没有背后的总算力就说快就是流氓,要我说我还能说我的 GPT4 上午使用时相当快,又聪明又快,比 3.5 还快。那明显是因为那时用量低,算力足啊。
    hooych
        19
    hooych  
       9 天前
    @hebwjb
    @djangovcps
    @lizhisty
    @coolair
    @coderluan 左下角切换模型
    huzhizhao
        20
    huzhizhao  
       9 天前
    请稍后再试!
    hooych
        21
    hooych  
       9 天前
    真的崩了,笑 cry
    feiniu
        22
    feiniu  
       9 天前
    崩了
    abchehehe32
        23
    abchehehe32  
       9 天前
    速度是真的可以,马上就告诉我“请稍后再试!” (手动狗头)
    HomeZane
        24
    HomeZane  
       9 天前
    请稍候再试的速度贼快
    luzemin
        25
    luzemin  
       9 天前
    回复的非常快,就是回复内容比较固定:
    请稍后再试!
    ProxyXAI
        26
    ProxyXAI  
    OP
       9 天前
    抱歉流量超级大.... 不得已限流
    ihainan
        27
    ihainan  
       9 天前
    试了一下,的确好快……
    dobelee
        28
    dobelee  
       9 天前
    速度确实快,瞬间回答 请稍后再试!
    deorth
        29
    deorth  
       8 天前 via Android
    好弱智啊。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2317 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 10:49 · PVG 18:49 · LAX 03:49 · JFK 06:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.