V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fengleiyidao
V2EX  ›  OpenAI

服务器上 chagpt 的生成结果的过程,是 1 个字 1 个字蹦出来的吗?

  •  
  •   fengleiyidao · 2023-03-16 22:04:07 +08:00 · 2437 次点击
    这是一个创建于 377 天前的主题,其中的信息可能已经有所发展或是发生改变。
    9 条回复    2023-03-17 09:52:49 +08:00
    cattrace
        1
    cattrace  
       2023-03-16 22:54:21 +08:00 via iPhone
    是的
    yangyaofei
        2
    yangyaofei  
       2023-03-16 22:54:58 +08:00
    理论上是, 实现上(为了加速)可以不是, 想真的了解建议读读论文或者看看相关科普视频, 或者更简单的直接问 chatGPT
    lxiian
        3
    lxiian  
       2023-03-16 23:27:12 +08:00 via iPhone
    要看你是不是用了 sse 去调接口了
    mxw0204
        4
    mxw0204  
       2023-03-17 03:14:16 +08:00
    这个看你需求,一个一个字蹦比一次性都出来的要快,两种都支持
    freakxx
        5
    freakxx  
       2023-03-17 03:26:23 +08:00
    关键词 stream
    Mutoo
        6
    Mutoo  
       2023-03-17 08:14:48 +08:00
    transformer 的工作原理就是用前面所有内容去推荐下一个字是什么。所以它的生成过程确实是一个字一个字蹦出来的。服务端使用 streaming 方式返回结果也是为了让用户更快看到内容,而不是等待全文。
    ebony0319
        7
    ebony0319  
       2023-03-17 09:19:24 +08:00
    text/event-stream
    JadePenG
        8
    JadePenG  
       2023-03-17 09:27:55 +08:00
    chatGPT 是根据上下文获取的信息, 给它任意长的上文它会生成下一个字,面对长内容时,chatGPT 就会把下一个字和之前的上文组合成新的上文,不断重复就能获取新的下文了。
    gaooo
        9
    gaooo  
       2023-03-17 09:52:49 +08:00 via Android
    是的,接口流式传输的,实时响应,可以到 chatplus.app 下载体验一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3287 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:49 · PVG 21:49 · LAX 06:49 · JFK 09:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.