V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
blakezhaothinks
V2EX  ›  程序员

接到一个项目,有几个技术问题请教下各位大佬

  •  
  •   blakezhaothinks · 8 天前 · 1956 次点击

    领导要我做一个服务,暂且叫做 aiservice ,就是把外部大模型的 api 都包一下,公司内部统一通过这个 aiservice 中转,目的是记录各部门的使用次数、以及限流(防止不合理调用)。 有几个问题请教下:

    1. 有没有必要做这个项目? 我的理解是可以给每个部门分配一个 api key ,使用记录和限流大模型供应商那边都是现成的。

    2. 如果要做,有没有必要做一个服务出来? 直接用 nginx 这类 web 服务器是不是也能做记录和限流?

    3. 如果要做一个服务,这种场景有什么推荐的技术栈。

    10 条回复    2024-12-04 21:04:54 +08:00
    qczone
        1
    qczone  
       8 天前   ❤️ 1
    jaycezhang7890
        2
    jaycezhang7890  
       8 天前   ❤️ 1
    做这个还是有必要的吧,感觉也合理,做一个 aiservice 可以让使用记录和限流规则可以更加精确,本人前端,推荐 node ,nodejs 的中间件机制很合适,其实这种就用自己熟悉的技术栈就行。
    这种的话,可以给每个部门分配同一个 api key ,然后你这边可以对每个部门乃至每个人做记录和限流。
    NoDataNoBB
        3
    NoDataNoBB  
       8 天前   ❤️ 1
    限流一般是按照 token 和请求频率的,nginx 没有这种限流
    lasuar
        5
    lasuar  
       8 天前   ❤️ 1
    找开源的,而且你得了解大模型的一些基础知识,否则不一定做得下来。
    markgor
        6
    markgor  
       8 天前   ❤️ 1
    1 、如果是做一个适配服务,适配目前的 api ,统一使用方法,那我觉得可行吧。
    *但是实际情况我看了下都是往 openAI 接口对齐的,豆包、腾讯、阿里 的。虽然接口是对齐,但如果是接入多个外部模型就变了你不能复用模型提供方的记录和限流,必须自己单独做限制记录。

    2 、nginx 原生不支持,并且你还涉及到 产生你自己的 token 或 key 给每个部门。

    3 、用自己熟悉的技术栈,但要考虑连接数的问题,可以优先考虑支持协程的。
    Ayanokouji
        7
    Ayanokouji  
       8 天前   ❤️ 1
    blakezhaothinks
        8
    blakezhaothinks  
    OP
       8 天前
    感谢各位建议,奉上 10 铜币。已准备使用开源项目 one-api 试一试。
    hunkjun
        9
    hunkjun  
       8 天前
    one-api
    RangerWolf
        10
    RangerWolf  
       7 天前
    one-api 亲测好用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3296 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 10:34 · PVG 18:34 · LAX 02:34 · JFK 05:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.