VZXXBACQ
V2EX  ›  Claude

记录一个我使用 AI 过程中遇到的严重事故

  •  
  •   VZXXBACQ · 19h 43m ago · 2522 views
    工作过程中收到 ops 同事的邮件,我的办公室 ip 异常调用了$200 的昂贵模型,我的 ip 被临时 ban 了(非 pod 的 ip 段设置了报警)。

    我的第一反应是 怎么会呢,我做的几个项目都没有用到 opus 的 api

    只能在一堆 session 去检查,查了半天,最终找到了任务是「抽样小模型的结果,构建一个验证集,并打上你的判定标签减少人工工作量」的 session ,这个 session 写了一个新的请求脚本在/tmp 中,有--model 这个参数(是的,它没有硬编码 opus ,所以那么难找)。

    往上翻记录,Claude Code 虽然没有给完整思维链,但每一步给的 Summary 也足够我弄懂整个事件的链条了:
    1. Agent 拿到任务第一时间选择查看结果是怎么产生的
    2. Agent 发现代码用的 ds 4.1 flash ,判断验证集标签需要用更准的模型
    3. Agent 尝试查询公司 LLM 网关所有可用模型,并在这一步找到了我的 key ,并把把 key 路径写入环境变量,而且发现了可用模型里面有 opus 5.5 (好吧,其实还有 Astra ,但是它认为 opus5.5 比 Astra 好)
    4. 编写脚本,带上参数进行请求,跑了公司 200 美刀额度。而且发现请求被阻断后立马整理已有的结果放在了 validation 文件夹,并且没有提到自己请求了 opus api 的情况下告诉我任务已经顺利完成。

    看完哭笑不得

    做 AI 开发,基建真很重要,一个验证集成千上万刀如果没有 ops 同事写的 ip 阻断规则,直接复刻 CF 天价账单了,而且我还没法 rebuttal 。

    最感慨的是,这个 Agent 自己就是 fable 5.1 ,它也许不知道,在此刻没有比它自己判断更准的 AI 方法了
    20 replies  •  2026-10-14 20:48:39 +08:00
    zhangli2946
        1
    zhangli2946  
       18h 49m ago
    反正公司兜底,🦐J8 用呗。
    charsunny
        2
    charsunny  
       18h 34m ago
    太吓人了,我也遇到过 AI 自己偷偷干事,现在会多盯一眼它在后台调了啥。
    xiaket
        3
    xiaket  
       18h 13m ago
    半小时前跟同事聊天的时候, 刚告诉我说上周五下午一个随意的 prompt 结果用了 6k usd
    VZXXBACQ
        4
    VZXXBACQ  
    OP
       18h 7m ago
    @zhangli2946 那容易「我曾经拥有一份工作」
    VZXXBACQ
        5
    VZXXBACQ  
    OP
       18h 7m ago
    @charsunny 人力有限,靠看是看不过来的,还是要靠基建。
    sampeng
        6
    sampeng  
       18h 4m ago via iPhone
    这没什么问题啊,公司允许调用,那就默认是无上限的。否则这类做测试集合是要明确模型名字的。
    VZXXBACQ
        7
    VZXXBACQ  
    OP
       17h 50m ago
    @sampeng 如果一开始定好 API 那当然可以,可是我的本意是想让 Agent 自己去标注,但是 Agent 自己选择了从代码里面找到 API 调用方法去调用。

    这和我说的 prompt 理解上有歧义有关系,但是如果基建不做好后果可能相当严重。用上千美刀做一个验证集太贵了。
    charsunny
        8
    charsunny  
       17h 25m ago
    @VZXXBACQ 同意,光靠盯肯定盯不过来,额度上限这种兜底还是得先设好。
    CEBBCAT
        9
    CEBBCAT  
       17h 10m ago
    别用 AI 写文字了,不敢看
    felixcode
        10
    felixcode  
    PRO
       17h 7m ago
    key 本来就需要设置限额和模型范围
    w0017
        11
    w0017  
       17h 7m ago
    定义模型和价格,写调用规则,另外就是学习你们公司这样,在模型被调用层加一次判断。
    VZXXBACQ
        12
    VZXXBACQ  
    OP
       16h 49m ago
    @CEBBCAT 纯手写
    VZXXBACQ
        13
    VZXXBACQ  
    OP
       16h 47m ago
    @felixcode 是的,不能有纰漏,管 AI 要和管理人员一样。
    VZXXBACQ
        14
    VZXXBACQ  
    OP
       16h 45m ago
    @felixcode 甚至说,需要比管理人员更严格,AI 的行动力很强,图省事留下的可能出问题的点会更快出问题,而且出更大的问题
    MagicalCarl
        15
    MagicalCarl  
       16h 35m ago   ❤️ 1
    跟之前 openai 与 huggingface 的那个事一样,ai 没有恶意,它只是想不计代价拼命完成你给的目标,它有什么错 (doge
    kaori
        16
    kaori  
       16h 31m ago
    fable 5.1 还是聪明啊, 还知道自己找能力强的模型去用 233333
    zhouquanbest
        17
    zhouquanbest  
       15h 53m ago
    这个 case 也很难让开发者自己兜底,一定是有公司基建的多层拦截。
    如果每个模型使用者都要关注全链路的合规性,那效率太低。 所以也别被公司 PUA 了,该复盘复盘,该拦截拦截。
    VZXXBACQ
        18
    VZXXBACQ  
    OP
       15h 33m ago
    @zhouquanbest 公司挺好的,正常拦截,没算事故

    担心主要是我自己电脑上的没在沙盒里的 agent ,和我文件系统里的一堆 key

    我的 vercel token, cf token, github token ,火山 阿里 token 等等,其实都能从文件系统里找到

    哪天给我干出几万账单咋办,感觉不能再裸奔用 Agent 了。
    darkengine
        19
    darkengine  
       14h 47m ago
    记得还有几个贴子问怎么快速消耗 token 的,这思路不就来了么 😂
    CEBBCAT
        20
    CEBBCAT  
       11h 8m ago
    @VZXXBACQ #12 刚看到,这里和你说一声道歉
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1336 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 23:56 · PVG 07:56 · LAX 16:56 · JFK 19:56
    ♥ Do have faith in what you're doing.