V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sailors
V2EX  ›  Amazon Web Services

AWS 重大故障!

  •  
  •   sailors · 14 小时 49 分钟前 · 5336 次点击
    大家一睡醒就会看到这个大新闻,等待大佬们分析原因。

    https://health.aws.amazon.com/health/status
    第 1 条附言  ·  11 小时 16 分钟前
    官方宣布故障解决,整体耗时 15 小时!
    50 条回复    2025-10-21 16:55:34 +08:00
    levelworm
        1
    levelworm  
       14 小时 10 分钟前
    这下只有两个 9 了。。。
    Amex
        2
    Amex  
       13 小时 41 分钟前 via iPhone
    都挂了十几个小时了吧
    xiaket
        3
    xiaket  
       12 小时 22 分钟前
    是啊昨天晚饭后就开始围观... 到现在都好久了
    levelworm
        4
    levelworm  
       11 小时 21 分钟前 via iPhone
    好像算是结束了
    ofc
        5
    ofc  
       10 小时 38 分钟前 via iPhone
    aws 依旧是不错的选择,中心化的力量
    zx9481
        6
    zx9481  
       10 小时 26 分钟前
    为什么连故障分析都没有
    mapleleaf2023
        7
    mapleleaf2023  
       10 小时 17 分钟前
    这次影响非常大,北美很多券商今天交易系统都登录不进去。
    stinkytofux
        8
    stinkytofux  
       10 小时 11 分钟前
    越来越多的企业会下云了, 用云服务平时不出事, 一出事全部玩完.
    Dragonish3600
        9
    Dragonish3600  
       10 小时 7 分钟前   ❤️ 3
    @stinkytofux 平时不出事,一出事全玩完。。这句话适用于所有的服务,不管你用不用云。
    greensea
        10
    greensea  
       10 小时 6 分钟前
    我记得昨天就看到消息了,不过以为只是一次日常的崩溃,没想到这次居然玩这么大
    MacTavish123
        11
    MacTavish123  
       10 小时 1 分钟前
    @Dragonish3600 一些地方政府都是非工作时间点断电😁
    skull
        12
    skull  
       10 小时 0 分钟前 via iPhone   ❤️ 1
    @stinkytofux 难道自己就不会炸吗
    ne6rd
        13
    ne6rd  
       9 小时 58 分钟前
    感觉没上次微软杀毒软件蓝屏影响大。
    opengps
        14
    opengps  
       9 小时 58 分钟前
    @stinkytofux #8 下云是不是因为不出事,而是因为出事没什么可做的。自建机房可靠性很难达到云的效果。更多大型企业是在调整方案多云并行
    IDAEngine
        15
    IDAEngine  
       9 小时 57 分钟前
    昨天下午 3 点多开始崩,说是美东内部的 dns 配置错误
    realpg
        16
    realpg  
    PRO
       9 小时 55 分钟前
    这要是阿里腾讯不得 15 天啊

    :狗头:
    HTravel
        17
    HTravel  
       9 小时 55 分钟前
    AWS 为什么连两地三活都不会建?

    别说它有。这时候不起作用,那还什么时候起作用?
    Amex
        18
    Amex  
       9 小时 50 分钟前 via iPhone   ❤️ 1
    看上去一开始是 dynamo dns endpoint 解析出问题 修好以后变成经典 circular dependency

    aws 你这 system design 做的也不行啊
    Between 11:49 PM PDT on October 19 and 2:24 AM PDT on October 20, we experienced increased error rates and latencies for AWS Services in the US-EAST-1 Region. Additionally, services or features that rely on US-EAST-1 endpoints such as IAM and DynamoDB Global Tables also experienced issues during this time. At 12:26 AM on October 20, we identified the trigger of the event as DNS resolution issues for the regional DynamoDB service endpoints. After resolving the DynamoDB DNS issue at 2:24 AM, services began recovering but we had a subsequent impairment in the internal subsystem of EC2 that is responsible for launching EC2 instances due to its dependency on DynamoDB. As we continued to work through EC2 instance launch impairments, Network Load Balancer health checks also became impaired, resulting in network connectivity issues in multiple services such as Lambda, DynamoDB, and CloudWatch. We recovered the Network Load Balancer health checks at 9:38 AM. As part of the recovery effort, we temporarily throttled some operations such as EC2 instance launches, processing of SQS queues via Lambda Event Source Mappings, and asynchronous Lambda invocations. Over time we reduced throttling of operations and worked in parallel to resolve network connectivity issues until the services fully recovered. By 3:01 PM, all AWS services returned to normal operations.
    wxw752
        19
    wxw752  
       9 小时 46 分钟前   ❤️ 1
    @stinkytofux #8 整体稳定性远高于自建,所以还是会上云的
    mytsing520
        20
    mytsing520  
    PRO
       9 小时 37 分钟前
    AWS 这个故障目前已经结束了,表示稍后会分享详细的事故总结。
    94
        21
    94  
       9 小时 34 分钟前
    @stinkytofux #8 ,下不下云都一样。昨天才经历某一个自建机房停电。很多服务都没必要做多活或者容灾。对比上云,自建机房成本明显高太多了。
    bitmin
        22
    bitmin  
       9 小时 21 分钟前
    好几年前去听一个中小公司的分享,他们老早就阿里云和 AWS 一起用了
    killva4624
        23
    killva4624  
       8 小时 48 分钟前
    看上去是由一个系统的异常扩散到其他系统,内部的互相依赖...
    jjianwen68
        24
    jjianwen68  
       8 小时 40 分钟前
    这种严重故障,协议上如何赔偿客户?
    ksmiracle923
        25
    ksmiracle923  
       8 小时 40 分钟前
    下云的事故率可能会更高
    coldle
        26
    coldle  
       8 小时 38 分钟前
    @Amex #10
    这是真的补完东墙跨西墙 🤣
    Miary
        27
    Miary  
       8 小时 35 分钟前
    @realpg 学啥不好学米粉 :狗头:
    luodan
        28
    luodan  
       8 小时 34 分钟前
    所有服务都在 aws 上。这次故障主要使用的 ec2,eks,rds 都没全坏,只是响应慢点。
    sugars
        29
    sugars  
    PRO
       8 小时 34 分钟前
    realpg
        30
    realpg  
    PRO
       8 小时 31 分钟前
    @Miary #27
    我就是米粉啊 不用学 真的米粉
    另外就是 说实话 这踏马是本站常态 崇洋媚外
    freekindom
        31
    freekindom  
       8 小时 25 分钟前
    盲猜 dns 配置错误,永远的单点,永远的痛
    s1461a
        32
    s1461a  
       8 小时 23 分钟前
    昨天下午 15 点就崩了,拉不动 dockerhub 看到是 aws 的原因
    salmon5
        33
    salmon5  
       8 小时 20 分钟前
    这个不是第一次,也不是最后一次。不得不说,世界就是个大草台班子,说好的多人 review 、说好的回滚、说好的层层审批
    Miary
        34
    Miary  
       8 小时 11 分钟前
    @realpg 那太抱歉了,这里的米粉没有贬义的意思
    习惯就好,画风一向如此
    SSyang
        35
    SSyang  
       8 小时 3 分钟前
    世界就是个大草台班子,这级别的故障估计在国内云的话讨论度得炸了吧。
    fds
        36
    fds  
       7 小时 46 分钟前
    @salmon5 #33 我觉得还是个人能力有极限。自己维护一个小组件可以尽可能完善,需要调整时可以从底层重构。系统一旦大了,很多同事一起协作,如果没人统筹,很容易就各行其是,破坏一些隐性的规则,在一些特殊情况下造成崩溃。甚至有些就是固有缺陷,当初设计权衡时确定的,后期因为需求变动得修改,不从底层改很麻烦,改底层又很危险。这些复杂性很难完全通过制度去规避,审批也只是尽可能降低风险。
    NeoMatrix
        37
    NeoMatrix  
       7 小时 22 分钟前
    @Amex

    某个 AU 的 bro 改了 us-east-1 的核心网络配置导致的,DDB 也是受影响的一方。大部分服务的核心控制面都在 us-east-1 ,所以影响很大。DDB 是通过手动恢复了 DNS recorde 来解决了。
    realpg
        38
    realpg  
    PRO
       7 小时 21 分钟前
    @Miary #34
    不用抱歉 我自己都知道米粉是贬义 毕竟我有投资一个公关传媒公司 很懂这行的不为人知的秘密
    yxzblue
        39
    yxzblue  
       7 小时 21 分钟前
    屎山终于爆了
    Amex
        40
    Amex  
       7 小时 1 分钟前
    @NeoMatrix
    对我写的不太清楚 不是 ddb 的问题
    话说回来这么核心的网络配置改变没有 review 就上 prod 么⋯不知道这些人得写几个 coe
    ayang23
        41
    ayang23  
       6 小时 57 分钟前
    @stinkytofux 一出事全玩完,这不就甩锅了吗,挺好。
    NeoMatrix
        42
    NeoMatrix  
       6 小时 51 分钟前 via iPhone
    @Amex 四个 approver 被 override 了三个,怎么破。
    leegradyllljjjj
        43
    leegradyllljjjj  
       5 小时 54 分钟前 via iPhone
    日尼玛退钱!
    wangtian2020
        44
    wangtian2020  
       5 小时 50 分钟前
    少上一天网多大的事儿,反正,又不是我的网站崩了
    nbndco
        45
    nbndco  
       5 小时 31 分钟前 via iPhone
    某些人动不动就下云下云,搞得还以为自建的服务 sla 100%了。要是运维水平这么高上云干嘛呢,看 amazon 可怜给他个学习运维的机会吗
    Amex
        46
    Amex  
       5 小时 18 分钟前 via iPhone
    @NeoMatrix
    噗…
    行吧 coe 有的写了
    wsgfz000
        47
    wsgfz000  
       4 小时 37 分钟前
    cursor tab 出了问题怪了半天的梯子 已经都准备重新买了... 然后看到故障
    whileFalse
        48
    whileFalse  
       4 小时 28 分钟前
    用 aws 的一个好处是不用向你的客户解释什么。自建如果挂了会被 diss 行不行啊。
    burby
        49
    burby  
       2 小时 26 分钟前   ❤️ 1
    aws 挂了, 老板只是淡淡的说了句 要考虑多运营商备份.
    倘若是自建的基础设施挂了, 那势必要开个人祭天的
    cnbatch
        50
    cnbatch  
       1 小时 55 分钟前
    @ne6rd Windows Defender 导致蓝屏的情况很少发生吧,可以说是十分罕见

    除非是指 CrowdStrike 蓝屏事件,然而 CrowdStrike 并不是微软的
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3322 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 10:50 · PVG 18:50 · LAX 03:50 · JFK 06:50
    ♥ Do have faith in what you're doing.