![]() |
1
levelworm 14 小时 10 分钟前
这下只有两个 9 了。。。
|
![]() |
2
Amex 13 小时 41 分钟前 via iPhone
都挂了十几个小时了吧
|
![]() |
3
xiaket 12 小时 22 分钟前
是啊昨天晚饭后就开始围观... 到现在都好久了
|
![]() |
4
levelworm 11 小时 21 分钟前 via iPhone
好像算是结束了
|
5
ofc 10 小时 38 分钟前 via iPhone
aws 依旧是不错的选择,中心化的力量
|
![]() |
6
zx9481 10 小时 26 分钟前
为什么连故障分析都没有
|
![]() |
7
mapleleaf2023 10 小时 17 分钟前
这次影响非常大,北美很多券商今天交易系统都登录不进去。
|
8
stinkytofux 10 小时 11 分钟前
越来越多的企业会下云了, 用云服务平时不出事, 一出事全部玩完.
|
9
Dragonish3600 10 小时 7 分钟前 ![]() @stinkytofux 平时不出事,一出事全玩完。。这句话适用于所有的服务,不管你用不用云。
|
![]() |
10
greensea 10 小时 6 分钟前
我记得昨天就看到消息了,不过以为只是一次日常的崩溃,没想到这次居然玩这么大
|
![]() |
11
MacTavish123 10 小时 1 分钟前
@Dragonish3600 一些地方政府都是非工作时间点断电😁
|
![]() |
12
skull 10 小时 0 分钟前 via iPhone ![]() @stinkytofux 难道自己就不会炸吗
|
![]() |
13
ne6rd 9 小时 58 分钟前
感觉没上次微软杀毒软件蓝屏影响大。
|
![]() |
14
opengps 9 小时 58 分钟前
@stinkytofux #8 下云是不是因为不出事,而是因为出事没什么可做的。自建机房可靠性很难达到云的效果。更多大型企业是在调整方案多云并行
|
![]() |
15
IDAEngine 9 小时 57 分钟前
昨天下午 3 点多开始崩,说是美东内部的 dns 配置错误
|
![]() |
16
realpg PRO 这要是阿里腾讯不得 15 天啊
:狗头: |
17
HTravel 9 小时 55 分钟前
AWS 为什么连两地三活都不会建?
别说它有。这时候不起作用,那还什么时候起作用? |
![]() |
18
Amex 9 小时 50 分钟前 via iPhone ![]() 看上去一开始是 dynamo dns endpoint 解析出问题 修好以后变成经典 circular dependency
aws 你这 system design 做的也不行啊 Between 11:49 PM PDT on October 19 and 2:24 AM PDT on October 20, we experienced increased error rates and latencies for AWS Services in the US-EAST-1 Region. Additionally, services or features that rely on US-EAST-1 endpoints such as IAM and DynamoDB Global Tables also experienced issues during this time. At 12:26 AM on October 20, we identified the trigger of the event as DNS resolution issues for the regional DynamoDB service endpoints. After resolving the DynamoDB DNS issue at 2:24 AM, services began recovering but we had a subsequent impairment in the internal subsystem of EC2 that is responsible for launching EC2 instances due to its dependency on DynamoDB. As we continued to work through EC2 instance launch impairments, Network Load Balancer health checks also became impaired, resulting in network connectivity issues in multiple services such as Lambda, DynamoDB, and CloudWatch. We recovered the Network Load Balancer health checks at 9:38 AM. As part of the recovery effort, we temporarily throttled some operations such as EC2 instance launches, processing of SQS queues via Lambda Event Source Mappings, and asynchronous Lambda invocations. Over time we reduced throttling of operations and worked in parallel to resolve network connectivity issues until the services fully recovered. By 3:01 PM, all AWS services returned to normal operations. |
![]() |
19
wxw752 9 小时 46 分钟前 ![]() @stinkytofux #8 整体稳定性远高于自建,所以还是会上云的
|
![]() |
20
mytsing520 PRO AWS 这个故障目前已经结束了,表示稍后会分享详细的事故总结。
|
![]() |
21
94 9 小时 34 分钟前
@stinkytofux #8 ,下不下云都一样。昨天才经历某一个自建机房停电。很多服务都没必要做多活或者容灾。对比上云,自建机房成本明显高太多了。
|
22
bitmin 9 小时 21 分钟前
好几年前去听一个中小公司的分享,他们老早就阿里云和 AWS 一起用了
|
![]() |
23
killva4624 8 小时 48 分钟前
看上去是由一个系统的异常扩散到其他系统,内部的互相依赖...
|
24
jjianwen68 8 小时 40 分钟前
这种严重故障,协议上如何赔偿客户?
|
25
ksmiracle923 8 小时 40 分钟前
下云的事故率可能会更高
|
28
luodan 8 小时 34 分钟前
所有服务都在 aws 上。这次故障主要使用的 ec2,eks,rds 都没全坏,只是响应慢点。
|
![]() |
29
sugars PRO |
31
freekindom 8 小时 25 分钟前
盲猜 dns 配置错误,永远的单点,永远的痛
|
32
s1461a 8 小时 23 分钟前
昨天下午 15 点就崩了,拉不动 dockerhub 看到是 aws 的原因
|
33
salmon5 8 小时 20 分钟前
这个不是第一次,也不是最后一次。不得不说,世界就是个大草台班子,说好的多人 review 、说好的回滚、说好的层层审批
|
![]() |
35
SSyang 8 小时 3 分钟前
世界就是个大草台班子,这级别的故障估计在国内云的话讨论度得炸了吧。
|
36
fds 7 小时 46 分钟前
@salmon5 #33 我觉得还是个人能力有极限。自己维护一个小组件可以尽可能完善,需要调整时可以从底层重构。系统一旦大了,很多同事一起协作,如果没人统筹,很容易就各行其是,破坏一些隐性的规则,在一些特殊情况下造成崩溃。甚至有些就是固有缺陷,当初设计权衡时确定的,后期因为需求变动得修改,不从底层改很麻烦,改底层又很危险。这些复杂性很难完全通过制度去规避,审批也只是尽可能降低风险。
|
37
NeoMatrix 7 小时 22 分钟前
@Amex
某个 AU 的 bro 改了 us-east-1 的核心网络配置导致的,DDB 也是受影响的一方。大部分服务的核心控制面都在 us-east-1 ,所以影响很大。DDB 是通过手动恢复了 DNS recorde 来解决了。 |
![]() |
39
yxzblue 7 小时 21 分钟前
屎山终于爆了
|
![]() |
41
ayang23 6 小时 57 分钟前
@stinkytofux 一出事全玩完,这不就甩锅了吗,挺好。
|
![]() |
43
leegradyllljjjj 5 小时 54 分钟前 via iPhone
日尼玛退钱!
|
![]() |
44
wangtian2020 5 小时 50 分钟前
少上一天网多大的事儿,反正,又不是我的网站崩了
|
![]() |
45
nbndco 5 小时 31 分钟前 via iPhone
某些人动不动就下云下云,搞得还以为自建的服务 sla 100%了。要是运维水平这么高上云干嘛呢,看 amazon 可怜给他个学习运维的机会吗
|
![]() |
47
wsgfz000 4 小时 37 分钟前
cursor tab 出了问题怪了半天的梯子 已经都准备重新买了... 然后看到故障
|
48
whileFalse 4 小时 28 分钟前
用 aws 的一个好处是不用向你的客户解释什么。自建如果挂了会被 diss 行不行啊。
|
![]() |
49
burby 2 小时 26 分钟前 ![]() aws 挂了, 老板只是淡淡的说了句 要考虑多运营商备份.
倘若是自建的基础设施挂了, 那势必要开个人祭天的 |