滴滴事故的起因是底层系统软件发生故障，并非网传的“遭受攻击”

[ucyo]

滴滴在 28 日启动了内部复盘调查。初步确定，这起事故的起因是底层系统软件发生故障，并非网传的“遭受攻击”。

[ucyo]

11 月 27 日夜间发生的系统故障，给广大用户造成了诸多困扰和不便，在大家需要我们的时候，我们让大家失望了，再次向大家真诚致歉。



各项服务恢复的同时，我们在 28 日启动了内部复盘调查。初步确定，这起事故的起因是底层系统软件发生故障，并非网传的“遭受攻击”，后续我们将深入开展技术风险隐患排查和升级工作，全面保障服务稳定性，尽最大努力避免类似事故再发生。



目前，滴滴 App 的所有服务已经全部恢复。因这起事故给大家造成的困扰和问题，我们正在加快妥善解决。感谢大家对滴滴的鞭策、关心和包容。今天的滴滴还有很多不足，我们将以此为戒，在全公司范围内深刻反思，全力改正，继续努力做好服务保障。




滴滴出行

2023 年 11 月 29 日

[wcnmm]

降薪裁猿，所以走之前留了一个定时 bug （

[julyclyde]

@wcnmm 切不可无证据随意污蔑他人清白哦

[lovelylain]

到现在还只是初步确定故障原因，也是神奇，有没有知道细节的彦祖说一下，这到底是个什么样的故障？

[mightybruce]

已经在一些网站上公布了，是因为 K8s 版本升级升错了，造成基础设施问题。
https://www.oschina.net/news/268635

[binbin0915jjpp]

K8S... 运维要祭旗

[mightybruce]

基础设施才会导致这种大规模问题，否则软件版本回滚还是很快的。难道降本增效到了深水区了。

[flyqie]

@mightybruce #5

运维是怎么做到把 1.20 当 1.12 的？

太离谱了。。这俩也不太能看错吧，并且还没审核出来进生产环境？

[cubecube]

@lovelylain 内部肯定知道了，就是打个马虎眼，不会公布的

[1145148964]

连会升级服务器的都没了。。。。。。。。。
事实证明学技术无法不被裁员，得学点其他的

[pandaPapa]

K8S 版本错误 不至于搞这么久吧

[leefor2020]

@pandaPapa , 可能是找这个原因找了很久

[mightybruce]

@pandaPapa 如果是集群所有的 master 高可用节点都挂了, 想调度都调度不了。这种错误真的是极其少见。

[mightybruce]

k8s 跨版本升级是有很多坑的， 像滴滴 K8s 版本这么久还没升级估计就是在做很多测试。 结果版本还升级错了。

[MuSit]

12 还有人在用？ 我很好奇之前滴滴用的啥版本.8?

[hahastudio]

说起来网传“遭受攻击”这件事，我是在这个调查说明里才见到的，之前有其他地方传过么

[esile]

@julyclyde 基本上就是把默默无闻真正在干活的裁了

[Frankcox]

k8s 1.12 那都是多久之前了，而且更新一个控制节点是怎么做到“污染整个机房”的，我个人是很怀疑网传这事的真假的

[julyclyde]

@esile 刚才 @wcnmm 的意思是，被裁的人刻意留 bug 。他说了“所以”这个词

[esile]

@julyclyde 正经人最好都写点 bug 不然真的随时优化掉

[julyclyde]

@esile 我不认同你俩的价值观

[julyclyde]

@esile 你们这样，是把单方面裁员变成了狗咬狗

[seers]

滴滴没找云厂商托管，比较诧异

[4771314]

降本增笑

[me1onsoda]

@leefor2020 很容易定位吧，资源调度不了，最近又刚升级 k8s ，很容易联想到啊

[shenlanAZ]

连滴滴旗下的新能源充电站都挂了，真的是该去去中心化了

[Masoud2023]

k8s 这么脆的？ 1.18 升 1.20 都能炸成这样？

[Masoud2023]

打错，1.12

[k9982874]

刚入职的运维：sudo apt-get update && sudo apt-get -y upgrade
滴滴监控系统：Alarm! Alarm! Alarm! System Down!

[mightybruce]

滴滴技术自己写的 k8s 升级
https://mp.weixin.qq.com/s/nMSIsS72fSXGqJO9Vy_Pfw

像大厂商都会自建 IDC, 不然投资人为什么愿意在当年投资那么多钱给它， 你只有花得多，才会有更多的投资。

[mightybruce]

K8s 跨版本升级是很危险的， 除非集群里 没有任何第三方的 Operator 完全是自研的 而且充分考虑到兼容度， 代码全部改过了，你无法保证各种依赖的兼容性。
一般都是升级到高一个版本，中间版本慢慢过渡，1.12 到 1.20 属于艺高人胆大。

[xinshoushanglu]

疯狂作死，

[davis2023]

这种没有 devops 工具流水线一个环境一个环境推送吗？

[chenyx9]

降本增笑

[xuanbg]

@mightybruce 照这个文档说的，滴滴不是早在一个月前就把 k8s 升级到 1.20 了么？

[milukun]

@flyqie 996 久了脑子会不清晰

[Narcissu5]

@seers 滴滴这种规模的自建机房划算得多

[SilentOrFight]

@mightybruce #30 规模大，应该是自建比上云便宜多了吧

[EchoJose]

这告诉我们一个道理，运行的好好的软件就不要乱升级想搞大新闻，又不是不能用🤡

[mingqing]

看看有没有官方通告

[xu2goyuchen]

真相是昂贵的，影响股票价格的，就会跟之前阿里云的一样，默默消失在视野中