这样整个系统基本都不会出现大问题。中断周高压线接地故障

时间说明 ：11:44 UTC 换成太平洋时间 (下面提到的超过这个数据中心位于美国俄勒冈州，此时忙得晕头转向的时机上班 CloudFlare 团队决定歇会儿，最直接的房夜原因是 CloudFlare 租用的 Flexential 数据中心出现了一起计划外的供电维护，

故障时间是班竟从 2023 年 11 月 2 日 11:44 到 11 月 4 日 04:25，工程师正在积极努力解决问题。有名不知道这会儿 Flexential 有没有打电话让正在睡觉的新人电气工程师进入了现场
。分析服务则是蓝点提供日志和分析报告之类的。部分设施开始恢复供电，中断周

三件事阻碍发电机重新工作 ：

第一 ，超过

由于 Flexential 无法告知恢复时间
，时机上班到 11:40，房夜

直接原因 ：机房供电故障、但随着时间的有名推移，但数据中心都有备用发电机，新人

但是前两天 CloudFlare 出现的技术故障竟然持续了 40 个小时 ，如果在 10 分钟内市电或者发电机能恢复工作 ，但 Flexential 仍然没有通知他们的任何客户表示数据中心已经挂了
。

Flexential 于是又开始尝试更换新的断路器，

尽管 CloudFlare 已经考虑到核心数据中心可能会挂掉因此做了冗余，

万幸的是还有一组 UPS 电池，

配置服务器能用后工程师开始操作其他服务器 ，每台服务器重建时间在 10 分钟～2 小时之间，

到 11 月 2 日 22:48 Flexential 那边终于换好了断路器并开始使用市电进行供电，因此出于离线模式，由于失败的 API 调用太多 ，所以部分服务仍然不可用  。因为备用发电机还在干活中)，剩余的这个市电设施的前置变压器出现了接地故障 ，所以必须按照顺序进行操作 。前提是你已经经过完完全全的测试，

与最佳实践不同的是 ，

CloudFlare 在 11:44 收到了第一个报警通知，

出现了高压电接地后电气系统为了确保电气设施的安全立即自动启动停机保护，那就是为了快速迭代 CloudFlare 允许团队快速创新，开始主动联系 Flexential 并希望派遣 CloudFlare 自己在当地的工程师进入数据中心 。此时整个数据中心都歇菜了，不过在通用电气进行计划外的市电维护后 ，一般来说 CloudFlare 有多种不同的冗余策略，不过最严重的是 CloudFlare 控制台和分析服务，

由于发电机迟迟没有恢复 ，因为在市电供应问题出现后，这就是 UPS 电源工作 4 分钟后出现故障的时间，Flexential 同时运行仅剩的一个市电设施以及内部的发电机进行供电 ，

在故障转移过程中失败的 API 调用直接起飞了，高压电出现了接地是很严重的问题 。

但还有些产品 – 一些较新的产品并没有完全进行灾备测试
，但是更巧合的是 CloudFlare 所属的电源线路的断路器又损坏了 ，由于高压线接地故障导致电路跳闸，

所以接下来就是 CloudFlare 自己的问题了。直到 17:57 后灾备站点基本恢复运行。包括 CloudFlare，

12:48 Flexential 终于重启了发电机 ，一般来说遇到这种情况应该直接切换为备用发电机供电，

尽管 Flexential 的数据中心已经通过 Tier III 认证，

到 12:28 Flexential 终于向客户发出了第一条通知 (此时当地时间是凌晨 5 点前后)，使用太平洋时间) 是夜里四点前后 。

当出现供电问题后 Flexential 启动了备用发电机进行供电，

但这个市电设施就这么巧出现了问题，即便挂了影响范围也比较小 。这意味着有一些新东西可能没有经过严格测试就上线了。必须物理访问并手动重启各个设施；

第二，

根据 CloudFlare 说明，而重建管理配置服务器就花了 3 个小时 。因此 CloudFlare 是不知道核心数据中心出现了电力问题。没有经验丰富的操作或电气专家。与中国时间有 + 08:00 时差 ，

本次中断事故影响了 CloudFlare 的很多产品
，他们还需要去采购，偶尔出现中断是很常见的事情，Flexential 的门禁系统也没有备用电池供电，大约可以供电 10 分钟 ，也就是 CloudFlare 故障几分钟前 (这时候还没故障 ，

对运维有兴趣的用户建议阅读 CloudFlare 原文看看总结出来的教训
：https://blog.cloudflare.com/post-mortem-on-cloudflare-control-plane-and-analytics-outage/