Facebook 全球服务中断：为什么一次网络配置变更，会让几十亿用户的沟通同时中断六小时？

# 商业复盘备忘录：Facebook 全球服务中断

> 为什么一次网络配置变更，会让几十亿用户的沟通同时中断六小时？
> 周期: 2021 - 2021 | 行业: 工具与互联网
> 巅峰: 全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施
> 终局: 一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断

## 核心概览
它把对外服务和自己的运维通道绑在了同一根绳子上。巅峰期全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施；终局是一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断。

## 社区公投头号死因
1. [产品技术] 网络配置变更缺少足够的分级审批 (1,504 票)
2. [战略决策] 运维通道与被管理网络共用依赖 (1,263 票)
3. [组织管理] 缺少不依赖网络的应急操作路径 (1,023 票)

## 可执行教训
### 运维通道必须独立于被运维的网络
> 出事的时候，你唯一能用的工具不能跟着一起坏。

- ✅ 推荐做 (DOs):
  - 为高影响网络变更设置分级审批与自动化校验
  - 确保应急操作路径不依赖受影响的网络
- ❌ 绝不能做 (DON'Ts):
  - 不要把内部工具与生产网络绑定在同一依赖上
  - 不要假设故障时还能远程处置

## 救亡方案
### 把运维通道与生产网络解耦，再恢复变更节奏 — 良略编辑部
干预时点: 2021 年 10 月 4 日网络配置变更导致全球服务中断时
- 必须断腕:
  - 暂停高影响范围的网络配置变更
  - 停止在运维通道与生产网络共用依赖的情况下执行变更
  - 停止把远程处置作为唯一恢复路径
- 破局动作:
  - 为高影响变更设置分级审批与自动化影响评估
  - 把运维与监控通道部署在独立网络环境
  - 保留不依赖网络的人工应急操作流程并定期演练
- 预期结果: 同类配置错误的影响被限制在短时间窗口内，运维团队可在任何环境下远程恢复，避免长时间全球中断。

## 社区见解
### 这次事故最贵的一课不是配置错了，而是改完之后没人能远程把它改回来。 — 良略编辑部 (工程师)
网络配置变更本身是日常工作，错误也并非罕见。真正把影响从「几分钟」拉长到「六小时」的是内部工具与网络的依赖关系：路由配置一改，对外服务断了，内部监控、运维与门禁系统也一起断了，工程师只能到现场才能动手。这说明公司的应急设计里缺少一条最基本的假设——处置故障的工具，可能和故障本身在同一个依赖里。
- 如果重来一次的纠偏招式 任何自动化体系都要留一条不依赖自身的回家路。

---
来源: 良略 · https://www.lianglue.com/c/facebook-bgp-outage