Facebook 全球服务中断：为什么一次网络配置变更，会让几十亿用户的沟通同时中断六小时？
它把对外服务和自己的运维通道绑在了同一根绳子上
Facebook 全球服务中断：巅峰期全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施；终局是一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断。
全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施
一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断
4,572 votes cast
1 plans · 1 insights
投稿会先进入待审，通过后才进入公开目录和站点地图。
Root Causes Consensus Poll
Vote for the primary fatal error that caused this enterprise to collapse.
网络配置变更缺少足够的分级审批
高影响范围的变更按常规流程执行，未设置额外的验证与复核
运维通道与被管理网络共用依赖
内部工具随网络一起失效，故障时失去远程处置能力
缺少不依赖网络的应急操作路径
恢复必须依赖现场人工，时间被物理到达时间决定
变更与故障演练未覆盖此类场景
对「把自己网络切断」这类极端情况缺少针对性演练
Timeline: peak to collapse
配置变更下发
主干网路由配置变更导致公司网络与外部断开，旗下多个应用全球不可用
内部工具同时失效
内部运维、监控与门禁系统一并受影响，远程处置无法进行
现场人工恢复
工程团队需要进入数据中心现场操作，服务在约六小时后逐步恢复
流程整改
公司调整变更审批与网络隔离设计，确保运维通道不被同类变更影响
Four-Dimensional Retrospective Breakdown
Background & Golden Era
公司以超大规模自建网络支撑旗下多个应用，日常通过自动化工具下发网络配置，依靠内部系统完成变更、监控与故障处置巅峰期的成绩单是：全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施。此时的它拥有渠道、品牌与资本的合力，看起来没有任何理由会输。
Fatal Turning Point Miscalculation
一次主干网配置变更切断了数据中心与外部网络的连接，同时使内部运维工具与门禁系统一起不可用，工程师无法远程进入环境执行回滚，恢复只能靠现场人工介入底层架构的缺陷被增长掩盖了很多年，真正爆发时表现为线上事故、体验崩塌与迭代停滞，修复成本远高于当年重做的代价。
Internal Culture & Bureaucratic Hubris
技术决策长期被短期交付目标绑架，「先上线，以后再改」变成永久状态，没人对架构健康度负责。
The Collapse & Aftermath
一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断。Facebook 全球服务中断的结局不是某一次意外，而是上面这些判断在数年里不断叠加、又始终没有被纠正的必然结果。
Battle-Tested Actionable Survival Rules
Distilled practical DOs and DONTs forged from costly corporate catastrophes.
运维通道必须独立于被运维的网络
出事的时候，你唯一能用的工具不能跟着一起坏。
- •为高影响网络变更设置分级审批与自动化校验
- •确保应急操作路径不依赖受影响的网络
- •不要把内部工具与生产网络绑定在同一依赖上
- •不要假设故障时还能远程处置
Revival Simulation: If you were the CEO at the inflection point, how would you save it?
History cannot be rewritten, but executive decision-making can be honed. Propose decisive divestitures and strategic bets, and let entrepreneurs & VCs vote on feasibility.
把运维通道与生产网络解耦，再恢复变更节奏
Critical intervention point：2021 年 10 月 4 日网络配置变更导致全球服务中断时
- •暂停高影响范围的网络配置变更
- •停止在运维通道与生产网络共用依赖的情况下执行变更
- •停止把远程处置作为唯一恢复路径
- •为高影响变更设置分级审批与自动化影响评估
- •把运维与监控通道部署在独立网络环境
- •保留不依赖网络的人工应急操作流程并定期演练
应急通道与变更管控的建设列为固定投入，高影响变更需通过演练验证。
同类配置错误的影响被限制在短时间窗口内，运维团队可在任何环境下远程恢复，避免长时间全球中断。
Expert Post-Mortem Insights
Firsthand diagnostic analyses from entrepreneurs, VCs, alumni, and analysts.
网络配置变更本身是日常工作，错误也并非罕见。真正把影响从「几分钟」拉长到「六小时」的是内部工具与网络的依赖关系：路由配置一改，对外服务断了，内部监控、运维与门禁系统也一起断了，工程师只能到现场才能动手。这说明公司的应急设计里缺少一条最基本的假设——处置故障的工具，可能和故障本身在同一个依赖里。
任何自动化体系都要留一条不依赖自身的回家路。
Business Post-Mortem Memo · Facebook 全球服务中断
为什么一次网络配置变更，会让几十亿用户的沟通同时中断六小时？
# Business Post-Mortem Memo：Facebook 全球服务中断 > 为什么一次网络配置变更，会让几十亿用户的沟通同时中断六小时？ > Period: 2021 - 2021 | Industry: Tools & Internet > Peak: 全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施 > Final: 一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断 ## Overview 它把对外服务和自己的运维通道绑在了同一根绳子上。巅峰期全球规模最大的社交平台集团，旗下多个应用合计拥有数十亿月活用户，是许多人日常沟通与商业运营的基础设施；终局是一次主干网配置变更导致旗下服务全球中断约六小时，连内部工具与门禁系统也受影响，成为该公司历史上最严重的一次服务中断。 ## Top-voted root causes 1. [Product & Tech] 网络配置变更缺少足够的分级审批 (1,504 votes) 2. [Strategy] 运维通道与被管理网络共用依赖 (1,263 votes) 3. [Org & Culture] 缺少不依赖网络的应急操作路径 (1,023 votes) ## Actionable lessons ### 运维通道必须独立于被运维的网络 > 出事的时候，你唯一能用的工具不能跟着一起坏。 - ✅ DOs: - 为高影响网络变更设置分级审批与自动化校验 - 确保应急操作路径不依赖受影响的网络 - ❌ DON'Ts: - 不要把内部工具与生产网络绑定在同一依赖上 - 不要假设故障时还能远程处置 ## Revival plans ### 把运维通道与生产网络解耦，再恢复变更节奏 — 良略编辑部 Intervention: 2021 年 10 月 4 日网络配置变更导致全球服务中断时 - Must cut: - 暂停高影响范围的网络配置变更 - 停止在运维通道与生产网络共用依赖的情况下执行变更 - 停止把远程处置作为唯一恢复路径 - Breakthrough moves: - 为高影响变更设置分级审批与自动化影响评估 - 把运维与监控通道部署在独立网络环境 - 保留不依赖网络的人工应急操作流程并定期演练 - Expected outcome: 同类配置错误的影响被限制在短时间窗口内，运维团队可在任何环境下远程恢复，避免长时间全球中断。 ## Community insights ### 这次事故最贵的一课不是配置错了，而是改完之后没人能远程把它改回来。 — 良略编辑部 (工程师) 网络配置变更本身是日常工作，错误也并非罕见。真正把影响从「几分钟」拉长到「六小时」的是内部工具与网络的依赖关系：路由配置一改，对外服务断了，内部监控、运维与门禁系统也一起断了，工程师只能到现场才能动手。这说明公司的应急设计里缺少一条最基本的假设——处置故障的工具，可能和故障本身在同一个依赖里。 - Alternative Move if Replayed 任何自动化体系都要留一条不依赖自身的回家路。 --- Source: 良略 · https://www.lianglue.com/c/facebook-bgp-outage