交易所的首次全日停市 (TSE Halt)：一个每天处理数万亿日元的交易系统，为什么会被一块磁盘弄停一整天？
高可用架构的关键不在于有没有备份，而在于备份到底切得动切不动
交易所的首次全日停市 (TSE Halt)：巅峰期日本规模最大的证券交易所，承担全国主要股票的交易与清算，其交易系统由外部供应商提供并长期运行多年；终局是因交易系统硬件故障与备份切换失败，交易所历史上首次全天停止交易，负责人辞职并被监管机构要求整改。
日本规模最大的证券交易所，承担全国主要股票的交易与清算，其交易系统由外部供应商提供并长期运行多年
因交易系统硬件故障与备份切换失败，交易所历史上首次全天停止交易，负责人辞职并被监管机构要求整改
5,484 votes cast
1 plans · 1 insights
投稿会先进入待审，通过后才进入公开目录和站点地图。
Root Causes Consensus Poll
Vote for the primary fatal error that caused this enterprise to collapse.
备份切换未能自动生效
高可用架构在关键环节依赖人工判断，切换失败即造成全面停市
系统冗余的实际能力未经充分验证
备份设备存在但未定期演练，真实故障时无法接管
运维知识存在断层
关键操作依赖个人经验，缺少可执行的标准化流程
停市造成的市场与信誉损失难以量化
交易中断影响全国市场参与者，交易所的公信力受到明显冲击
Timeline: peak to collapse
硬件故障与切换失败
交易系统硬件出现故障，备份设备未能正常接管，运维无法在开盘前完成恢复
宣布全天停市
交易所宣布全天停止股票交易，成为该交易所历史上首次全日停市，市场与投资者反应强烈
恢复交易与说明
交易在次日恢复，交易所公布故障原因并说明备份切换失败的具体环节，展开全面检查
高层辞职与监管处分
交易所负责人辞职，监管机构下达业务改善命令，要求强化系统冗余与切换能力
Four-Dimensional Retrospective Breakdown
Background & Golden Era
交易所的电子交易系统长期稳定运行，被市场视为可靠的基础设施；系统采用主备架构并配置了备份设备，但备份切换的自动化程度与演练频率有限，部分设置仍依赖人工判断，运维文档与操作经验存在断层巅峰期的成绩单是：日本规模最大的证券交易所，承担全国主要股票的交易与清算，其交易系统由外部供应商提供并长期运行多年。此时的它拥有渠道、品牌与资本的合力，看起来没有任何理由会输。
Fatal Turning Point Miscalculation
交易日开盘前，系统硬件出现故障并尝试切换到备份，但备份设备未能按预期接管，运维人员无法在开盘前完成恢复，交易所被迫宣布全天停止交易；事件成为交易所历史上首次全日停市，社长辞职，监管机构随后下达业务改善命令底层架构的缺陷被增长掩盖了很多年，真正爆发时表现为线上事故、体验崩塌与迭代停滞，修复成本远高于当年重做的代价。
Internal Culture & Bureaucratic Hubris
技术决策长期被短期交付目标绑架，「先上线，以后再改」变成永久状态，没人对架构健康度负责。
The Collapse & Aftermath
因交易系统硬件故障与备份切换失败，交易所历史上首次全天停止交易，负责人辞职并被监管机构要求整改。交易所的首次全日停市 (TSE Halt)的结局不是某一次意外，而是上面这些判断在数年里不断叠加、又始终没有被纠正的必然结果。
Battle-Tested Actionable Survival Rules
Distilled practical DOs and DONTs forged from costly corporate catastrophes.
备份的价值等于「切过去能用」的概率，而不是备份存在的数量
把切换演练做成定期、可验证的强制动作。
- •定期做真实切换演练并记录结果
- •把关键运维操作标准化为可执行的清单
- •不要假设备份会自动接管
- •不要让关键操作只存在于个人经验中
Revival Simulation: If you were the CEO at the inflection point, how would you save it?
History cannot be rewritten, but executive decision-making can be honed. Propose decisive divestitures and strategic bets, and let entrepreneurs & VCs vote on feasibility.
把切换演练变成常态，别让备份停留在图纸上
Critical intervention point：2020 年 10 月硬件故障导致备份未能接管、交易所全日停市后
- •停止假设备份会自动生效
- •停止让关键切换操作依赖人工临场判断
- •停止因担心影响交易日而取消演练
- •定期执行真实的切换演练并留档
- •把关键操作写成可执行的清单与自动化脚本
- •对运维知识做交接与轮换以避免断层
涉及全国市场，整改需与监管机构同步并公开进度。
切换能力经过验证，单点硬件故障不再造成全市场停市。
Expert Post-Mortem Insights
Firsthand diagnostic analyses from entrepreneurs, VCs, alumni, and analysts.
这类事故的技术细节往往不复杂，复杂的是「为什么没有及时发现」。交易所的系统在正常运行时非常稳定，正是这种稳定让切换演练显得没那么必要——毕竟谁都不愿意在交易日安排可能会中断服务的演练。而当真实故障在开盘前出现时，人工判断、联系供应商、确认状态这一整套流程，在时间上根本来不及。备份是否存在，和备份能否在十分钟内接管，是两件完全不同的事；前者写在采购合同里，后者只能靠演练来证明。
灾备能力不是一张架构图，而是一次次真跑过的切换记录。
Business Post-Mortem Memo · 交易所的首次全日停市 (TSE Halt)
一个每天处理数万亿日元的交易系统，为什么会被一块磁盘弄停一整天？
# Business Post-Mortem Memo：交易所的首次全日停市 (TSE Halt) > 一个每天处理数万亿日元的交易系统，为什么会被一块磁盘弄停一整天？ > Period: 2020 - 2021 | Industry: FinTech & Web3 > Peak: 日本规模最大的证券交易所，承担全国主要股票的交易与清算，其交易系统由外部供应商提供并长期运行多年 > Final: 因交易系统硬件故障与备份切换失败，交易所历史上首次全天停止交易，负责人辞职并被监管机构要求整改 ## Overview 高可用架构的关键不在于有没有备份，而在于备份到底切得动切不动。巅峰期日本规模最大的证券交易所，承担全国主要股票的交易与清算，其交易系统由外部供应商提供并长期运行多年；终局是因交易系统硬件故障与备份切换失败，交易所历史上首次全天停止交易，负责人辞职并被监管机构要求整改。 ## Top-voted root causes 1. [Product & Tech] 备份切换未能自动生效 (1,804 votes) 2. [Org & Culture] 系统冗余的实际能力未经充分验证 (1,515 votes) 3. [Org & Culture] 运维知识存在断层 (1,227 votes) ## Actionable lessons ### 备份的价值等于「切过去能用」的概率，而不是备份存在的数量 > 把切换演练做成定期、可验证的强制动作。 - ✅ DOs: - 定期做真实切换演练并记录结果 - 把关键运维操作标准化为可执行的清单 - ❌ DON'Ts: - 不要假设备份会自动接管 - 不要让关键操作只存在于个人经验中 ## Revival plans ### 把切换演练变成常态，别让备份停留在图纸上 — 良略编辑部 Intervention: 2020 年 10 月硬件故障导致备份未能接管、交易所全日停市后 - Must cut: - 停止假设备份会自动生效 - 停止让关键切换操作依赖人工临场判断 - 停止因担心影响交易日而取消演练 - Breakthrough moves: - 定期执行真实的切换演练并留档 - 把关键操作写成可执行的清单与自动化脚本 - 对运维知识做交接与轮换以避免断层 - Expected outcome: 切换能力经过验证，单点硬件故障不再造成全市场停市。 ## Community insights ### 从架构图上看，这套系统是有备份的；但从结果上看，备份在那天早上没有起到备份的作用。 — 良略编辑部 (工程师) 这类事故的技术细节往往不复杂，复杂的是「为什么没有及时发现」。交易所的系统在正常运行时非常稳定，正是这种稳定让切换演练显得没那么必要——毕竟谁都不愿意在交易日安排可能会中断服务的演练。而当真实故障在开盘前出现时，人工判断、联系供应商、确认状态这一整套流程，在时间上根本来不及。备份是否存在，和备份能否在十分钟内接管，是两件完全不同的事；前者写在采购合同里，后者只能靠演练来证明。 - Alternative Move if Replayed 灾备能力不是一张架构图，而是一次次真跑过的切换记录。 --- Source: 良略 · https://www.lianglue.com/c/tse-halt