自动追债系统的集体错误 (Robo-debt)：用系统自动追讨福利欠款，为什么最后要退还几亿澳元？

# ビジネス失敗の回顧メモ：自动追债系统的集体错误 (Robo-debt)

> 用系统自动追讨福利欠款，为什么最后要退还几亿澳元？
> 期間: 2016 - 2020 | 業界: 法人向けSaaS
> ピーク: 澳大利亚福利部门上线的自动债务核算与追讨系统，用数据自动比对收入并生成应还金额，大幅提高了追讨效率
> 終局: 系统用平均法推算收入而忽略了实际工作周数，导致数十万人被错误追讨债务，法院认定部分做法违法，政府取消并退还大部分款项

## 概要
把「平均」当作「事实」，算法就会把不确定变成确定的债务。巅峰期澳大利亚福利部门上线的自动债务核算与追讨系统，用数据自动比对收入并生成应还金额，大幅提高了追讨效率；终局是系统用平均法推算收入而忽略了实际工作周数，导致数十万人被错误追讨债务，法院认定部分做法违法，政府取消并退还大部分款项。

## コミュニティ投票の主要死因
1. [プロダクト技術] 算法假设与实际收入模式不符 (1,664 票)
2. [法令遵守・外部環境] 举证责任被转移到个人 (1,398 票)
3. [組織マネジメント] 效率目标压过正确性验证 (1,132 票)

## 実行可能な教訓
### 自动化决策要在上线前问「误判的比例有多高」
> 把误判率与申诉成功率当作系统上线的前置指标。

- ✅ 推奨 (DOs):
  - 上线前做抽样验证并测量误判率
  - 把举证责任留在数据持有方一侧
- ❌ 禁止 (DON'Ts):
  - 不要让效率目标替代正确性验证
  - 不要把可能误判的结果直接变成追讨通知

## 再生プラン
### 先暂停追讨、复核算法，再谈债务清收 — 良略编辑部
介入時点: 2018 年前后大量错误追讨引发公众质疑、诉讼开始出现时
- 断つべきもの:
  - 停止在被追讨者举证前认定债务成立
  - 停止用平均法直接生成债务结论
  - 停止以追讨金额作为绩效指标
- 打開策:
  - 暂停自动追讨并复核已生成的债务
  - 把举证所需数据由数据持有方直接提供
  - 对已收款项目主动退款并公开处置进展
- 期待される成果: 错误债务被清理，退款完成，制度以更可靠的核算方式重建。

## コミュニティの知見
### 从算法角度看，这个做法的问题在一句话里就能说清：它把全年的收入平均到每个两周，而人不是这么挣钱的。 — 良略编辑部 (工程师)
薪资数据的口径是按会计期汇总，而福利资格是按周期判断，两者之间需要一个映射。他们选择的映射方式是平均化——简单、自动化程度高，但对短期工作、季节工作、临时工作是错的。更关键的是流程设计：系统生成的债务被视为成立，被追讨者如果想要反驳，需要自己去补交工资单、工时记录等材料。这种举证责任的分配，把系统误判的成本完全转移给了收入最低、议价能力最弱的一群人。法院后来否定了做法的部分合法性，政府退款并赔偿，而调查报告的重点也落在「谁有权决定，谁承担后果」上。
- やり直せるなら打つべき一手 自动化最危险的地方，是它让错误的成本落在最没有能力反驳的人身上。

---
出典: 良略 · https://www.lianglue.com/c/robo-debt