Good Judgment Project:普通人的预测如何击败情报专家
在 IARPA 资助的四年预测竞赛中,Tetlock 团队的'Good Judgment Project'用普通志愿者+偏差训练+聚合算法,预测准确率比 rival 团队高 35-72%,比有绝密情报的情报分析师还高约 30%。
案例背景
2000 年代,美国情报界痛感"专家预测不准"。IARPA(情报高级研究计划局)于是发起 ACE 竞赛,向学界提出:谁能更准确地预测地缘政治事件?
宾州大学的 Philip Tetlock(名著《Superforecasting》作者)、Barbara Mellers、Don Moore 组建 Good Judgment Project(GJP),用一群业余志愿者(而非地缘政治专家)参赛。
方法:把集体智慧工程化
GJP 没有依赖"专家直觉",而是把集体智慧拆成可训练、可聚合的环节:
- 招募大量普通志愿者作答概率预测
- 偏差训练(bias tutorials):教志愿者校准概率、克服认知偏差(锚定、过度自信等)
- 独立预测先行:在讨论前先各自独立作答,保住独立性
- 聚合算法:把众多预测按历史准确率加权合并
- 识别"超级预测者(superforecasters)":表现前 2% 的人组成小队,进一步加权
结果:集体智慧击败专家
- GJP 在 2011-2015 竞赛中年年获胜
- 比 rival 团队准确 35%-72%
- 比拥有绝密情报的情报分析师还准约 30%
- 关键机制:聚合只在"判断真正独立且多样"时有效;一旦讨论破坏了独立性,优势就消失
为什么是集体智慧的经典范例
GJP 是"调查式(survey-based)"集体智慧最干净、可复现的示范——它证明:校准过的、独立的、被有效聚合的众包判断,系统性优于未受问责的专家直觉。 这与 Surowiecki 的"智慧群体四条件"完全吻合。
与 DSG 框架的呼应
GJP 的"先独立、后聚合、再训练"流程,几乎是 SFM Collaboration Spiral™ 的操作化版本:独立贡献(个体清晰)→ 聚合涌现(集体智慧)→ 反馈校准(持续改进)。它也给企业一个重要提醒——预测与决策前,先让每个人独立写下判断,再讨论,能显著提升集体判断质量。
来源
- Good Judgment 官网
- Tetlock & Gardner, Superforecasting: The Art and Science of Prediction (2015)
- Mellers et al. (2014) Psychological strategies for winning a geopolitical forecasting tournament, The American Psychologist