预测式AI：暗藏风险与不公

近年来，美国马里兰州圣玛丽山大学为提高新生留存率，采取了出人意料的措施：开除表现不佳的学生。这一提议虽遭教授反对，但揭示了教育决策中的自动化倾向。随着AI工具如EAB Navigate的普及，学校乃至更多领域开始依赖预测模型进行决策，尽管这些工具可能带来意想不到的问题。

EAB Navigate等AI工具声称能精准预测学生成功潜力，但也可能无意中加剧不平等，将贫困和少数族裔学生排除在挑战性专业之外。更令人担忧的是，这些自动化决策往往不透明，学生可能完全不知自己的表现正被AI评估。

预测式AI不仅限于教育领域。在刑事司法系统中，风险评估工具如COMPAS被用于决定囚犯是否应获保释。然而，这些工具可能基于有偏数据，导致不公决策，对贫困和少数族裔造成不成比例的影响。例如，研究发现，COMPAS系统倾向于错误地将黑人标记为低风险，而实际上他们再犯罪的风险更高。

医疗领域同样面临AI预测的挑战。某些健康风险预测模型可能基于医疗费用而非实际医疗需求，导致不平等加剧。例如，Optum的Impact Pro模型预测黑人获得较差护理的可能性更高，尽管他们与健康状况相似的白人相比，面临更高的健康风险。

这些案例揭示了预测式AI的局限性及其可能带来的不公。尽管这些工具声称能优化决策，但实际上可能加深已有的不平等。关键在于，我们必须认识到预测式AI并非万能钥匙，而是需要谨慎使用和监管的工具。

本文节选自《AI万金油商业幻想与科技狂潮》，作者阿尔文德·纳拉亚南与萨亚什·卡普尔，译者王勇、王心安。