犯罪的人什么时候会再被逮捕?居然有算法研究这个!

未来
互联网
2018-02-28

【CSDN编者按】算法能够帮助运营人员从用户数据挖掘中获得灵感,还能采用预测式警务的做法,利用之前犯罪行为表现出来的规律分析出下一个可能发生犯罪行为的地点、时间甚至几率大小。绘制犯罪地图、定向抓取嫌疑人、打击网络犯罪等,都是预测算法的应用前景。

但是预测算法的效果可能并没有人们想象中的那么好,特别是用于法庭审判时,对于被告而言,无法保证准确信的预测算法是对个人的极其不负责。本文就对以 COMPAS 为代表的犯罪预测算法准确性进行了分析,一起探讨 65% 的准确率是否有必要应用、为什么还比不过人为预测的准确性、种族歧视的偏见又有何解等质疑。

Science Advances(Science子刊,是涵盖所有学术领域的开放性、综合性科学刊物)近日发表的一项研究表明,通过研究热门的 COMPAS 算法可以发现,算法可能还不如一般人的猜测来得更加准确。如果调查结果持续下去,对于一般的量刑算法来说,我们可能根本没有工具来准确预测被告是否会犯下更多的罪行。

COMPAS 算法会影响审判结果

COMPAS 算法(由 Equivant 开发)用于评估被告人员将再次犯罪的几率,基于被告的犯罪记录以及其他一系列因素,来评估他们在未来两年内被再次逮捕的可能性。其风险评估的结果会影响到法官关于保释甚至判决的最终决定,也就意味着,如果算法不准确,一些低风险的被告反而会被判决更长时间,对任何受到影响的人都有着重大的危害。

针对 Science Advances 所发布的研究报告,Equivant 发表了长篇声明,称这项工作“极具误导性”。

业界对于 COMPAS 准确性的批评质疑

来自 Dartmouth 的 Hany Farid 和 Julia Dressel 在新文章中提出了一个基本的问题:COMPAS 的预测是否有用?因为根据 ProPublica 提供的数据,Farid 和 Dressel 发现该算法预测的再犯概率大约有 65%——但是事实上,只有 45%的被告会再度犯罪。

对于此质疑,Equivant 声称,因为他们的风险评估工具COMPAS 已经清除了 70% 的 AUC 标准。

研究人员将 COMPAS 与人为预测对比后,结果十分令人惊讶。Farid 和 Dressel 通过亚马逊的 Mechanical Turk 平台招募了 462 名工作人员,要求他们“读一些真实人物的记录,并预测这些人将来是否会犯罪”。完成任务可以获得 1 美元的报酬,如果预测准确率超过 65%,还将会获得 5 美元的奖金。令人惊讶的是,Turker 的中位数比 COMPAS 提高了 2 分,准确率达到了 67%。

研究人员还用一种比较简单的线性算法来对比 COMPAS,这个算法只单纯考虑被告的年龄和犯罪记录,结果其预测结果也超过了涉及 137 个评估因素的 COMPAS。Farid 表示,“我们通常会认为,数据越多、越复杂,分类的准确性会更高。但我们发现情况并非如此”。

分类罪犯的手动决策树示例

乔治梅森大学的法学教授 Megan Stevenson 对目前的风险评估项目也发表了类似的悲观言论。他表示,COMPAS 的样本量很小,很难确定其预测结果能发挥正确作用。“这篇研究也让我确定了,预测能力的上限比我想象的还要低,”Stevenson 说到,“我认为从一开始就没有那么高”。

对此,Equivant 也进行了反驳,认为是小数据样本导致了研究人员过度拟合他们的算法。此外他们还淡化了实际评估的因素数量,表示,“事实上,这 137 个数据中的大部分都是需求因素,并没有被用作 COMPAS 风险评估的预测指标。COMPAS 风险评估只有六个输入”。

值得注意的是,很多算法系统维持着与 COMPAS 大体相同的偏见情况,对不同种族的预测不成比例,黑人被告更容易出现误报——这也是 COMPAS 会被 ProPublica 批评存在种族偏见的原因。

日益普及的犯罪算法预测应提高准确性

风险评估结果已经成为美国司法系统日益普遍的组成部分,常常被用于审判前做最终决定。有争议的是,算法的具体细节往往被视为商业秘密,使律师很难争取公开。去年,最高法院就拒绝审理了一起 COMPAS 系统合法性质疑案件,该系统表示该算法侵犯了被告的宪法权利。

其实,犯罪算法预测的最大弱点是其数据本身。法庭记录是非常混乱的,数据的有效期只有两年,这可能会限制其预测能力。

不过,已经有大量关于算法有效性的确认研究正在进行中。Stevenson 表示:“我认为将会有大量的研究试图肯定或反驳这一结论,所以在未来几年我们将会了解到更多细节内容。”

原文:Mechanical Turkers may have out-predicted the most popular crime-predicting algorithm

链接:https://www.theverge.com/2018/1/17/16902016/compas-algorithm-sentencing-court-accuracy-problem

作者:Russell Brandom

编译:言则