算法偏见侦探

原标题：算法偏见侦探

雷锋网AI 科技评论按，随着越来越多的算法不断渗透入社会的层层面面，如医疗机构、政府部门，对算法偏见的讨论越来越多。这个月，Nature 杂志评选出2018 年最受欢迎的十大科学长篇专题报道，其中，Rachel Courtland 一篇讨论算法偏见的文章成功当选。雷锋网AI 科技评论将原文编译整理如下。

2015 年，一位忧心忡忡的父亲问了卫生经济学家Rhema Vaithianathan 一个至今仍在她脑海中挥之不去的问题。

那天，一小群人聚集在宾夕法尼亚州匹兹堡市的一间地下室里，听Rhema Vaithianathan 解释软件如何能够解决虐待儿童的问题。每天，该地区的热线电话都会接到几十个怀疑附近有孩子处于危险之中的来电；其中一些来电会被呼叫中心的工作人员标记以便调查。但是这个系统并不能掌握所有的虐童案件。Vaithianathan 和她的同事们刚刚签订了一份价值50 万美元的合同，该合同要求他们开发出能够帮助解决该问题的算法。

卫生经济学家Vaithianathan 是新西兰奥克兰理工大学社会数据分析中心的联合主任，他用下面的例子告诉人们这个算法是如何工作的：例如，一个使用大量数据（包括家庭背景和犯罪记录）训练得到的工具，可以在接到电话时生成风险评分。 这可能有助于通知审核员标记出需要调查的家庭。

当Vaithianathan 邀请听众提问后，那位（前面提到的）忧心忡忡的父亲站起来发言。 他说，他曾经染上了毒瘾，并与毒瘾做过艰难的斗争。社工曾因此将他的孩子从家中带走。 但目前，他已经戒毒成功一段时间了。在电脑评估他的记录的时候，他为改变自己的生活所做的这些努力难道就毫无意义吗？换句话说：算法对他的评价是否不公平？

我们能打开人工智能的黑盒吗？

Vaithianathan 向这位父亲保证，人们总是会改过自新的，他的努力不会被忽视。但是时至今日，即使这种自动化评估工具已经部署完毕，Vaithianathan 仍然在思考这位父亲的问题。计算机的计算结果正越来越多地被用于控制那些可能改变人一生的决定，包括应该拘留哪些被指控犯罪的被告、调查哪些可能存在虐待儿童现象的家庭，以及近来的「预测性警务」的趋势（社区警察应该关注哪些问题）。这些工具有望使决策更加一致、准确和严谨。 但是对这一系统的监管是有限的：没人知道有多少这样的系统正在被使用。这些算法的不公平性正在引起警惕。例如，2016 年，美国记者辩称，用于评估未来的犯罪活动风险的系统会歧视黑人被告。

纽约大学研究人工智能的社会影响的研究中心「AI Now」研究院的联合创始人Kate Crawford 表示：「我最担心的是，我们提出的系统本应改善问题，但最终却可能使问题恶化」。

在Crawford 和其他人提出警告时，政府正试图使软件更具公信力。去年12 月，纽约市议会通过了一项法案，他们成立了一个特别工作组，用于提出公开分享关于算法信息的方案的建议，并调查它们是否存在偏见。今年，法国总统Emmanuel Macron 表示，法国将公开政府使用的所有算法。在本月发布的指导意见中，英国政府呼吁那些在公共部门从事数据工作的人要公开透明，并负起责任。于五月底生效的欧洲通用数据保护条例（GDPR），也将促进算法问责制。

Rhema Vaithianathan 构建算法来帮助标记出潜在的儿童虐待案件

在这样的活动中，科学家们面临着一个复杂的问题：使算法公平究竟指的是什么？ Vaithianathan 等为公共机构工作的研究人员，试图开发出负责任的、有效的软件。他们必须努力解决自动化工具可能引入偏见或加深现有的不平等现象的问题，尤其是如果这些工具正被嵌入到一个本已具有一定歧视性的社会体系中时。

「有一个相当活跃的研究团体，他们正试图开发从外部审核评估这类系统的方法」。

盐湖城犹他大学的理论计算机科学家Suresh Venkatasubramanian 指出，自动化决策工具所引出的公平性问题并不是一个全新的问题，人们使用评估犯罪或信用风险的精算工具已经有几十年的历史。随着大型数据集和更复杂模型的普及，人们越来越难以忽视它们在伦理方面的影响。「计算机科学家别无选择，我们必须开始进行这方面的研究。我们再也不能忽视算法的公平性，看看这样会发生什么」。

公平性的折中

2014 年，匹兹堡所在的Allegheny 郡人类服务部门的官员打电话征求关于自动化工具的建议时，他们还没有决定如何使用它。但是他们知道自己应该对新系统采取开放的态度。该部门数据分析、研究和评估办公室副主任Erin Dalton 表示：「我极其反对把政府资金用于不能向社会说明我们在做什么的黑箱解决方案上」。该部门拥有一个建于1999 年的中央数据仓库，其中包含大量个人信息，包括住房、精神健康状态和犯罪记录。Dalton 说，Vaithianathan 的团队在关注儿童福利方面做出了巨大努力。

2016 年8 月，Allegheny 家庭筛查工具（AFST）被推出。对于每个打进热线的电话，呼叫中心的员工都会看到由自动风险评估系统生成的得分（1 至20 分），其中20 分对应于被认定为最高风险的个案。AFST 预计这些高得分家庭的孩子最有可能在两年内被从家中带走，或者因为打电话者怀疑这些孩子受到了虐待而再次被送到郡里（郡县正在放弃第二种评价指标，该指标似乎并不能准确反映出需要进一步调查的案件）。

位于加利福尼亚州的斯坦福大学的独立研究员Jeremy Goldhaber-Fiebert 仍然在评估这个工具。但Dalton 说，初步的结果表明，该工具是有帮助的。她表示，采用该工具后，呼叫中心工作人员提交给调查人员的案件中似乎包含了更多有着合理的担忧的实例。电话审核员似乎也会对类似的案件做出更加一致的决定。尽管如此，他们的决定并不一定与算法的风险评分相符；郡政府希望使两者的结果更接近一致。

改革预测性警务

随着AFST 被部署，Dalton 希望得到更多帮助，以确定该系统是否可能存在偏见。2016 年，她找来匹兹堡卡内基梅隆大学的统计学家Alexandra Chouldchova，帮助她分析该软件是否会歧视特定群体。Chouldchova 此前已经在考虑算法中的偏见问题，而且将参与到一个已经引发了关于这个问题的广泛辩论的案件。

同年5 月，新闻网站ProPublica 的记者报道了Broward County 法官使用的商业软件，这些软件有助于判定一个被指控犯罪的被告是否应该在审判前被从监狱中释放出来。记者们说这个软件对黑人被告有偏见。这个被称为COMPAS 的工具可以生成一个得分，它被用来衡量一个人在两年内再次犯罪的可能性。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!