算法偏见侦探

尽管一些机构建立了自己的工具或商业软件，但学者们发现自己在公共部门算法方面的工作有很大的市场需求。在芝加哥大学，Ghani 一直在与一系列机构合作，包括芝加哥公共卫生部门，他们一起研究一种预测哪些家庭可能藏有对健康有危害的铅的工具。在英国，剑桥大学的研究人员与Durhan 郡的警方合作，建立了一个模型，帮助他们确定可以对哪些人采取干预方案，作为起诉的替代办法。Goel 和他的同事今年建立了斯坦福计算政策实验室，该实验室正在与包括旧金山地区检察官办公室在内的政府机构进行合作。地区检察官办公室的分析师Maria McKee 认为，与外界的研究人员的合作关系至关重要。他说：「我们都知道什么是对的，什么是公平的，但我们往往没有工具，也没有进行研究，来准确、条理清晰地告诉我们如何实现这一目标」。

人们非常希望提高案件的透明度，这与Allegheny 采取的方针一致。Allegheny 郡与利益相关方进行了接触，并向记者敞开大门。AI Now 研究所的Crawford 说，当算法是「不能接受算法审核、审查或公开辩论的封闭循环」时，这样通常会激化问题。但是现在还不清楚如何使算法更加开放。Ghani 认为，简单地公布一个模型的所有参数并不能提供对其工作机制的解释。透明度也可能与隐私保护相冲突。在某些情况下，透露太多关于算法工作原理的信息可能会让不怀好意的人攻击这个系统。

Goel 说，问责制的一大障碍是，这些机构往往不会收集它们如何使用这些工具或这些工具的性能的数据。「很多时候并不存在所谓的透明度，因为没有什么信息是可以分享的」。例如，加利福尼亚州的立法机构起草了一份法案，寻求能够帮助人们减小被告必须支付保释金的几率的风险评估工具，然而这种做法因为会惩罚低收入被告而受到诟病。Goel 希望该法案强制要求收集法官之所以不同意使用该工具的支撑案例的数据，以及包括判决结果在内的每个案件的具体细节。他说，「我们的目标是从根本上减少监禁，同时维护公共安全，所以我们必须知道这样做是否有效」。

Crawford 说，我们将需要一系列「正当程序」基础设施来确保算法的可靠性。今年4 月，AI Now 研究所为希望可靠地采用算法决策工具的公共机构制定了一个框架；除此之外，该研究所呼吁征求社区的意见，并让人们能够对与他们的决议提出上诉。

人工智能研究存在盲点

许多人希望法律能够强制执行这些目标。Solon Barocas 是一名康奈尔大学的研究人工智能伦理和政策问题的研究员，他说，实际上曾经有过一些这样的先例。在美国，一些消费者保护法规在对作出不利于公民信用评价的决定时，会给予公民解释的权利。而Veale 说，早在20 世纪70 年代，法国就立法赋予公民解释权和对自动裁决提出异议的权利。

最大的考验将是5 月25 日生效的欧洲GDPR。某些规定（例如获得有关自动决策案件所涉逻辑的有意义信息的权利）似乎促进了算法问责制。但英国牛津互联网研究所的数据伦理学家Brent Mittelstadt 表示，对于那些希望评估算法公平性的人来说，GDPR 实际上可能会制造一个「法律雷区」，从而实际上妨碍算法公平。要检验一个算法是否在某些方面存在偏见（例如，它是否会偏袒一个种族，而歧视另一个种族），最好的方法就是了解系统涉及到的人的相关属性。但是，Mittelstadt 说，GDPR 对使用这些敏感数据的限制十分严格，处罚也非常高，，以至于那些有能力评估算法公平性的公司可能没有什么动力去处理这些信息。 他说：「这似乎会限制我们评估算法公平性的能力」。

那些让公众对算法有一定了解、并吸引公众关注的GDPR 法案的作用范围也存在一些问题。如前所述，一些GDPR 规则仅适用于完全自动化的系统，这可以排除「算法对决策有一定影响，但应该由人做出最后决定」的情况。Mittelstadt 说，这些细节最终应该在法庭上澄清。

审核算法

与此同时，研究人员正在推进检测算法中的偏见的策略，这些算法尚未对公众开放审核。Barocas 说，公司可能不愿意讨论他们将如何解决公平问题，因为这将意味着首先要承认他们的公平性存在问题。他说，即使他们这样做了，他们根据算法采取的行为中的偏见可能会有所改善，但不会从根本上消除偏见。「因此，任何有关这个问题的公开声明，都不可避免地承认这个问题依然存在」。但最近几个月，微软和Facebook 都宣布将开发工具来检测算法偏见。

一些包括波士顿东北大学的计算机科学家Christo Wilson 在内的研究人员，试图从外部揭示商业算法的偏见。 比如，Wilson 创造了一些虚拟的乘客，他们声称自己在寻找Uber 出租车，他还在一个求职网站上上传了虚拟履历，以测试性别偏见。还有人正在开发一些软件，他们希望这些软件能够被广泛用于自我评估。今年5 月，Ghani 和他的同事发布了名为Aequitas 的开源软件，帮助工程师、政策制定者和分析师审核机器学习模型中的偏见。数学家Cathy O’Neil 一直在强调用算法做出决策的危险性，她成立了一家公司，私下与一些公司进行了合作，审核他们的算法公平性。

一些研究人员已经开始呼吁，在刑事司法应用和其他领域，人们应该从狭隘地专注于建立预测算法的狂热中退一步。例如，一个工具可能擅长预测谁将不会出现在法庭上，但是最好问问为什么他们不会出现。或许，他们应该设计一些干预措施，比如短信提醒或交通援助，这可能会提高他们出现在法庭上的概率。纽约大学法学院的民权律师、种族正义倡导者Vincent Southerland 说：「这些工具通常帮助我们做出一些小的修正，但我们需要的是全面的改变」。 他表示，围绕算法鲁棒性展开的激烈辩论「迫使我们所有人询问和回答这些真正棘手的基本问题，这些问题涉及我们正在使用的系统以及它们的运作方式」。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!