（大数据文摘出品，编译：大茜、张文静、Aileen、魏子敏）

我们正将越来越多的选择权拱手让于算法。

从新的一天要听什么歌、哪些人应该拿到社会福利，到学校课程设置、公司并购决定，机器开始支配这些看似琐碎但重要的抉择，而我们还没有意识到，这或许是比“终结者”的到来更严重的威胁。

但有些决策不能，也永远不应该委托给机器。

用算法来做决策的初衷一定是善意的：提高效率，让决策迅速获得数据支持，且保证流程的一目了然。

而在惊叹于这些让人眼花缭乱的自动化决策系统的同时，管理层常常忘记一个最重要的问题：

算法的引入是减少还是加剧了系统中的不公平因素？这种算法是否会影响决策——或作为决策的基础，可能对人们的生活产生负面影响？

由于数据偏差、系统内置偏见，不了解统计数据以及过度信任机器的决策者，还有其他众多的挑战，算法永远不会给我们“完美”的结果。

那么，在算法和你的判断产生出入时，你将在多大程度上依赖算法？

影响分析结果的因素有很多。这篇文章将指出，在进行自动化改革之前，所有组织需要考虑的几个因素。

资料图来源：视觉中国

印第安纳州的失败算法和100万受害者

先来看一个算法偏差导致的可怕后果。

在印第安纳州，一个算法将有关福利的不完整的文件归类为不合规。

在三年的时间里，因为这一决定，有100万人无法获取食品券，医疗保健和现金福利。

Omega Young是100万受害者之一。

在2009年3月1日，她因无法负担医药费而死亡。（在她死后赢得了最终维权上诉，并重新得到她的所有福利金。）

将是否能继续获得医疗补助金这一决策留给AI决策，这一事件让印第安纳州在之后饱受诟病。

弗吉尼亚的Eubanks讨论了印第安纳州在自动不平等方面（Automating Inequality)系统的失败，她写了一本关于技术如何影响公民、人权以及经济公平的书。Eubanks解释说，算法让机器为我们在棘手的社会问题上做出的决策而不是我们自己做出抉择，这样的方式有一种“情感距离” 。

 “我们不能利用算法来逃避做出艰难的决策，或者推卸我们关心他人的责任。在这些情况下，算法不是答案。单靠数学无法解决根深蒂固的社会问题，试图依靠它只会加剧系统中已经存在的不平等现象。”

在决定是否进行自动化之前，我们需要仔细审视系统可能影响的人以及判断影响可能是什么，并确定当前系统中已经存在的不平等因素。

可用的数据是否真的能带来好的结果？

算法依赖于输入的数据，而且需要正确的数据来确保正常运行。在实施依赖算法的决策系统之前，组织需要深入研究他们试图解决的问题，并且对他们是否有解决问题所需的数据进行一些诚实的思考。

Eubanks书中讨论了另一个案例，宾夕法尼亚州阿勒格尼县的儿童，青年和家庭（CYF）部门实施了一种算法，为每个报告给该机构的潜在虐童事件中的儿童打一个“威胁分数”，并帮助案件工作人员决定哪些报告应该进行调查。该算法的目标是常见的：帮助社会服务机构最有效地利用有限的资源来提供社区服务。

为了实现他们的目标，该县试图预测哪些儿童可能成为被虐待的受害者，即“目标变量”。但该县没有足够的关于与虐童有关的死亡率或近似死亡率的数据来构建具有统计学意义的模型，因此他们使用了有足够数据的两个变量——社区再转诊CYF的热线数和两年内寄养儿童数，作为儿童虐待数的替代指标。这意味着该县的算法可以预测儿童再转诊以及寄养的可能性，并利用这些预测结果对儿童的虐待威胁打分。

其中的问题显而易见。

这些替代变量并不是有关虐童数据的有效替代。

首先，它们是主观的。再次转诊这一变量包含了隐藏的偏见：“匿名以及那些被强制要求的记者报道黑人和混血儿家庭虐童和忽视儿童的频率比他们报道的白人家庭多三倍半”。

有时甚至是那些凶恶的邻居、房东，或者家庭成员故意虚假举报来作为惩罚或报复，正如Eubanks在自动化不平等中所写的那样，“预测模型需要清晰明确的步骤，并且有大量相关数据才能正确运行。”这些标准在阿勒格尼县尚未完全满足。不管怎么说，CYF推进并实施了一项算法。

这一精度有限的算法导致了什么结果？

在2016年出现了15139次虐童报道。其中，该算法错误预测了3633个个案。这一结果无端侵入和监视了数千个贫穷的少数人的家庭的生活。