机器人可以决定我的治疗方法吗？

为了管理高昂的医疗保健成本，一些政府官员和医疗保健公司正在使用算法来确定如何分配有限的福利，首先提供医疗服务的人，或者一个人是否应该获得医疗服务。

这些工具背后的意图可能是合理的，但是对自动决策系统的批评者表示，它们可以放大错误的破坏程度，增强偏见，有时甚至会带来严重的后果。

可能出什么问题了？ 

这是一个例子：2016年，阿肯色州使用一种算法工具来管理州残障计划中为人们带来的健康福利，该计划为一些最需要帮助的居民提供了帮助。根据该计划，人们可以申请由国家支付专业护理人员的探视费用，使他们能够留在自己的家中，而不是搬到全职护理机构。在2016年之前，该州采用了人工判断：护士将拜访申请人，然后确定护理人员每周应拜访多少小时。

新工具依赖于一项调查，该调查向受益人询问他们的能力和健康问题，例如，他们是否需要帮助就餐或上厕所。收集信息后，算法将计算该人将收到的小时数。该计划中的许多人立即将他们的护理时间大大减少，事实证明，在某些情况下，这样做是错误的。

阿肯色州法律援助组织提起诉讼后，拥护者在诉讼中发现，实施该工具的供应商无意间未能在算法中正确考虑糖尿病和脑瘫，从而减少了数百人的工作时间。没有诉讼，受益人几乎没有机会挑战算法的决策，即使他们有缺陷。“算法变成的东西，”凯文德耐力板，阿肯色州律师的法律援助谁领导了反对国家利用该算法的最终成功诉讼中称。“这成为最大的问题之一。”

该州于2019年迁移到新系统，但De Liban表示，用于确定资格的新算法评估减少了该计划先前合格的受益人的30％。

正当程序和保密

阿肯色州并不孤单。全国各地的州都使用了类似的决策工具来确定谁可以领取救济金。结果，少数人面临诉讼。但是有时可能很难确定算法的工作方式，从而实际上无法进行正当程序。

爱达荷州在2011年左右开始使用一种工具来确定家庭护理费用，类似于阿肯色州将使用的一种工具。但是，在使用该工具后，某些受益人的资金下降了多达42％。

该州拒绝透露所使用的公式，称这是“商业秘密”，这意味着普通人无法质疑该工具的决定。爱达荷州法律总监理查德·埃彭克（ Richard Eppink）的ACLU 在2018年告诉我说：“如果受益人确实提出上诉，那么一位官员会“看着这个系统说，’对结果的质量提出质疑超出了我的权限和专业知识’ 。”

最终，在诉讼之后，爱达荷州的美国公民自由协会（ACLU）在诉讼中发现该州依赖于数据，因此有缺陷的州立即丢弃了大部分数据，但该程序仍在向前发展。根据ACLU的说法，其结果是一个依赖数据的程序，该程序实际上导致了关于护理的任意决定。该州最终同意更改系统。

新工具，老问题

但是，即使算法工具按预期工作了，也有可能出现偏见，有时是出乎意料的。例如，去年，一组研究人员宣布了一项研究结果，该研究对医疗保健专业人员广泛使用的算法进行了研究。该工具的隐性偏见影响了数百万，这意味着黑人患者始终得不到足够的服务。

该工具由一家名为Optum的公司开发，旨在确定哪些患者具有最复杂的医疗需求，以及谁将从增加的医疗干预中受益最大。为了做出决定，该工具着眼于照顾患者的费用，其中不包括种族因素。但是由于一些可能的原因，包括历史上较少获得医疗服务，贫困严重程度过高，或与医生的歧视打交道，长期生病的黑人患者花在他们身上的钱要少于患有类似严重疾病的白人患者。在该系统下，接受额外护理的黑人患者百分比约为17.7。研究人员发现，如果对工具进行调整以消除偏见，该数字将直线上升：46.5％的黑人患者将获得额外的护理。

下一步是什么？

医疗保健行业似乎已准备好开始使用可能提高风险的工具。目前，研究人员正在研究如何使用人工智能来检测皮肤癌，心脏病，眼睛疾病等。

研究人员甚至一直在研究如何使用AI来预测一个人死亡的可能性，这是一种指导看护者的潜在有用工具，但错误或偏见的后果可能真的是生死攸关。