机器人放射科医生的兴起

深度学习算法正在以无与伦比的视力凝视MRI和X射线，但是当他们犯错时，应该归咎于谁呢？

当REGINA BARZILAY在40年代初进行常规乳房X线检查时，图像显示在她的乳房组织中出现了一系列复杂的白色斑点。这些标记可能是正常的，也可能是癌性的，即使是最出色的放射科医生也常常难以区分。她的医生认为这些斑点不会立即令人担忧。事后看来，她说：“我已经得了癌症，而他们没有看到。”

在接下来的两年中，Barzilay进行了第二次乳房X线照片，乳房MRI和活检，所有这些都继续产生模棱两可或矛盾的发现。最终，她在2014年被诊断出患有乳腺癌，但令人难以置信的是，这一诊断之路令人沮丧。“您如何进行三个测试并获得三个不同的结果？” 她想知道。

Barzilay得到了治疗，康复良好。但是她仍然感到震惊，因为无法读取乳房X线照片可能会延误治疗。她说：“我意识到我们在何种程度上不受当前方法的保护，所以她做出了改变职业的决定：“我绝对必须改变它。”

麻省理工学院的计算机科学家Barzilay以前从未研究过健康。她的研究使用机器学习技术（一种人工智能形式）进行自然语言处理。但是她一直在寻找新的研究方向，因此决定与放射科医生合作开发机器学习算法，该算法使用计算机的出色视觉分析来发现人眼可能会错过的乳房X线照片中的细微图案。

在接下来的四年中，研究小组教授了一个计算机程序来分析来自大约32,000名不同年龄和种族的女性的乳房X线照片，并告诉他们在扫描的五年内哪些女性被诊断出患有癌症。然后，他们在3,800多名患者中测试了计算机的匹配能力。他们产生的算法于去年5月在《放射学》上发表，在预测癌症（或无癌症）方面比在临床上通常使用的实践更为准确。当Barzilay的小组从2012年开始用自己的乳房X线照片运行该程序时（她的医生已将其清除），该算法正确地预测，五年内罹患乳腺癌的风险比98％的患者更高。

AI算法不仅发现细节，而且肉眼看不到。他们还可以开发全新的解释医学图像的方式，有时以人类不理解的方式。设计AI程序的众多研究人员，初创公司和扫描仪制造商希望它们能够提高诊断的准确性和及时性，在缺乏放射科医生的发展中国家和偏远地区提供更好的治疗，揭示生物学与疾病之间的新联系，甚至有助于预测一个人会死多久。

人工智能的应用正迅速进入诊所，医生们对这项技术感到同等兴奋，因为它具有减少工作量的潜力，并担心失去机器工作。算法还提出了前所未有的问题，即如何调节不断学习和变化的机器以及如果算法诊断错误会归咎于谁。尽管如此，许多医生仍对AI计划的前景感到兴奋。斯坦福大学放射科医生马修·伦格伦（Matthew Lungren）表示：“如果可以对这些模型进行充分的审查，并且我们可以提高对它们工作方式的了解，那么这将有助于提高每个人的医疗保健水平。”

“非常非常热门的话题”

使用计算机读取放射扫描的想法并不新鲜。在1990年代，放射科医生开始使用称为计算机辅助诊断（CAD）的程序来检测乳房X线照片中的乳腺癌。该技术被誉为革命性技术，诊所迅速采用了该技术。但是事实证明，与现有方法相比，CAD更加耗时且难以使用，并且根据一些研究，使用CAD的诊所比未使用CAD的诊所要犯更多的错误。费城杰斐逊大学的放射科医生Vijay Rao说，这种故障使许多医生对计算机辅助诊断产生了怀疑。

但是，在过去的十年中，计算机视觉在诸如面部识别和医学等日常应用中得到了长足发展。深度学习方法的发展在很大程度上推动了这一进步，在这种方法中，计算机被赋予了一组图像，然后让它们在它们之间绘制自己的联系，最终建立了一个关联网络。在医学成像中，例如，这可能涉及告诉计算机哪些图像包含癌症，并让其自由查找那些图像共有但在无癌症图像中不存在的特征。

放射学中AI技术的开发和采用已迅速普及。“去年，在我参加的每次大型会议上，主题都是AI和成像”，北美放射学会前主席Rao说。“显然，这是一个非常非常热门的话题。”

美国食品和药物管理局（US Food and Drug Administration）说，它没有保留已批准的AI产品的清单。但是，加州拉霍亚斯克里普斯研究所的数字医学研究员埃里克·托波尔（Eric Topol）估计，该机构每月要批准一种以上的医学成像算法。营销情报公司React Data在2018年进行的一项调查发现，美国84％的放射诊所已经采用或计划采用AI计划。在中国，该领域的发展尤其迅速，那里有100多家公司正在设计用于医疗保健的AI应用程序。

“这是进入这个市场的迷人时刻，”位于特拉维夫的新兴公司Aidoc的首席执行官Elad Walach说。该公司开发算法来分析CT扫描是否存在异常，并将这些患者转移到医生的优先事项列表的顶部。Aidoc还跟踪医生使用该程序的频率以及他们第二次猜测该结论的时间。“最初，他们很怀疑，但是两个月后，他们习惯了并且非常信任，” Walach说。

节省时间对于挽救患者至关重要。最近一项针对肺塌陷的胸部X光检查的研究发现，放射科医生将他们订购的60％以上的扫描标记为高优先级，这表明他们可能要花费数小时的时间来处理那些并非很严重的病例，然后才能处理那些真正紧急的病例。“我与之交谈的每位医生都有一个故事，他们说他们因肺部萎陷而失去了一个病人，”位于波士顿的GE Healthcare（医疗成像设备的领先制造商之一）的AI副总裁兼AI总经理Karley Yoder说。去年9月，FDA批准了一套AI工具，这些工具现在将嵌入到GE扫描仪中，从而自动标记最紧急的情况。

因为它们可以处理大量数据，所以计算机可以执行超出人类能力范围的分析任务。例如，谷歌正在利用其计算能力开发AI算法，该算法将二维的肺部CT图像构建为三维的肺部，并查看整个结构以确定是否存在癌症。相比之下，放射科医生必须单独观察这些图像，并试图在他们的脑海中重建它们。谷歌的另一种算法可以做放射科医生根本无法做到的事情：通过检查视网膜，确定与血压，胆固醇，吸烟史和衰老有关的细微变化来确定患者患心血管疾病的风险。谷歌产品经理丹尼尔·谢（Daniel Tse）表示：“潜在的信号超出了以往所知。”

黑匣子问题

AI计划可能最终揭示生物学特征与患者预后之间的全新联系。JAMA Network Open上的 2019年论文描述了一种深度学习算法，该算法接受了来自参与两项大型临床试验的超过85,000例胸部X射线的训练，该技术已经对他们进行了超过12年的跟踪。该算法对每个患者在此期间的死亡风险进行了评分。研究人员发现，将AI置于高风险类别的人中有53％在12年内死亡，而在低风险类别中则为4％。该算法没有有关谁死亡或死亡原因的信息。首席研究员，马萨诸塞州总医院放射科医生迈克尔·卢（Michael Lu）说，如果结合医生的评估和其他数据（例如遗传学），该算法可能是评估患者健康的有用工具。

为了了解该算法的工作原理，研究人员确定了用于计算的图像部分。有些事情，例如腰围和女性乳房的结构，是有道理的，因为这些区域可能暗示某些疾病的已知危险因素。但是该算法还着眼于患者肩under骨下的区域，这没有已知的医学意义。卢猜想，灵活性可能是寿命缩短的一个预测因素。进行胸部X光检查通常需要患者抱住机器，而健康状况较差的人如果无法将手臂完全围绕在机器上，则可能会以不同的方式站立。卢说：“它们不是我从头想起的东西，可能听不懂。”

计算机与人类思维方式之间的脱节被称为黑匣子问题：计算机大脑在人类无法进入的遮蔽空间中进行操作的想法。专家在这是否会给医学成像带来问题方面存在分歧。一方面，如果算法能够持续改善医生的表现和患者的健康状况，那么医生就无需知道其工作原理。毕竟，研究人员仍然不完全了解许多药物的机理，例如自1950年代以来一直用于治疗抑郁症的锂。“也许我们不应该如此固定，因为人类在医学上的工作方式几乎就是黑匣子，” Topol说。“我们是否将机器保持更高的标准？”

尽管如此，无可否认，黑匣子为人类AI误解提供了充足的机会。例如，西奈山伊坎医学院的研究人员对他们开发的用于识别肺部X射线性肺炎的深度学习算法的性能差异深感困惑。它对西奈山产生的X射线的准确度超过90％，但与其他机构的扫描相比，准确度要低得多。他们最终发现，该算法不仅分析图像，还考虑了基于每个机构常见肺炎的发生率而做出积极发现的几率，而不是他们期望或希望程序做的事情。

诸如此类的混杂因素使塞缪尔·芬利森（Samuel Finlayson）感到担忧，他在哈佛医学院研究了机器学习的生物医学应用。他指出，可以以开发人员无法考虑的方式对训练有素的数据集产生偏见。例如，与在例行检查期间拍摄的图像相比，在急诊室拍摄的图像或在深夜拍摄的图像更可能显示病人。一种算法还可以学会查看表明先前存在健康问题的疤痕或医疗设备植入物，并确定没有这些标记的人没有这种状况。甚至机构标记其图像的方式也会混淆AI算法，并阻止模型在另一个具有不同标记系统的机构中正常运行。“如果您一次从一个地方幼稚地在医院训练[一种算法]，一个人口群体，您没有意识到模型所考虑的成千上万的小因素。如果这些变化有任何变化，您可能会遭受重创。” Finlayson警告。

Finlayson说，解决方案是用来自多个位置和不同患者人群的数据训练算法，然后在不进行任何修改的情况下对新患者人群进行前瞻性测试。但是很少有算法以这种方式进行测试。根据Topol最近的《自然医学》评论，在数十项声称AI的表现优于放射线医师的研究中，只有少数几项在与发育人群不同的人群中进行了测试。“算法非常非常微妙，”杜克大学的计算机科学家辛西娅·鲁丁（Cynthia Rudin）说。“如果您尝试在[图像训练集]之外使用一个，则它并不总是有效。”

随着研究人员意识到这一问题，在新的环境中可能会有更多的前瞻性研究。Barzilay的团队最近完成了来自瑞典Karolinska研究所的10,000次扫描的乳房X射线照片AI的测试，发现其表现与马萨诸塞州的表现一样好。该小组目前正在与台湾和底特律的医院合作，对更多不同的患者群体进行测试。研究小组发现，目前评估非洲裔美国女性乳腺癌风险的标准不太准确，Barzilay说，因为这些标准主要是通过白人女性的扫描得出的：“我认为我们确实有能力改善这种悲伤的状态事务。”

法律责任公司

即使AI的结论在医学上具有相关性，黑匣子从法律的角度仍然存在许多问题。如果AI的诊断错误，则很难确定医生或程序是否有故障。密歇根大学健康法专家尼科尔森·普莱斯（Nicholson Price）说：“医疗保健中发生了很多坏事，您不一定知道为什么会发生坏事。” 如果AI系统导致医师做出不正确的诊断，则医师可能无法解释原因，并且公司关于检测方法的数据很可能是受到严格保护的商业秘密。

医疗AI系统仍然太新，无法在医疗事故诉讼中受到挑战，因此目前尚不清楚法院将如何确定责任以及应要求哪种透明度。

建立黑匣子算法的趋势使Rudin感到沮丧。问题来自这样一个事实，即大多数医学算法都是通过改编针对其他类型的图像分析开发的深度学习工具来构建的。她坚持说：“没有理由你不能制造一个可以自我解释的机器人。” 但是，从头开始构建透明算法比重新利用现有的黑匣子算法查看医学数据要困难得多。这就是为什么Rudin怀疑大多数研究人员先运行算法，然后在以后尝试了解它是如何得出结论的。

鲁丁（Rudin）正在开发透明的AI算法，该算法可以分析可疑肿瘤的乳房X线照片，并不断告知研究人员他们在做什么。但是她的研究因缺乏训练算法的可用图像而受阻。鲁丁说，公开可用的图像往往标注得不好或用不再使用的旧机器拍摄，而且由于没有大量多样的数据集，算法往往会引起混淆。

黑匣子，以及AI算法从经验中学习的能力，也给监管机构带来了挑战。与始终以相同方式工作的药物不同，机器学习算法会随着时间的流逝而不断变化和改进，因为它们可以访问更多的患者数据。由于该算法从多种输入中提取含义，因此看似无害的更改（例如医院中的新IT系统）可能会突然破坏AI程序。“机器可能像人类一样生病，并且可能感染恶意软件，” Topol说。“当某人的生命在线时，您将无法信任算法。”

去年4月，FDA提出了一套指导原则，以管理随着时间推移而发展的算法。其中包括期望生产者密切关注其算法的变化，以确保他们继续按设计工作，并要求他们通知代理机构，如果他们发现可能导致重新评估的意外变化。该机构还正在开发最佳制造实践，并可能要求公司阐明他们对算法可能如何更改以及如何管理这些更改的协议的期望。FDA数字健康总监Bakul Patel说：“我们需要理解的是，没有一种方法能适应所有情况。”

机器会取代医生吗？

AI的局限性应让放射线医生放心，他们担心机器会从事其工作。2012年，技术风险资本家和Sun Microsystems联合创始人Vinod Khosla预测算法将取代80％的医生，这震惊了医学界。最近，他声称仍在工作10年的放射线医师将“杀死患者”。饶说，这样的言论在放射学领域引起了恐慌和强烈反对。“我认为炒作创造了很多期望。”

但是这种担忧也产生了实际影响。2015年，美国只有86％的放射科常任职位被填补，而上一年的这一比例为94％，尽管在过去几年中这些数字有所提高。根据2018年对322名加拿大医学生的调查，有68％的人认为AI将减少对放射科医生的需求。

尽管如此，大多数专家和AI制造商仍然怀疑AI是否会在不久的将来取代医生。Walach说：“人工智能解决方案变得非常擅长于一件事。” 但他说，由于人类生物学很复杂，“您通常必须让人类做得真正好。换句话说，即使算法更擅长诊断特定问题，将其与医生的经验和对患者个人故事的了解相结合，也将带来更好的结果。

能够很好地完成一项任务的AI可以使放射科医生免于繁琐的工作，从而使他们有更多的时间与患者互动。“他们可能从地下室出来，那里是他们生活在黑暗中的地方，”白杨说。“我们在医学上需要的是更多的人与人之间的联系和联系。”

尽管如此，Rao和其他人仍然认为，由于人工智能技术的结果，放射线医生所接受的工具和培训（包括他们的日常工作）在未来几年将发生巨大变化。斯坦福大学的放射科医师Curtis Langlotz说：“人工智能不会取代放射科医生，但使用AI的放射科医生将取代不使用放射线的放射科医生。”

但是，也有一些例外。在2018年，FDA批准了第一个可以做出医疗决定而无需医生查看图像的算法。根据该公司的数据，该程序由IDx Technology在爱荷华州科拉维尔市开发，用于观察视网膜图像以检测糖尿病性视网膜病变，准确度为87％。IDx首席执行官迈克尔·阿布拉莫夫（Michael Abramoff）表示，由于没有医生参与，该公司对任何医疗错误承担法律责任。

在短期内，人工智能算法比替代算法更有可能为医生提供帮助。例如，在发展中国家工作的医生可能无法使用与美国或欧洲的主要医疗机构相同类型的扫描仪，也无法获得能够解释扫描内容的训练有素的放射科医生。Lungren说，随着医学变得更加专业化并依赖于图像分析，在较富裕和贫困地区提供的医疗标准之间的差距越来越大。运行算法可能是弥补这一差距的一种廉价方法，甚至可以在移动电话上完成。

Lungren的小组正在开发一种工具，使医生可以拍摄X光片的手机照片（而不是富裕国家中标准的数字扫描），并在照片上运行算法来检测诸如结核病的问题。他说：“这并不能替代任何人。”许多发展中国家首先没有放射线医生。“我们正在扩大非放射科医生的专业知识，触手可及。”

AI的另一个短期目标可能是检查病历，以确定患者是否首先需要进行扫描，Rao说。许多医学经济学家认为，成像使用率过高-仅在美国，每年就进行超过8000万次CT扫描。尽管此大量数据对使用其训练算法的研究人员有所帮助，但扫描的费用却异常高昂，并且可能使患者暴露于不必要的辐射量。同样，Langlotz补充说，算法可以有一天在患者仍在扫描仪中时分析图像并预测最终结果，从而减少获得优质图像所需的时间和辐射量。

最终，Barzilay说，当AI成为敏锐的伙伴来解决医生无法单独发现和解决的问题时，它将是最有用的。她指出：“如果存在一种方便且可描述的模式，人类将已经能够做到。” 她直接知道，事实并非如此。