(本故事与特别报道一起发布:“随着人工智能进入手术室,关于手术失误和身体部位错误识别的报道层出不穷”) 人工智能应用声称可以帮助患者,但有时提供错误的建议 医生对人工智能的医疗能力表示担忧,警告可能造成的伤害 FDA 允许人工智能医疗应用提供 ‘患者教育’,但不允许进行诊断 一款皮肤科应用在苹果发现其违反指南后被下架 作者:Steve Stecklow 2 月 9 日(路透社)——人工智能正在从软件和法律到娱乐和教育等行业引发变革。随着像 Cem Aksoy 医生这样的医生逐渐认识到,人工智能在医学领域带来了特殊的挑战,因为患者开始寻求人工智能的建议。 土耳其安卡拉一家医院的住院医生 Aksoy 表示,一名 18 岁的患者及其家人最近在得知他左腿上被诊断出癌性肿瘤后感到恐慌。他们转向了 OpenAI 的 ChatGPT。该机器人表示他可能只能活五年。 这是错误的:一名整形外科医生在 7 月成功切除了肿瘤。Aksoy 说:“手术后他基本上痊愈了。” 但几周后,患者在快要哭出来的情况下给 Aksoy 打了电话。“他说,‘我最近开始咳嗽,ChatGPT 告诉我这可能是肺部转移,’” 医生回忆道。患者说他需要写遗嘱。结果发现他的肺部很好。他咳嗽是因为他最近开始吸烟。 “当有人感到痛苦而没有指导时,” Aksoy 说,一个人工智能聊天机器人 “只是把他们拖入这个知识的森林中,而没有连贯的上下文。” OpenAI 的一位发言人表示,其最新模型在处理健康问题方面有了显著改善。该公司表示,ChatGPT 并不打算替代医疗专业人员的指导。 这位年轻土耳其患者与人工智能提供的医疗智慧的遭遇,正值全球许多患者开始寻求这种技术的建议之际。除了大型问答聊天机器人,消费者还转向一系列新的、基于人工智能的医疗应用。 ‘成为你自己的医生’ 越来越多的移动应用在苹果和谷歌应用商店中声称使用人工智能来帮助患者解决医疗问题——尽管它们不应提供诊断。 根据美国食品和药物管理局的指南,基于人工智能的医疗应用如果 “通常用于患者教育,并不用于疾病或其他状况的诊断”,则不需要批准。许多应用都有免责声明,表示它们不是诊断工具,不应替代医生。一些开发者似乎在突破这些限制。 一款名为 “Eureka Health: AI Doctor” 的应用自称是 “你的一站式个人健康伴侣。” 它在苹果应用商店上声明 “仅供信息参考”,并且 “不诊断或治疗疾病。” 但其开发者 Sam Dot Co 在一个网站上也宣传该应用,网站上用大字写着:“成为你自己的医生。” “询问、诊断、治疗,” 网站上写道。“我们的人工智能不仅仅是诊断——它还将你与处方、实验室订单和现实世界的护理连接起来。” 苹果表示,在从路透社了解到 Eureka Health 后,已将其从应用商店中移除。苹果的开发者指南规定,医疗应用 “必须清楚披露数据和方法,以支持准确性声明。” 应用开发者 Sam Dot 没有回应评论请求。但在路透社询问后,网站进行了更改。该网站不再提及该应用。 在某些情况下,应用提供了不准确且可能危险的建议。 “AI 皮肤科医生:皮肤扫描仪” 在其网站上表示,它拥有超过 940,000 名用户,并且 “与专业皮肤科医生的准确性相同。” 用户可以上传痣和其他皮肤状况的照片,人工智能提供 “即时” 风险评估。“AI 皮肤科医生可以拯救你的生命,” 网站声称。 其位于立陶宛的开发者 Acina 表示,该应用使用 “专有神经网络” 寻找模式以进行预测。Acina 表示,该应用经过皮肤病图像的训练,以识别特定的皮肤状况。 皮肤科应用声称 ‘97% 准确率’ 该应用声称 “超过 97% 的准确率。” 但在应用商店中收到了数百条一星评价,许多用户抱怨其不准确。 新泽西州的技术支持分析师 Daniel Thiberge 告诉路透社,他购买了该应用来解读他拍摄的七张手臂小肿块的照片。他说,六个结果显示有 “75%-95%” 的风险是癌性的。然后他去看了皮肤科医生。医生告诉他,这个肿块看起来没有任何问题,做活检不值得。 “如果它完全错误,那这个应用的目的是什么?” Thiberge 问。他说,充其量它是无用的。“在最坏的情况下,它是危险的,因为你可能不会去看皮肤科医生。” 在苹果应用商店的另一条评论中,一位用户写道,为了测试该应用,她上传了显示她患有黑色素瘤(一种严重的皮肤癌)的照片,该病已被诊断并手术切除。但该应用报告该病情是 “良性的”,用户写道。她告诉路透社,她担心 “有些人会相信它并延误就医。” 路透社没有独立确认应用用户的经历。Acina 表示无法验证这些经历。它告诉路透社,AI 皮肤科医生的 “目的不是提供医疗诊断,而是使用人工智能技术提供初步分析,以鼓励用户咨询专业人士。” “我们的人工智能模型建立在皮肤病文献和经过认证的皮肤科医生精心挑选和验证的数据集之上,” 它表示,并补充说 “任何人工智能系统都可能出现误报。” 一位医生对应用程序的准确性感到担忧 该公司表示,其人工智能收到了许多积极的在线评价,包括 “用户感谢我们,因为应用程序促使他们早期检查了痣或病变——在某些情况下导致及时的医疗关注。” 苹果公司表示,在从路透社得知此事后,已将该应用程序从其应用商店中移除,部分原因是收到大量客户投诉。 谷歌在路透社关注该应用程序后,也将 AI 皮肤科医生从其 Google Play 商店中移除。“谷歌 Play 禁止应用程序提供误导性或有害的健康功能,并要求提供监管证明或免责声明,以供提供医疗功能的应用程序使用,” 发言人表示。 但该应用程序已重新上市。谷歌最近在 Acina 修订后恢复了该应用程序。谷歌表示,暂停的应用程序可以在更新为 “合规版本” 后返回。 Acina 表示,它 “更明确地澄清了该应用程序不是医疗设备”,不提供诊断,并且用户应咨询医疗专业人员。 苹果也曾短暂恢复该应用程序,但上周又将其移除。根据 Acina 的说法,苹果告诉它 “在重新评估后”,确定了这一点:“该应用程序提供医疗相关数据、健康相关测量、诊断或治疗建议,而没有适当的监管许可。” Acina 表示正在对移除进行上诉。 医生、计算机科学家和人工智能医疗顾问 Rachel Draelos 博士表示,人工智能驱动的医疗应用程序令人担忧,特别是在皮肤科。“我对此非常担忧,因为正确识别皮肤问题真的很难,” 她告诉路透社。皮肤病症有成千上万种,“没有任何应用程序能够拥有覆盖所有这些问题的数据集。” 随着人工智能进入手术室,关于手术失误和身体部位错误识别的报告不断出现 这里 (作者:Steve Stecklow。Hannah Woodworth 的补充报道。设计和图形由 John Emerson 提供。编辑:Michael Williams。)