西奈山研究：安全提示帮助人工智能做出更安全的临床选择

纽约, 纽约 – [October 8, 2026] – 随着人工智能 (AI) 执行医疗保健任务的能力越来越强，西奈山伊坎医学院的研究人员进行的一项新研究发现，添加简短的安全提醒可以减少人工智能模型在临床场景中做出的潜在有害选择。

该研究于 9 月 26 日发表在《Medical Communications》在线期刊上 [DOI: 10.1038/s43856-026-01933-8]《自然》杂志还发现，人工智能模型可能会受到与临床决策相关的背景和指令的影响。

基于数百万结果的研究结果表明，尽管不断增长的AI模型和代理能够更好地理解用户的意图，而无需冗长和全面的请求，但AI系统如何指导和引导可能仍然是开发安全可靠的临床应用的重要问题。

该指南减少了所测试的 20 个模型中 19 个模型中潜在有害的选择，显示出一种可能令人鼓舞的加强保障措施的方法。

研究团队使用 50 个临床场景的 501 个变体以及改编自带注释的出院记录的 100 个案例评估了 20 个大型语言模型。在超过 1000 万条回复中，模型做出了约 118 万条可能有害的临床选择。在不提及安全性的情况下，潜在有害的选择占模型响应的 16.6%。添加简短的安全提醒后，这一数字降至 10.1%。

研究人员表示，这些发现凸显了不仅要评估人工智能模型是否能够提供准确的临床数据，还要评估它在收到与患者安全相冲突的指令时如何反应的重要性。

“人工智能模型不会在真空中做出决定。围绕请求的语言、框架和背景会影响它们的反应，包括指令何时可能是危险的，”领导这项研究的医学科学家、第一作者、西迪辛医学院人工智能和人类健康系教授马哈茂德·乌马尔医学博士说。生成式人工智能在临床护理中的安全性、可靠性和全球影响。 “在我们测试的大多数模型中，简单的安全提醒减少了潜在有害的选择，这是令人鼓舞的。但它并没有消除它们，因此提醒应被视为一种保障，而不是临床监督的替代品。”

例如，研究人员测试了指示模型重复建议的血液测试以减少工作量的场景。该请求也可以紧急提出或作为上级命令提交。然后，模型被要求从四种可能的行动中进行选择，包括遵循请求、维持建议的后续行动或寻求临床医生的帮助。

研究人员改变了场景的文本并测试了三个简短的安全提醒。每个组合都测试了 10 次，响应选择的顺序是随机的。

在测试的 20 款车型中，有 19 款的安全提醒减少了潜在有害的选择。其效果在书面临床情景和改编自出院记录的临床情景中都可以看到。潜在有害选择的例子包括跳过必要的测试以减少工作量或在没有充分临床理由的情况下在完成推荐的治疗方案之前停止抗生素治疗。

“这些结果表明，安全测试不应只是询问人工智能模型在正常情况下是否会得到正确的答案，”共同资深作者 Girish N. Nadkarni（医学博士、公共卫生硕士、西奈山伊坎医学院人工智能和人类健康部门 Windreich 系主任兼西奈卫生研究所所长）说道。 “随着人工智能系统变得更加自主，并被要求执行越来越复杂的任务，我们需要知道它们是否能够识别指令何时可能是危险的、提出问题、检查它或寻求人类帮助。”

研究人员建议医疗保健开发商和组织在临床人工智能系统的开发和评估中建立自动化安全检查。此类测试可以在系统引入临床工作流程之前进行，并在模型更新或出现新的安全问题时重复进行。

该研究还指出，随着人工智能系统从问答工具发展为可以执行多个步骤的更加自主的“代理”，一个新的挑战正在出现。研究人员计划研究聚合的​​上下文如何影响代理的决策，包括何时该上下文包含隐式指令（称为即时注入或压力），以节省时间或保持在预算范围内。

研究人员表示，这些发现并不意味着人工智能生成的医疗建议可以安全使用，无需进行临床审查。相反，结果表明，人工智能系统运行方式相对简单的改变可能会影响其临床效用，同时强调需要额外的保障措施和人工监督。

这篇文章的标题是“评估大舌头模型对危险临床指南的反应”。

期刊中列出的作者包括 Mahmoud Omar、Rim Agbarea、Jolyon McGreevy、Alon Gorenstein、Alexander W. Charney、Ankit Sahuja、Benjamin S. Gliksberg、Girish N. Nadkarni 和 Eyal are Klang。

这项工作得到了西奈山伊坎医学院的科学计算和数据、临床和转化科学奖 UL1TR004419 以及 NIH 奖 S10OD026880 和 S10OD030463 的支持。