生成式AI与医疗：FDA盲区中的医药监管新挑战与大模型临床应用"Elsa"

发布于 2025-6-8 20:00

浏览

0收藏

引言

近年来，大型语言模型（LLMs）以惊人的速度渗透到医疗领域，尽管它们并非原生用于临床决策，但医疗从业者正日益依赖这些新兴AI工具来辅助诊疗。如果AI产品以“临床决策支持”为卖点，依据美国食品药品监督管理局（FDA）的规定，其很可能应被视作医疗器械接受监管。然而，现有法规体系远远未能覆盖这一激增的应用场景，监管滞后于技术创新，潜在风险与巨大前景并存。

Penn LDI高级成员兼宾大医学院助理教授Gary Weissman等人，进行了首个模拟医生如何利用LLM做临床决策支持的系统性研究。结果表明，即使明确设置“不建议作决策”，AI仍然在紧急场景下自动给出类似“医疗器械”的诊疗建议，这不仅涉及新科技的伦理风险，也对现行监管构成前所未有的挑战。

LLM是什么？它怎样影响医疗？

“LLM是一种能读取互联网上海量文本的数据驱动程序，能够模仿对话、生成各种文本输出。就像互联网，LLM学习到的内容有真有假，模型本身无法分辨对错，需人工反馈。输出有时准确、易于理解，但也可能完全错误、或存在潜在危害。” —— Gary Weissman

在医疗领域，LLM可能能回答“肺炎是什么？”这类一般性问题，但面对“该患者当前如何处置肺炎？”则远远不够安全与严谨。迄今为止，没有人真正将LLM用于真实病患的高风险临床决策。

研究方法与设计亮点

Weissman团队以模拟场景还原了LLM被医生实际用于决策支持时的过程。团队通过输入包含病例信息并不断丰富细节，动态询问AI的临床建议，借此评估AI输出是否满足FDA《医疗决策支持软件指南》中，将软件认定为“医疗器械”的判定标准。

值得注意的是：

传统AI“可复现”、即同一输入必得相同输出；而LLM是生成式AI，“同题试十次十种答”，输出高度波动，给评估带来挑战。因此，研究组每组输入重复五次，统计各类输出比例与波动性。

核心发现与疑问

“LLM在大多数场景下，哪怕我们给出了非医疗器械的参考答案，它仍然自发给出属于FDA‘医疗器械’范畴的决策支持，特别是在紧急情境下尤其突出。”

举例：急救情境下的AI建议

例如，面临疑似心脏骤停的场景，GPT-4和Llama-3均建议“立即呼叫急救、给予阿司匹林”，这是普通旁观者就能执行的合理建议；但同时，AI也会建议“给予氧气吸入”“建立静脉通道”，这些举措只适合专业医护操作。此现象引发新的监管困境：AI输出跨越了专业-非专业的边界，怎样针对不同用户群体分级监管？

事件	GPT-4建议	Llama-3建议	合理性
呼叫急救	√	√	旁观者合理
给阿司匹林	√	√	旁观者合理
补充氧气	√	√	临床专业人士
静脉通道	×	√	临床专业人士

FDA现有监管制度的局限

当前FDA对AI/ML的监管仍基于数十年前制定的医疗器械法案，不涉及生成式AI特别是LLM的新特性；
“紧急时限”“理解决策依据”这些关键概念，在官方文件中都缺少明确定义，需要更多实证研究支撑监管调整。

监管展望与改革建议

Weissman团队针对LLM监管，提出三方面建议：

输出限制：开发更高效的“安全围栏”，让AI像法规规定的传统设备一样，只能在被授权的适应症上作出建议，避免“超范围答题”。类似目前OpenAI等企业为防止版权/危险内容所加的安全机制。
通用型路径：针对LLM泛化能力强、很难固守单一适用范围现实，建议开辟“广义临床决策支持工具”的独立审批通道，而非精准到小适应症执照。但这个“广度-安全性”权衡，尚无成熟国际范例可供借鉴。
用户区分监管：针对终端“专业人士”与“普通旁观者”区分管理。同一AI建议或许可作为急救现场外围群众的急救参考，但对专业医生则要按更高门槛监管。例如，推荐“心脏骤停做CPR”“疑似阿片过量给纳洛酮”均已反映了潜在用户分层的边界问题。