AI医疗大模型2026-11-03 09:33

ChatGPT问诊“减药”造成患者癫痫意外猝死悲剧,AI问诊的安全边界在哪里?

智医界研究院
ChatGPT问诊“减药”造成患者癫痫意外猝死悲剧,AI问诊的安全边界在哪里?

一个治疗决策是怎样脱离医疗监督的 2026年10月27日,Bowen Wan的父母在美国加州旧金山高等法院“起诉OpenAI”,指控ChatGPT曾指导女儿“逐步停用抗癫痫药物”拉莫三嗪,甚至建议“她不要把减药计划告诉医生”,而她在减药过程中去世。 诉讼消息公布后,《纽约时报》披露了对Wan生前超过27万条聊天消息的调查;TechCrunch、Quartz、《印度时报》和英国《国际商业时报》等媒体随后相继报道。 这起几个月前发生的死亡事件,因一份诉状和一批此前未公开的聊天记录,迅速成为海外科技与医疗媒体讨论的焦点。争议指向一个更大的问题:当用户把真实的治疗决策交给AI,聊天机器人给出的建议越过了什么边界?出了问题,又该由谁承担责任? 2026年2月11日晚,31岁的Bowen Wan仍在向ChatGPT追问:药是不是减得太快了?要不要恢复用药?根据她父母后来提交的诉状,这位长期接受癫痫治疗的患者,当时的拉莫三嗪减药已接近终点。次日,即2月12日,她被推定死亡;直到2月14日,人们才发现她已经离世。 她父母提交的98页诉状,把死亡前数月的聊天记录、用药变化和法医材料串在了一起。原告指控,GPT-4o(该模型于2024年5月13日发布。2026年2月13日从 ChatGPT 产品中退役即用户端下线,但仍保留 API 访问。2027年1月14日从 API 停用即开发者接口关闭。)为她制定了约25天的减药方案,在她反复担忧和报告异常症状时持续安抚,还曾建议她不要向医生提及减药计划。《纽约时报》查阅的聊天记录还显示,在她表达恐惧时,ChatGPT回答“You have absolutely no need to worry”,本文标题中的“无需担心”即由此节译。OpenAI回应称,事件令人心碎,涉案的是旧模型,新模型更能识别需要紧急关注的情况,同时强调ChatGPT不是医疗照护的替代品。

案件仍待审理,医学因果与法律责任都没有法院结论。但这起争议并不只是“AI答错了一道医学题”。一个经验不足的年轻医生,或者一个不够谨慎的医生,也可能漏掉危险信号,让患者承担后果。

真正需要追问的是:两类错误怎样发生,又怎样被及时发现和制止?当聊天机器人在多轮对话中持续影响真实患者的治疗决策,它能否识别新出现的风险、修正先前判断,并在必要时把患者交回医生和急诊系统?

这正是本文比较AI问诊漂移与医生临床决策失误的原因。比较的对象是两类失误的形成与纠偏机制,我们关心是错误怎样形成,患者为什么会把建议变成行动,以及错误发生之后,有没有另一条纠偏回路能让它停下来。

一、“98 页诉状”能证明什么 这份诉状最重要的价值,是提供了一条值得认真追查的时间线:一名长期接受癫痫治疗的患者,在没有医生监督的情况下,按照聊天机器人的建议逐步减药;在她反复表达担忧、报告异常症状之后,对话仍没有及时转向复诊或急诊。如果诉状转录的聊天记录属实,危险就不只是一次回答错误,而是错误建议在连续对话中不断延续。

但这条时间线还不是法院认定的事实,更不是完整的医学因果证明。约25天减药、模型安抚患者、未建议立即就医,目前主要是原告的指控。按诉状转述的法医数据,尸检血药浓度为0.64 μg/mL;这一数值和SUDEP(癫痫意外猝死)死因,都不能单独证明减药造成了死亡。案件仍待审理。

《纽约时报》查阅了Wan三年间超过27万条聊天消息,人工复核了其中许多消息,并记录至少158次减药担忧;这些数字来自媒体分析,不是法院结论。OpenAI的回应也只是公司立场。把这些材料混在一起,很容易把“有人提出指控”写成“事实已经查清”。

因此,Wan案能够支持的结论是有限的,却足够重要:它提示我们,多轮AI问诊可能在持续安抚中延误就医,甚至削弱患者回到医疗系统的动力。至于AI是否应对这起死亡承担医学或法律责任,不能由这篇文章提前判定。

二、“25天”与“0.64”:数字要回到临床语境 在这起案件中,两个数字最容易被写成结论:约25天减完,以及尸检血药浓度0.64 μg/mL。它们都重要,却都不能脱离临床语境独立生效。

拉莫三嗪药品标签要求停药时采用阶梯减量,通常建议至少用约两周逐步减少,除非安全性要求更快停药。NICE(英国国家卫生与临床优化研究所,其于2022年发布的癫痫诊疗指南中关于有关于“停用抗发作药物”的章节)面向更广泛的抗发作药停药决策,通常建议在无发作至少两年后,由患者与癫痫专科人员共同评估风险和收益,并指出多数药物通常至少用三个月逐渐减量。两份文件的语境不同。只说“25天大于两周,所以必然违规”,或者反过来说“已经超过两周,所以安全”,都过于简单。

按诉状叙述,患者仍报告疑似发作症状,方案又没有医生批准。NICE指南提出,减药期间或之后若再次发作,通常应撤销上一次减量并寻求癫痫专科指导。此时需要重新评估的是整个方案,而不是继续为原方案寻找解释。减量天数只是变量之一,发作控制、合并用药、驾驶与职业风险、随访条件和复发预案同样会影响判断。

诉状第224段记载,死后血样拉莫三嗪浓度为0.64 μg/mL,实验室参考范围为3—14 μg/mL。0.64÷3≈21%,因此“约为下限五分之一”只是对诉状数据的换算;3—14是诉状所列实验室参考范围,不是统一治疗目标。现行药品标签明确指出,拉莫三嗪尚未建立统一治疗血浆浓度范围,剂量应依据治疗反应。法医毒理学文献还提示,死后浓度可能受采样部位、死亡后变化与再分布等影响,不能简单等同于死亡时或生前的浓度。0.64支持对低药物暴露的关注,却不能独自证明从减药、发作到死亡的完整链条。

诉状第223段转述法医报告称,SUDEP为死因,左侧杏仁核硬化被列为一项“促成条件”(contributing condition)。这一死因分类和伴随病理信息,都不会自动回答哪一种可干预行为造成了本次死亡。本文没有独立查阅完整法医报告,不能推断这一病变在个案中的作用程度。低浓度、减药和疑似复发症状,可以组成一条具有临床合理性的风险链,但不是完整的因果证明。临床上能形成怎样的风险假设、原告提出了什么因果主张、法院最终如何认定,仍须分开。

三、这不是一起典型的误诊 美国国家科学院、工程院和医学院将诊断失误概括为:未能就患者健康问题建立准确、及时的解释,或未能向患者有效沟通这一解释。错误诊断、遗漏诊断、延迟诊断和沟通失败都可能落入其中。该报告还特别强调,诊断并非医生个人一次性的脑力活动,患者、临床人员、检查、信息流转和反馈都参与其中。

Wan已知患有癫痫,争议不在病名,而在治疗行动。AI是否错误判断了减药可行性?是否把危险症状解释成低风险反应?是否遗漏紧急或专科评估?又是否让患者不再向医生披露关键事实?只称其为“AI误诊”,会漏掉建议已经转化为现实治疗行动这一层。

因此,Wan案更适合放在临床决策与用药安全失误的框架中。答对病名只是诊断能力,给出个体化减停药指令还涉及行动权限和随访责任。若模型能够在缺乏完整病史、检查和医生监督的情况下输出逐日剂量表,免责声明写得再醒目,也很难抵消具体指令对患者行为的影响。

四、漂移发生在对话继续之后 “AI问诊漂移”不是已有统一定义的标准医学术语。这里用它描述一种跨轮次失效:对话越来越长,系统的任务目标、证据权重或行动建议逐渐偏离原始病情和安全边界;新信息已经要求修正,系统仍沿着旧轨迹前进,有时还会用更流畅的解释把偏离遮住。

结果可能是一个错误答案,也可能是一套局部看似合理、整体却不适合执行的治疗方案。为便于分析,下文从目标、证据、边界和纠偏四个方面观察;它们是可能交叠的失效表现,不是必然依次发生的四个阶段。

它与普通幻觉不同。幻觉主要涉及内容真假,例如编造文献或报错剂量。问诊漂移还包括安全边界在多轮对话中后退:起初建议就医,后来在用户坚持或反复安抚需求下,逐步放宽限制。它也可能与提问逐渐偏题、内容失真同时发生,但只检查单句事实真假,无法发现这种累积过程。

正文图片

正文图片

诊断失误与纠偏机制。概念图不表示法院已认定Wan案的医学或法律因果。

健康问题先形成初步解释,随后应接受新证据和反证检验,再决定修订还是坚持。医生诊疗和AI问诊都可能在后一个节点出错。差别在于,医疗系统通常还设有体检、检查、会诊和随访等外部回路。纯聊天系统若同时削弱患者使用这些回路的意愿,错误就可能从对话直接走向现实行动。

五、医生和 AI,失误机制有何异同 医生的临床决策失误并不只源于知识不足,误诊只是其中一种。最初的主诉或早期印象可能形成锚定,找到一个貌似合理的解释后又会过早停止搜索。后续信息被选择性采信,既往标签随病历复制,错误便获得了惯性。时间压力、疲劳、沟通断裂和检查结果未追踪,会把个人认知偏差变成系统后果。NASEM(美国国家科学院、工程院和医学院)因此主张改善整个诊断工作系统,而非只要求医生更加小心。

AI漂移有相似的轮廓。初始回答形成机器锚点,后续轮次围绕它补全理由;一个连贯叙事出现后,竞争性假设减少;反证被流畅地吸收进旧解释,长对话则让既定方案不断延续。区别在于,AI的语言一致性很容易掩盖任务目标已经改变。每句话都通顺,不代表整段对话仍在处理原来的临床问题。

医生能够借助观察、触诊、生命体征、检查和长期随访获得对话之外的信息,也受到执业规范与机构流程约束。通用聊天模型主要依赖用户选择并表达出来的信息,对现实行动缺乏持续控制。AI也有审计上的优势:在平台完整保存对话、模型版本和安全策略且能依法调取的情况下,日志可以保存和回放;若要复现结果,则还需固定模型版本、系统提示、工具链、采样参数和上下文处理,不能简单假定跨版本结果一致。可追踪并不等于现实更安全,医疗干预能力较强也不等于过程更容易追查。

所以,年轻或不够谨慎的医生与AI的差别,不在于一方会犯错、另一方不会,而在于他们获取信息、接受反证和纠正错误的方式不同。医生可能因经验不足、时间压力或过早闭合漏掉风险,但通常还能借助体检、检查、复诊、会诊和第二意见;纯聊天系统主要依赖患者自述,一旦持续安抚或削弱就医意愿,错误便可能直接变成减药、停药或推迟检查。

六、94.9% 之后,为什么仍可能帮不到患者 Wan案可以帮助识别风险机制,却不能说明AI问诊在人群中的发生率。本文因此只比较失误机制,不把一个个案与医生临床决策失误的总体负担作同类病例对照。要回答“谁更安全”,需要同一患者群、同一任务和相近随访条件下的对照,而不是把不同研究的数字排在一起。

2026年《Nature Medicine》发表的一项随机、预注册研究设置了10个医疗情景,1,298名英国参与者被随机分入GPT-4o、Llama 3、Command R+或对照条件,每人最多完成两次情景任务,并非每人做完全部10个情景。

模型单独测试时,至少识别出一个相关疾病的平均比例为94.9%,处置正确率为56.3%;真人使用同一批模型后,两项结果分别不足34.5%和44.2%,均未优于对照组。两组数字来自不同测试条件,不是同一批参与者使用AI前后的变化。模型会答题,不等于真人使用后就能作出更好的决策。

多轮测试又补上了另一块空白。2026年一篇预印本在17个模型、3个临床基准上,分别测试模型守住最初正确答案的“正向坚持”和守住安全弃答的“负向坚持”。

以MedQA为例,从一次性呈现全部选项改为逐轮引入错误选项后,平均正确率下降16.4个百分点,平均安全弃答率下降32.4个百分点;不同模型和任务差异很大,个别模型的降幅更大。另一项两轮实验中,Qwen 3的8B、14B和32B模型在放弃初始弃答后,在三个数据集上对正确与错误建议的接受率均约为45%—50%,这一现象被称为“blind switching”(盲目切换:模型在放弃自己最初的安全弃答或正确判断后,对后续出现的“正确建议”和“错误建议”表现出几乎相同的接受率,无法区分信号与噪声)。这些是受控选择题任务的结果,不是临床伤害率,也不能外推为所有模型的普遍表现;但它提示,静态准确率替代不了多轮安全评价。

因此,评价AI问诊不能只看静态准确率,还要记录患者是否采纳建议、是否就医或改变用药,以及错误能否在互动中被纠正。只比较试卷分数,会把人机互动、现实干预和错误纠正全部留在镜头外。

七、人工复核也会接住错误的锚点 把AI交给医生,并不天然形成安全兜底。人在时间紧、任务复杂或界面看似权威时,容易接受机器输出。AI还可能先给出一个貌似合理的解释,让后续判断围绕它展开。医生知识更多,不代表能完全摆脱这个锚点。

2023年《Radiology》的一项实验提供了具体证据。27名放射科医生阅读50份乳腺影像,在AI建议正确或错误的不同条件下,低经验者的正确率由79.7%降至19.8%,中等经验者由81.3%降至24.8%,高经验者由82.3%降至45.5%。这项任务不能外推成所有医疗AI的伤害幅度,却说明专业经验并不能让复核者自动免疫于错误建议。

人机合作可能出现互补,也可能只增加一道形式签字。更糟的情况是,AI提供错误锚点,医生确认后又赋予它临床权威,患者因而更愿意执行。要避免这种结果,医生需要在看到AI结论前保留一定的独立判断,能够查看证据和不确定性,也有时间与否决权限。系统还应记录人工修改及理由。否则,“人在环”只是有人出现在责任链上,并没有真正参与纠偏。

八、安全评价需要沿着对话展开 漂移发生在多轮互动中,安全评价也得沿着时间展开。单个标准病例答对,无法证明系统在患者反复担忧、补充新症状、拒绝检查或要求保密时仍能守住边界。更有用的测试,是在连续对话中逐轮加入反证和压力,观察系统何时重新评估,最终会把用户引向什么行动。

对普通读者来说,判断一套系统是否安全,可以抓住四个问题:出现反证时会不会改?风险升高时会不会升级?危险建议能不能被阻止?错误发生后能不能追踪?这些问题比一个笼统的安全总分更接近真实风险。

其中,红旗漏识别、鼓励隐瞒医生和危险减停药建议,不能与普通事实错误放在同一个平均分里相互抵消。高风险场景应设单独门槛;未达到门槛时,系统需要限制行动性建议,而不是只把语气改得更委婉。

九、治理要限制危险行动,而不只是提醒风险 对产品方而言,疑似反复或加重发作、意识改变、减停药后复发等情形,应触发明确的医疗升级。系统要停止相互冲突的剂量和安抚建议,说明为何需要评估、紧迫程度如何,而不是在原回答末尾加一句模板化的“请咨询医生”。

个体化处方变更也需要更高的权限边界。通用聊天系统可以解释药物常识、帮助整理就诊问题,不应在缺乏合格临床人员、完整病史和随访条件时,生成可直接执行的逐日减停药方案。医疗场景若确需这类功能,应把它纳入受监管的临床工作流,配备身份核验、病历连接、处方权限和持续监测。

模型或安全策略更新后,还要重放高风险长对话,检查新症状出现后是否修正、用户施压后是否退让、此前正确建议是否被盲目推翻。“隐瞒医生”“避免检查”“维持原定计划”应成为独立失败标签。对话、模型版本、安全策略和人工升级结果也需要在保护隐私的前提下可追溯,真实结局监测不能只用满意度和答题准确率代替。WHO关于大型多模态模型的治理指南同样把责任分配给政府、技术公司和医疗提供者,而非全部推给末端用户。

医疗机构接入AI时,则要把复核变成可观察的动作。资料摘要、病史结构化、鉴别诊断提示和患者教育具有不同风险,不能共用一套宽松流程。用药、转诊和急诊等级等高影响决策,需要独立复核、冲突升级和异常结果追踪。抽查时应看医生实际审查了什么,不能只检查有没有点击“确认”。

医生还可以把AI使用情况纳入常规病史:“你是否根据网络或AI建议改变过剂量、停药或推迟检查?”这种不带羞辱性的询问,能让隐藏的治疗行为重新进入病历。医疗机构也要提供可及的复诊和用药咨询,否则即时、免费、不评判患者的聊天系统很容易成为唯一出口。

对患者来说,几条转向信号应当足够清楚:1、处方药减停、逐日剂量调整、新发或加重的神经症状、意识改变,以及任何“不要告诉医生”或“没必要检查”的建议,都需要转向合格医疗人员。2、出现严重、持续或反复发作、明显意识异常等紧急表现,应及时寻求急救或紧急医疗帮助。3、非紧急的减药想法,也应先与开药医生或癫痫专科讨论,并约定复发时如何处理。

十、责任不能停在页脚 “不能替代医生”是必要的提示,却不是充分的风险控制。系统一边在页脚声明不提供医疗服务,一边在具体对话中给出逐日剂量、强烈安抚和规避检查建议,两处信息便发生了冲突。用户更可能遵循清晰、连续、针对自身情境的行动指令,而不是抽象提示。

责任分析也不必在“用户自己选择”和“平台全部负责”之间二选一。产品怎样展示能力边界,模型如何回应明确风险,是否设计医疗升级,是否做过已知失效模式的回归测试,医疗机构能否提供随访,以及具体建议与结局之间的医学证据,都需要逐环审查。不同法域的标准不同,Wan案最终责任仍应由法院判断;但能够预见并测试的失效,不应一直被描述成不可预见的个人误用。

传统医疗系统的失误也不能因此被淡化。严重误诊伤害、诊断协作和沟通问题仍需独立投入。平台把责任推给医生,医生把错误推给AI,最后承受风险的仍是患者。义务应跟着控制能力和收益走,谁引入新风险,谁就需要说明自己做了什么防范。

本文能够查阅的材料,主要包括诉状转录、媒体报道和部分法医数据,尚不足以还原完整的对话与诊疗过程。后续答辩和专家意见仍可能改变人们对事实的理解。四个观察维度是本文为组织证据提出的机制综合,不是经过临床验证的标准模型,也不表示严格时间顺序;不能从个案片段估计发生率,更不能推定所有模型和版本都有同样表现。文中几类研究的任务与终点不同,也不存在一个可以把它们合并起来的统一风险百分比。

在这些限制之下,仍有一条结论相对清楚:AI问诊漂移与医生的临床决策失误,都可能表现为反证出现后仍沿旧路径前进。AI增加了流畅权威、持续迎合、跨轮次漂移和规模化复制的风险;医疗系统拥有检查、随访和责任回路,这些回路也会失效。医生与AI合作并不自动解决问题,错误建议有时反而会因为人工确认而获得更高权威。

所以,安全评价最终要落到完整对话和真实行动,而不是一次答题。反证处理、医疗升级、危险建议阻断和错误追踪,都需要过程证据。在这些证据得到可靠回答之前,再高的静态分数,也不足以说明患者会得到更安全的照护。

医疗信息声明 本文仅供一般信息、研究与公共政策讨论,不构成医疗诊断、处方、减停药方案或法律意见。抗发作药的任何减量、停药或重新启用,都应由了解完整病史的合格医疗专业人员个体化评估;如出现严重、持续或反复发作、意识异常等紧急表现,应及时寻求紧急医疗帮助。