蚂蚁健康与北京大学人民医院王俊院士团队历时 6 个多月，联合十余位胸外科医生共同打磨配资公司官网，发布了全球首个大模型专病循证能力的评测框架——
GAPS（Grounding, Adequacy, Perturbation, Safety），及其配套评测集 GAPS-NSCLC-preview。
旨在解决现有医疗 AI 评测局限于考试式问答、缺乏临床深度、完整性、鲁棒性与安全性综合评估的问题。
该评测集聚焦肺癌领域，包含 92 个问题、覆盖 1691 个临床要点，并配套全自动化的评测工具链，通过指南锚定、多智能体协同实现从问题生成、评分标准制定到多维度打分的端到端自动化。
目前，相关成果已应用于"蚂蚁阿福"，论文《GAPS: A Clinically Grounded, Automated Benchmark for Evaluating AI Clinicians》、配套评测集 GAPS-NSCLC-preview、自动化评测框架已全面公开。
这项研究客观评价了大模型的临床能力：当前主流医疗大模型虽已具备"医学百科全书"般的知识广度，但在临床实践中仍处于成长阶段——
它们在系统掌握医学知识方面表现卓越，但在应对真实临床场景中的不确定性挑战时，尚需进一步提升判断力与可靠性。
权威引领：北大人民医院院士团队深度主导临床标准构建
本项目由中国工程院院士、北京大学人民医院院长王俊教授领衔的团队全程主导，并与蚂蚁团队深度协作完成。
在 GAPS 构建过程中，院士团队原创性地提出了GAPS 评测的理论框架，并组织十余位胸外科医生持续参与评测题库构建、临床金标准答案撰写、模型输出的专业审核与迭代优化，提供 NSCLC（非小细胞肺癌）领域前沿临床指南的权威解读与循证医学方法论指导，确保每一项指标都扎根真实临床实践，具备高度专业性与可信度。
蚂蚁团队则发挥大模型与工程化能力优势，经过多轮高强度医工协同与反复迭代，将专家脑海中的复杂"临床金标准"精准沉淀为大模型可理解、可执行的结构化逻辑，实现 GAPS 的规模化、自动化与可落地应用。
此次合作实现了"临床专家定标准、AI 技术做转化"的深度融合，突破了传统医疗 AI 评测中专家浅层参与的局限，标志着顶尖临床专家与 AI 技术团队的深度协作，为医疗 AI 从"技术驱动"走向"临床价值驱动"树立了新的范式。
行业痛点：考得好，信不过
在和大模型讨论医疗问题时，有时候回答得很好，有时候回答得很差，由于大模型的变化日新月异，医生和患者都没有办法在短时间对大模型产生客观评价，因此对大模型的信任就无从谈起。
为了客观评价大模型的能力，学界通常采用基准测试的方法。
然而，当前医疗 AI 的基准测试普遍缺乏对模型循证能力、可解释性与安全性的系统评估。
长期以来，医疗 AI 的评估依赖 MedQA、PubMedQA 等"试卷型"基准，仅考察事实记忆能力；而 HealthBench 等基于人工评分细则（Rubric）的方法又受限于主观性强、扩展性差。
这些方法无法反映真实诊疗场景：患者描述模糊、检查结果矛盾、治疗方案需权衡利弊……正如论文所强调：
真正的医疗能力不在于背诵事实，而在于管理不确定性。
尤其在肺癌这一全球致死率最高的癌症领域，缺乏细粒度、专病化的评估工具，使得医疗机构和开发者难以客观判断医疗 AI 是否真正具备临床可用性。
GAPS 的诞生，正是为了填补这一关键空白。
破局之道：GAPS ——从"考试机器"到"临床医生"的四维标尺
GAPS 是一个基于循证医学、全自动构建的 AI 临床能力评测框架，首次将临床胜任力解构为四个正交维度，并聚焦 NSCLC（非小细胞肺癌）这一高难度专病场景进行系统验证：
1、G（Grounding）认知深度：不止于"是什么"，更考验"为什么"和"怎么办"。
G1 和 G2：事实回忆与解释（AI 的舒适区）
G3：基于指南的循证决策（如 NCCN 推荐方案）
G4：推理性思维（Inferential Reasoning）——在证据冲突或缺失的"灰色地带"做出合理判断，这是当前所有模型的"死亡区"。
2、A（Adequacy）回答完备性：医生的一句话可能关乎生死。GAPS 引入三级评价：
A1（必须有）：核心诊疗建议
A2（应该有）：关键限定条件（如剂量、禁忌症、监测指标）
A3（锦上添花）：患者教育、多学科协作建议等
缺少 A2，再"正确"的建议也可能导致临床误用。
3、P（Perturbation）鲁棒性：真实患者不会照着教科书说话。GAPS 通过三类扰动测试模型抗干扰能力：
P1：语言噪音（口误、方言）
P2：冗余信息（无关症状堆砌）
P3：对抗性前提（如诱导性错误假设）
实验显示，多数模型极易被误导，甚至顺从用户的错误引导。
4、S（Safety）安全底线：医疗容不得"差不多"。GAPS 建立四级风险体系：
S1（无关回答）→ S4（灾难性错误 /Never Events，如推荐禁忌药物）
一旦触犯 S4，无论其他维度得分多高，总分直接归零——这是不可逾越的红线。
GAPS 解决了现有医疗 AI 评测仅关注"准确率"的局限，首次实现对循证决策能力、回答完备性、现实鲁棒性与安全底线的系统性、自动化评估。
其优势在于：以临床指南为锚点，全自动构建高保真评测项与评分规则，兼具可扩展性、可复现性与临床真实性，为 AI 向可信临床伙伴演进提供精准导航。
核心黑科技：全自动化的"循证评测集"流水线
GAPS 最大的技术亮点在于其端到端自动化与可扩展性。
不同于以往依赖人工命题，GAPS 构建了一套基于临床指南（Guidelines）的自动化生成工厂：
证据邻域构建：以 NCCN、ESMO 等权威指南为核心，自动抓取 3 跳内引用文献，构建高可信医学知识图谱与疾病话题树；
Deep Research Agent：基于GRADE方法学，模拟人类专家围绕 PICO（人群、干预、对照、结果）展开的证据检索、证据评估、强弱推荐的流程，自动生成带证据等级与推荐强度的高质量评分细则；
虚拟患者生成：利用大模型合成去隐私化临床病例，并精准对齐知识图谱，确保每道题"有据可依、有理可循"。
该流水线已成功应用于胸外科的专病——NSCLC（非小细胞肺癌），生成包含 92 道题、1691 个临床要点的评测集GAPS-NSCLC-preview。
题目按认知深度分为 G1~G4 四级（从事实回忆到不确定性下的推理），每题均配备平均 12 项完整性（A1~A3）与 7 项安全性（S1~S4）评分要点，并支持 P0~P3 四级扰动测试。
未来可快速扩展至心血管、儿科、内分泌等任意专科的专病领域——只要有指南，就能生成高质量评测集。
可靠的裁判：自动化评测让 AI 医疗能力可量化、可复现、可进化
GAPS 评测集同时搭配了一套高可靠性的自动化评测框架，实现了对 AI 临床能力的客观、细粒度、端到端的自动化评估。
为确保评测本身可信，团队将自动化评分结果与五位资深专家的独立标注进行严格比对：
在 92 个真实临床查询、1691 个临床要点上，该框架与专家共识的整体一致率达 90.00%，Cohen ’ s Kappa 系数达 0.77（"实质性一致"），Macro-F1 达 0.88 ——不仅显著优于现有基准（如 HealthBench 中 GPT-4 的 0.79），已达到人类专家间一致性水平（88.5%~92.0%）。
这证明 GAPS 评测集的自动评判能力具备专家级可靠性。
在此基础上，评测不再是终点，而是进化的起点。
框架输出的结构化评分（G/A/P/S 四维、MET/NOT-MET 标记）可精准定位模型在循证决策、回答完备性、扰动鲁棒性或安全红线上的缺陷；
由此，GAPS 具备成为"评测即反馈、反馈即迭代"的最重要基石—— AI 医疗能力不再依赖模糊经验，而是通过可量化的指标、可复现的流程、可积累的进化路径，稳步向临床可用迈进。
实战揭秘：顶尖大模型的"滑铁卢"
研究团队使用 GAPS 对 GPT-5、Gemini 2.5 Pro、Claude Opus 4、Qwen3-235B-A22B-Instruct-2507、DeepSeek-V3.1-Terminus 等主流模型进行"体检"，结果发人深省：
1、"百科全书"易做，"专家"难当：
所有模型在 G1（事实）和 G2（解释）阶段表现优异（GPT-5 得分约 0.72）。但一旦进入 G3（确定性决策）和 G4（非确定性推理），分数呈断崖式下跌，GPT-5 在 G4 阶段跌至 0.45，其他模型甚至跌破 0.35。这说明 AI 目前还只是"背书机器"，而非"推理伙伴"。
2、不仅要"对"，还要"全"：
在 Adequacy（完备性）测试中，模型往往只给出核心建议（A1），却忽略了关键的限定条件（A2），导致临床建议缺乏可操作性。
3、极其脆弱的耳根子：
在 P3（对抗性测试）中，只要在提问中加入一点误导性前提（例如暗示某种错误疗法有效），模型的判断力就会崩塌，甚至顺从用户的错误引导。
4、安全隐患：
虽然 GPT-5 和 Gemini 2.5 在极高风险错误（S4）上控制较好，但在复杂的推理场景下，部分模型（如 Claude Opus 4）的致命错误率随难度显著上升。
结语：GAPS 评测框架是 AI 医生从" Chatbot "到" Doctor "的必经之路
GAPS 的发布，标志着医疗 AI 的评测标准从"考试分数"向"临床胜任力"的范式转移。
蚂蚁健康与北大人民医院的这项工作告诉行业——现有的通用大模型在面对复杂的临床不确定性时，依然显得稚嫩且脆弱。
未来的医疗 AI 研发，不能止步于预训练知识的灌输，而必须转向循证推理（Evidence-grounded Reasoning）、过程决策控制以及不确定性管理。
GAPS 不仅仅是一个榜单，它更是医疗 AI 进化路上的"磨刀石"。只有跨越了 GAPS 设定的这四道关卡，AI 医生才能真正放心地走进诊室。
论文地址：
https://arxiv.org/abs/2510.13734
评测集地址：
https://huggingface.co/datasets/AQ-MedAI/GAPS-NSCLC-preview
自动化评测框架地址：
https://github.com/AQ-MedAI/MedicalAiBenchEval
* 本文系量子位获授权刊载，观点仅为原作者所有。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见配资公司官网
富途优配提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
