作者首先以 DeepSeek 发布的开源多模态模型 Janus-Pro 为基础,通过医学影像数据进行领域微调,得到胸部 X 线专用模型 Janus-Pro-CXR。随后,研究分别从自动化指标、主观报告质量、诊断一致性、读片耗时和临床协作效果等角度评估模型表现。

步骤一:构建胸片专用模型
Janus-Pro-CXR 基于 10 亿参数版本的 Janus-Pro 进行全量微调。微调分为多个阶段:前两阶段主要使用 MIMIC-CXR 和 CheXpert Plus,使模型学习胸片基础诊断能力和报告生成能力;随后使用 CXR-27 数据集进一步适应中国多中心临床数据的图像差异和报告书写风格。该系统采用“大模型与小模型协作”的框架:专家模型负责注入关键诊断结果,统一多模态模型负责整合影像与临床信息,并显式模拟放射科医生的阅片逻辑。这种设计的核心目标不是单纯扩大模型规模,而是通过领域数据、结构化流程和轻量化架构提高临床可用性。
步骤二:开展回顾性模型评估
在回顾性研究中,作者使用 MIMIC-CXR 测试集和 CXR-27 测试集评价 Janus-Pro-CXR 的自动报告生成能力。评价指标包括 RadGraph F1、基于影像发现标签的 micro-average 和 macro-average F1,以及 14 类常见胸片发现和前 5 类高频发现的识别表现。除自动化指标外,研究还从 CXR-27 测试集中随机抽取 300 例,由 5 名具有 8 至 15 年经验的放射科医生进行主观评价。评价内容包括报告质量评分、报告偏好测试、与原始报告的一致性,以及生成报告在医学术语、逻辑结构和诊断表达上的专业程度。
步骤三:设计前瞻性人机协作验证
前瞻性研究重点评估 AI 是否真正改善临床工作流。研究将 20 名初级放射科医生随机分为 AI 辅助组和标准诊疗组。AI 辅助组可参考 Janus-Pro-CXR 生成的报告,并根据需要修改;标准诊疗组则完全独立完成报告。每位患者的影像由两组医生分别独立解读并生成报告。两份报告随后均由高级放射科医生审核。研究比较两组报告的质量评分、一致性评分、专家偏好比例以及报告撰写时间。报告撰写时间定义为医生开始查看胸片到完成初稿的时间,由系统自动记录。
步骤四:验证多图像输入能力
由于真实临床中胸片常包含正侧位图像或需要与历史影像对比,研究进一步验证了模型处理多图像输入的能力。作者在回顾性数据中选择包含历史胸片的病例和包含正侧位胸片的病例,并评估模型能否整合多张图像信息生成报告。研究还额外开展了包含 50 名正侧位胸片患者的前瞻性验证。