检出率达95.78%！一致性出色！武汉协和医院披露结节AI临床试验结果

2019年的今天，使用影像AI进行辅助诊断已成为越来越多放射科医生的常规操作。据不完全统计， 国内涉足智能影像诊断的AI企业已高达200余家，肺部结节AI更是达到了20余家，成为医疗AI最为火热的领域之一。

然而结节AI的火爆也引发了诸多争议，AI的结节检出性能到底如何？金标准如何选定？走出高质量的研发数据集之后，面对复杂多变的临床环境，AI的性能能否保持稳定？众多公司都依然停留在小样本数据的概念验证阶段时，AI的真实临床价值如何才能被验证？

最重要的是，AI到底能在多大程度上辅助临床医生？

近期，由华中科技大学同济医学院附属协和医院与国内医疗AI独角兽依图医疗联合完成的care.ai®胸部CT智能4D影像系统临床性能验证试验数据公布，管窥一豹，为我们揭开了影像AI在真实临床环境中的性能表现。

问题一:AI检出率到底如何？

结节是肺癌的重要表现之一，如何精准的检出结节，既能够高敏感防漏，又能确保优异的特异性，避免过度检出给医生带来额外负担？

本次性能验证试验中，共纳入薄层胸部CT片（扫描层厚≤2mm）100余份，男女比例分别为69%、31%，平均年龄48岁，排除严重呼吸伪影、图片读取不完整，以及单个病人结节＞10个的情况，以2名高年资医生盲标交集为金标准，研究在真实临床环境中， AI性能与高年资医生的差异，从而探讨影像科医生如何使用AI，以及AI的真实临床价值。

最终结果如图所示：

图片来源：医学影像服务中心以“AI+医生”的检出为结果，并以第三方两位高年资医生分别做确认，“AI+医生”的结节检出率达到了95.78%，而其漏检率却仅有4.22%。在拥有较高灵敏度的同时，也达到了优异的特异性。

问题二：检出结果一致性

高质量的影像数据一直号称影像AI的“粮食”，研发过程中，各路研发团队“八仙过海”获取的高质量研发数据集质量极高，远超真实临床环境。问题来了，在脱离高质量的研发数据集后， AI在复杂多变的真实临床环境下表现又如何呢？

而此次试验数据回答了这一疑问：医生和AI针对同一组影像检出的结节中，其判断有着极高的一致性。

图片来源：医学影像服务中心1、对结节大小的判断：医生组结节平均长度为3.1±1.51毫米，AI组结节长度为3.4±1.72毫米，差异无统计学意义(p=0.18) 。

采取结节长径来计算时，获得同样结果——医生组最长径为3.5±1.86毫米，AI组为3.8±2.15毫米，差异无统计学意义（p=0.21）。双方对于结节大小的定义无显著差异。

图片来源：医学影像服务中心2、对结节密度的分析（实性、钙化、纯磨玻璃和混合磨玻璃），医师和AI的判定也几乎一致，Kappa系数达到0.90。

综上所述：care.ai®胸部CT智能4D影像系统能够帮助医生提供多维、高价值的病灶信息，辅助临床结节检出。“AI+医生”的阅片模式也能够有效提高诊断效率和诊断精度。

问题三：结构化报告采纳率？

尽管试验结果证实：AI能够以极高的质量、极快的速度完成结节检出，但在医生书写完成的影像报告中，有41份仅提及了1个主要结节，为什么会出现这种情况？

图片来源：医学影像服务中心通过AI检出结节数量与医生最终报告结节数量的对比可以发现：AI检出了绝大部分结节，包括微小结节，而医生则会根据临床经验选择性的最有临床价值的结节，报告更简洁，书写工作量更少。

为满足临床需求，依托依图医疗雄厚的自然文本处理技术，care.ai®胸部CT智能4D影像系统实现了结构化报告的秒级自动生成，既可提示所有结节，亦可按照医生需求选择性提及重要结节，满足多种临床需求。 实际临床工作中，由AI系统出具的结构化报告采纳率超过92%。

问题四：哪些结节会有争议？

此外，在疑难位置，也依然存在部分AI检出而医生未检出，医生检出而AI未检出的情况，需要以“AI+医生”的形式进行互补。

血管旁结节（图片来源：医学影像服务中心）

胸膜上浅淡磨玻璃（图片来源：医学影像服务中心） 从质疑到信赖 听听医生怎么说

“作为湖北省首家试用医疗AI产品的单位，一开始，我们对于AI的性能和作用确实是有怀疑的，” 华中科技大学同济医学院附属协和医院放射科前任主任韩萍教授表示，“AI辅助影像诊断肯定是未来，但必须经受临床的严苛考验。”

在韩萍教授的大力支持下，依图医疗团队与协和医院专家组多次沟通、反馈，就医疗AI的应用细节展开深入探讨，在原则及流程确认后，启动了AI与临床工作流的深度融合，通过培训科室骨干人员，听取反馈意见，不断完善软件，最终逐渐扩展到科室全部医生。

而随着影像数据的增多与培训的进行，AI系统强大的学习能力，以及良好的敏感性、特异性指标迅速得到了科室医生的喜爱，“AI+医生”的工作模式也得到越来越多的专家认可。

截至2019年3月，协和医院的本部、肿瘤中心、西院放射科共安装AI系统客户端100余个，供放射科全科医生使用。

韩萍教授认为， 能够深入理解临床痛点，减轻临床医师压力，质量稳定可靠是AI系统广泛落地的基础。她透露，在协和医院，由于诊疗量巨大，即便夜晚放射科医生也很难得到休息，2位医生同时出报告依然压力巨大，而随着AI技术的进步，临床医生对于AI的信任度越来越高，每月参与诊疗案例近万例，从“尝试AI”到“离不开AI”，AI已经真正成为临床医生的好帮手。

全部位影像AI时代来临！

值得注意的是，目前各大结节AI厂商在技术路径选择上也各有不同，作为武汉协和的深度合作伙伴，依图医疗的care.ai®胸部CT智能4D影像诊断系统已经在业内率先完成从“点状任务”阶段向“单病种、单科室解决方案”阶段的能力进阶。

据悉，该系统在业内首次突破结节检测，病灶检出能力涵盖结节、斑片影、条索影、囊状影以及纵膈淋巴结、胸腔积液等绝大部分胸部CT影像所见，在全球尚属首次。

参考资料：

[1] 检出率达95.78%！一致性出色！武汉协和医院披露结节AI临床试验结果 . Retrieved May 16, 2019, from 医学影像服务中心微信公众号