导语:目前,已报道的医疗人工智能诊断准确率普遍很高,但是人工智能在投入真实临床应用的情况到底会如何?是否真实临床应用与研究阶段一样具有如此高的精准度?这个是研究者和大众一直很期待回答的问题。AI医生与人类医生的差异和关系是怎样?现在,这些问题答案可在中山眼科中心刘奕志和林浩添眼科人工智能团队牵头完成的最新临床多中心随机对照研究中找到。(全文链接:https://www.thelancet.com/journals/eclinm/article/PIIS2589-5370(19)30037-9/fulltext)
全球首个医学AI医生多中心随机对照研究
CC-Cruiser是中山眼科中心医学人工智能团队利用深度学习建立的“先天性白内障人工智能诊断决策平台”,该团队开启了全球首个人工智能门诊,并联合全国5家不同地区、不同级别医院的眼科门诊对CC-Cruiser进行多中心随机对照临床研究,验证了CC-Cruiser在真实世界临床实践中的有效性和可行性,这为医学人工智能从试验训练到临床应用,提出了重要的AI临床应用评判方法和标准。
目前医学人工智能多数还在研发和试验训练阶段,还没经历真正的临床验证,而且是依靠单点医疗机构开展工作,合作方式较为单一,还难以进行多中心大规模验证。中山眼科中心,作为国内最早的医学人工智能研发和应用单位,率先将人工智能诊断系统CC-Cruiser投入了多中心临床验证研究,利用大规模的真实临床患者对CC-Cruiser进行评估。这是全球首个医学人工智能多中心随机对照临床研究,为探索人工智能临床转化和落地应用标准,迈出了至关重要的一步。
图1:该成果发表在全球权威医学期刊《柳叶刀》子刊EClinicalMedicine(ECM)上的论文首页。
该成果以封面文章的形式正式发表在全球权威医学期刊《柳叶刀》子刊EClinicalMedicine(ECM)最新一期(2019 Mar)上。ECM是《柳叶刀》出版的开放获取电子期刊,以发表原创性研究论著为主,致力于帮助一线医学专业人士应对全球复杂、快速变化的医疗转型。从诊断到治疗,预防到保健,它将整合所有专业和整个生命过程的学科,最终目标是促进卫生系统发展,解决社区面临的医疗保健问题和挑战。此研究论文,是中国科研成果首次作为该杂志封面文章发表。
图2:该成果被《柳叶刀》子刊EClinicalMedicine(ECM)选为封面文章,封面故事的主题为“医学人工智能在投入临床应用前必须经历这样一个严格的临床验证,评估其真实世界的诊断能力。而人工智能和人类医生的关系应该是相辅相成、优势互补的,人工智能可以作为一种医疗诊断辅助工具,帮助医生提供更好的医疗服务,两者携手可以更好地关爱世界。”
图3:该成果被《柳叶刀》子刊EClinicalMedicine(ECM)同期发表的评论文章首页。
同期发表的评论文章,来自英国UCL Great Ormond Street Institute of Child Health的Ameenat Lola Solebo评论道“研究团队采用了非常实用有效的方法,向我们展示并验证了AI医疗诊断平台对儿童先天白内障诊断在真实世界临床实践中的有效性和可行性。这一开拓创新为我们今后的工作提供了重要的参考。”
AI诊断:高效省时,体验满意度高,但真实临床应用的准确性下降
项目研究团队通过把入组的儿童患者随机分两组,分别进入由CC-Cruiser接诊的人工智能门诊和具有5年临床经验的人类眼科医生接诊的专科门诊接受诊断,对比两组医生对先天性白内障诊断的准确性。此外,研究者还对两组门诊的诊断过程进行耗时计算,以及通过问卷调查参与者的主观体验。
通过与人类医生对比发现,CC-Cruiser在真实临床门诊中对先天性白内障的诊断准确率为87.4%,与实验训练阶段的准确率98.87%相比有一定的差距,也没有人类专科医生的诊断准确率高,这表明人工智能在实验室试验的训练结果并不能完全代表其真正的诊断能力。但是,AI诊断所需的耗时却明显比人类医生短,而且问卷调查的结果显示参与者对人工智能门诊的体验满意度高。这表明了现阶段的医学人工智能可以在临床上辅助人类医生,大大提高工作效率。然而,所有医学人工智能技术,在真实临床落地应用前,需要经过严格的随机对照研究作为评判手段和标准。