CathAI:研究人员构建了一个人工智能,像心脏病学家一样阅读心脏扫描

作者 : Robert Avram 杰弗里·E·奥尔金 Zeeshan Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez 简·克劳德·塔迪夫 Derek Y. So Krishan Soni Geoffrey H. Tison 作者 : 罗伯特·阿布拉姆 杰弗里·E·奥尔金 艾哈迈德 路易斯·维雷奥特 - 朱利安 阿尔文·温 约书亚·巴里奥斯 肖恩开门 德里克·瓦恩 约瑟夫·E·冈萨雷斯 简·克劳德·塔迪夫 德里克 Y. So 克里斯安·索尼 乔弗里·H·蒂森 抽象 冠心血管疾病(CAD)的诊断和管理决策的主要程序是CathographyCAD的Cathographicalangiography(Cathographical Angiography)0.Cathographical Angiography(Cathographical Angiography)是Cathographical Angiography(Cathographical Angiography)的主要程序,但对冠心血管疾病(CAD)的临时视觉评估具有较高的可变性。在这里,我们报告了一种完全自动化的方法来解释冠心血管局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局局 介绍 冠心脏病(CHD)是美国和全球成年人死亡的主要原因 ,由缩小冠状动脉的动脉硬化板引起,也称为冠状动脉疾病(CAD)。冠状动脉动脉手术是诊断冠状动脉硬化的黄金标准手术,因此为CAD治疗决策提供关键信息,从单独的医疗治疗到冠状动脉管或绕过手术的再血管化 医生的视觉估计冠状动脉硬化严重性从动脉图仍然是最常见的,指导支持的方法来评估冠状动脉流体的 angiographic缩小 , . 1 2 2 3 However, the limitations of visual estimation for coronary stenosis severity are well described, and include intra- and inter-observer variability, operator bias and poor reproducibility , 视力 stenosis 评估的变化范围从 7.6 到 22.5% , , 虽然冠状动脉病毒的成像质量有所改善,但在单个医生读者的设置中仍然存在变化,这是迄今为止最常见的临床工作流程。 , 视觉评估 stenosis 在超过四分之一的病例中可以高估 stenosis 的严重性 并可能导致17%的患者不适当的冠状动脉绕道手术,至少10%的患者使用。 , , , 更标准化、可重复的方法来解释冠状图和冠状结核的评估将具有显著的临床意义。 4 5 4 5 6 4 7 8 4 5 6 8 各种辅助测试可以补充CAD评估在冠状腺炎,如生理评估 , 或血管内成像 虽然大多数人需要额外的操作员专业知识和使用额外的催化剂,因此在10%至20%的冠状动脉瘤中使用。 , , 此外,确定附加检测的必要性仍然主要依赖于医生在 angiography 手术中视觉估计 angiograms 来确定中等严重性或较大的冠状硬化(例如 40-69%) 定量冠状冠状病理学(QCA)是一种技术,提供对冠状图的分析,允许更标准化的 stenosis 评估。 然而,QCA并非完全自动化,需要操作员输入以进行图像校准和选,这大大降低了研究设置。 , . 9 10 11 9 11 12 3 13 5 14 人工智能(AI)算法,特别是深度神经网络,已经证明了在心脏病学和干预心脏病学中自动化重要的临床任务的能力。 我们的目标是开发和验证来自现实世界冠状动脉动脉动脉图的自动方法,冠状动脉硬化本地化和严重性估计。 15 结果 完整数据集包括2008年4月1日至2019年12月31日期间从加利福尼亚大学旧金山大学(UCSF)的11972名18岁以上的患者进行的13843项完整的 angiogram研究(195,195个总体的 angiographic视频)。 额外的 Fig。 平均年龄在完整数据集中为63,5 ± 13.7 年,在报告数据集中为66.7 ± 12.0 年。 1a 1 Angiogram视频流从一个算法到另一个算法,以完成自动解释所需的4个关键任务。 应用CathAI的例子冠状动脉动脉图. 一个例子左前向下降动脉动脉图与严重的硬化(接近到中间部分)显示通过CathAI系统的进展:识别冠状动脉投射,识别LCA(左),围绕像硬化(缩小,中间),并预测最大硬化严重性(右)等对象的边界框。 a b CathAI 性能来分类 angiographic 投影角度、解剖结构和 angiogram 对象定位 为了分类 angiographic 投影角度,CathAI 在测试数据集中实现了频率重量的积极预测值(PPV)为0.90,敏感度为0.90和F1分为0.90(补充表) 高度使用的投影角度,如LAO Straight,RAO Straight和LAO Cranial,具有更好的总体性能. 为了分类 angiogram 视频中包含的主要解剖结构,CathAI在测试数据集中实现了0.89的频率重量 PPV,0.89的敏感度和0.89的F1分数(表) CathAI的性能在左翼和右翼冠状动脉(分别为LCA和RCA)上都很高,它们是主要的焦点:PPV和敏感度分别为LCA的0.97和0.94和RCA的0.93和0.93。 8 1 一旦发现了主要含有LCA和RCA的动脉图像视频,CathAI通过预测冠状动脉细分周围的边界框,如冠状动脉的接近部分, stenosis区域,立体和冠状动脉电梯的位置化对象,以测量CathAI的性能来定位这些对象,平均平均精度(mAP)用于比较每个对象的预测坐标与实地真理。 (补充表) CathAI在UCSF测试数据集中正确地定位了93.3%的冠状动脉硬化(PPV)。 16 9 CathAI性能可预测 Stenosis 严重性 CathAI系统中的最终算法估计冠状动脉硬化严重性(图。 ) 预测的 stenosis 严重性的估计是从特定研究中显示特定动脉细分(称为“动脉级别”)的所有 angiogram 视频的平均值,反映了标准的临床实践。 是的, Fig。 ) 动脉水平硬化预测比视频或图像水平预测更好(图)。 补充桌子 对于CathAI作为连续百分比硬化严重性的预测,AI硬化和报告硬化之间的平均绝对百分比差异为 17.9 ± 15.5%(表) 二、附加图。 ) RCA 与 LCA 的平均绝对百分比差异显著较低(16.4 ± 15.0 与 19.0 ± 15.8 相比); 第001章 桌子 · 补充桌子 ,在类似的训练数据集大小 - 可能反映RCA的解剖学变化比左更少。CathAI的AUC较低,以确定女性与男性的重度萎缩水平(分别为0.890(95%CI:0.864～0.923)和0.830(95%CI:0.805～0.856), 互动的值: 0.02 1B 2 二A 二A 10 2 3 p 2 10 P 接收器操作特征曲线(ROC)用于CathAI在测试数据集中预测阻碍性(</≥70%)冠状动脉硬化。黑点:选定的AI硬化门槛,以优化动脉水平数据集中的F1分数。红十字:灵敏度固定在80%时的特异性。 混淆矩阵为CathAI预测阻塞性硬化与报告硬化。 UOHI 外部验证数据集-ROC 用于 CathAI 阻碍性(</≥70%)硬化预测。 黑点: AI 硬化值用于优化动脉水平数据集中的 F1 得分。 红十字: 当灵敏度固定在 80% 时的特异性。 UOHI 外部验证数据集 - 混淆矩阵用于CathAI预测阻碍性症与专家审判员 AUC 区域在曲线下,CI 信任间隔,人工智能。 a b c d 根据 REPORT-stenosis 对这些 70% 以上的 stenoses,CathAI 正确地分类了 74% (95% CI: 70.0-78.4%; 260/349 图)。 ); 和那些 <70% 因 REPORT-stenosis 引起的 stenosis, 算法 4 正确分类 78.1% (95% CI:76.1–80.1%; 1082/1385)。 当算法 4 对检测阻断性冠状结核症的敏感性被固定在 80.0%, 检测阻断性 stenosis 的特性为 74.1%; 当特性被固定在 80.0%, 检测阻断性 stenosis 的敏感性为 71.6%. 连续 AI-stenosis 和 REPORT-stenosis 之间存在中等强的相关性(表) )CathAI高估了轻度的硬化和低估了严重的硬化(补充图。 )。 2B 2 3 UOHI数据集中的CathAI的外部验证 为了检查外部概括性,我们将CathAI应用到来自UOHI的464个随机采样的 angiogram视频中。 在UOHI的百分之百中,Algorithm 2成功地识别了RCA或LCA,两位UOHI审判员一致同意在同一冠状动脉细胞段内疮的局部化(91.4%)。 ( = 360);在其余的15,5%中,动脉子段不正确,CathAI分配了对正确的冠状动脉整体(LCA vs RCA)的硬化。 4 n n 两位参赛选手的观察员间变量为症百分比评估为 15.7% ± 14.5%. 对于阻碍性症(</≥70%)的确定,参赛选手不同意 16.8% 的症为阻碍性症( = 78). We calculated the arithmetic mean of the percent stenosis from the two adjudicators to compare against CathAI’s prediction of stenosis severity prediction. Compared to this, CathAI’s AUC for obstructive stenosis (≥70%) was 0.869 (95% CI: 0.830–0.907; Figs. , );敏感度为86.4%和特异性为67.3%(图。 在UOHI数据集中,CathAI花费了3～5秒的时间来分析一个动脉录像视频,或者用Nvidia GTX 1080 Ti GPU进行完整考试的35秒。 n 2C 3 2D 加利福尼亚大学,旧金山(UCSF)内部验证和渥太华大学心脏研究所(UOHI)外部验证的主要结果显示为每一个 4 项任务。 重新训练CathAI预测QCA Stenosis RCT QCA 数据集由 709 名患者组成,共 858 次检查 (1384 次 stenosis; 18 次严重 ≥70%, 71 次严重 ≥50%但 <70% 和 1295 次不严重)。 =1384)的硬化(LCA的67.2%和RCA的86.8%)。QCA评估的平均硬化严重度为31.7 ± 11.6%(补充图。 鉴于 RCT QCA 数据集的患者群体差异,其 CAD 和 QCA 评估标准大多是轻微的(≥50% QCA 硬化)而不是视觉估计,RCT QCA 数据集提供了机会,以重新训练 CathAI 来预测 QCA 标记的硬化,而不是视觉估计的硬化。 ) 对于 QCA 固症 ≥70%,AUC 为 0.75 (95% CI: 0.570-0.930)。在测试数据集中,CathAI 预测的固症和 QCA 估计的固症之间的平均固症差异为 6.5 ± 5.5%。 n 5 11 使用神经网络解释性来理解CathAI性能 为了更好地了解对CathAI预测做出贡献的 angiograms中的元素,我们将两种解释性方法应用到受过充分训练的CathAI算法中,这可以帮助阐明算法如何运作,并为临床医生提供额外的决策环境。 突出了对CathAI预测最关键的图像区域,显示它使用心脏病学家等区域,例如左前向下动脉来识别LCA图像(图)。 此外,我们还使用LOVI(Layer Ordered Visualization of Information)方法来对CathAI的 stenosis严重性的预测产生了突出地图。 突出的像素(图)。 二、附加图。 )不仅仅局限于结石动脉细分,还局限于直接毗邻动脉的正常细分和像素,这表明结石动脉细分与非结石动脉细分之间的关系有助于CathAI对结石严重性的预测。 17 四A 18 4B 6 GradCAM应用于主要解剖结构的CathAI分类. 显示了两个原始天体图像(左),以及GradCAM(右)突出的相应图像,显示了对算法决策更重要的区域。 LOVI Saliency 地图 CathAI 预测冠状动脉硬化严重性. 原始动脉图像(顶部)和与 LOVI 亮度图像(底部)相应的图像。 白色像素代表 CathAI (Algorithm 4) 预测的更大贡献,显示算法 4 在大多数情况下集中在冠状动脉硬化区域附近的像素。 a b 讨论 我们描述了由四个算法组成的CathAI管道的开发和验证,并展示了对冠状动脉图的自动化分析的显著进展。每个算法实现了一项特定的任务,促进了冠状动脉图的主要诊断目标的实现 – 评估冠状动脉动脉硬化严重性 – 实现了每个任务的最先进性能。重要的是,CathAI可以无需额外培训来预测从未经治疗的真实世界UOHI动脉图的视觉估计的硬化,这是一个不同国家的单独医疗系统。CathAI也成功地重新培训了预测QCA硬化估计在第三个外部RCT QCA数据集中。这为未来的各种与冠状图相关的任务提供了广泛的基础 – 如自动估计硬化严重性或中间级硬化 以前的工作报告了神经网络在与 angiogram 分析相关的实验环境中执行单个任务,如框架提取。 , stenosis prediction from (manually-selected) RCA images , , , , , , 冠状血管细分 , 或 Stenosis 识别 然而,在我们所知的完全自动化分析和冠状动脉动脉图像的 stenosis 预测尚未在现实世界的动脉图像上被证明。 , , , , , , 可能是因为它与LCA相比有较少的解剖变异性和复杂性,减少了分析RCA动脉图的困难,然而,在预选的RCA动脉图上训练的方法无法分析真实世界的数据集,其中包括非RCA和非冠状动脉视频。在最近的一项努力中,Du et al.分析了来自LCA和RCA动脉图的单个框架,以定位冠状动脉细分和 stenosis 我们的工作推进了最先进的现状,可以将其概括为现实世界的外部动脉图,并反映了标准护理指南推荐的“最糟糕的观点”评估 , 因为冠状动脉病理学对所有CHD临床决策都至关重要 , CathAI有巨大的潜力来自动解读 angiogram。CathAI的预测与人类专家的视觉评估的偏差远远低于常见的观察者间变量。 , , , , ;CathAI的重新训练的QCA偏差在RCTQCA数据集中为6.5 ±5.5%,这远低于医生的视觉评估和文献中报告的QCA之间的10.2–16.6%差异。 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 自动化分析对“自动驾驶汽车”技术的感知方面比标准放射分析(即X射线)更有相似性,因为 angiograms 高度可变的,由操作员决定的视频收集和分析所需的复杂任务序列。成功分析真实世界的 angiograms 需要人工智能系统处理在现实世界程序中遇到的任何类型的视频,识别相关图像,然后准确地定位重要对象。 , , , , , , , 提供概念证明,多用途的深度学习算法可以克服迄今为止阻止完全自动化 angiogram 分析的障碍。CathAI在通往最终疮预测的道路上完成的多项子任务提供了一个坚实的基础,以支持许多基于任何CathAI子任务的未来额外任务,如预测疮不扩张,动脉硬化板形态或从对比流量模式中分流储备。CathAI可以轻松适应额外的任务。 , 毫无疑问,在临床部署之前,CathAI的每个个别算法可能需要进一步改进,例如通过增加人类专家注释的数据集的大小或为特定观点训练专用算法(如RCA-LAO单独动脉定位算法)。 19 20 21 22 23 24 25 28 2 3 部署CathAI等管道的最直接的临床影响将是增加对冠状动脉硬化评估的标准化。 , , , , 与QCA黄金标准相比,10-17% ,直接影响生命挽救CHD复血管治疗的决策. 多项研究一直报告过度估计视觉估计的 stenosis , , 一项研究重新评估了多位读者对临床动脉图的评估,报告称,在17%至33%的病例中,对冠状围绕手术的建议从“必要/适当”改变到“不确定/不适当”,其中包括10%的病例用于立体安置。 这个研究 建议在新血管化之前进行第二次独立的心血管解读,虽然这通常是不可能的,而不是临床介入心脏病学工作流程的临床标准。然而,CathAI可以很容易地以自动、可重复的方式执行此功能,以提供程序期间近乎实时的预测,以补充医生自己的临床诊断。然而,由于CathAI被训练与相同的偏见视觉估计的硬化,它也倾向于高估硬化。 为了解决这一问题,CathAI可以通过QCA数据进行重新培训,这如我们所示,倾向于预测较少严重的硬化,正如文献中所示。 4 5 6 7 29 5 5 6 8 4 4 最近的一些研究表明, stenosis 估计中可能存在性别差异,女性 stenosis 往往被高估。 为了调查CathAI是否有助于减少性别间断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断断 30 然而,CathAI的视觉潜力从CATCA的未来范围内提供更低的预测数据集,这表明CathAI的临床验证系统首先将已准备好的外部现实世界的天体图像对医生的视觉估计进行一般化。相比之下,RCT的QCA数据集代表了不仅仅是由RCT的主要数据集设计的不同方法(这也表明CathAI在临床实践中使用的严重 stenosis ≥50%的不同门槛),有效地增加了不同的任务,但从RCT的QCA数据集中表现得非常不同,主要是轻微的CAD。这表明,在大多数UCSF的临床天体图像中,由于临床实践中常见的严重 stenosis ≤50%的不同门槛,冠状 stenosis ≤50%被简单地描述 我们的工作有几个限制。 一个显着的限制来自我们在常规临床护理中使用医师视觉估计的培训标签的使用。 由于在UCSF中产生大量心脏病专家注释的资源密集性,以达到最大数据集来训练CathAI的硬化严重性,我们使用了临床上产生的RAPORT - 硬化值,但这些CathAI算法可以很容易地重塑和改进,以便在UCSF中获得专门培训的未来的干预心脏病学家,他们可能仍然显示了任何临床上产生的标签中固有的变异性。 在培训和测试数据中,这种变异性可能会将人工上限放置到观察到的算法性能上; 然而,这些CathAI算法可以很容易地重塑和改进,并使用 我们的目标是通过这个概念验证研究来证明用于自动解读冠状动脉图像所需的“构建块”,而不一定取代当前的临床标准来解读冠状图。为了实现后者,可能需要大量的人力努力来标记大数据集,使用精确的方法。此外,我们在CathAI的这个版本中只包括主要的心血管。 31 总之,CathAI是首个为冠状动脉瘤进行多阶段完全自动化分析的管道。CathAI实现了对真实世界动脉瘤解读所需的每个任务的最先进的性能,是外部有效的,并为自动化动脉瘤解读中的未来任务提供了基础。 方法 Study participants and study datasets For our Full Dataset, we obtained retrospective, de-identified coronary angiographic studies from all patients 18 years or greater from the University of California, San Francisco (UCSF), between April 1, 2008 and December 31, 2019 (Supplementary Fig. )接受冠状动脉筛查的患者没有对左或右冠状动脉的视频被排除在外。使用Iopromide对比,通过Philips(阿姆斯特丹,荷兰的Koninklijke Philips N.V.)和西门子(德国的Forchheim,德国的Siemens Healthineers)系统获得了冠状动脉图像。 1 为了最大限度地实现为每个算法生成培训数据所需的手动标签工作,我们创建了一个“提取的完整数据集”,首先通过计算结构相似度指数指数(SSIM)的结构相似度指数(在0位置)的框架,我们通常没有颜色,我们称之为“参考”框架。如果图像具有相似的像素值,SSIM更高,如果有更大的差异,则更低。从参考框架中获得的最低相似度指数的框架被选定为最可能包含峰值对比度的框架(例如,当动脉充满了对比度)。 = 1,418,297) 视频的所有框架都转换为 512*512 像素的图像,用于算法分析。 然后从提取的完整数据集中提取了每个任务的框架子集,如下所述,以生成 algorithms 1-3 的培训数据。 n 对于所有算法,除了算法3,每个算法的数据都被随机分为培训(70%),开发(10%)和测试(20%)数据集,每个数据集都包含非重叠的患者。 , . 16 32 Algorithm 1 labels were taken directly from the DICOM metadata describing the cranial-caudal and LAO-RAO orientations. Algorithm 2 and 3 required annotations by a board-certified cardiologist (Supplementary Fig. 附加桌子 , and for definitions). For Algorithm 4, the stenoses were taken directly from the procedural report. 8 1 2 3 报告数据集 手术后不久,干预性心脏病学家通常会根据标准临床实践使用视觉评估来解释冠状动脉瘤,并在手术报告中描述冠状动脉硬化的严重程度。 我們在動脈部位中識別了 9782 個冠狀硬化症(REPORT-stenosis),並在 1766 個非硬化完整的血管中識別出總共 10 088 個非硬化血管部位,從 84,153 個圖像中衍生。 ) 從每個膜圖片的影片中提取了元資料,包括程序日期,主要(右前(RAO)/左前(LAO)))和次要(頭蓋骨)旋轉角度,一個獨特的檢查識別符和一個獨特的病人識別符。未匹配的 REPORT-stenosis 被從資料集中移除。 我們還排除了在超過 4 個脈內導導線存在的影片,根據 Algorithm 3 自動確定( 6,076 部影片, 41,780 部導線識別的 stenosis-frames),因為這些影片可能代表皮膚接觸的冠狀干涉,這可能會在該影片中改變 stenosis 百分比(附加圖)。 );在插入冠状导线之前的研究中保留了视频。 3 1 1 文本解析方法 程序报告中的自由文本最初是使用条纹(“,”)或期限(“.”)分割的。 当发现冠状动脉部分时,我们通过定位“%”和该句子中最接近的一个到三位数的数字来识别相应的 stenosis 百分比的任何描述。我们最初使用标准术语(如“右冠状动脉”)进行搜索,然后通过手动审查文本扩展了关键词,通过多次迭代,以包括最常见的缩写,交替拼写和转换(如“RCA”);当出现冠状动脉细分时,被分配给该细分的阻碍性 CHD 的定性描述,如“轻度”,“中度”或“严重”的冠状动脉疾病没有提取。此外,我们在报告中寻找关键词,如“thrombus”,“obstruction”或“occlusion”;当出现冠状动脉细分 我們沒有分析慢性整體封閉和斷在直角,邊緣, septals, ramus,左後部下降動脈,左後側或圍繞移植。 3 3 人类对象研究 该研究由加利福尼亚大学旧金山机构审查委员会审查,并放弃了对知情同意的需求。 算法开发 CathAI系统由4个神经网络算法组成,组织在一个管道中(图。 每种算法都会对天体图像进行分析,并将它们“流动”顺序转向下一个,以完成自动天体图像分析的四个基本任务:(1)分类天体图像投射角度;(2)分类天体图的主要解剖结构;(3)在天体图中对相关物体的定位,包括冠状动脉的子细分和硬化;(4)预测冠状动脉硬化的严重性(作为动脉狭窄的百分比)。 1a 我们定制了CathAI的4个算法基础神经网络架构,以实现下面的部分中详细描述的 angiogram相关任务。作为一个高级别的总结,Algorithm 1接受了单个图像(冠状冠状冠状图像图像)作为输入,并确定了LAO-RAO和头骨链轴(LAO头骨,RAO头骨等)所描述的 angiographic投射角度;每个视频的元数据可用标签。 ) ,因为捕捉含有非心脏解剖结构(如甲状动脉或腹部动脉)的图像很常见。 算法2允许CathAI随后专注于仅含有左和右冠状动脉(LCA和RCA)的图像。 算法3在LCA和RCA的图像中定位了相关对象,通过输出被识别对象的边缘框坐标(补充视频)。 ) 算法4接受围绕石化动脉细分(通过算法3边界框)切割的图像,并预测图像中的最大百分比萎缩为每个图像的连续值0到100之间。 2 1B 算法1: angiographic投影角度的分类 Algorithm 1 accepted individual images (video frames) as its input and identified the angiographic projection angle used. The projection angle refers to the fluoroscopic angulation used to obtain the image, commonly described on two axes defined by LAO-RAO and cranial-caudal (LAO cranial, RAO caudal, etc). For Algorithm 1 training data, all images from the extracted Full Dataset were categorized into 12 categories of left-right and cranio-caudal projection angles based on the primary and secondary angles extracted from each video’s metadata (−180 and 180 degrees for the primary angle and −50 and 50 degrees for secondary; Supplementary Table 然后我们将提取的完整数据集分为培训(990,082),开发(128,590)和测试数据集(299,625)。 1 Algorithm 1 architecture was based on Xception, which is a convolutional neural network that has achieved state-of-the-art performance at image recognition tasks 它用“ImageNet”重量初始化 ,通常用于初始化重量,以便在图像分类设置中实现更快的算法汇聚;所有层都是可训练的。图像通过随机加大(范围=0.2)和切割旋转(范围=0.2)加大。 我們用 VGG-16, ResNet50 和 InceptionNet-V3 等不同的架構進行實驗,但沒有發現 Xception 的增長效益。 網格搜尋被用來精準調整超參數。 在訓練過程中,測試數據集並沒有被使用,只用來報告最終的性能。 每個視頻的抽取框架中最常見的預測被分配為該視頻的形投影; 聯繫被解決,通過在所有框架中選擇具有最高平均概率的投影。 我們使用 Algorithm 1 重量作為一個“核心模型”,以初始化訓練後續的基於 Xception 架構的算法的重量。 33 34 5 算法2:主要解剖结构的分类 Algorithm 2 aimed to identify the primary anatomic structure present in an angiographic video (Supplementary Table ) ,因为在手术过程中捕捉含有非心脏解剖结构(如动脉或腿部动脉)的动脉图像是常见的,为了生成Algorithm 2训练数据,我们从提取的完整数据集中随机选择了14366张图像,而心脏病学家将每个图像分为描述主要解剖结构的11类之一(补充表) 该数据集被分为培训/开发/测试数据集,分别包含9887(70%),1504(10%)和2975(20%)图像。我们使用Xception架构训练Algorithm 2,从训练Algorithm 1初始化重量和调整超参数(补充表) ). Images were augmented by random zoom (range = 0.2) and shear rotate (range = 0.2). The predicted primary anatomic structure of a video was the mode prediction of all of its extracted Full Dataset frames. Only videos that primarily contained right or left coronary arteries flowed to Algorithm 3 for subsequent CathAI analyses (Supplementary Fig. ). F1 scores and model performance varied by anatomic class, but in general classes with lesser frames had lower performance (Supplementary Fig. ), suggesting a possibility to improve performance if more labeled data were available. 2 2 5 1 3B Algorithm 3: localization of angiogram objects 算法3旨在在左侧和右侧冠状动脉图像中定位相关物体(算法2的输出)。 ),CathAI管道最关键的任务是(i)识别冠状动脉细分,(ii)识别(如果存在)和(iii)定位其他相关物体,如导线或斯特诺托米等。为了生成Algorithm 3的培训数据,2338具有和没有的LCA和RCA的对比图像(如Algorithm 2所识别)由心脏病学家注释,他在图像中的所有相关物体周围放置了边界框(补充表) 在2338中,LCA或RCA是包含的主要解剖结构,并且动脉是很好的可视化,很不透明,而不是不足填充,根据注释心脏病学家。 3 3 在我们最后的CathAI管道中,我们训练了两个版本的Algorithm 3:Algorithm 3a被训练,并接受LCA和RCA图像作为输入。由于LAO投射中的RCA包含了我们数据集中最多的注释图像,我们还训练了一个专用的Algorithm 3b在这个投射中,以展示将一个算法集中在特定动脉/投射(RCA在LAO)上的可能的性能收益。为了训练Algorithms 3a/b,我们将我们的标记图像分为两个单独的数据集:一个包含左/右冠状动脉(2338个图像)和一个包含LAO投射图像(450个图像)中的RCA图像。每个数据集随后被分成90%的训练(分别为2104和405个图 Algorithms 3a/b employed the RetinaNet architecture and were trained using original hyperparameters 没有使用开发数据集 RetinaNet 实现了对象定位的最先进性能,例如自动驾驶汽车的行人检测。 对于我们的任务,Algorithms 3a/b输出边界框对每个输入图像中存在的任何对象的坐标。由于某些动脉细分在某些动脉预测中已知是预先缩短或不可见的,我们应用了后 hoc预测,以排除某些Algorithm 3a/b预测的动脉细分,根据Algorithm 1预测(补充表) 因此,这代表了来自两种CathAI管道算法的中间预测的合并,以实现更临床相关的总管道性能。 为了评估算法3a/b的性能,预测的坐标与使用交叉区域与联盟区域的比例(称为交叉联盟(IoU)的实地真理坐标进行了比较。 预测和注释坐标之间的IoU≥0.5被认为是真正的正面的,接下来,我们测量了平均精度(mAP),这代表了每个类的IoU的不同门槛上真实的正面的真实和假的正面的比例。 50% 的地图与此类任务的最先进的结果进行比较 , . 16 35 4 36 37 16 35 算法4:预测冠状动脉硬化百分比 算法4被开发来预测冠状动脉硬化症的严重程度,以百分比为准,因为输入图像围绕由算法3识别的状动脉细分切割。算法3a/b在所有报告数据集视频上运行,以定位动脉细分和硬化。包含一个硬化边界箱重叠的所有框架与IU ≥0.20的冠状动脉细分边界框架重叠的所有框架均为算法4的潜在输入框架。 匹配的程序报告值作为标签,以训练算法4的输入图像,根据算法3a/b边界框围绕石化动脉细分雕刻。从我们的数据集中删除了不匹配的 stenoses. 我们还排除了所有视频,其中冠状腺导线存在于4个以上的图像,正如算法3a/b自动确定(6.076个视频,41 780个通过导线识别的 stenosis-frames),因为这些视频可能代表透皮冠状干预,这可能会改变视频中的 stenosis百分比(补充图)。 );在插入冠状导线之前的研究中保留了视频;为了训练和验证Algorithm 4,我们将6258张非 stenosis冠状动脉细分的图像与剩余98756张 stenosis图像相结合。 1 1 一旦确认了狭窄,边缘框的坐标在所有尺寸中被扩大了12个像素,然后缩小和调整到三个预先确定的尺寸中最接近的:256*256像素(视角比1号),256*128像素(视角比2号)和128*256像素(视角比3号)。 由于非 stenosed 血管细分往往比焦点 stenosis 更长,这可能导致偏向训练,我们随机将所有非 stenosed 细分切成高度和宽度,反映了这种冠状血管细分内的 stenosis 图像大小的分布。 1 Algorithm 4 was based on a modified Xception architecture where the last layer (Softmax layer, used for classification) was replaced with an ‘average pool’ then dense layer with a linear activation function to enable prediction of stenosis severity as a continuous percentage value. Image metadata consisting of the coronary artery segment label and cropped aspect ratios were also added as inputs into the final layer of Algorithm 4, which improved performance. The algorithm output a percentage stenosis value between 0 and 100 for every input image representing the maximal stenoses in that coronary artery segment. The percentage value was then averaged across all frames of the stenosed artery segment in a video, then averaged across videos of the same artery segment to obtain a final stenosis percentage (artery-level percentage). 使用受过训练的算法1的模型重量进行了初始化,图像被随机转换(横向和垂直),随机对比,伽玛和亮度变化,随机应用适应性 histogram平衡(以改善图像的对比度)加大。 初始学习率为0.001,动力率为0.9和批量大小为12个,训练为50个时代。 38 对于Algorithm 4,我们修改了训练方案,以便每一个时代都以一个方面比的图像进行训练,而下一个时代的训练则以另一个方面比进行训练(复制前一次的所有重量),就像以前执行的多大输入一样。 我们在完整的测试数据集上测量了算法性能,其中包括三个方面比。我们观察到,多尺寸输入训练的趋同与其他使用固定尺寸训练的算法相似。 )。 39 7s Neural network explainability methods We applied two neural network explainability approaches to the fully-trained CathAI algorithms in order to better understand how algorithms made their predictions, respective to their relative tasks. The GradCAM 红色突出区域表示对算法预测更高的重要性,而更蓝色突出区域表示更低的重要性。 ,这凸显了图像中的个别像素,这些像素对算法预测做出最大贡献。 17 18 External validation 对于外部视觉验证,我们随机采样了1000个在奥塔瓦大学心脏研究所(UOHI)在2020年7月1日至2020年10月31日之间执行的冠状动脉动脉录像,并获得了相同的Philips Azurion系统(Koninklijke Philips N.V.,阿姆斯特丹,荷兰)在15fps上,使用Iopromide染色。 每个视频都应用了1000个冠状动脉录像(064个冠状动脉录像和3个冠状动脉录像)来识别和定位闭塞,而Algorithm 4预测了AI闭塞。 然后我们采样了每一个冠状动脉细胞录像的40个例子,以形成我们的外部验证数据集,确定了464个冠状动脉 To train CathAI Algorithm 4 for the different population distribution of the QCA dataset, we split the QCA dataset into training (75%), development (12.5%) and testing (12.5%) and fine-tuned the last two fully-connected layers of Algorithm 4, to allow the algorithm to learn to predict the QCA stenosis values from the input stenosis images rather than visually assessed stenosis. We performed a grid-search of initial learning rates from 1e−4 to 1e−8 and selected the rate which produced the lowest loss value on the development set in 100 epochs. We then trained the model starting with a learning rate of 1e-6 and dropping by a factor of 0.1 every 100 epochs, for 300 epochs. 量化冠状腺病毒数据集 The CathAI system provides an algorithmic foundation to be re-trained for future angiogram-relevant tasks. To demonstrate this, we obtained an external dataset of coronary angiograms of an a priori different patient population adjudicated at the Montreal Heart Institute (MHI) Core laboratory using the CMS QCA system (MEDIS, Leiden, Netherlands). This dataset was comprised of angiograms analyzed by the MHI Angiographic Core lab, obtained during randomized controlled trials (RCT) in ≥18 year old patients that had a coronary angiography intervention as part of the study, and received novel lipid lowering drugs or placebo The trials from which this data were derived used inclusion criteria that excluded patients with obstructive coronary artery disease (CAD) at the start of the study, which resulted in a majority of mild-to-moderate severity coronary stenosis in this dataset. QCA analysis was performed by two trained technicians and was supervised by an expert physician. For this dataset, severe stenosis was defined as ≥50% QCA stenosis severity , . 40 6 13 使用Philips (Koninklijke Philips N.V.,阿姆斯特丹,荷兰),通用电气医疗系统(General Electric,芝加哥,伊利诺伊,美国)和Toshiba (Toshiba Corporation, Minato City,东京,日本)在每秒 15 ,通过注入冠状动脉的 Iopromide 染料获取冠状动脉图像。在 MHI 核心实验室的每一个 QCA 硬化分析中,选取了具有最严重程度的硬化和最小分支叠加的硬化角度的末端硬化图像。 该 RCT QCA 数据集含有与真实世界临床 UCSF 数据集相比,先前不同的患者群体,因为所有的 stenoses ≥ 50% 在基线 angiogram 期间没有出现(但可能在后续的 angiogram 中出现),主要留下温和的 CAD 与平均 QCA stenosis 严重度为 31.7% ± 11.6%,这为研究 CathAI 如何为使用 QCA stenosis 标签的重新培训提供基础,以作为核心实验室 angiogram 分析的自动化工具。 算法评估与统计分析 根据每个任务,每个算法对分类值的性能进行了评估,使用积极的预测值(PPV),负的预测值,敏感性,特异性,接收器操作特征曲线(AUC)下的区域,F1分数和Bland-Altmann拼图。 和皮尔森相关性和CathAI的 Stenosis预测和报告 Stenosis 或 QCA Stenosis 之间的平均绝对错误。 41 使用 Keras v.2.24 和 TensorFlow v.1.12 训练神经网络,测试数据集中报告了最终算法性能。 在框架/图像水平上,使用精度(即积极的预测值),回忆(敏感性),并使用混淆矩阵绘制性能进行了评估,我们还得到了每个类的F1分数,这是精度和回忆之间的和谐平均值。 为了评估算法3a和3b,我们计算了在测试数据集中的每个类对象的预测边缘框坐标和专家注释边缘框坐标之间的联盟区域(IoU)上的交叉区域。 一个IoU≥0.5表示预测和真实边界框之间至少有50%的重叠面积,我们认为这是一个真正的正面,然后我们将算法3a/b的表现报告为平均精度(mAP)指数,该指数代表了每类IoU的不同门槛上的真实正面和假正面的比例。 与此类任务的最先进结果相比,MAP 值为 50% , 我们还通过计算我们在测试数据集中的所有类别的基本真理标签的IoU≥0.1的正确类预测比例来呈现算法3a和算法3b的平均平均精度,以及使用报告或QCA数据集作为基本真理的静止定位的积极预测值。 36 37 16 35 为了评估算法4,关注的主要指标是报告值(REPORT-stenosis)和预测值(AI-stenosis)在动脉水平之间的平均绝对错误。 , 图像水平的AI断层在视频中进行平均,以获得视频水平的AI断层,并与使用平均平方错误的 REPORT断层进行比较。 然后在视频水平和动脉水平中计算了 REPORT stenosis 和 AI stenosis 之间,可靠性被分类为差(< 0.5),中等(0.50 - 0.75),好(0.76 - 0.90),或出色(0.91 - 1.0)。 2 3 42 预测二进制“阻塞性”冠状动脉硬化,定义为 ≥70%硬化 , ,使用了0.54的门槛,优化了F1分数。基于此,我们还报告了接收器操作特征曲线(AUC)下的区域,敏感性,特异性和诊断率比 ,在框架水平、视频水平和动脉水平上,基于此门槛。 2 3 43 性能指标的信任间隔是通过在1000次迭代中启动80%的测试数据来获取第5和95个百分位值来获得的。我们还介绍了Algorithm 4的性能,按性别、左和右冠状动脉、动脉细分和年龄组分层。 相互作用的值(由Wald测试计算的CathAI硬化,硬化和硬化之间)。 我们根据视觉的≥70%切割分类了AI硬化和 REPORT硬化在一致和不一致的损伤组中。 P 报告总结 有关研究设计的更多信息可在 linked to this article. 自然研究报告总结 数据可用性 本研究中使用的数据来自临床护理,因此由于数据隐私问题,不会公开提供。 Code availability 支持这项工作的代码是加利福尼亚大学校长的版权,可以通过许可证提供。用于训练和验证算法的数据不能公开,因为它包含个人健康信息。 参考 Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 认可 RA 得到“Québec 健康研究基金”的资助(奖励 274831)。 JEO 获得了 NIH (U2CEB021881)的资助。 GHT 获得了国家卫生研究所 NHLBI K23HL135274 的资助。 KS 没有与此手稿相关的资助。 AW 获得了国家科学基金会研究生奖励第 DGE 1752814 的资助。 YS 获得了安大略省心脏和中风基金会的职业中期研究员奖。 J-CT 拥有加拿大个人化和翻译医学研究主席,蒙特利尔大学在动脉硬化领域的研究主席。 JEG 获得了 NSF CISE Expeditions Award CCF-1730628 的资助,以及亚马逊 Web Services, Ant Group, CapitalOne, Ericsson, Facebook, Futurewei, 本文在 CC by 4.0 Deed (Attribution 4.0 International) 许可证下可用。 本文在 CC by 4.0 Deed (Attribution 4.0 International) 许可证下可用。