CathAI: Investigadors construeixen una IA que llegeix escanes cardíaques com un cardiòleg

Els autors: Robert Avram Jeffrey E. Olgin i els seus Càritas Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Joan obre Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Els autors: Robert Avram Jeffrey E. Olgin i els seus Càritas Ahmed Lluís Verreault-Julien Alvin Wan Joshua Barrios Joan obre Derek Wan Josep E. Gonzalez Joan Tardif Derek Y. Així Cristian Soni Geoffrey H. Tison i els seus Abstracció La funció de predicció de l'angiografia de l'angiograma coronari (CAD) és el procediment principal per al diagnòstic i la gestió de decisions en la malaltia de l'angiograma coronari (CAD), però l'avaluació visual ad hoc dels angiogrames té una alta variabilitat. Aquí informem d'un enfocament completament automatitzat per interpretar l'angiografia de l'angiografia coronària de l'angiograma coronari estàndard. Amb l'ús de 13.843 estudis angiogràfics d'etiquetes estàndard de criteris per a 11.972 pacients adults de la Universitat de Califòrnia, San Francisco (UCSF), entre l'1 d'abril de 2008 i el 31 de desembre de 2019, formem xarxes neurals per Introduction La malaltia coronària (CHD) és la principal causa de mort als adults als Estats Units i a tot el món. , causat per plaques ateroscleròtiques que restrenyen les artèries coronàries, també anomenada malaltia coronària (CAD). El procediment d'angiografia coronària és el procediment estàndard d'or per diagnosticar l'estenosis coronària que, per tant, proporciona informació crucial per a les decisions de tractament CAD que van des de la teràpia mèdica sola fins a la revascularització amb stents coronaris o cirurgia de bypass L'estimació visual del metge de la gravetat de l'estenosi coronària a partir d'angiogrames segueix sent l'enfocament més comú i orientatiu per avaluar l'estrenyiment angiogràfic del lumen de l'artèria coronària. , . 1 2 2 3 No obstant això, les limitacions de l'estimació visual per a la gravetat de l'estenosi coronària estan ben descrites, i inclouen la variabilitat intra- i inter-observador, el bias de l'operador i la reproductibilitat pobra. , La variabilitat en l'avaluació de l'estenosi visual varia entre el 7,6 i el 22,5% , , I mentre que la qualitat de la imatge de l'angiografia coronària s'ha millorat, la variabilitat encara roman i és més gran en l'establiment d'un sol lector mèdic, que és de lluny el flux de treball clínic més comú. , L'avaluació visual de l'estenosi pot sobreestimar la gravetat de l'estenosi en més d'un quart dels casos i pot contribuir a la cirurgia de bypass coronari inadequada en el 17% dels pacients i l'ús d'estents en almenys el 10% dels pacients , , , Un enfocament més estandarditzat i reproduïble per a la interpretació de l'angiograma i l'avaluació de l'estenosi coronària tindria una importància clínica substancial. 4 5 4 5 6 4 7 8 4 5 6 8 Diverses proves adjuntives poden complementar l'avaluació CAD durant l'angiografia coronària, com ara l'avaluació fisiològica. , Imatge intra-vascular Encara que la majoria requereixen coneixements operadors addicionals i l'ús de catèters addicionals, per tant s'utilitzen en menys del 10-20% dels angiogrames coronaris. , , A més, la determinació de la necessitat de proves adjuntives encara depèn principalment de l'estimació visual del metge dels angiogrames durant el procediment d'angiografia per identificar la severitat intermèdia o una major estenosis coronària (per exemple, 40-69%) L'angiografia coronària quantitativa (QCA) és una tècnica que proporciona anàlisi d'angiogrames que permet una avaluació més estandarditzada de les estenosis. No obstant això, QCA no és completament automatitzat i requereix entrada d'operador per a la calibració d'imatge i la selecció de marcs, relegant-lo en gran mesura a les configuracions de recerca. , . 9 10 11 9 11 12 3 13 5 14 Els algoritmes d’intel·ligència artificial (IA), i en particular les xarxes neuronals profundes, han demostrat la capacitat d’automatitzar tasques clíniques importants en cardiologia i cardiologia intervencional. El nostre objectiu és desenvolupar i validar un enfocament automatitzat per a la interpretació de l'angiograma coronari, la localització de l'estenosi coronària i l'estimació de la gravetat dels angiogrames coronaris del món real. 15 Resultats El conjunt complet de dades va consistir en 13.843 estudis d'angiogrames complets (195.195 vídeos angiogràfics totals) de 11.972 pacients d'edat ≥ 18 anys de la Universitat de Califòrnia, San Francisco (UCSF), entre l'1 d'abril de 2008 i el 31 de desembre de 2019 (Fig. El complement de Fig. L'edat mitjana va ser de 63,5 ± 13,7 anys en el conjunt complet de dades i de 66,7 ± 12,0 anys en el conjunt de dades d'informes. 1a 1 Vídeos d'angiogrames flueixen d'un algorisme a l'altre per realitzar les 4 tasques crítiques necessàries per a la interpretació automatitzada. L'aplicació de CathAI a un exemple d'angiograma coronari. Un exemple de l'angiograma de l'arteria descendent anterior esquerra amb estenosis severa (proximal al segment mitjà) es mostra progressant a través del sistema CathAI per: identificar la projecció angiogràfica, identificar LCA (esquerra), col·locar caixes de limitació al voltant d'objectes com l'estenosis (zoom, mitjà), i predir la gravetat màxima de l'estenosis (dreta). a b El rendiment de CathAI per classificar l'angle de projecció angiogràfica, les estructures anatòmiques i la localització de l'objecte de l'angiogram Per classificar l'angle de projecció angiogràfica, CathAI va aconseguir un valor predictiu positiu ponderat en freqüència (PPV) de 0,90, sensibilitat de 0,90 i puntuació de F1 de 0,90 en el conjunt de dades de prova (Taula complementària). ). Angles de projecció altament utilitzats, com ara LAO Straight, RAO Straight i LAO Cranial, tenien un millor rendiment general. Per classificar l'estructura anatòmica primària continguda en un vídeo d'angiogrames, CathAI va aconseguir un PPV pesat en freqüència de 0,89, sensibilitat de 0,89 i puntuació de F1 de 0,89 en el conjunt de dades de prova (Taula El rendiment de CathAI va ser alt tant per a les artèries coronàries esquerra com dreta (LCA i RCA, respectivament), que són els objectes angiogràfics primaris d'interès: PPV i sensibilitat, respectivament, van ser de 0,97 i 0,94 per a LCA i 0,93 i 0,93 per a RCA. 8 1 Una vegada que es van identificar els vídeos d'angiogrames que principalment contenien els LCA i RCA, CathAI va localitzar objectes en l'angiogram mitjançant la predicció de les caixes de límit al voltant dels segments de l'artèria coronària, com ara la porció proximal d'una artèria coronària, regions d'estenosi, stents i cateters coronaris. Per mesurar el rendiment de CathAI per localitzar aquests objectes, es va utilitzar la precisió mitjana mitjana (mAP) per comparar les coordenades predites amb la veritat fonamental per a cada objecte. Taula complementària CathAI va localitzar correctament el 93,3% de les estenosis de les artèries coronàries (PPV) en el conjunt de dades de proves UCSF. 16 9 El rendiment de CathAI per predir la gravetat de l'estenosi L'algoritme final en el sistema CathAI estimava la gravetat de l'estenosi arterial coronària (Fig. Les estimacions previstes de la gravetat de l'estenosi van ser mitjanes de tots els vídeos d'angiogrames d'un estudi donat que visualitzaven un segment arterial particular (anomenat "nivell arterial"), que reflectia la pràctica clínica estàndard. En el conjunt de dades de proves, l'AUC de CathAI per identificar l'estenosi obstructiva era de 0,862 (CI del 95%: 0,843-0,880) a nivell arterial (Taula · Fig. La predicció de l'estenosi a nivell arterial es va dur a terme millor que les prediccions a nivell de vídeo o imatge (Fig. Taula complementària Per a la predicció de CathAI de la gravetat de l'estenosi com a percentatge continu d'estenosi, la diferència de percentatge mitjana absoluta entre l'AI-stenosi i l'informe-stenosi va ser de 17,9 ± 15,5% (Taula · Figura complementària. Hi va haver una diferència percentual mitjana absoluta significativament més baixa per al RCA versus el LCA (16,4 ± 15,0 versus 19,0 ± 15,8). 0 001 Taula Taula complementària CathAI tenia una AUC modestament més alta per identificar l'estenosi greu en capes de femelles vs. mascles [0.890 (95% CI: 0.864–0.923) vs. 0.830 (95% CI: 0.805–0.856) respectivament, valor per a la interacció: 0,02 1b 2 2a 2a 10 2 3 p 2 10 P Receiver Operating Characteristic Curves (ROC) per a la predicció CathAI de l'estenosi coronària obstructiva (</≥70%) en el conjunt de dades de prova. punt negre: llindar d'estenosi d'IA triat per optimitzar la puntuació F1 en el conjunt de dades a nivell de l'artèria. creu vermella: especificitat quan la sensibilitat es fixa al 80%. creu blau: sensibilitat quan la especificitat es fixa al 80%. Matriu de confusió per a la predicció CathAI de l'estenosi obstructiva vs. report-stenosi. UOHI Extern Validation Dataset-ROC per a la predicció CathAI de l'estenosi obstructiva (</≥70%). punt negre: llindar d'estenosi AI triat per optimitzar la puntuació F1 en el conjunt de dades a nivell arterial. creu vermella: especificitat quan la sensibilitat està fixada al 80%. creu blau: sensibilitat quan la especificitat està fixada al 80%. UOHI Extern Validation Dataset-Confusion matriu per a la predicció CathAI de l'estenosi obstructiva vs. adjudicators experts. àrea AUC sota la corba, interval de confiança CI, intel·ligència artificial AI. a b c d Of those ≥70% stenoses according to the REPORT-stenosis, CathAI classified 74.5% correctly (95% CI: 70.0–78.4%; 260/349, Fig. ); i d'aquests <70% estenosis per estenosis REPORT, l'algorisme 4 classificat 78.1% correctament (95% CI:76.1–80.1%; 1082/1385). Quan la sensibilitat de l'algorisme 4 per detectar estenosis coronària obstructiva es va fixar en 80.0%, la seva especificitat per detectar estenosis obstructiva va ser 74.1%; i quan la especificitat es va fixar en 80.0%, la seva sensibilitat per detectar estenosis obstructiva va ser 71.6%. CathAI sobreestimat estenosis lleus i estenosis greus subestimades (Fig. ) i 2b 2 3 Validació externa de CathAI en el conjunt de dades UOHI Per examinar la generalitzabilitat externa, vam aplicar CathAI a 464 vídeos d'angiogrames mostrats aleatòriament de la UOHI. En el cas de l'Alzheimer, l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia de l'al·lèrgia ( En aquest període, la concentració d'al·lèrgies en el cos humà s'ha reduït en un 84% ( = 360); en tots els 15.5% restants on el subsegment de l'artèria no era correcte, CathAI va assignar l'estenosi a l'artèria coronària correcta en general (LCA vs RCA). 4 n n La variabilitat entre observadors per a l'avaluació del percentatge d'estenosi entre els dos adjudicadors va ser del 15,7% ± 14,5%. Per a la determinació de l'estenosi obstructiva (</≥ 70%) els adjudicadors no es van acordar en el 16,8% de les stenoses com a obstructives ( = 78). vam calcular la mitjana aritmètica del percentatge d'estenosi dels dos adjudicadors per comparar-lo amb la predicció de la predicció de la severitat de l'estenosi de CathAI. , ); la sensibilitat va ser del 86,4% i la especificitat va ser del 67,3% (Fig. , el mateix llindar utilitzat com a conjunt de dades UCSF, 0.54). La diferència mitjana percentual absoluta entre l'AI-stenosi i el percentatge d'estenosi mitjana dels dos adjudicadors va ser 18.02% ± 11.02%. En el conjunt de dades UOHI, CathAI va trigar ~3-5 s per analitzar un vídeo angiogràfic, o 35 s per a un examen complet, utilitzant una GPU Nvidia GTX 1080 Ti. n 2C 3 2D Els principals resultats de la validació interna de la Universitat de Califòrnia, San Francisco (UCSF) i de la validació externa de l'Institut del Cor de la Universitat d'Ottawa (UOHI) es mostren per a cadascuna de les 4 tasques. Reentrenament de CathAI per predir l'estenosi de QCA El conjunt de dades QCA RCT va consistir en 709 pacients amb 858 exàmens (1384 estenosis; 18 greus ≥70%, 71 greus ≥50% però <70% i 1295 no greus). = 1384) d'estenosis (67,2% per a LCA i 86,8% per a RCA). La gravetat mitjana de l'estenosis segons l'avaluació de QCA va ser de 31,7 ± 11,6% (Figura complementària. Tenint en compte la divergent població de pacients del conjunt de dades de RCT QCA de criteris d'adjudicació CAD i QCA majoritàriament lleus (≥50% estenosis de QCA) en comptes d'estimació visual, el conjunt de dades de RCT QCA va proporcionar una oportunitat per re-entrenar CathAI per predir estenosis etiquetades amb QCA, a diferència de estenosis estimades visualment. ) i per a l'estenosi QCA ≥70%, l'AUC va ser de 0,75 (CI 95%: 0,570-0,930). La diferència mitjana d'estenosi entre l'estenosi predita per CathAI i l'estenosi estimada per QCA va ser de 6,5 ± 5,5% en el conjunt de dades de prova. n 5 11 Utilitzar la explicabilitat de les xarxes neuronals per entendre el rendiment de CathAI Per entendre millor els elements dins dels angiogrames que van contribuir a les prediccions de CathAI, vam aplicar dos enfocaments d'explicabilitat als algorismes de CathAI completament entrenats. Destaca les regions d'imatge més crítiques per a la predicció de CathAI, mostrant que va utilitzar regions com un cardiòleg, com ara l'artèria anterior anterior esquerra per identificar imatges de LCA (Fig. També hem derivat mapes de destacabilitat per a la predicció de la gravetat de l'estenosi de CathAI utilitzant el mètode de visualització ordenada de la informació (LOVI). Els píxels destacats (Fig. · Figura complementària. ) no només es van limitar als segments de les artèries estenoses, sinó també als segments normals i píxels immediatament adjacents a l'artèria, suggerint que la relació entre els segments de les artèries estenoses i no estenoses contribueix a la predicció de CathAI de la gravetat de l'estenosi. 17 4a 18 4b 6 GradCAM s'ha aplicat a la classificació CathAI de l'estructura anatòmica primària. Es mostren dues imatges d'angiogrames originals (esquerra), al costat de les imatges corresponents ressaltades per GradCAM (dreta) que mostren àrees de major importància per a les decisions d'algoritmes. àrees ressaltades per GradCAM enfocades al voltant de l'artèria coronària esquerra dins de la imatge de l'angiogram, amb el color blau indicant la menor importància, el color groc indicant la importància mitjana i el color vermell indicant la major importància per a la predicció de l'algoritme CathAI 2. LOVI Saliency Maps of CathAI predicció de la severitat de l'estenosi coronària. imatges d'angiogrames originals (a la part superior) i imatges corresponents amb mapes de saliència LOVI (a la part inferior). píxels blancs representen una major contribució a la predicció de CathAI (algorisme 4) mostrant que l'algorisme 4 es va centrar en píxels prop de la regió de l'estenosi coronària en la majoria dels casos. LOVI Layer Ordened Visualization of Information. a b Discussió Vam descriure el desenvolupament i la validació de la canonada CathAI composta per quatre algoritmes i vam demostrar avenços significatius en l'anàlisi automatitzada dels angiogrames coronaris. Cada algorisme va aconseguir una tasca específica que va facilitar l'assoliment de l'objectiu diagnòstic primari de l'angiografia coronària -avaluació de la severitat de l'estenosi de l'artèria coronària - aconseguint el rendiment de l'estat de l'art per a cada tasca. Importantment, CathAI era generalitzable, sense formació addicional, per predir estenosis estimades visualment a partir de angiogrames UOHI del món real no curats, un sistema mèdic separat en un país diferent. CathAI també va ser re-entrenat amb èxit per pred Els treballs anteriors han informat de xarxes neuronals que realitzen tasques individuals en entorns experimentals relacionats amb l'anàlisi d'angiogrames com l'extracció de marcs. , predicció de l'estenosi a partir d'imatges RCA (seleccionades manualment) , , , , , , Segmentació de vasos coronaris , Identificació de l'estètica No obstant això, al nostre coneixement, l'anàlisi totalment automatitzada i la predicció de l'estenosi per a vídeos d'angiograma coronari encara no s'ha demostrat en angiogrames del món real. , , , , , , probablement perquè té substancialment menys variabilitat anatòmica i complexitat en comparació amb el LCA, disminuint la dificultat d'analitzar els angiogrames de RCA. No obstant això, els enfocaments entrenats en angiogrames de RCA pre-seleccionats no poden analitzar conjunts de dades del món real, que inclouen vídeos d'artèria no RCA i no coronària. En un esforç recent, Du et al. van analitzar quadres individuals de angiogrames de LCA i RCA per localitzar segments coronaris i stenosi , but did not predict severity of stenosis which is a critical component. Our work advances the state-of-the-art that is generalizable to real-world external angiograms and mirroring the standard-of-care guideline-recommended “worst view” assessment , Perquè l'angiografia coronària és crítica per a totes les decisions clíniques de la CHD , La desviació de les prediccions de CathAI de l'avaluació visual d'experts humans estava ben dins, i sovint menys, de la variabilitat comunament reportada entre observadors , , , , ; mentre que la desviació QCA retrainada de CathAI va ser de 6,5 ± 5,5% en el conjunt de dades RCT QCA, que és substancialment inferior a la diferència de 10,2-16,6% entre l'avaluació visual del metge i la QCA reportada en la literatura. 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 L'anàlisi automatitzada dels angiogrames té més similituds amb la percepció de la tecnologia del "automòbil autònom" que amb l'anàlisi radiològica estàndard (és a dir, els raigs X), donades les captures de vídeo altament variables, determinades per l'operador dels angiogrames i la seqüència de tasques complexes necessàries per a l'anàlisi. L'anàlisi exitosa dels angiogrames del món real requereix que el sistema d'IA processï qualsevol tipus de vídeo que es trobi durant els procediments del món real, identifiqui imatges rellevants i localitzi amb precisió objectes importants. , , , , , , , proporciona proves de concepte que diversos algoritmes d'aprenentatge profund construïts amb propòsits múltiples poden superar les barreres que fins ara han impedit l'anàlisi d'angiogrames completament automatitzats. Les múltiples subtasques que CathAI realitza en el camí cap a la predicció de l'estenosis final proporcionen una base sòlida per donar suport a moltes tasques addicionals futures que es basen en qualsevol subtasca de CathAI, com predir la subexpansió de l'estent, la morfologia de la placa ateroscleròtica o la reserva de flux fraccional a partir de patrons de flux de contrast. CathAI es pot adaptar fàcilment a tasques addicionals. Com la tecnologia de cotxes autònoms, però, queda molta feina per aconseguir una precisió molt alta abans , Sens dubte, és probable que es necessiti una millora addicional en cadascun dels algoritmes individuals de CathAI abans del desplegament clínic, aconseguible per exemple mitjançant l'augment de les dimensions dels conjunts de dades anotats per experts humans o l'entrenament d'algoritmes construïts amb propòsit per a visions específiques (com ara un algorisme de localització de l'artèria només RCA-LAO). 19 20 21 22 23 24 25 28 2 3 La implicació clínica més immediata del desplegament d'una canonada com CathAI seria augmentar la normalització en l'avaluació de l'estenosi coronària. , , , , i entre el 10-17% en comparació amb un estàndard d'or QCA , influenciant directament les decisions per a les teràpies de revascularització de CHD que salven la vida. Múltiples estudis han reportat constantment una sobreestimació de l'estenosi per estimació visual , , Un estudi va reavaluar els angiogrames clínics per múltiples lectors, informant que la recomanació per a la cirurgia de bypass coronari va canviar de "necessari / apropiat" a "incert / inadequat" en el 17-33% dels casos, incloent el 10% dels casos per a les col·locacions d'estents. Aquest estudi S'ha suggerit realitzar una segona interpretació independent de l'angiograma abans de la revascularització, tot i que generalment és impossible i no és l'estàndard clínic de cura donat als fluxos de treball de cardiologia intervencional clínica. No obstant això, CathAI podria realitzar fàcilment aquesta funció d'una manera automatitzada i reproduïble per proporcionar prediccions gairebé en temps real durant el procediment per complementar el propi diagnòstic ad hoc dels metges. Tanmateix, ja que CathAI va ser entrenat amb les mateixes estenosis estimades visualment prejudicades, també tendeix a sobreestimar les estenosis. Per abordar això, CathAI podria ser re-entrenat utilitzant dades de QCA, que, com demostrem, tendeixen a predir estenosis menys greus com es 4 5 6 7 29 5 5 6 8 4 4 Alguns estudis recents han suggerit que pot haver-hi diferències de sexe en les estimacions d'estenosi, on les estenosis tendeixen a ser sobreestimades en les dones. Per investigar si CathAI podria ajudar a reduir aquest prejudici en l'estimació de l'estenosi entre sexes, vam comparar el rendiment de l'algorisme 4 entre homes i dones en el nostre conjunt de dades intern. La nostra anàlisi va trobar una diferència petita però significativa entre el rendiment de l'algorisme en capes d'homes i dones. 30 En comparació, el conjunt de dades de RCT QCA va representar no només un mètode diferent de l'adjudicació del conjunt de dades principal de RCTs (que també utilitza diferents llindars per a l'estenosis clínica severa ≥50% per a QCA vs. ≥70% per a l'estimació visual), fent-ho efectivament una tasca diferent, però un percentatge molt diferent de la població de pacients amb predominantment lleu-CAD a causa del disseny del conjunt de dades de RCTs Wevariable. En la majoria dels angiogrames clínics UCSF, com és comú en la pràctica clínica, l'estenosis coronària posseïble ≤50% per a QCA vs. ≥70% per a l'estimació visual, es va descriure simplement com a "est El nostre treball avaluat té diverses limitacions. Una limitació notable sorgeix del nostre ús d'etiquetes de formació derivades durant l'atenció clínica rutinària utilitzant l'estimació visual del metge. A causa de la naturalesa intensiva dels recursos de generar un gran nombre d'anotacions de cardiòlegs per a imatges angiogràfiques, per aconseguir el major conjunt de dades per a formar CathAI per a la severitat de l'estenosi, vam utilitzar els valors de l'estenosi de REPORT generats clínicament que estaven disponibles en grans nombres. Tot i que aquests van ser generats per cardiòlegs d'intervenció futurs formats per subespecialitat a UCSF, probablement encara mostren la variabilitat inherent a qualsevol etiqueta generada clínicament. Aquesta variabilitat tant en les dades d' El nostre objectiu amb aquest estudi de prova de concepte va ser demostrar els "blocs de construcció" necessaris per a la interpretació automàtica dels angiogrames coronaris, i no necessàriament reemplaçar l'estàndard clínic actual per a la interpretació dels angiogrames. Per aconseguir aquest últim, probablement es requerirà un esforç humà substancial per etiquetar grans conjunts de dades amb mètodes precisos. 31 En conclusió, CathAI és el primer tub d'anàlisi completament automatitzat de múltiples etapes per a angiogrames coronaris. CathAI aconsegueix un rendiment de l'estat de l'art per a cada tasca necessària per a la interpretació d'angiogrames del món real, és vàlid externament i proporciona una base per a futures tasques en la interpretació angiogràfica automatitzada. L'avaluació automatitzada de l'estenosi habilitada per CathAI pot servir per augmentar l'estandardització i la reproductibilitat en l'avaluació de l'estenosi coronària, una de les junctures més crítiques en la presa de decisions clíniques de la CHD. Mètodes Estudi de participants i estudis de datasets For our Full Dataset, we obtained retrospective, de-identified coronary angiographic studies from all patients 18 years or greater from the University of California, San Francisco (UCSF), between April 1, 2008 and December 31, 2019 (Supplementary Fig. ) that underwent a coronary angiogram. Patients without videos of the left or right coronary artery were excluded. Angiograms were acquired with Philips (Koninklijke Philips N.V., Amsterdam, Netherlands) and Siemens (Siemens Healthineers, Forchheim, Germany) systems at 15 frames per second using Iopromide contrast. We generated specifically annotated training datasets (either through available meta-data or expert annotation) of Full Dataset subsets for each of the four primary tasks performed by CathAI. 1 Per maximitzar els esforços d'etiquetatge manual necessaris per generar dades de formació per a cada Algoritme, vam generar un "conjunt de dades complet extraït" mitjançant la primera identificació automàtica dels quadres dins del vídeo que podrien contenir contrast màxim mitjançant el càlcul de la mesura de l'índex de similitud estructural (SSIM) des del quadre en la posició '0' on no hi ha normalment color, que anomenem quadre de referència. SSIM és superior si les imatges tenen valors de píxel similars i inferior si hi ha una diferència més gran. El quadre amb el més baix índex de similitud del quadre de referència va ser seleccionat com el més probable que contingui contrast màxim (per exemple, quan l'arteria està plena de contrast). = 1,418,297). Tots els quadres d'un vídeo es van convertir en imatges de dimensions 512*512 píxels per a l'anàlisi algorítmica. n Per a tots els algoritmes, excepte l'algorisme 3, les dades es van dividir aleatòriament per a cada algorisme en conjunts de dades de formació (70%), desenvolupament (10%) i prova (20%), cadascun dels quals contenia pacients no superposats. El conjunt de dades de desenvolupament es va utilitzar per al ajustament d'algorisme, quan era necessari. , . 16 32 Algorithm 1 labels were taken directly from the DICOM metadata describing the cranial-caudal and LAO-RAO orientations. Algorithm 2 and 3 required annotations by a board-certified cardiologist (Supplementary Fig. and Supplementary Table , i Per a l'algorisme 4, les estenosis es van prendre directament de l'informe procedimental. 8 1 2 3 El conjunt de dades del informe Poc després de realitzar el procediment, els cardiòlegs intervencionistes solen interpretar l'angiograma utilitzant l'avaluació visual, segons la pràctica clínica estàndard, i descriure la gravetat de l'estenosi coronària en l'informe del procediment. Aquest text de l'informe procedimental va ser analitzat (vegeu a continuació) per identificar: qualsevol descripció de l'estenosi coronària, el percentatge màxim d'estenosi (anomenat l'estenosi REPORT) i la seva ubicació en un dels 11 segments de l'arteria coronària (Taula complementària). Hem identificat 9782 estenosis coronàries en segments de les artèries (REPORT-estenosis) i identificat en 1766 vasos complets no estenosis que produeixen un total de 10.088 segments de vasos no estenosis, derivats de 84.153 imatges. Les metadades es van extreure de cada vídeo de l'angiograma, incloent la data del procediment, els angles de rotació primaris (Right Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) i secundaris (cranio-caudal), un identificador únic d'examen i un identificador únic del pacient. Es van eliminar de la base de dades les estenosis de REPORT no coincidents. També vam excloure els vídeos on hi havia un fil conductor intracoronari present en més de 4 quadres, tal com es determina automàticament per l'Algoritme 3 (6,076 vídeos, 41,780 quadres d'estenosis identificats amb fil conductor), ja que aquests vídeos probablement representen intervencions coronàries percutànies que podrien alterar el percentatge d' ); es van retenir vídeos d'estudis abans de la inserció d'un fil conductor intracoronari. 3 1 1 Mètodes de paràlisi de text El text lliure de l’informe procedimental es va segmentar primer utilitzant comes (“,”) o períodes (“.”). Quan es va trobar un segment coronari, vam identificar qualsevol descripció del percentatge d'estenosi corresponent localitzant "%" i el nombre més proper d'un a tres dígits en aquesta frase. Inicialment vam cercar utilitzant termes estàndard (com ara "artèria coronària dreta"), després vam ampliar les paraules clau mitjançant la revisió manual del text, a través de múltiples iteracions, per incloure les abreviatures més comunes, ortografia alternativa i permutacions (com ara "RCA"). Es van assignar descripcions qualitatives de la CHD obstructiva, com ara "mild", "moderat" o "grau" malaltia no es van extreure. A més, vam cercar paraules clau com ara "tromb", "obstrucció" o "oclusió" en el informe; No hem analitzat les occlusions i estenosis totals cròniques en diagonals, marginals, septals, ramus, artèria posterior posterior esquerra descendent, posterolateral esquerra o en trasplantaments de bypass. 3 3 Human subjects research Aquest estudi va ser revisat per la Universitat de Califòrnia, San Francisco Institutional Review Board i la necessitat de consentiment informat es va renunciar. la validació externa va ser revisada i aprovada per la Universitat d'Ottawa Institutional Review Board. Desenvolupament d'algoritmes El sistema CathAI es compon de 4 algorismes de xarxa neural organitzats en una canonada (Fig. Les imatges angiogràfiques s'analitzen per cada algorisme i "flueixen" seqüencialment cap al següent per dur a terme les quatre tasques fonamentals per a l'anàlisi automatitzada de l'angiograma: (1) la classificació de l'angle de projecció angiogràfica; (2) la classificació de l'estructura anatòmica primària d'un angiograma; (3) la localització d'objectes rellevants dins d'un angiograma, inclosos els subsegments i estenosis de l'artèria coronària; (4) la predicció de la severitat de l'estenosi de l'artèria coronària (com a percentatge de restrenyiment de l'artèria). 1a Hem personalitzat cadascuna de les 4 arquitectures de xarxes neuronals de base de l'algoritme de CathAI per aconseguir una tasca relacionada amb l'angiograma, tal com es detalla en les seccions següents. Com a resum d'alt nivell, l'algorisme 1 va acceptar imatges individuals (frames de vídeo de l'angiograma coronari) com a entrada i va identificar l'angle de projecció angiogràfica utilitzat descrit per LAO-RAO i els eixos cranial-caudal (LAO cranial, RAO caudal, etc.); les etiquetes estaven disponibles a partir de les metadades de cada vídeo. ), ja que és comú capturar vídeos d'angiogrames que contenen estructures anatòmiques no cardíaques com l'aorta o l'artèria femoral. L'algorisme 2 va permetre a CathAI centrar-se posteriorment en només vídeos d'angiogrames que contenien principalment les artèries coronàries esquerra i dreta (LCA i RCA, respectivament). L'algorisme 3 va localitzar objectes rellevants dins de les imatges de la LCA i RCA mitjançant l'extracció de coordenades de la caixa límit per a objectes identificats (Vídeo complementari). La localització de l'estenosis de l'artèria coronària es va assignar segons la major superposició entre les dues caixes de limitació predicades de l'algorisme 3 del subsegment L'algorisme 4 va acceptar imatges tallades al voltant de segments de les artèries estenoses (per les caixes de limitació de l'algorisme 3) i va predir el percentatge màxim d'estenosi dins de la imatge com un valor continu entre 0 i 100 per a cada imatge. 2 1b Algoritme 1: Classificació de l'angle de projecció angiogràfica L'angle de projecció es refereix a l'angulació fluoroscòpica utilitzada per obtenir la imatge, comunament descrita en dos eixos definits per LAO-RAO i cranial-caudal (LAO cranial, RAO caudal, etc.). A continuació, dividim el conjunt complet de dades extret en formació (990,082), desenvolupament (128,590) i conjunts de dades de proves (299,625). 1 L'arquitectura d'Algorithm 1 es va basar en Xception, que és una xarxa neural convolucional que ha aconseguit un rendiment d'avantguarda en tasques de reconeixement d'imatges. Es va inicialitzar amb els pesos ‘ImageNet’ , com s'ha fet habitualment per inicialitzar els pesos per a una convergència d'algoritmes més ràpida en la configuració de classificació d'imatges; totes les capes eren entrenables. Les imatges es van augmentar mitjançant zoom aleatori (interval = 0,2) i rotació de tall (interval = 0,2). El conjunt de dades de desenvolupament es va utilitzar per comparar iterativament el rendiment de l'algoritme i els hiperparàmetres de tonyina fina utilitzant la cerca de xarxa (Taula complementària) ). vam experimentar amb diferents arquitectures com VGG-16, ResNet50 i InceptionNet-V3, però no vam trobar cap benefici incremental sobre Xception. Es va utilitzar una cerca de xarxa per ajustar els hiperparàmetres. El conjunt de dades de prova no es va utilitzar en absolut durant l'entrenament i només es va utilitzar per informar el rendiment final. La predicció més comuna a través de les marques extretes de cada vídeo es va assignar com la projecció angiogràfica d'aquest vídeo; es van abordar els vincles seleccionant la projecció amb la probabilitat mitjana més alta en tots els marcs. Vam utilitzar els pesos de l'Algorisme 1 com un "model de nucli" per inicialitzar els pesos per a l'entrenament dels algoritmes posteriors basats en l'arquitectura Xception. 33 34 5 Algoritme 2: Classificació de l'estructura anatòmica primària Algoritme 2 destinat a identificar l'estructura anatòmica primària present en un vídeo angiogràfic (Taula complementària) ), ja que és comú capturar vídeos d'angiogrames que contenen estructures anatòmiques no cardíaques com l'aorta o l'artèria femoral durant el procediment. Per generar dades d'entrenament d'Algoritme 2, vam seleccionar a l'atzar 14.366 imatges del conjunt complet de dades extret, i un cardiòleg va categoritzar cada imatge en una de les 11 classes que descriuen l'estructura anatòmica primària (Taula complementària) Aquest conjunt de dades es va dividir en conjunts de dades de Formació/Desenvolupament/Test, que contenien 9887 (70%), 1504 (10%), i 2975 (20%) imatges, respectivament. Les imatges es van augmentar per zoom aleatori (interval = 0,2) i rotació de tall (interval = 0,2). L'estructura anatòmica primària predita d'un vídeo va ser la predicció de la manera de tots els seus marcs del conjunt complet de dades extrets. Només els vídeos que contenien principalment les artèries coronàries dretes o esquerres van fluir a l'algorisme 3 per a les anàlisis posteriors de CathAI (Figura complementària. ). F1 scores and model performance varied by anatomic class, but in general classes with lesser frames had lower performance (Supplementary Fig. ), suggerint una possibilitat de millorar el rendiment si hi hagués més dades etiquetades disponibles. 2 2 5 1 3b Algoritme 3: localització dels objectes de l'angiogram L'algorisme 3 tenia com a objectiu localitzar objectes rellevants dins de les imatges de les artèries coronàries esquerra i dreta (la sortida de l'algorisme 2). ), les tasques més crítiques per a la canonada CathAI van ser (i) identificar segments de les artèries coronàries, (ii) identificar estenosis (si n'hi ha) i (iii) localitzar altres objectes rellevants com ara guies o sternotomia. Per generar dades de formació per a l'Algoritme 3, 2338 imatges que contenien contrast de LCA i RCA amb i sense estenosis (com s'identifica amb l'Algoritme 2) van ser anotades per un cardiòleg que va col·locar caixes de límit al voltant de tots els objectes rellevants en la imatge (Taula complementària). Només es van etiquetar estenosis en els principals vasos epicàrdiques, no branques laterals com diagonals o marginals.En el 100% dels 2338 quadres, la LCA o RCA era l'estructura anatòmica primària continguda, i l'artèria estava ben visualitzada, ben opaca i no subomplida, segons el cardiòleg anotador. 3 3 En el nostre últim pipeline dedicat a CathAI vam entrenar dues versions de l'Algoritme 3: L'Algoritme 3a va ser entrenat i va acceptar les imatges LCA i RCA com a entrades. Atès que el RCA en la projecció de LAO contenia el major nombre d'imatges anotades en el nostre conjunt de dades, també vam entrenar un Algoritme 3b dedicat en aquesta projecció per demostrar els possibles guanys de rendiment de centrar un algorisme en una artèria/projecció específica (RCA en LAO). Per entrenar els Algoritmes 3a/b, vam dividir les nostres imatges etiquetades per a aquesta tasca en dos conjunts de dades separats: Un que contenia artèries coronàries esquerra/dreta (2,338 imatges) i un que contenia imatges Els algoritmes 3a/b van emprar l'arquitectura RetinaNet i van ser entrenats utilitzant hiperparàmetres originals. RetinaNet ha aconseguit un rendiment d'avantguarda per a la localització d'objectes com la detecció de vianants per a cotxes autònoms Per a la nostra tasca, l'algorisme 3a/b limita les coordenades de la caixa de sortida per a qualsevol objecte present en cada imatge d'entrada.Com que alguns segments de les artèries en determinades projeccions angiogràfiques són coneguts a priori per ser preescurçats o no visibles, hem aplicat una heurística post-hoc per excloure determinats segments de les artèries predites per l'algorisme 3a/b de les projeccions angiogràfiques tal com prediu l'algorisme 1 (Taula Suplementària). ). This thereby represents a fusion of intermediate predictions from two CathAI pipeline algorithms to achieve more clinically-relevant overall pipeline performance. To assess Algorithm 3a/b performance, the predicted coordinates were compared with the ground-truth coordinates using the ratio of the area of intersection over the area of union (called Intersection-over-union [IoU]) A continuació, vam mesurar la precisió mitjana (mAP), que representa la proporció de veritables positius sobre veritables i falsos positius en diferents llindars d'IoU, per a cada classe. Un mapa del 50% es compara amb els resultats de l'estat de l'art per a aquest tipus de tasca , . 16 35 4 36 37 16 35 Algorithm 4: predicting the percentage of coronary artery stenosis L'algorisme 4 es va desenvolupar per predir la severitat de l'estenosi de l'artèria coronària com a percentatge, donant imatges d'entrada tallades al voltant de segments de l'artèria estenosa identificats per l'algorisme 3. Els algoritmes 3a/b es van executar en tots els vídeos del conjunt de dades de l'informe per localitzar segments d'artèria i estenosis. Tots els quadres que contenien una caixa de limitació d'estenosi que es superposava amb una caixa de limitació del segment de l'artèria coronària amb IoU ≥0.20 comprenien marcs d'entrada potencials per a l'algorisme 4. Una estenosi es va localitzar al segment d'artèria que l'algorisme 3 va identificar que tenia la major superposició per Els valors de l'informe procedimental coincidits van servir com a etiquetes per entrenar l'Algorisme 4 amb imatges d'entrada tallades al voltant de segments de les artèries estenoses d'acord amb les caixes de límit de l'Algorisme 3a/b. Les estenoses no coincidents van ser eliminades del nostre conjunt de dades. També vam excloure tots els vídeos on un fil conductor intracoronari estava present en més de 4 quadres, tal com es determina automàticament per l'Algorisme 3a/b (6,076 vídeos, 41,780 quadres d'estenosi identificats amb fil conductor), ja que aquests vídeos probablement representen intervencions coronàries percutànies que podrien alterar el percentatge d'estenosi dins d'aquest vídeo (Figura addicional. Per entrenar i validar l'Algoritme 4, vam combinar 6258 imatges de segments de l'artèria coronària no estenoses amb les restants 98.756 imatges d'estenosis. 1 1 Una vegada que es va identificar una stenosis, les coordenades de la caixa de límit es van ampliar per 12 píxels en totes les dimensions, després es van tallar i es van reduir a la mida més propera de les tres dimensions predeterminades: 256*256 píxels (relació d'aspecte núm. 1), 256*128 píxels (relació d'aspecte núm. 2) i 128*256 píxels (relació d'aspecte núm. 3). Això es va realitzar per maximitzar la relació de senyal a soroll (vaixell a fons) a causa de les diferents orientacions dels vasos i les dimensions d'estenosis. Com que els segments de vasos no estenosos tendeixen a ser més llargs que l'estenosi focal, que pot ser un entrenament biòtic, hem tallat a l'atzar tots els segments no estenosos a una alçada i una amplada, reflectint la distribució de les mides d'imatge de l'estenosi dins d'aquest segment coronari. 1 L'algorisme 4 es va basar en una arquitectura modificada de Xception on l'última capa (la capa Softmax, utilitzada per a la classificació) va ser substituïda per una "piscina mitjana" després d'una capa densa amb una funció d'activació lineal per permetre la predicció de la gravetat de l'estenosi com un valor de percentatge continu. Les metadades d'imatge que consisteixen en l'etiqueta del segment de l'artèria coronària i les proporcions d'aspecte tallat també es van afegir com a entrades a la capa final de l'algorisme 4, que va millorar el rendiment. L'algorisme va produir un valor d'estenosi percentatge entre 0 i 100 per a cada imatge d'entrada que representava l'estenosi màxima en aquest segment Model weights were initialized using those from the trained Algorithm 1. Images were augmented by random flip (both horizontal and vertical), random contrast, gamma and brightness variations, random application of adaptive histogram equalization (To improve contrast in images). The algorithms were trained to minimize the squared loss between the predicted (AI-stenosis) and the report-stenosis using the RADAM optimizer amb una taxa d'aprenentatge inicial de 0,001, momentum de 0,9 i mida de lot de 12, entrenats per 50 èpoques. 38 Per a l'Algoritme 4, hem modificat l'esquema d'entrenament de manera que cada època es va entrenar en imatges d'una proporció d'aspecte, amb l'entrenament de la següent època en una altra proporció d'aspecte (copiant tots els pesos de la iteració anterior), com es va fer anteriorment per a les entrades de múltiples mides Això es va repetir fins a la convergència. Vam mesurar el rendiment de l'algorisme en el conjunt de dades de prova complet, que consisteix en les tres proporcions d'aspecte. Vam observar que la convergència de l'entrenament d'entrada de múltiples mides era com altres algoritmes que utilitzaven una mida fixa per a l'entrenament. També vam examinar diversos enfocaments i seqüències de preprocessament sense millora en el rendiment de l'algorisme (Taula complementària) ) i 39 7S Mètodes d'explicació de xarxes neuronals Hem aplicat dos enfocaments d'explicabilitat de xarxes neuronals als algorismes CathAI completament entrenats per tal de comprendre millor com els algorismes van fer les seves prediccions, respecte a les seves tasques relatives. La tècnica destaca les regions d'imatge més crítiques per a la predicció. Les àrees destacates en vermell indiquen una major importància per a la predicció de l'algorisme, mentre que les àrees destacates més en blau indiquen una menor importància. Els píxels més brillants representen una major contribució a la predicció de l'algorisme. 17 18 External validation Per a la convalidació binària d'Alzinosis, vam fer una mostra aleatòria de 1.000 vídeos d'angiograma coronari realitzats a l'Institut de Cor de la Universitat d'Ottawa (UOHI) entre l'1 de juliol de 2020 i el 31 d'octubre de 2020, adquirits amb els mateixos sistemes d'alzinosis d'Alzinosis (Koninklijke Philips N.V., Amsterdam, Països Baixos), a 15 fps, utilitzant el colorant de Iopromide. Els algoritmes 1, 2 i 3 es van aplicar a cada vídeo per identificar i localitzar estenosis, i els algoritmes 4 van predir l'estenosis d'AI. Després vam recollir fins a 40 exemples de vídeos d'angiograma per segment de l'artèria coronària per formar el nostre conjunt Per entrenar l'Algoritme 4 de CathAI per a la diferent distribució de la població del conjunt de dades de QCA, vam dividir el conjunt de dades de QCA en formació (75%), desenvolupament (12.5%) i proves (12.5%) i vam ajustar les dues últimes capes completament connectades de l'Algoritme 4, per permetre que l'algorisme aprengués a predir els valors de l'estenosi de QCA a partir de les imatges d'entrada de l'estenosi en comptes d'avaluar visualment l'estenosi. Vam realitzar una cerca a la xarxa de les taxes d'aprenentatge inicials de 1e−4 a 1e−8 i vam seleccionar la taxa que va produir el valor de pèrdua més baix en el desenvolupament en 100 èpoques. Angiografia coronària quantitativa El sistema CathAI proporciona una base algorítmica per ser re-entrenat per a futures tasques relacionades amb angiogrames. Per demostrar-ho, hem obtingut un conjunt de dades externs d'angiogrames coronaris d'una població de pacients diferents a priori adjudicats al laboratori del Montreal Heart Institute (MHI) Core utilitzant el sistema CMS QCA (MEDIS, Leiden, Països Baixos). Aquest conjunt de dades va consistir en angiogrames analitzats pel laboratori MHI Angiographic Core, obtinguts durant assaigs controlats aleatoris (RCT) en pacients ≥ 18 anys d'edat que tenien una intervenció d'angiografia coronària com a part de l'estudi, i van rebre nous fàrmacs per reduir els lípids o un plac Els estudis dels quals es van derivar aquestes dades van utilitzar criteris d'inclusió que van excloure pacients amb malaltia coronària obstructiva (CAD) al començament de l'estudi, el que va donar lloc a una majoria d'estenosi coronària de severitat lleu a moderada en aquest conjunt de dades. L'anàlisi de QCA va ser realitzada per dos tècnics formats i va ser supervisada per un metge expert. , . 40 6 13 Les imatges de l'angiograma coronari es van obtenir utilitzant les imatges de Philips (Koninklijke Philips N.V., Amsterdam, Països Baixos), General Electric Medical Systems (General Electric, Chicago, Illinois, Estats Units) i Toshiba (Toshiba Corporation, Minato City, Tòquio, Japó) a 15 quadres per segon, per injecció de tinta Iopromide a les artèries coronàries. Per a cada anàlisi de l'estenosi QCA al laboratori del nucli de MHI, es va seleccionar un marc final-diastòlic amb angulacions que mostren millor l'estenosi en el seu grau més sever amb un preescurçament mínim i una superposició de branques. Aquest conjunt de dades RCT QCA contenia una població de pacients diferent a priori del conjunt de dades clínics UCSF del món real, ja que totes les estenosis ≥ 50% no estaven presents durant l'angiograma de base (però podrien estar presents en un angiograma de seguiment), deixant principalment lleu-CAD amb una severitat mitjana de l'estenosis de QCA de 31,7% ± 11,6%. Això proporcionava una oportunitat òptima per examinar com CathAI podria proporcionar una base per a la reentrenament utilitzant etiquetes d'estenosis de QCA per funcionar com una eina automatitzada per a l'anàlisi de l'angiograma de laboratori bàsic. Vam dividir el conjunt de dades de QCA en formació (75%), desenvolupament (12.5%) i Avaluació d'algoritmes i anàlisi estadística Segons sigui apropiat per a cada tasca, es va avaluar el rendiment de cada algorisme per a valors categòrics utilitzant el valor predictiu positiu (PPV), el valor predictiu negatiu, la sensibilitat, l'especificitat, l'àrea sota la corba característica operativa del receptor (AUC), la puntuació F1 i els plots Bland-Altmann. i la correlació de Pearson i l'error absolut mitjà entre la predicció de l'estenosi de CathAI i l'estenosi de l'informe o l'estenosi de QCA. Tots tres centres informen d'estenosi de percentatge continu com a part de la seva atenció clínica rutinària. 41 Neural networks were trained using Keras v.2.24 and TensorFlow v.1.12. Final algorithms performance was reported in the Test Dataset. All analyses were performed using Python 2.7. Els algoritmes 1 i 2 es van avaluar a nivell de quadre/imatge utilitzant precisió (és a dir, valor predictiu positiu), recull (sensibilitat) i plànol del rendiment utilitzant matrius de confusió. Per avaluar l'algorisme 3a i 3b, hem calculat l'àrea d'intersecció sobre l'àrea d'unió (IoU) entre les coordenades de la caixa de limitació predites i les coordenades de la caixa de limitació anotades per experts d'objectes de cada classe en el conjunt de dades de prova. Un IU ≥ 0,5 significa almenys la superfície del 50% de la superfície entre les caixes de límit veritable i predit, que consideràvem un veritable positiu.Llavors reportem el rendiment de l'Algoritme 3a/b com la mètrica de precisió mitjana (mAP), que representa la relació de veritables positius sobre veritables i falsos positius en diferents llindars d'IU, per a cada classe Un valor de mAP del 50% es compara amb els resultats de l'estat de l'art per a aquest tipus de tasca , També presentem la precisió mitjana mitjana per a l'algorisme 3a i l'algorisme 3b calculant la proporció de la predicció correcta de classe amb una IoU ≥ 0,1 amb el nostre etiquetatge de veritat fonamental en totes les nostres classes en el nostre conjunt de dades de prova, així com el valor predictiu positiu de la localització de l'estenosi utilitzant l'informe o el conjunt de dades QCA com a veritat fonamental. 36 37 16 35 Per avaluar l'algorisme 4, la mètrica primària d'interès va ser l'error mitjà absolut entre el valor reportat (REPORT-stenosi) i el valor predit (AI-stenosi) al nivell de l'artèria. Això reflecteix la pràctica clínica estàndard basada en directrius per a l'estimació de l'estenosi, mitjançant la mesura de l'estenosi en múltiples projeccions orthogonals i l'informe del grau màxim d'estenosi restrenyiment , . Image-level AI-stenosis was averaged across a video to obtain video-level AI-stenosis and compared against REPORT-stenosis using the mean squared error. Pearson and Intra-class correlation (ICC) and Bland-Altman La fiabilitat es va classificar com a pobra (< 0,5), moderada (0,50-0,75), bona (0,76-0,90), o excel·lent (0,91-1.0).(52) Finalment, presentem l'error quadrat mitjà entre REPORT-stenosi i AI-stenosi al nivell de vídeo. 2 3 42 Per predir l'estenosis coronària binària "obstructiva", definida com a estenosis ≥70% , , es va utilitzar un llindar de 0,54 que va optimitzar la puntuació de F1. Basant-se en això, també reportem l'àrea sota la corba característica operativa del receptor (AUC), sensibilitat, especificitat i ratio de probabilitats diagnòstiques , al nivell del quadre, el nivell de vídeo i el nivell de l'artèria, basat en aquest llindar. 2 3 43 Els intervals de confiança per a les mètriques de rendiment es van derivar mitjançant el bootstrapping del 80% de les dades de la prova a través de 1.000 iteracions per obtenir els valors percentil 5 i 95. valors per a la interacció (entre l'estenosi CathAI, les covariats i l'estenosi particular calculada per la prova de Wald). Hem categoritzat l'AI-stenosi i REPORT-stenosi en grups de lesions concordants i discordants basats en el tall visual ≥ 70%. Per a lesions discordants presentem la seva prevalença, estratificada per segment de l'artèria coronària. Per a lesions / dades de nivell de vasos, un model de regressió logística d'efectes mixtos com s'utilitza per tenir en compte la correlació dins del subjecte i per a angiogrames repetits. P Resum informatiu Més informació sobre el disseny està disponible a la Enllaç a aquest article. Resum de la investigació Nature Disponibilitat de dades Les dades utilitzades en aquest estudi són derivades de l'atenció clínica i, per tant, no es posen a disposició pública a causa de preocupacions de privacitat de dades. sol·licituds raonables per a la col·laboració utilitzant les dades es poden fer dels autors, sempre que sigui possible i permès pels Regents de la Universitat de Califòrnia. Disponibilitat del codi El codi que dóna suport a aquesta obra és copyright dels Regents de la Universitat de Califòrnia i pot ser posat a disposició mitjançant llicència.Les dades utilitzades per entrenar i validar l'algorisme no es poden fer públiques ja que conté informació personal de salut. Referències Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 Reconeixement RA està recolzat pels “Fonds de la recherche en santé du Québec” (Grant 274831). JEO ha rebut fons del NIH (U2CEB021881). GHT ha rebut suport dels Instituts Nacionals de Salut NHLBI K23HL135274. KS no té cap finançament rellevant relacionat amb aquest manuscrit. AW està recolzat per la Fundació Nacional de la Ciència Graduate Research Fellowship sota el Grant No. DGE 1752814. YS està recolzat per un Premi d'Investigador de Mitja Carrera per la Fundació Heart and Stroke d'Ontario. J-CT té la Càtedra de Recerca del Canadà en Medicina Personalitzada i Translacional i la Universitat de Montreal té la Càtedra de Recerca en Aterosclerosi. JEG està finançat pel Premi Aquest document està disponible en la naturalesa sota la llicència CC by 4.0 Deed (Attribution 4.0 International). Aquest document està disponible en la naturalesa sota la llicència CC by 4.0 Deed (Attribution 4.0 International).