Onderzoekers bouwen AI die hartscans leest zoals een cardioloog

De auteurs: Robert Avram Jeffrey E. Olgin Zeeshan Ahmed van Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. Zo Krishan Sonja Geoffrey H. Tison De auteurs: Robert Avram door Jeffrey E. Olgin Zeeshan Ahmed van Louis Verreault-Julien Alvin Wan Joshua Barrios Sean opent van Derek Wan van Joseph E. Gonzalez van Jean-Claude Tardif Derek Y. Zo Krishan Sonja van Geoffrey H. Tison Abstractie Cathworld coronaire angiografie is de primaire procedure voor de diagnose en het beheer van beslissingen in coronaire angiografie (CAD), maar ad-hoc visuele beoordeling van angiogrammen heeft een hoge mate van variabiliteit. Hier rapporteren we een volledig geautomatiseerde benadering om angiografische coronaire angiografie van standaard coronaire angiogrammen te interpreteren. Met behulp van 13.843 angiografische studies van 11.972 volwassen patiënten aan de Universiteit van Californië, San Francisco (UCSF), tussen 1 april 2008 en 31 december 2019, trainen we neurale netwerken om vier sequentiële nodige taken te vervullen voor automatische coronaire angiografie localisatie en schatting. Algoritmen worden intern gevalideerd tegen criteria-standaard labels voor elke Introductie Coronaire hartziekte (CHD) is de belangrijkste doodsoorzaak voor volwassenen in de Verenigde Staten en wereldwijd , veroorzaakt door atherosclerotische plaques die de coronaire slagaders vernauwen, ook wel coronaire arteriële ziekte (CAD) genoemd. de coronaire angiografie procedure is de gouden standaard procedure voor de diagnose van coronaire arteriële stenose die daarom cruciale informatie biedt voor CAD behandeling beslissingen variërend van medische therapie alleen tot revascularisatie met coronaire stents of bypass chirurgie Arts visuele schatting van de ernst van coronaire stenose van angiogrammen blijft de meest voorkomende, richtsnoeren-ondersteunde aanpak om de angiografische vernauwing van het lumen van de coronaire slagader te evalueren , . 1 2 2 3 De beperkingen van visuele schatting voor de ernst van coronaire stenose zijn echter goed beschreven en omvatten intra- en inter-waarnemer variabiliteit, operator bias en slechte reproduceerbaarheid. , Variabiliteit in de beoordeling van visuele stenose varieert van 7,6 tot 22,5% , , En hoewel de beeldkwaliteit van coronaire angiografie is verbeterd, blijft de variabiliteit nog steeds en is groter in de instelling van een enkele artslezer, wat verreweg de meest voorkomende klinische werkstroom is. , Visuele beoordeling van stenose kan de ernst van stenose in meer dan een kwart van de gevallen overschatten. en kan bijdragen aan ontoereikende coronaire bypass chirurgie bij 17% van de patiënten en stent gebruik bij ten minste 10% van de patiënten , , , Een meer gestandaardiseerde, reproduceerbare benadering van angiogram interpretatie en coronaire stenose beoordeling zou substantiële klinische betekenis hebben. 4 5 4 5 6 4 7 8 4 5 6 8 Verschillende aanvullende tests kunnen de CAD-evaluatie tijdens coronaire angiografie aanvullen, zoals fysiologische evaluatie , Intra-vasculaire beeldvorming , though most require additional operator expertise and use of additional catheters, thus are used in less than 10–20% of coronary angiograms , , Bovendien is het bepalen van de noodzaak van aanvullende testen nog steeds voornamelijk afhankelijk van de visuele beoordeling door de arts van angiogrammen tijdens de angiografieprocedure om middelmatige ernst of grotere coronaire stenose (bijv. 40-69%) te identificeren. Kwantitatieve coronaire angiografie (QCA) is een techniek die analyse van angiogrammen biedt die een meer gestandaardiseerde stenose-evaluatie mogelijk maakt. QCA is echter niet volledig geautomatiseerd en vereist operatorinvoer voor beeldkalibratie en frameselectie, waardoor het grotendeels wordt teruggebracht naar onderzoeksinstellingen. , . 9 10 11 9 11 12 3 13 5 14 Kunstmatige intelligentie (AI) algoritmen, en diepe neurale netwerken in het bijzonder, hebben aangetoond het vermogen om belangrijke klinische taken in cardiologie en interventionele cardiologie te automatiseren. Ons doel is om een geautomatiseerde aanpak te ontwikkelen en te valideren voor coronaire angiogram interpretatie, coronaire arteriële stenose lokalisatie en schatting van de ernst van echte coronaire angiogrammen. 15 Results De volledige dataset bestond uit 13.843 volledige angiogram studies (195.195 totaal angiografische video's) van 11.972 patiënten ≥ 18 jaar oud van de Universiteit van Californië, San Francisco (UCSF), tussen 1 april 2008 en 31 december 2019 (Figuur. Aanvullende Fig. De gemiddelde leeftijd was 63,5 ± 13,7 jaar in de Full Dataset en 66,7 ± 12,0 jaar in de Report Dataset. 1a 1 Overzicht van de CathAI-pijplijn voor geautomatiseerde angiograminterpretatie. Angiogram-video's stromen van het ene algoritme naar het volgende om de 4 kritieke taken te volbrengen die nodig zijn voor geautomatiseerde interpretatie. Toepassing van CathAI op een voorbeeld coronaire angiogram. Een voorbeeld links voorste dalende slagader angiogram met ernstige stenosis (proximal tot midden segment) wordt getoond door het CathAI-systeem vooruitgang te boeken om: identificeren angiografische projectie, identificeren LCA (links), plaatsen grenzende dozen rond objecten zoals stenosis (zoom, midden), en voorspellen maximale stenosis ernst (rechts). a b CathAI prestaties om angiografische projectie hoek, anatomische structuren en angiogram object lokalisatie te classificeren Om de angiografische projectiehoek te classificeren, behaalde CathAI een frequentiegewogen positieve voorspellende waarde (PPV) van 0,90, gevoeligheid van 0,90 en F1-score van 0,90 in de testdataset (aanvullende tabel). Voor het classificeren van de primaire anatomische structuur in een angiogram video, CathAI behaalde een frequentie gewogen PPV van 0,89, gevoeligheid van 0,89 en F1 score van 0,89 in de test dataset (Tabel CathAI-prestaties waren hoog voor zowel de linker als de rechter coronaire slagaders (LCA en RCA, respectievelijk), die de primaire angiografische objecten van belang zijn: PPV en gevoeligheid, respectievelijk, waren 0,97 en 0,94 voor LCA en 0,93 en 0,93 voor RCA. 8 1 Zodra angiogram video's die voornamelijk de LCA en RCA bevatten werden geïdentificeerd, CathAI localiseren objecten in de angiogram door het voorspellen van de grenzen van de dozen rond coronaire slagader segmenten zoals het proximale deel van een coronaire slagader, stenose regio's, stenten en coronaire katheters. Om de prestaties van CathAI te meten om deze objecten te lokaliseren, werd gemiddelde gemiddelde nauwkeurigheid (mAP) gebruikt om de voorspelde coördinaten tegen grondwaarheid voor elk object te vergelijken. CathAI toonde een 48.1% gewogen gemiddelde mAP in de testdataset, die overeenkomt met state-of-the-art resultaten voor object-localisatie AI algoritmen (Supplementary Table CathAI correct gelokaliseerd 93,3% van coronaire arteriële stenose (PPV) in de UCSF test dataset. 16 9 CathAI-prestaties om de ernst van stenose te voorspellen Het uiteindelijke algoritme in het CathAI-systeem schatte de ernst van coronaire arteriële stenose (Fig. Voorspelde schattingen van de ernst van stenose werden gemiddeld van alle angiogram video's uit een gegeven onderzoek dat een bepaald segment van de slagader (ook wel "arterie-niveau" genoemd) visualiseerde, weerspiegeld standaard klinische praktijk. • Fig. ). Artery-level stenosis prediction performed better than video or image level predictions (Fig. Aanvullende tafel Voor CathAI's voorspelling van de ernst van stenosis als een continue percentage stenosis, was het gemiddelde absolute percentage verschil tussen de AI-stenose en rapportage-stenose 17,9 ± 15,5% (Tabel 1). Aanvullende Fig. Er was een aanzienlijk lager gemiddeld absolute percentage verschil voor de RCA versus de LCA (16,4 ± 15,0 versus 19,0 ± 15,8). < 0.001, Table • Aanvullende tafel ), at similar training dataset sizes—likely reflecting the RCA having less anatomic variation than the left. CathAI had modestly higher AUC to identify severe stenosis in strata of females vs males [0.890 (95% CI: 0.864–0.923) vs 0.830 (95% CI: 0.805–0.856) respectively, waarde voor interactie: 0,02 1b 2 2a 2a 10 2 3 p 2 10 P Receiver Operating Characteristic Curves (ROC) voor CathAI voorspelling van obstructieve (</≥70%) coronaire stenose in de testdataset. zwart punt: AI-stenose drempel gekozen om de F1-score op het niveau van de slagader te optimaliseren. rood kruis: specificiteit wanneer de gevoeligheid is vastgesteld op 80%. blauw kruis: gevoeligheid wanneer de specificiteit is vastgesteld op 80%. Confusion matrix voor CathAI voorspelling van obstructieve stenose versus REPORT-stenose. UOHI Externe Validatie Dataset-ROC voor CathAI voorspelling van obstructieve (</≥70%) stenose. Zwart punt: AI-stenose drempel gekozen om F1-score te optimaliseren in de dataset op het niveau van de slagader. Rode kruis: Specificiteit wanneer de gevoeligheid is vastgesteld op 80%. Blauw kruis: gevoeligheid wanneer de specificiteit is vastgesteld op 80%. UOHI Externe Validatie Dataset-Confusion matrix voor CathAI voorspelling van obstructieve stenose vs. deskundige adjudicators. AUC gebied onder de curve, CI vertrouwensinterval, AI kunstmatige intelligentie. a b c d Of those ≥70% stenoses according to the REPORT-stenosis, CathAI classified 74.5% correctly (95% CI: 70.0–78.4%; 260/349, Fig. ); en van die <70% stenoses door REPORT-stenose, algoritme 4 geclassificeerd 78,1% correct (95% CI:76.1–80.1%; 1082/1385). Wanneer de gevoeligheid van algoritme 4 voor het detecteren van obstructieve coronaire stenose werd vastgesteld op 80.0%, de specificiteit voor het detecteren van obstructieve stenose was 74.1%; en wanneer de specificiteit werd vastgesteld op 80.0%, de gevoeligheid voor het detecteren van obstructieve stenose was 71.6%. CathAI overschat mildere stenoses en onderschat ernstige stenoses (Supplementary Fig. ) van 2b 2 3 Externe validatie van CathAI in de UOHI-dataset Om externe generaliserbaarheid te onderzoeken, hebben we CathAI toegepast op 464 willekeurig samengestelde angiogram video's van UOHI. In 100% van de UOHI angiogrammen identificeerde Algoritme 2 met succes de RCA of LCA. De twee UOHI-adjudicators waren het eens over de lokalisatie van stenose binnen hetzelfde coronaire slagadersegment in 91,4% ( = 424). Binnen deze subset CathAI gelokaliseerde stenose in hetzelfde segment van de slagader in 84.5% ( = 360); in alle resterende 15.5% waar het arteriële subsegment niet correct was, toegewezen CathAI stenose aan de juiste coronaire slagader in het algemeen (LCA versus RCA). 4 n n Inter-waarnemer variabiliteit voor stenosis percentage beoordeling tussen de twee aanhangers was 15.7% ± 14.5%. Voor de bepaling van obstructieve (</≥70%) stenosis, de aanhangers het niet eens over 16.8% van de stenosis als obstructief ( We berekenden het aritmetische gemiddelde van het percentage stenose van de twee beoordelaars om te vergelijken met de voorspelling van CathAI van de voorspelling van de ernst van stenose. - het ); de gevoeligheid was 86,4% en de specificiteit was 67,3% (Fig. Het gemiddelde absolute percentageverschil tussen AI-stenose en het gemiddelde percentage stenose van de twee beoordelaars was 18.02% ± 11.02%. In de UOHI-dataset nam CathAI ~3-5 s om een angiografie-video te analyseren, of 35 s voor een volledig examen, met behulp van een Nvidia GTX 1080 Ti GPU. n 2c 3 2d De belangrijkste resultaten voor de interne validatie van de University of California, San Francisco (UCSF) en de externe validatie van het University of Ottawa Heart Institute (UOHI) worden weergegeven voor elk van de 4 taken. CathAI opnieuw trainen om QCA-stenose te voorspellen The RCT QCA dataset consisted of 709 patients with 858 exams (1384 stenoses; 18 severe ≥70%, 71 severe ≥50% but <70% and 1295 non-severe). CathAI successfully identified 100% of LCA/RCA videos and 78.7% ( = 1384) of stenoses (67.2% for LCA and 86.8% for RCA). Average stenosis severity as assessed by QCA was 31.7 ± 11.6% (Supplementary Fig. Gezien de uiteenlopende patiëntenpopulatie van de RCT QCA-dataset van meestal milde CAD- en QCA-adjudicatiecriteria (≥50% QCA-stenosis) in plaats van visuele schatting, gaf de RCT QCA-dataset de mogelijkheid om CathAI opnieuw te trainen om QCA-gemarkeerde stenoses te voorspellen, in tegenstelling tot visueel geschatte stenoses. ) and for QCA stenosis ≥70%, the AUC was 0.75 (95% CI: 0.570-0.930). The average stenosis difference between CathAI-predicted stenosis and QCA-estimated stenosis was 6.5 ± 5.5% in the test dataset. n 5 11 Gebruik neurale netwerkverklarbaarheid om de prestaties van CathAI te begrijpen Om de elementen binnen angiogrammen die bijdragen aan CathAI-voorspellingen beter te begrijpen, hebben we twee verklaarbare benaderingen toegepast op de volledig opgeleide CathAI-algoritmen. benadrukt beeldgebieden die het meest kritisch zijn voor de voorspelling van CathAI, en toont aan dat het gebieden zoals een cardioloog, zoals de linker voorste dalende slagader, gebruikte om LCA-afbeeldingen te identificeren (Fig. We hebben ook uitstekende kaarten afgeleid voor CathAI's voorspelling van de ernst van stenose met behulp van de Layer Ordered Visualization of Information (LOVI) -methode. . The highlighted pixels (Fig. Aanvullende Fig. ) waren niet alleen beperkt tot stenoseerde slagader segmenten, maar ook tot normale segmenten en pixels direct naast de slagader, wat suggereert dat de relatie tussen stenoseerde en niet-stenoseerde slagader segmenten bijdraagt aan CathAI's voorspelling van de ernst van stenose. 17 4a 18 4b 6 GradCAM toegepast op CathAI classificatie van primaire anatomische structuur. Twee originele angiogram afbeeldingen worden getoond (links), naast de overeenkomstige afbeeldingen benadrukt door GradCAM (rechts) die gebieden van grotere betekenis voor algoritmische beslissingen tonen. GradCAM-belichte gebieden gericht rond de linker coronaire slagader binnen de angiogram afbeelding, met blauwe kleur die de laagste betekenis aangeeft, gele kleur die de gemiddelde betekenis aangeeft en rode kleur die de hoogste betekenis aan de voorspelling van CathAI-algoritme 2 aangeeft. LOVI Saliency Maps van CathAI voorspelling van de ernst van coronaire stenose. Oorspronkelijke angiogram afbeeldingen (boven) en overeenkomstige afbeeldingen met LOVI saliency kaarten (beneden). witte pixels vertegenwoordigen een grotere bijdrage aan CathAI's (Algorithm 4) voorspelling, waardoor blijkt dat algoritme 4 zich in de meeste gevallen richtte op pixels in de buurt van het gebied van coronaire arteriële stenose. a b Discussies We beschreven de ontwikkeling en validatie van de CathAI-pijpleiding bestaande uit vier algoritmen en toonden aanzienlijke vooruitgang in de geautomatiseerde analyse van coronaire angiogrammen. Elk algoritme behaalde een specifieke taak die de verwezenlijking van het primaire diagnostische doel van coronaire angiografie vergemakkelijkte – de beoordeling van de ernst van coronaire arteriële stenosis – door de state-of-the-art prestaties voor elke taak te bereiken. Belangrijk is dat CathAI kan worden gegeneraliseerd, zonder aanvullende training, om visueel geschatte stenoses te voorspellen van niet-gecureerde echte UOHI-angiogrammen, een afzonderlijk medisch systeem in een ander land. CathAI werd ook met succes opnieuw opgeleid om QCA-stenos Eerdere werkzaamheden hebben neurale netwerken gemeld die individuele taken uitvoeren in experimentele instellingen met betrekking tot angiogramanalyse, zoals frame extraction. , stenose voorspelling van (handmatig geselecteerde) RCA-afbeeldingen , , , , , , Coronaire vaartuigsegmentatie , Identificatie van stenosis Echter, naar onze kennis volledig geautomatiseerde analyse en stenose voorspelling voor coronaire angiogram video's is nog niet gedemonstreerd op de echte wereld angiogrammen. , , , , , , likely because it has substantially less anatomic variability and complexity compared to the LCA, decreasing the difficulty of analyzing RCA angiograms. However, approaches trained on pre-selected RCA angiograms cannot analyze real-world datasets, which include non-RCA and non-coronary artery videos. In a recent effort Du et al. analyzed single frames from both LCA and RCA angiograms to localize coronary segments and stenosis , but did not predict severity of stenosis which is a critical component. Our work advances the state-of-the-art that is generalizable to real-world external angiograms and mirroring the standard-of-care guideline-recommended “worst view” assessment , Omdat coronaire angiografie cruciaal is voor alle CHD klinische besluitvorming , De afwijking van de voorspellingen van CathAI van de visuele beoordeling van menselijke experts was goed binnen, en vaak minder dan, gemeenschappelijk gerapporteerde inter-waarnemer variabiliteit , , , , ; whereas CathAI’s retrained QCA deviation was 6.5 ± 5.5% in the RCT QCA dataset which is substantially lower than the 10.2–16.6% difference between physician visual assessment and QCA reported in the literature 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Geautomatiseerde analyse van angiogrammen heeft grotere overeenkomsten met de perceptie-zijde van de "auto-rijdende" technologie dan met standaard radiologische analyse (d.w.z. röntgenstralen), gezien angiogrammen's zeer variabele, operator-determined video acquisitions en de sequentie van complexe taken die nodig zijn voor analyse. Succesvolle analyse van echte angiogrammen vereist dat het AI-systeem elk type video dat wordt geconfronteerd tijdens real-world procedures verwerkt, relevante beelden identificeert en vervolgens nauwkeurig belangrijke objecten lokaliseren. , , , , , , , biedt proof-of-concept dat meerdere doel-gebouwde deep learning algoritmen de barrières kunnen overwinnen die tot op heden volledig geautomatiseerde angiogram analyse hebben voorkomen. De meerdere sub-taken CathAI bereikt op de weg naar de definitieve stenose voorspelling biedt een robuuste basis om veel toekomstige aanvullende taken die bouwen op elke CathAI sub-tak, zoals het voorspellen van stent onder-uitbreiding, atherosclerotische plaque morfologie of fractionele stroomreserve van contrast stroompatronen te ondersteunen. CathAI kan gemakkelijk worden aangepast aan aanvullende taken. Net als zelfrijdende auto-technologie, echter, veel werk blijft om zeer hoge nauwkeurigheid te bereiken voordat CathAI is "klinisch klaar", gezien de centrale rol van coronaire stenose beoordeling , Ongetwijfeld zal vóór de klinische invoering verdere verbetering van elk van de afzonderlijke algoritmen van CathAI waarschijnlijk nodig zijn, bereikbaar bijvoorbeeld door de grootte van de mens-expert geannoteerde datasets te vergroten of doelgerichte algoritmen te trainen voor specifieke opvattingen (zoals een RCA-LAO alleen arteriële lokalisatie algoritme). 19 20 21 22 23 24 25 28 2 3 The most immediate clinical implication of deploying a pipeline such as CathAI would be to increase standardization in the assessment of coronary stenosis. Human expert visual estimation of coronary stenosis is well established to have high variability of between 7–22% , , , , en tussen 10-17% tegen een QCA-goudstandaard , direct beïnvloeden beslissingen voor levensreddende CHD revascularisatie therapieën.Meerdere studies hebben consequent gerapporteerd overschatten van stenose door visuele schatting , , Eén studie herbeoordeelde klinische angiogrammen door meerdere lezers, waarbij werd gemeld dat de aanbeveling voor coronaire bypass chirurgie in 17-33% van de gevallen veranderde van "nodig / passend" naar "onzeker / ongepast", waaronder 10% van de gevallen voor stentplacements. Deze studie voorgesteld om een tweede onafhankelijke angiogram interpretatie voorafgaand aan revascularisatie uit te voeren, hoewel dit over het algemeen onmogelijk is en niet de klinische standaard van zorg gegeven klinische interventionele cardiologie werkstromen. CathAI kon echter gemakkelijk deze functie uitvoeren in een geautomatiseerde, reproduceerbare manier om bijna real-time voorspellingen te bieden tijdens de procedure om de eigen ad-hoc diagnose van artsen aan te vullen. Echter, aangezien CathAI werd getraind met dezelfde vooroordeel visueel geschatte stenoses, heeft het ook de neiging om stenoses te overschatten. Om dit aan te pakken, kan CathAI opnieuw worden getraind met behulp van QCA-gegevens, die, zoals we laten zien, de neiging heeft om 4 5 6 7 29 5 5 6 8 4 4 Some recent studies have suggested that there may be sex differences in stenosis estimations, where stenoses tend to be overestimated in females Om te onderzoeken of CathAI zou kunnen helpen om deze bias in de schatting van stenosis over geslacht te verminderen, vergeleken we de prestaties van algoritme 4 tussen mannen en vrouwen in onze interne dataset. Onze analyse vond een klein maar significant verschil tussen de prestaties van het algoritme in lagen van mannen en vrouwen. 30 De visuele retractabiliteit van de UOCA in de toekomst is echter het laagste dataset van dit CAD-interval dat het meest voorziet in externe validatie, waaruit blijkt dat CathAI voor het eerst goed verspreidt naar externe real-world angiogrammen die worden geadjudiceerd door de visuele schatting van de arts. In vergelijking vertegenwoordigde de RCT QCA-dataset niet alleen een andere methode van pathografische pathologie-adjudicatie (die ook verschillende drempels voor ernstige stenose ≥ 50% voor QCA versus ≥ 70% voor visuele schatting gebruikt), waardoor het effectief een andere taak vertoonde, maar een heel andere patiëntpopulatie met overwegend mild-CAD vertegenwoordigde. In de meeste UCSF-klinische angiogrammen, Onze beoordeelde werkzaamheden hebben verschillende beperkingen. Een opmerkelijke beperking komt voort uit ons gebruik van trainingslabels die tijdens de routine klinische zorg zijn afgeleid met behulp van arts visuele schatting. Vanwege de resource-intensive aard van het genereren van grote aantallen cardiologische annotaties voor angiografische afbeeldingen, om de grootste dataset te bereiken om CathAI te trainen voor stenosis ernst, gebruikten we klinisch gegenereerde REPORT-stenosiswaarden die beschikbaar waren in grote aantallen. Hoewel deze werden gegenereerd door sub-specialiteit opgeleide interventiecardiologen bij UCSF, tonen ze waarschijnlijk nog steeds variabiliteit die inherent is aan elk klinisch gegenereerd label. Dergelijke variabiliteit in zowel de training als de testgegevens . Our objective with this proof-of-concept study was to demonstrate the “building blocks” required for automatic interpretation of coronary angiograms, and not necessarily to replace the current clinical standard for angiogram interpretation. To achieve the latter, substantial human effort will likely be required to label large datasets with precise methods. Furthermore, we only included the main epicardial vessels in this version of CathAI. Other pertinent vessels/objects, like bypass grafts, diagonals, chronic total occlusions or collaterals were excluded, but represent prime targets for near-term future work. 31 Tot slot, CathAI is de eerste multi-stage volledig geautomatiseerde analyse pijplijn voor coronaire angiogrammen. CathAI bereikt state-of-the-art prestaties voor elke taak die nodig is voor de interpretatie van echte angiogrammen, is extern geldig, en biedt een basis voor toekomstige taken in geautomatiseerde angiografische interpretatie. Methoden Studeren deelnemers en studeren datasets Voor onze Full Dataset, we verkregen retrospectieve, niet-geïdentificeerde coronaire angiografische studies van alle patiënten 18 jaar of ouder van de Universiteit van Californië, San Francisco (UCSF), tussen 1 april 2008 en 31 december 2019 (Supplementary Fig. ) that underwent a coronary angiogram. Patients without videos of the left or right coronary artery were excluded. Angiograms were acquired with Philips (Koninklijke Philips N.V., Amsterdam, Netherlands) and Siemens (Siemens Healthineers, Forchheim, Germany) systems at 15 frames per second using Iopromide contrast. We generated specifically annotated training datasets (either through available meta-data or expert annotation) of Full Dataset subsets for each of the four primary tasks performed by CathAI. 1 Om de handmatige labeling inspanningen te maximaliseren die nodig zijn om trainingsgegevens voor elk algoritme te genereren, hebben we een "extraheerde volledige dataset" gegenereerd door eerst automatisch de frames in de video te identificeren die waarschijnlijk peak-contrast bevatten door de structurele gelijkenisindexmethode (SSIM) te berekenen van het frame in de positie '0' waar geen kleur is meestal aanwezig, wat we het "referentiekader" noemen. SSIM is hoger als afbeeldingen vergelijkbare pixelwaarden hebben en lager als er een groter verschil is. Het frame met de laagste gelijkenisindex van het referentiekader werd geselecteerd als het meest waarschijnlijk bevattende peak-contrast (bijv. wanneer de slagader vol contrast is). Tot 8 frames Alle frames van een video werden omgezet in afbeeldingen van 512*512 pixels voor algoritmische analyse. n Voor alle algoritmen, behalve Algoritme 3, werden de gegevens voor elk algoritme willekeurig verdeeld in Training (70%), Development (10%) en Test (20%) datasets, elk met niet-overlappende patiënten. , . 16 32 Algoritme 1 labels werden rechtstreeks genomen uit de DICOM metagegevens die de craniale-caudale en LAO-RAO oriëntatie beschrijven. Algoritme 2 en 3 vereisten annotaties door een board-gecertificeerde cardioloog (Supplementary Fig. Aanvullende tafel - het en Voor algoritme 4 werden de stenoses rechtstreeks uit het procedurele rapport genomen. 8 1 2 3 Het verslag dataset Shortly after performing the procedure, interventional cardiologists typically interpret the angiogram using visual assessment, as per standard clinical practice, and describe the severity of coronary stenosis in the procedure report. This procedural report text was parsed (see below) to identify: any description of coronary artery stenosis, the maximal stenosis percentage (called the REPORT-stenosis) and its location in one of 11 coronary artery segments (Supplementary Table We identificeerden 9782 coronaire stenoses in arteriële segmenten (REPORT-stenoses) en identificeerden in 1766 niet-stenoseerde complete vaten die een totaal van 10.088 niet-stenoseerde vaten segmenten produceren, afgeleid van 84.153 afbeeldingen. ). Metadata was extracted from each angiogram video including the procedure date, the primary (Right Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) and secondary (cranio-caudal) angles of rotation, a unique exam identifier and a unique patient identifier. Non-matched REPORT-stenoses were removed from the dataset. We also excluded videos where an intra-coronary guidewire was present in more than 4 frames, as automatically determined by Algorithm 3 (6,076 videos, 41,780 stenosis-frames identified with guidewires), since these videos likely represent percutaneous coronary interventions which could alter the stenosis percentage within that video (Supplementary Fig. ); video's werden bewaard uit studies vóór de inbreng van een intracoronaire gidswire. 3 1 1 Text parsing methods De vrije tekst uit het procedurele rapport werd eerst gesegmenteerd met behulp van commas (“,”) of periodes (“.”). ). When a coronary segment was found, we identified any description of corresponding stenosis percentage by localizing “%” and the nearest one to three-digit number in that sentence. We initially searched using standard terms (such as “right coronary artery”), then expanded the keywords by manual review of the text, over multiple iterations, to include the most common abbreviations, alternate spellings and permutations (Such as “RCA”). Qualitative descriptions of obstructive CHD, such as “mild”, “moderate” or “severe” disease were not extracted. Furthermore, we searched for keywords such as “thrombus”, “obstruction” or “occlusion” in the report; when present in a coronary segment, 100% stenosis was assigned to that segment. For analysis, ostial and proximal coronary segments were merged in the ‘proximal’ class and ostial, proximal, middle, and distal left main arteries were merged under the ‘left main’ class. The most severe stenosis within any of the 11 segments was retained (Supplementary Table We analyseerden geen chronische totale occlusie en stenose in diagonaal, marginaal, septale, ramus, linker achterste dalende slagader, linker posterolaterale of in bypass-transplantaties. 3 3 Human subjects research Deze studie werd beoordeeld door de Universiteit van Californië, San Francisco Institutional Review Board en de behoefte aan geïnformeerde toestemming werd afgewezen. Algoritme ontwikkeling Het CathAI-systeem bestaat uit 4 neurale netwerkalgoritmen georganiseerd in een pijplijn (Fig. ). Angiographic images are analyzed by each algorithm and “flow” sequentially to the next to accomplish the four foundational tasks for automated angiogram analysis: (1) classification of angiographic projection angle; (2) classification of an angiogram’s primary anatomic structure; (3) localization of relevant objects within an angiogram, including coronary artery sub-segments and stenoses; (4) prediction of coronary artery stenosis severity (as a percentage of artery narrowing). 1a We customized each of CathAI’s 4 algorithms base neural network architecture to achieve an angiogram-relevant task, as detailed in sections below. As a high-level summary, Algorithm 1 accepted individual images (coronary angiogram video frames) as input and identified the angiographic projection angle used described by LAO-RAO and cranial-caudal axes (LAO cranial, RAO caudal, etc); labels were available from each video’s metadata. Algorithm 2 identified the primary anatomic structure (Supplementary Table ), since it is common to capture angiogram videos containing non-cardiac anatomic structures such as the aorta or the femoral artery. Algorithm 2 allowed CathAI to subsequently focus on only angiogram videos primarily containing the left and right coronary arteries (LCA and RCA, respectively). Algorithm 3 localized relevant objects within images of the LCA and RCA by outputting bounding box coordinates for identified objects (Supplementary Video). Coronary artery stenosis location was assigned according to greatest overlap between two Algorithm 3-predicted bounding boxes of the coronary artery sub-segment and stenosis (Fig. Algorithm 4 accepteerde afbeeldingen gesneden rond stenoseerde slagader segmenten (door Algorithm 3 bounding boxes) en voorspelde de maximale percentage stenose binnen de afbeelding als een continue waarde tussen 0 en 100 voor elk beeld. 2 1b Algoritme 1: classificatie van de angiografische projectiehoek De projectiehoek verwijst naar de fluoroscopische hoek die wordt gebruikt om het beeld te verkrijgen, meestal beschreven op twee assen gedefinieerd door LAO-RAO en cranial-caudal (LAO cranial, RAO caudal, etc.). Voor de training gegevens van Algoritme 1, werden alle beelden uit de geëxtraheerde Full Dataset gecategoriseerd in 12 categorieën van linker-rechts en cranial-caudal projectiehoeken op basis van de primaire en secundaire hoeken geëxtraheerd uit de metagegevens van elke video (−180 en 180 graden voor de primaire hoek en −50 en 50 graden voor secundaire; Aanvullende Tabel We verdeelden vervolgens de geëxtraheerde Full Dataset in training (990,082), ontwikkeling (128,590) en testdatasets (299,625). 1 Algorithm 1 architecture was based on Xception, which is a convolutional neural network that has achieved state-of-the-art performance at image recognition tasks . It was initialized with ‘ImageNet’ weights , zoals gebruikelijk uitgevoerd om gewichten te initialiseren voor snellere algoritme convergentie in beeld classificatie instellingen; alle lagen waren traineerbaar. afbeeldingen werden vergroot door willekeurige zoom (bereik = 0,2) en snijrotatie (bereik = 0,2). De ontwikkelingsdataset werd gebruikt om iteratief vergelijken algoritme prestaties en fijne tune hyperparameters met behulp van grid zoeken (Supplementaire Tabel ). We experimented with different architectures such as VGG-16, ResNet50 and InceptionNet-V3 but found no incremental benefit over Xception. A grid search was used to fine-tune hyperparameters. The Test dataset was not used at all during training and was only used to report final performance. The most common prediction across extracted the frames of each video was assigned as the angiographic projection of that video; ties were addressed by selecting the projection with the highest average probability across all frames. We used Algorithm 1 weights as a ”core model” to initialize the weights for training the subsequent algorithms based on the Xception architecture. 33 34 5 Algoritme 2: classificatie van de primaire anatomische structuur Algorithm 2 aimed to identify the primary anatomic structure present in an angiographic video (Supplementary Table ), aangezien het gebruikelijk is om angiogramvideo's vast te leggen die niet-hartelijke anatomische structuren bevatten zoals de aorta of de femorale slagader tijdens de procedure.Voor het genereren van Algorithm 2-trainingsgegevens hebben we willekeurig 14.366 afbeeldingen geselecteerd uit de geëxtraheerde Full Dataset en een cardioloog heeft elk afbeelding gecategoriseerd in een van de 11 klassen die de primaire anatomische structuur beschrijven (Supplementaire Tabel) ). This dataset was split into Training/Development/ Test datasets, containing 9887 (70%), 1504 (10%), and 2975 (20%) images, respectively. We trained Algorithm 2 using the Xception architecture, initialized weights from trained Algorithm 1, and tuned hyper-parameters (Supplementary Table De afbeeldingen werden vergroot door willekeurige zoom (bereik = 0,2) en snijrotatie (bereik = 0,2). De voorspelde primaire anatomische structuur van een video was de modusvoorspelling van alle geëxtraheerde Full Dataset frames. ). F1 scores and model performance varied by anatomic class, but in general classes with lesser frames had lower performance (Supplementary Fig. ), suggesting a possibility to improve performance if more labeled data were available. 2 2 5 1 3b Algoritme 3: lokalisatie van angiogramobjecten Algoritme 3 was gericht op het lokaliseren van relevante objecten binnen beelden van de linker- en rechtercoronaire slagaders (de output van Algoritme 2). ), the tasks most critical to the CathAI pipeline were to (i) identify coronary artery segments, (ii) identify stenoses (if present) and (iii) localize other relevant objects such as guidewires or sternotomy. To generate training data for Algorithm 3, 2338 contrast-containing images of LCA and RCA both with and without stenosis (as identified by Algorithm 2) were annotated by a cardiologist who placed bounding boxes around all relevant objects in the image (Supplementary Table ). Only stenoses in the main epicardial vessels, not side branches such as diagonals or marginals, were labeled. In 100% of the 2338 frames, the LCA or RCA was the primary anatomic structure contained, and the artery was well visualized, well opacified, and not underfilled, according to the annotating cardiologist. 3 3 Omdat de RCA in de LAO-projectie het grootste aantal geannoteerde afbeeldingen in onze dataset bevatte, hebben we ook een speciaal algoritme 3b op deze projectie getraind om mogelijke prestatievoordelen te demonstreren door een algoritme te focussen op een specifieke slagader/projectie (RCA in LAO). Om de RCA in de LAO-projectie te trainen, verdeelden we onze geannoteerde afbeeldingen voor deze taak in twee afzonderlijke datasets: een met linker/rechts coronaire slagaders (2,338 afbeeldingen) en een met RCA-afbeeldingen in de LAO-projectie (450 afbeeldingen). Elke dataset werd vervolgens verdeeld in 90% training (2104 en 405 afbeeldingen respectievelijk) en 10% test (234 en 45 af Algorithms 3a/b employed the RetinaNet architecture and were trained using original hyperparameters RetinaNet heeft state-of-the-art prestaties bereikt voor objectlokalisatie zoals voetgangersdetectie voor zelfrijdende auto's Omdat sommige arteriële segmenten in bepaalde angiografische projecties bekend zijn a priori te worden voorkort of niet zichtbaar, hebben we een post-hoc heuristiek toegepast om bepaalde 3a/b-voorspelde arteriële segmenten uit de angiografische projecties uit te sluiten zoals voorspeld door Algoritme 1 (Supplementaire Tabel 1). Dit vertegenwoordigt dus een fusie van tussentijdse voorspellingen van twee CathAI-pijplijnalgoritmen om meer klinisch relevante algehele pijplijnprestaties te bereiken.Om de prestaties van Algoritme 3a/b te beoordelen, werden de voorspelde coördinaten vergeleken met de grondwaarheidscoördinaten met behulp van de verhouding van het kruispuntgebied ten opzichte van het gebied van vereniging (de zogenaamde Intersection-over-union [IoU]) . An IoU≥0.5 between the predicted and annotated coordinates was considered a true positive. Next, we measured the mean average precision (mAP), which represents the ratio of true positives over true and false positives at different thresholds of IoU, for each class Een mAP van 50% vergelijkt met state-of-the-art resultaten voor dit type taak , . 16 35 4 36 37 16 35 Algoritme 4: voorspellen van het percentage van coronaire arteriële stenose Algoritme 4 werd ontwikkeld om de ernst van coronaire arteriële stenose als een percentage te voorspellen, gegeven input beelden gesneden rond stenoseerde arteriële segmenten geïdentificeerd door Algoritme 3. Algoritmen 3a/b werden uitgevoerd op alle rapportage dataset video's te lokaliseren arteriële segmenten en stenoses. Alle frames die een stenosis grens doos overlappend met een coronaire arteriële segment grens doos met IoU ≥0.20 bestond uit potentiële input frames voor Algoritme 4. Een stenosis werd gelokaliseerd naar het arteriële segment dat Algoritme 3 geïdentificeerd die de grootste overlapping door IoU had. Om train / test labels voor Algoritme 4 af te leiden, we kruismatige Gekoppelde procedurele rapportage waarden dienden als labels om Algoritme 4 te trainen met input afbeeldingen gesneden rond stenoseerde slagadersegmenten volgens Algoritme 3a/b grensdozen. Niet-matched stenoses werden verwijderd uit onze dataset.We hebben ook alle video's waar een intra-coronaire gids was aanwezig in meer dan 4 frames, zoals automatisch bepaald door Algoritme 3a/b (6,076 video's, 41,780 stenosis-frames geïdentificeerd met gids), omdat deze video's waarschijnlijk percutane coronaire interventies vertegenwoordigen die de stenosispercentage binnen die video kunnen veranderen (Supplementaire figuur. Om het algoritme 4 te trainen en te valideren, combineerden we 6258 beelden van niet-stenosed coronaire slagader segmenten met de resterende 98.756 beelden van stenoses. 1 1 Zodra een stenosis werd geïdentificeerd, werden de coördinaten van de boekhouding in alle afmetingen met 12 pixels uitgebreid, vervolgens gesneden en gemeten tot de dichtstbijzijnde van de drie vooraf bepaalde afmetingen: 256*256 pixels (aspect ratio no.1), 256*128 pixels (aspect ratio no.2) en 128*256 pixels (aspect ratio no.3). Dit werd uitgevoerd om de signaal-tot-lawaai-ratio (vat naar achtergrond) te maximaliseren, vanwege verschillende vaartuigoriëntatie en stenosisgroottes. De "Report Dataset" die werd gebruikt voor het trainen van Algoritme 4 bestond uit 105,014 afbeeldingen (6667 stenoses afkomstig van 2,736 patiënten en 5, ). Since non-stenosed vessel segments tended to be longer than focal stenosis which may bias training, we cropped all non-stenosed segments randomly to a height and width, mirroring the distribution of stenosis image sizes within that coronary segment. This yielded similar vessel sizes between the stenosed and non-stenosed images for each vessel segment. Images were randomly split into 70% training, 10% development and 20% in testing datasets. 1 Algoritme 4 was gebaseerd op een gemodificeerde Xception-architectuur waarbij de laatste laag (Softmax-laag, gebruikt voor classificatie) werd vervangen door een 'gemiddelde pool' en vervolgens een dichte laag met een lineaire activeringsfunctie om voorspelling van de ernst van stenosis als een continue percentagewaarde mogelijk te maken. Afbeeldingsmetadata bestaande uit het etiket van het coronaire slagader segment en de gesneden aspectverhouding werden ook toegevoegd als inputs in de eindlaag van Algoritme 4, wat de prestaties verbeterde. Het algoritme produceerde een percentage stenosiswaarde tussen 0 en 100 voor elk invoerbeeld dat de maximale stenosis in dat coronaire slagader segment vertegenwoordigt. De percentagewaarde werd Model weights were initialized using those from the trained Algorithm 1. Images were augmented by random flip (both horizontal and vertical), random contrast, gamma and brightness variations, random application of adaptive histogram equalization (To improve contrast in images). The algorithms were trained to minimize the squared loss between the predicted (AI-stenosis) and the report-stenosis using the RADAM optimizer with an initial learning rate of 0.001, momentum of 0.9 and batch size of 12, trained for 50 epochs. Training was halted when loss stopped improving for 8 consecutive epochs in the test dataset. 38 Voor Algoritme 4 hebben we het trainingsschema zo gewijzigd dat elke epoch werd getraind op afbeeldingen van een aspect ratio, met de volgende epoch training op een andere aspect ratio (kopieer alle gewichten van de vorige iteratie), zoals eerder uitgevoerd voor multi-size inputs Dit werd herhaald tot convergentie.We hebben de algoritme-prestaties gemeten op de volledige testdataset, bestaande uit de drie aspectverhoudingen.We hebben waargenomen dat de convergentie van de multi-size input training net zo was als andere algoritmen die een vaste grootte voor training gebruikten.We hebben ook verschillende pre-processing-benaderingen en -sequenties onderzocht zonder verbetering van de algoritme-prestaties (Supplementaire Tabel) ). 39 7s Neurale netwerkverklaringsmethoden We hebben twee neurale netwerkverklaringsbenaderingen toegepast op de volledig opgeleide CathAI-algoritmen om beter te begrijpen hoe algoritmen hun voorspellingen maakten, respectievelijk hun relatieve taken. De techniek benadrukt de beeldgebieden die het meest kritisch zijn voor de voorspelling. rood benadrukte gebieden geven een hogere betekenis aan voor de algoritme-voorspelling, terwijl blauw benadrukte gebieden een lagere betekenis geven. , which highlights individual pixels in the image that contribute most to algorithm predictions. Brighter pixels represent greater contribution to the algorithm’s prediction. 17 18 Externe validatie Voor externe stenosis-validatie hebben we willekeurig 1000 coronaire angiogram-video's samengesteld die werden uitgevoerd aan het University of Ottawa Heart Institute (UOHI) tussen 1 juli 2020 en 31 oktober 2020, verworven met dezelfde Philips Azurion-systemen (Koninklijke Philips N.V., Amsterdam, Nederland), bij 15 fps, met behulp van Iopromide-verf. Algorithmen 1, 2 en 3 werden toegepast op elke video om stenosis te identificeren en te lokaliseren, en Algorithm 4 voorspelde AI-stenose-validatie. We samengestelde vervolgens tot 40 voorbeelden van angiogram-video's per coronaire slagader-segment om onze externe validatie-dataset te vormen, waarbij een totaal van 464 coronaire angi Om het CathAI-algoritme 4 voor de verschillende bevolkingsverdeling van de QCA-dataset te trainen, hebben we de QCA-dataset verdeeld in training (75%), ontwikkeling (12.5%) en testen (12.5%) en de laatste twee volledig verbonden lagen van het QCA-algoritme 4 fijn aangepast om het algoritme te laten leren de QCA-stenosiswaarden te voorspellen van de invoerstenosis-afbeeldingen in plaats van visueel beoordeelde stenosis. We voerden een grid-zoekopdracht uit van initiële leerraten van 1e−4 tot 1e−8 en selecteerden de snelheid die de laagste verlieswaarde op de set in 100 tijdperken produceerde. Kwantitatieve coronaire angiografie Om dit te demonstreren, hebben we een externe dataset van coronaire angiogrammen van een a priori verschillende patiëntenpopulatie geadjudiceerd bij het Montreal Heart Institute (MHI) Core laboratorium met behulp van het CMS QCA-systeem (MEDIS, Leiden, Nederland). Deze dataset bestond uit angiogrammen geanalyseerd door het MHI Angiographic Core lab, verkregen tijdens gerandomiseerde gecontroleerde proeven (RCT) bij ≥ 18-jarige patiënten die een coronaire angiografie-interventie hadden als onderdeel van de studie, en kregen nieuwe lipide verlagende geneesmiddelen of placebo. De onderzoeken waaruit deze gegevens zijn afgeleid gebruikten inclusiekriteria die patiënten met obstructieve coronaire hartziekte (CAD) aan het begin van de studie uitsluiten, wat resulteerde in een meerderheid van milde tot matige ernst coronaire stenosis in deze dataset. QCA-analyse werd uitgevoerd door twee getrainde technici en werd onder toezicht van een deskundige arts. , . 40 6 13 Coronaire angiogram beelden werden verkregen met behulp van de Philips (Koninklijke Philips N.V., Amsterdam, Nederland), General Electric Medical Systems (General Electric, Chicago, Illinois, Verenigde Staten) en Toshiba (Toshiba Corporation, Minato City, Tokio, Japan) bij 15 frames per seconde, door injectie Iopromide verf in de coronaire slagaders. Voor elke QCA stenosis analyse in het MHI kernlaboratorium, werd een eind-diastolic frame geselecteerd met angulaties die de stenosis in de meest ernstige mate met minimale voorkorting en overlapping van takken het beste toonden. Deze RCT QCA-dataset bevatte een andere patiëntenpopulatie a priori dan de echte klinische UCSF-dataset, aangezien alle stenoses ≥ 50% niet aanwezig waren tijdens de baseline angiogram (maar kunnen aanwezig zijn bij een follow-up angiogram), waardoor voornamelijk mild-CAD met een gemiddelde QCA-stenosis ernst van 31.7% ± 11.6%. Dit gaf een optimale gelegenheid om te onderzoeken hoe CathAI een basis kon bieden voor heropleiding met behulp van QCA-stenosis-labels om te functioneren als een geautomatiseerd hulpmiddel voor kern lab angiogram analyse. We verdeelden de QCA-dataset in training (75%), ontwikkeling (12.5%) en test (12.5%) datasets en de laatste twee volledig verbonden lagen van het CathAI-algoritme 4 Algorithm evaluation and statistical analysis Zoals passend voor elke taak, werd de prestaties van elk algoritme voor categorische waarden geëvalueerd met behulp van positieve voorspellende waarde (PPV), negatieve voorspellende waarde, gevoeligheid, specificiteit, gebied onder de receptor operating characteristic curve (AUC), F1-score en Bland-Altmann plot. en Pearson correlatie en de gemiddelde absolute fout tussen CathAI's stenose voorspelling en de rapportage stenose of QCA stenose. 41 Neural networks were trained using Keras v.2.24 and TensorFlow v.1.12. Final algorithms performance was reported in the Test Dataset. All analyses were performed using Python 2.7. Algorithms 1 and 2 were evaluated on the frame/image level using precision (i.e. positive predictive value), recall (sensitivity) and plot the performance using confusion matrices. We also derived the F1 score for each class, which is the harmonic mean between the precision and recall. Om het algoritme 3a en 3b te evalueren, berekenden we het kruispuntgebied over het gebied van vereniging (IoU) tussen de voorspelde bounding-box coördinaten en de door deskundigen aangegeven bounding-box coördinaten van objecten in elke klasse in de testdataset. Een IoU ≥ 0,5 betekent ten minste 50% overlappingsgebied tussen de voorspelde en ware bounding-dozen, die we als een waar positief beschouwden.We rapporteren vervolgens de prestaties van het algoritme 3a/b als de gemiddelde precisie (mAP) metric, die de verhouding van waar positief tegen waar positief en vals positief bij verschillende drempels van IoU voor elke klasse vertegenwoordigt Een mAP-waarde van 50% vergelijkt met state-of-the-art resultaten voor dit type taak , We presenteren ook de gemiddelde gemiddelde nauwkeurigheid voor algoritme 3a en algoritme 3b door het aandeel van de juiste klassevoorspelling met een IoU ≥0.1 te berekenen met onze grondwaarheidslabeling over al onze klassen in onze testdataset, evenals de positieve voorspellende waarde van stenose-localisatie met behulp van het rapport of QCA-dataset als grondwaarheid. 36 37 16 35 Om Algoritme 4 te evalueren, was de primaire metric van belang de gemiddelde absolute fout tussen de gerapporteerde waarde (REPORT-stenose) en de voorspelde waarde (AI-stenose) op het niveau van de slagader. , Image-level AI-stenose werd gemiddeld over een video om video-level AI-stenose te verkrijgen en vergeleken met REPORT-stenose met behulp van de gemiddelde vierkante fout. plots were then calculated between the REPORT-stenosis and AI-stenosis at the video-level and artery-level. The reliability was classified as poor ( < 0.5), moderate (0.50–0.75), good (0.76-0.90), or excellent (0.91-1.0).(52) Finally, we present the mean squared error between REPORT-stenosis and AI-stenosis at the video-level. 2 3 42 Voorspellen van binaire "obstructieve" coronaire arteriële stenose, gedefinieerd als ≥ 70% stenose , , a threshold of 0.54 was used which optimized the F1 score. Based on this, we also report the area under the receiver operating characteristic curve (AUC), sensitivity, specificity and diagnostic odds-ratio , at the frame level, video level and artery level, based on this threshold. 2 3 43 Confidence intervals for performance metrics were derived by bootstrapping 80% of the test data over 1000 iterations to obtain 5th and 95th percentile values. We present the performance of Algorithm 4 stratified by sex, by left and right coronary arteries, by artery segment and by age group. We also present two-sided waarden voor interactie (tussen de CathAI-stenose, de covariaten en destenose berekend door de Wald-test). We hebben AI-stenose en REPORT-stenose gecategoriseerd in concordante en discordante laesiegroepen op basis van de visuele ≥70% cutoff. Voor discordante laesies presenteren we hun prevalentie, stratificeren door coronaire slagader segment. Voor laesies/vaten niveau gegevens, een gemengd effect logistieke regressie model gebruikt om rekening te houden voor intra-subject correlatie en voor herhaalde angiogrammen. P Rapporteren Samenvatting Meer informatie over het onderzoeksontwerp is beschikbaar in de gelinkt aan dit artikel. Nature Research samenvatting Gegevens beschikbaarheid De gegevens die in deze studie worden gebruikt, zijn afgeleid van klinische zorg en worden dus niet openbaar toegankelijk gemaakt vanwege gegevensprivacyproblemen. redelijke verzoeken om samenwerking met behulp van de gegevens kunnen worden gedaan van de auteurs, indien mogelijk en toegestaan door de Regents van de Universiteit van Californië. Code beschikbaarheid De code die dit werk ondersteunt is auteursrecht van de Regents van de Universiteit van Californië en kan via licentie beschikbaar worden gesteld.De gegevens die worden gebruikt om het algoritme te trainen en te valideren, kunnen niet publiekelijk beschikbaar worden gemaakt omdat het persoonlijke gezondheidsinformatie bevat. Referenties Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 erkenningen RA wordt ondersteund door de “Fonds de la recherche en santé du Québec” (Grant 274831). JEO ontving fondsen van de NIH (U2CEB021881). GHT ontving steun van de National Institutes of Health NHLBI K23HL135274. KS heeft geen relevante financiering met betrekking tot dit manuscript. AW wordt ondersteund door de National Science Foundation Graduate Research Fellowship onder Grant No. DGE 1752814. YS wordt ondersteund door een Mid-Career Investigator Award door de Heart and Stroke Foundation van Ontario. J-CT heeft de Canadese Research Chair in gepersonaliseerde en translationele geneeskunde en de Universiteit van Montreal heeft een onderzoeksstoel in atherosclerose. JEG wordt gefinancierd door de NSF CISE Expeditions Award Dit document is verkrijgbaar onder de CC by 4.0 Deed (Attribution 4.0 International) licentie. Dit document is verkrijgbaar onder de CC by 4.0 Deed (Attribution 4.0 International) licentie.