CathAI: Forskare byggde en AI som läser hjärtskanningar som en kardiolog

Författare : Robert Avram Jeffrey E. Olgin Zeeshan Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Författare : Robert Avram Följ Jeffrey E. Olgin Örebro Ahmed Författare: Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Öppnar av Derek Wan Följ Joseph E. Gonzalez av Jean-Claude Tardif Derek Y. Så Krishan Sonja Följ Geoffrey H. Tison Abstrakt Cathworld CAD-angiografi är det primära förfarandet för diagnos och förvaltningsbeslut i coronary angiogram (CAD), men ad-hoc visuell utvärdering av angiogram har hög variabilitet. Här rapporterar vi ett fullt automatiserat tillvägagångssätt för att tolka angiografisk accomographic coronary artery stenosis från standard coronary angiogram. Med hjälp av 13,843 angiografiska studier från 11,972 vuxna patienter vid University of California, San Francisco (UCSF), mellan den 1 april 2008 och den 31 december 2019, utbildar vi neurala nätverk för att utföra fyra sekventiella nödvändiga uppgifter för automatisk coronary artery stenosis lokalisering och uppskattning. Algoritmerna är internt validerade mot kriterier-standardetiketter för varje uppgift i hold-out Introduktion Koronar hjärtsjukdom (CHD) är den ledande orsaken till vuxen död i USA och världen över , orsakad av aterosklerotiska plack som smalnar koronar artärer, även kallad koronar artär sjukdom (CAD). koronar angiografi förfarande är den gyllene standard förfarandet för att diagnostisera koronar arteriell stenos som därför ger avgörande information för CAD behandling beslut som sträcker sig från medicinsk terapi ensam till revaskularisering med koronar stenter eller bypass kirurgi Läkare visuell uppskattning av koronar stenos svårighetsgrad från angiogram förblir den vanligaste, riktlinje-stödda tillvägagångssättet för att utvärdera angiografisk förträngning av koronar arteriell lumen , . 1 2 2 3 Begränsningarna av visuell uppskattning för svårighetsgraden av koronar stenos är dock väl beskrivna och inkluderar intra- och inter-observer variabilitet, operatör bias och dålig reproducerbarhet. , Variabilitet i bedömningen av visuell stenos varierar från 7,6 till 22,5% , , Och medan koronar angiografi bildkvalitet har förbättrats, variabilitet fortfarande förblir och är större i inställningen av en enda läkare läsare, vilket är långt den vanligaste kliniska arbetsflödet. , Visuell bedömning av stenos kan överskatta svårighetsgraden av stenos i över en fjärdedel av fallen och kan bidra till olämplig koronar bypassoperation hos 17% av patienterna och stentanvändning hos minst 10% av patienterna , , , Ett mer standardiserat, reproducerbart tillvägagångssätt för tolkning av angiogram och bedömning av koronar stenos skulle ha betydande klinisk betydelse. 4 5 4 5 6 4 7 8 4 5 6 8 Olika kompletterande tester kan komplettera CAD-bedömning under koronar angiografi, såsom fysiologisk bedömning , eller intra-vaskulär bildbehandling Även om de flesta kräver ytterligare operatörskompetens och användning av ytterligare katetrar, så används de i mindre än 10–20% av koronar angiogram. , , Vidare beror fastställandet av behovet av adjunctiv testning fortfarande främst på läkarens visuella uppskattning av angiogram under angiografiproceduren för att identifiera mellanliggande svårighetsgrad eller större koronar stenos (t.ex. 40–69 %). Kvantitativ koronar angiografi (QCA) är en teknik som ger analys av angiogram som möjliggör mer standardiserad stenosbedömning. QCA är dock inte helt automatiserat och kräver operatörsinmatning för bildkalibrering och ramval, vilket i stor utsträckning relegerar det till forskningsinställningar. , . 9 10 11 9 11 12 3 13 5 14 Artificiell intelligens (AI) algoritmer, och djupa neurala nätverk i synnerhet, har visat förmågan att automatisera viktiga kliniska uppgifter i kardiologi såväl som interventionell kardiologi Vårt mål är att utveckla och validera ett automatiserat tillvägagångssätt för koronar angiogram tolkning, koronar arteriell stenos lokalisering och svårighetsgraden uppskattning från verkliga koronar angiogram. 15 Resultaten Full Dataset bestod av 13 843 fullständiga angiogramstudier (195,195 totala angiografiska videor) från 11 972 patienter ≥18 år från University of California, San Francisco (UCSF), mellan den 1 april 2008 och den 31 december 2019 (Fig. Ett tillägg Fig. Medelåldern var 63,5 ± 13,7 år i Full Dataset och 66,7 ± 12,0 år i Rapportdataset. 1a 1 Översikt över CathAI-rörledningen för automatiserad angiograminterpretation. Angiogram-videor strömmar från en algoritm till nästa för att utföra de 4 kritiska uppgifterna som krävs för automatiserad tolkning. Tillämpning av CathAI till ett exempel koronar angiogram. Ett exempel vänster främre nedåtgående artär angiogram med svår stenos (proximalt till mittsegmentet) visas framsteg genom CathAI-systemet för att: identifiera angiografisk projektion, identifiera LCA (vänster), placera gränslåda runt föremål som stenos (zoom, mitten), och förutsäga maximal stenos svårighetsgrad (höger). a b CathAI-prestanda för att klassificera angiografisk projektionsvinkel, anatomiska strukturer och angiogramobjektlokalisering För att klassificera angiografisk projektionsvinkel uppnådde CathAI ett frekvensvägd positivt prediktivt värde (PPV) på 0,90, känslighet på 0,90 och F1-poäng på 0,90 i testdataset (Tilläggstabell). ) Högt använda projektionsvinklar, såsom LAO Straight, RAO Straight och LAO Cranial, hade bättre övergripande prestanda. För att klassificera den primära anatomiska strukturen i en angiogramvideo uppnådde CathAI en frekvensvägd PPV på 0,89, känslighet på 0,89 och F1 poäng på 0,89 i testdataset (Tabell). ). CathAI performance was high for both the left and right coronary arteries (LCA and RCA, respectively), which are the primary angiographic objects of interest: PPV and sensitivity, respectively, were 0.97 and 0.94 for LCA and 0.93 and 0.93 for RCA. 8 1 När angiogram-videor som huvudsakligen innehöll LCA och RCA identifierades lokaliserade CathAI objekt i angiogrammet genom att förutsäga gränslådan runt koronarsegment som den proximal delen av en koronar artär, stenosregioner, stenter och koronarkatetrar. För att mäta CathAI-prestanda för att lokalisera dessa objekt, användes genomsnittlig genomsnittlig precision (mAP) för att jämföra förutsedda koordinater mot mark-truth för varje objekt. (Tilläggsbord CathAI korrekt lokaliserade 93,3% av koronar arteriell stenos (PPV) i UCSF testdataset. 16 9 CathAI prestanda för att förutsäga stenos svårighetsgrad Den slutliga algoritmen i CathAI-systemet uppskattade svårighetsgraden av koronar arteriell stenos (Fig. ). Predicted estimates of stenosis severity were averaged from all angiogram videos from a given study that visualized a particular artery segment (called “artery-level”), mirroring standard clinical practice. In the test dataset, CathAI’s AUC to identify obstructive stenosis was 0.862 (95% CI: 0.843–0.880) at the artery-level (Table och Fig. ). arteriell nivå stenos förutsägelse utfört bättre än video eller bildnivå förutsägelser (Fig. Ett kompletterande bord För CathAI:s förutsägelse av stenosens svårighetsgrad som en kontinuerlig procentuell stenos var den genomsnittliga absoluta procentuella skillnaden mellan AI-stenos och rapportstenos 17,9 ± 15,5 % (Tabell). Ett tillägg Fig. Det fanns en signifikant lägre genomsnittlig absolut procentuell skillnad för RCA jämfört med LCA (16,4 ± 15,0 vs 19,0 ± 15,8). < 0,001, Tabell • Tilläggsbord CathAI hade måttligt högre AUC för att identifiera svår stenos i lager av kvinnor vs. män [0.890 (95% CI: 0.864–0.923) vs. 0.830 (95% CI: 0.805–0.856) respektive, värde för interaktion: 0,02 1b 2 2a 2a 10 2 3 p 2 10 P Receiver Operating Characteristic Curves (ROC) för CathAI förutsägelse av obstruktiv (</≥70%) koronar stenos i testdataset. svart prick: AI-stenos tröskel som valts för att optimera F1-poäng i dataset på artärnivå. rött kors: Specifikitet när känsligheten är fast vid 80%. blå kors: känslighet när specificiteten är fast vid 80%. Förvirrande matris för CathAI förutsägelse av obstruktiv stenos vs. REPORT-stenos. UOHI Extern Validation Dataset-ROC för CathAI förutsägelse av obstruktiv (</≥70%) stenos. Svart prick: AI-stenos tröskel som valts för att optimera F1-poäng i dataset på artärnivå. Rött kors: Specifikitet när känsligheten är fast vid 80%. Blå kors: känslighet när specificiteten är fast vid 80%. UOHI Extern Validation Dataset-Confusion matris för CathAI förutsägelse av obstruktiv stenos vs. expert adjudicators. AUC område under kurvan, CI konfidensintervall, AI artificiell intelligens. a b c d Av dessa ≥70% stenoser enligt REPORT-stenos klassificerade CathAI 74,5% korrekt (95% CI: 70.0–78.4%; 260/349, Fig. ); och av de <70% stenoser av REPORT-stenos klassificerades algoritm 4 78,1% korrekt (95% CI:76.1–80.1%; 1082/1385). När algoritm 4s känslighet för att upptäcka obstruktiv koronar stenos fastställdes på 80,0%, dess specificitet för att upptäcka obstruktiv stenos var 74,1%; och när specificiteten fastställdes på 80,0%, dess känslighet för att upptäcka obstruktiv stenos var 71,6%. Det fanns medelstora korrelationer mellan kontinuerlig AI-stenos och REPORT-stenoser (Tabell CathAI överskattade mildare stenoser och underskattade svåra stenoser (Tilläggsfigur. och ) 2b 2 3 Extern validering av CathAI i UOHI-dataset För att undersöka extern generaliserbarhet, tillämpade vi CathAI på 464 slumpmässigt samplade angiogram videor från UOHI. CathAI förutspådde angiografisk projektion med hög noggrannhet (Tilläggsfigur. ) I 100% av UOHI angiogram, Algoritm 2 framgångsrikt identifierade RCA eller LCA. De två UOHI adjudicators enades om stenos lokalisering inom samma koronarartärsegment i 91,4% ( I denna deluppsättning lokaliserade CathAI stenos i samma artärsegment i 84.5% ( = 360); i alla de återstående 15.5% där arterieundersegmentet inte var korrekt, tilldelade CathAI stenos till den korrekta koronar artären totalt (LCA vs RCA). Alla CathAI-identifierade stenoser var sanna stenoser, i motsats till artefakt på grund av suboptimal opacitet eller kärltortuositet, enligt båda domarna. 4 n n Inter-observer variabilitet för stenos procentuell bedömning mellan de två anbudsgivarna var 15.7% ± 14.5%. För bestämning av obstruktiv (</≥70%) stenos, anbudsgivarna oense om 16.8% av stenoserna som obstruktiv ( = 78).Vi beräknade det aritmetiska medelvärdet av den procentuella stenosen från de två adjudikatörerna för att jämföra mot CathAI:s förutsägelse av stenosens svårighetsgrad.Jämfört med detta var CathAI:s AUC för obstruktiv stenos (≥70%) 0,869 (95% CI: 0,830-0,907; Figs. och ); känsligheten var 86,4% och specificiteten var 67,3% (Fig. Den genomsnittliga absoluta procentuella skillnaden mellan AI-stenos och den genomsnittliga procentuella stenosen från de två domarna var 18.02% ± 11.02%.I UOHI-dataset tog CathAI ~3–5 s att analysera en angiografi-video, eller 35 s för en fullständig tentamen, med hjälp av en Nvidia GTX 1080 Ti GPU. n 2c 3 2d De viktigaste resultaten för University of California, San Francisco (UCSF) intern validering och University of Ottawa Heart Institute (UOHI) extern validering visas för var och en av de 4 uppgifterna. Reträning CathAI för att förutsäga QCA Stenosis RCT QCA-dataset bestod av 709 patienter med 858 undersökningar (1384 stenoser; 18 allvarliga ≥70%, 71 allvarliga ≥50% men <70% och 1295 icke allvarliga). = 1384) av stenoser (67,2 % för LCA och 86,8 % för RCA). Genomsnittlig stenossvårighetsgrad enligt QCA var 31,7 ± 11,6 % (Tilläggsfigur. ) Med tanke på den divergerande patientpopulationen av RCT QCA-dataset med mestadels milda CAD- och QCA-bedömningskriterier (≥50% QCA-stenos) i stället för visuell uppskattning gav RCT QCA-dataset en möjlighet att omträna CathAI för att förutsäga QCA-märkta stenoser, i motsats till visuellt uppskattade stenoser. ) och för QCA-stenos ≥70%, var AUC 0,75 (95% CI: 0,570-0,930). Den genomsnittliga stenosskillnaden mellan CathAI-predikterad stenos och QCA-estimerad stenos var 6,5 ± 5,5% i testdataset. n 5 11 Använda neurala nätverk förklarbarhet för att förstå CathAI prestanda För att bättre förstå de element inom angiogram som bidrog till CathAI-prognoser tillämpade vi två förklaringsmetoder på de fullt utbildade CathAI-algoritmerna. framhäver bildregioner som är mest kritiska för CathAI: s förutsägelse, vilket visar att den använde regioner som en kardiolog, såsom den vänstra främre nedstigande artären för att identifiera LCA-bilder (Fig. Vi härledde också framträdande kartor för CathAI: s förutsägelse av stenosens svårighetsgrad med hjälp av Layer Ordered Visualization of Information (LOVI) -metoden. De markerade pixlarna (Fig. Ett tillägg Fig. ) var inte bara begränsade till stenösa artärsegment, men också till normala segment och pixlar omedelbart intill artären, vilket tyder på att förhållandet mellan stenösa och icke-stenösa artärsegment bidrar till CathAI: s förutsägelse av stenos svårighetsgrad. 17 4a 18 4b 6 GradCAM applied to CathAI classification of primary anatomic structure. Two original angiogram images are shown (left), alongside corresponding images highlighted by GradCAM (right) showing areas of greater importance for algorithm decisions. GradCAM-highlighted areas focused around the left coronary artery within the angiogram image, with blue color indicating lowest importance, yellow color indicating medium importance and red color indicating highest importance to CathAI Algorithm 2’s prediction. LOVI Saliency Maps of CathAI prediction of coronary stenosis severity Original angiogram images (top) and corresponding images with LOVI saliency maps (bottom).White pixels represent greater contribution to CathAI's (Algorithm 4) prediction, showing that Algorithm 4 focused on pixels near the region of coronary artery stenosis in most cases. a b Diskussionen Vi beskrev utvecklingen och valideringen av CathAI-rörledningen bestående av fyra algoritmer och visade betydande framsteg i automatiserad analys av koronar angiogram. Varje algoritm uppnådde en specifik uppgift som underlättade uppnåendet av det primära diagnostiska målet för koronar angiografi – bedömning av svårighetsgrad av koronar arteriestenos – uppnådde state-of-the-art prestanda för varje uppgift. Viktigt, CathAI var generaliserbart, utan ytterligare utbildning, för att förutsäga visuellt uppskattade stenoser från icke-kurerade verkliga UOHI angiogram, ett separat medicinskt system i ett annat land. CathAI var också framgångsrikt omskolad för att förutsäga QCA stenoses uppskattningar i en tredje extern RCT QCA Tidigare arbete har rapporterat neurala nätverk som utför enskilda uppgifter i experimentella inställningar relaterade till angiogram analys såsom ram utvinning , stenos förutsägelse från (manuellt valda) RCA bilder , , , , , , Koronar fartygssegmentering , eller stenos identifiering Men till vår kännedom helt automatiserad analys och stenos förutsägelse för koronar angiogram videor har ännu inte visats på verkliga angiogram. , , , , , , sannolikt eftersom det har betydligt mindre anatomisk variabilitet och komplexitet jämfört med LCA, vilket minskar svårigheten att analysera RCA angiogram. Men metoder utbildade på förvalda RCA angiogram kan inte analysera verkliga dataset, som inkluderar icke-RCA och icke-koronararterie videor. I en nyligen ansträngning Du et al. analyserade enskilda ramar från både LCA och RCA angiogram för att lokalisera koronarsegment och stenos , but did not predict severity of stenosis which is a critical component. Our work advances the state-of-the-art that is generalizable to real-world external angiograms and mirroring the standard-of-care guideline-recommended “worst view” assessment , Eftersom koronar angiografi är avgörande för alla CHD kliniska beslutsfattande , Avvikelsen av CathAI:s förutsägelser från mänskliga experters visuella bedömning var väl inom, och ofta mindre än, vanligtvis rapporterad inter-observer variabilitet , , , , CathAI:s omskolade QCA-avvikelse var 6,5 ± 5,5 % i RCT QCA-dataset vilket är väsentligt lägre än skillnaden på 10,2–16,6 % mellan läkares visuella bedömning och QCA som rapporterats i litteraturen. 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Automated analysis of angiograms has greater similarities to the perception-side of “self-driving car” technology than to standard radiologic analysis (i.e. X-rays), given angiograms’ highly variable, operator-determined video acquisitions and the sequence of complex tasks required for analysis. Successful analysis of real-world angiograms requires the AI-system to process any type of video encountered during real-world procedures, identify relevant images, then accurately localize important objects. CathAI’s state-of-the-art performance on each core task and also stenosis estimation , , , , , , , ger bevis på konceptet att mångsidiga algoritmer för djup inlärning kan övervinna de hinder som hittills har förhindrat fullständigt automatiserad angiogramanalys. De flera underuppgifterna CathAI uppnår på vägen till den slutliga stenosprognosen ger en robust grund för att stödja många framtida ytterligare uppgifter som bygger på någon CathAI-underuppgift, såsom att förutsäga stentunderutvidgning, aterosklerotisk plackmorfologi eller fraktionell flödesreserv från kontrastflödesmönster. CathAI kan enkelt anpassas till ytterligare uppgifter. Liksom självkörande bilteknik finns det dock mycket arbete kvar för att uppnå mycket hög noggrannhet innan CathAI är "kliniska redo", med tanke på den centrala rollen som bedömning av koronar stenos till CHD , Utan tvekan kommer ytterligare förbättringar i var och en av CathAI: s enskilda algoritmer sannolikt att behövas före klinisk implementering, som kan uppnås till exempel genom att öka storleken på mänskligt-expert annoterade dataset eller träna ändamålsenliga algoritmer för specifika vyer (t.ex. en RCA-LAO endast arteriell lokalisering algoritm). 19 20 21 22 23 24 25 28 2 3 Den mest omedelbara kliniska implikationen av utbyggnaden av en rörledning som CathAI skulle vara att öka standardiseringen i bedömningen av koronarstenos. , , , , och mellan 10-17% mot en QCA-guldstandard , directly impacting decisions for life-saving CHD revascularization therapies. Multiple studies have consistently reported overestimation of stenosis by visual estimation , , En studie omvärderade kliniska angiogram av flera läsare, rapporterar att rekommendationen för koronar bypass kirurgi ändrades från "nödvändig / lämplig" till "osäker / olämplig" i 17-33% av fallen, inklusive 10% av fallen för stent placeringar Denna studie föreslog att utföra en andra oberoende angiogram tolkning före revaskularisering, även om detta i allmänhet är omöjligt och inte den kliniska standarden för vård som ges kliniska interventionella kardiologiska arbetsflöden. Men CathAI kunde lätt utföra denna funktion på ett automatiserat, reproducerbart sätt för att ge nästan realtidsprognoser under förfarandet för att komplettera läkarnas egen ad hoc diagnos. Men eftersom CathAI utbildades med samma partiska visuellt uppskattade stenoser tenderar det också att överskatta stenoser. För att ta itu med detta kan CathAI omutbildas med hjälp av QCA-data, som, som vi visar, tenderar att förutsäga mindre allvarliga stenoser som visas i litteraturen. 4 5 6 7 29 5 5 6 8 4 4 Some recent studies have suggested that there may be sex differences in stenosis estimations, where stenoses tend to be overestimated in females För att undersöka om CathAI kunde bidra till att minska denna bias i stenos uppskattning över kön, jämförde vi prestanda av algoritm 4 mellan män och kvinnor i vår interna dataset. Vår analys fann en liten men signifikant skillnad mellan algoritmens prestanda i lager av män och kvinnor. Framtida arbete bör syfta till att balansera exempel på svåra och icke-svåra stenoser hos både män och kvinnor för att ytterligare ta itu med frågan om könsbaserade bias i stenos svårighetsgrad uppskattning. 30 Den visuella potentialen för CathCA till de lägre nivåerna av det framtida CAD-systemet är dock den externa valideringen som visar att CathAI först generaliserar väl till externa verkliga angiogram som utvärderas av läkare visuell uppskattning. I jämförelse representerade RCT QCA-dataset en inte bara en annan metod för att utvärdera den huvudsakliga pathografiska systemet (som också använder olika trösklar för svår stenos ≥50% för QCA vs ≥70% för visuell uppskattning), vilket gör det effektivt en annan uppgift, men en mycket annorlunda patientpopulation med övervägande mild-CAD på grund av RCTs dataset design. I de flesta UCSF-kliniska angiogram, som är vanligt i klinisk praxis, beskrivs koronar stenoser ≤50% Vårt arbete har flera begränsningar. En anmärkningsvärd begränsning uppstår från vår användning av utbildningsetiketter som härrör från rutinmässig klinisk vård med hjälp av läkares visuella uppskattning. På grund av den resursintensiva karaktären av att generera ett stort antal kardiologiska anteckningar för angiografiska bilder, för att uppnå den största datamängden för att utbilda CathAI för stenosis svårighetsgrad, använde vi kliniskt genererade REPORT-stenosvärden som fanns tillgängliga i stora antal. Även om dessa genererades av sub-specialiserade utbildade framtida interventionskardiologer vid UCSF, visade de sannolikt fortfarande variabilitet som är inneboende i någon kliniskt genererad etikett. Sådan variabilitet i både utbildnings- och test Vårt mål med denna bevis-of-concept-studie var att demonstrera de "byggnadsblock" som krävs för automatisk tolkning av koronar angiogram, och inte nödvändigtvis att ersätta den nuvarande kliniska standarden för angiogram tolkning. För att uppnå det senare, kommer betydande mänskliga ansträngningar sannolikt att krävas för att märka stora datamängder med exakta metoder. Dessutom inkluderade vi bara de viktigaste epikardiella kärlen i denna version av CathAI. Andra relevanta kärl / föremål, såsom bypass transplantat, diagonaler, kroniska totala ocklusioner eller collaterals uteslöts, men representerar primära mål för nära framtida arbete. 31 CathAI uppnår toppmodern prestanda för varje uppgift som krävs för tolkning av verkliga angiogram, är externt giltig och ger en grund för framtida uppgifter inom automatiserad angiografisk tolkning. Den automatiserade stenosbedömning som möjliggörs av CathAI kan tjäna till att öka standardiseringen och reproducerbarheten i bedömningen av koronar stenos, en av de mest kritiska kretsarna i CHD: s kliniska beslutsfattande. Metoder Studera deltagarna och studera datasatser For our Full Dataset, we obtained retrospective, de-identified coronary angiographic studies from all patients 18 years or greater from the University of California, San Francisco (UCSF), between April 1, 2008 and December 31, 2019 (Supplementary Fig. Patienter utan videor av vänster eller höger koronar artär uteslöts. Angiogram förvärvades med Philips (Koninklijke Philips N.V., Amsterdam, Nederländerna) och Siemens (Siemens Healthineers, Forchheim, Tyskland) system vid 15 bilder per sekund med hjälp av Iopromide-kontrast. 1 För att maximera de manuella märkningsinsatser som krävs för att generera utbildningsdata för varje algoritm genererade vi en ”extraherad fullständig datamängd” genom att först automatiskt identifiera ramarna i videon som sannolikt innehöll peak-kontrast genom att beräkna den strukturella likhetsindexmätningen (SSIM) från ramen i position ”0” där ingen färgning vanligtvis finns, som vi kallade ”referensramen”. SSIM är högre om bilderna har liknande pixelvärden och lägre om det finns större skillnad. Den ram med lägsta likhetsindex från referensramen valdes som mest sannolikt att innehålla peak-kontrast (t.ex. när artären är full av kontrast). Upp till 8 ramar extraherades sedan från varje video genom att behålla referensramen, = 1,418,297). Alla ramar i en video konverterades till bilder med dimensioner på 512*512 pixlar för algoritmisk analys. Underuppsättningar av ramar från den extraherade Full Dataset märktes sedan för varje uppgift, som beskrivs nedan, för att generera träningsdata för Algoritmer 1–3. n For all algorithms, except Algorithm 3, data was split randomly for each algorithm into Training (70%), Development (10%) and Test (20%) datasets, each containing non-overlapping patients. The development dataset was used for algorithm tuning, when required. For Algorithm 3, dataset splits were Training (80%) and Test (20%); since we used original hyperparameters and did not require algorithm tuning , . 16 32 Algorithm 1 labels were taken directly from the DICOM metadata describing the cranial-caudal and LAO-RAO orientations. Algorithm 2 and 3 required annotations by a board-certified cardiologist (Supplementary Fig. Ett kompletterande bord och and För algoritm 4 togs stenoserna direkt från procedurrapporten. 8 1 2 3 Rapportens dataset Shortly after performing the procedure, interventional cardiologists typically interpret the angiogram using visual assessment, as per standard clinical practice, and describe the severity of coronary stenosis in the procedure report. This procedural report text was parsed (see below) to identify: any description of coronary artery stenosis, the maximal stenosis percentage (called the REPORT-stenosis) and its location in one of 11 coronary artery segments (Supplementary Table Vi identifierade 9782 koronarstenoser i artärsegment (REPORT-stenoser) och identifierade i 1766 icke-stenoserade kompletta kärl som resulterade i totalt 10 088 icke-stenoserade fartygssegment, härledda från 84 153 bilder. Metadata extraherades från varje angiogram video inklusive förfarandedatum, den primära (Right Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) och sekundära (cranio-caudal) rotationsvinklar, en unik undersökningsidentifierare och en unik patientidentifierare. Oöverensstämda REPORT-stenoser togs bort från dataset. Vi uteslöt också videor där en intra-coronary guidewire var närvarande i mer än 4 ramar, som automatiskt bestäms av Algoritm 3 (6,076 videor, 41,780 stenosis-ramar identifierade med guidewires), eftersom dessa videor sannolikt representerar perkutana koronära interventioner som kan ändra stenosisprocenten inom den videon (Tilläggsfigur ); videor behölls från studier före införandet av en intracoronary guidewire. 3 1 1 Text parsing metoder Den fria texten från procedurrapporten segmenterades först med hjälp av kommor (“,”) eller perioder (“.”). ). När ett koronarsegment hittades identifierade vi någon beskrivning av motsvarande stenosprocent genom att lokalisera "%" och det närmaste ett till tresiffriga numret i den meningen. Vi sökte inledningsvis med standardtermer (t.ex. "rätt koronarsegment"), utökade sedan nyckelorden genom manuell granskning av texten, över flera iterationer, för att inkludera de vanligaste förkortningarna, alternerande stavning och permutationer (t.ex. "RCA"). Kvalitativa beskrivningar av obstruktiv CHD, såsom "mild", "moderat" eller "svår" sjukdom extraherades inte. Dessutom sökte vi efter nyckelord som "thrombus", "obstruktion" eller "occlusion" i rapporten; när det fanns i ett koron Vi analyserade inte kroniska totala ocklusioner och stenoser i diagonala, marginaler, septaler, ramus, vänster bakre nedstigande artär, vänster posterolateral eller i bypasstransplantationer. 3 3 Forskning om mänskliga ämnen Denna studie granskades av University of California, San Francisco Institutional Review Board och behovet av informerat samtycke avvisades. Algoritmutveckling CathAI-systemet består av 4 neurala nätverksalgoritmer organiserade i en rörledning (Fig. Angiografiska bilder analyseras av varje algoritm och "flöde" sekventiellt till nästa för att uppfylla de fyra grundläggande uppgifterna för automatiserad angiogram analys: (1) klassificering av angiografisk projektionsvinkel; (2) klassificering av en angiograms primära anatomiska struktur; (3) lokalisering av relevanta föremål inom ett angiogram, inklusive koronar artär sub-segment och stenoser; (4) förutsägelse av koronar artär stenos svårighetsgrad (som en procentandel av artär förträngning). 1a Vi anpassade var och en av CathAI:s 4 algoritmbaserade neurala nätverksarkitektur för att uppnå en angiogramrelevant uppgift, som beskrivs i avsnitten nedan. Som en högnivåsammanfattning accepterade algoritm 1 enskilda bilder (koronary angiogram videoramar) som input och identifierade den angiografiska projektionsvinkel som används som beskrivs av LAO-RAO och kranial-caudal axlar (LAO-kranial, RAO-caudal, etc.); etiketter fanns tillgängliga från varje videos metadata. algoritm 2 identifierade den primära anatomiska strukturen (Tilläggstabell ), eftersom det är vanligt att fånga angiogram videor som innehåller icke-hjärt anatomiska strukturer som aorta eller femoralartären. Algoritm 2 tillät CathAI att därefter fokusera på endast angiogram videor som huvudsakligen innehåller vänster och höger koronar artärer (LCA och RCA, respektive). Algoritm 3 lokaliserade relevanta föremål inom bilder av LCA och RCA genom att extrahera gränslåda koordinater för identifierade föremål (Tilläggsvideo). Coronary artery stenosis plats tilldelades enligt den största överlappningen mellan två Algoritm 3-predikterade gränslåda rutor av koronar sub-segment och stenosis (Figur. ). Algorithm 4 accepted images cropped around stenosed artery segments (by Algorithm 3 bounding boxes) and predicted the maximal percentage stenosis within the image as a continuous value between 0 and 100 for each image. Predictions were averaged across a video to provide the video-level prediction; and the mean of video-level predictions from all videos that visualized an artery segment within a study provided the final artery-level prediction. 2 1b Algoritm 1: klassificering av angiografisk projektionsvinkel Projektionsvinkeln hänvisar till den fluoroskopiska vinkeln som används för att erhålla bilden, vanligtvis beskrivs på två axlar definierade av LAO-RAO och kranial-caudal (LAO-kranial, RAO-caudal, etc). För algoritm 1-utbildningsdata kategoriserades alla bilder från den extraherade Full Dataset i 12 kategorier av vänster-höger- och kranial-caudal projektionsvinklar baserat på primära och sekundära vinklar extraherade från varje videos metadata (−180 och 180 grader för primärvinkeln och −50 och 50 grader för sekundär; kompletterande tabell ). We then split the extracted Full Dataset into training (990,082), development (128,590) and test datasets (299,625). 1 Algorithm 1 architecture was based on Xception, which is a convolutional neural network that has achieved state-of-the-art performance at image recognition tasks Den initialiserades med ”ImageNet”-vikter , som vanligen utfördes för att initialisera vikter för snabbare algoritmkonvergens i bildklassificeringsinställningar; alla lager var tränbara. Bilder förstorades genom slumpmässig zoom (intervall = 0,2) och skära rotation (intervall = 0,2). Utvecklingsdataset användes för att iterativt jämföra algoritmprestanda och finjustera hyperparametrar med hjälp av gittersökning (Tilläggstabell Vi experimenterade med olika arkitekturer som VGG-16, ResNet50 och InceptionNet-V3 men fann ingen ökande fördel över Xception. En nätverkssökning användes för att finjustera hyperparametrar. Testdataset användes inte alls under träningen och användes endast för att rapportera slutlig prestanda. Den vanligaste förutsägelsen över extraherade ramar av varje video tilldelades som den angiografiska projektionen av den videon; kopplingar åtgärdades genom att välja projektionen med den högsta genomsnittliga sannolikheten över alla ramar. Vi använde Algorithm 1 vikter som en "kärnmodell" för att initialisera vikterna för träning av de efterföljande algoritmerna baserade på Xception-arkitekturen. 33 34 5 Algorithm 2: classification of primary anatomic structure Algorithm 2 aimed to identify the primary anatomic structure present in an angiographic video (Supplementary Table ), eftersom det är vanligt att fånga angiogram-videor som innehåller icke-hjärtliga anatomiska strukturer som aorta eller femoralartären under proceduren. För att generera algoritm 2-utbildningsdata valde vi slumpmässigt 14 366 bilder från den extraherade Full Dataset, och en kardiolog kategoriserade varje bild i en av 11 klasser som beskriver den primära anatomiska strukturen (Tilläggstabell ). This dataset was split into Training/Development/ Test datasets, containing 9887 (70%), 1504 (10%), and 2975 (20%) images, respectively. We trained Algorithm 2 using the Xception architecture, initialized weights from trained Algorithm 1, and tuned hyper-parameters (Supplementary Table Bilder förstärktes av slumpmässig zoom (intervall = 0,2) och skär rotation (intervall = 0,2). Den förutsagda primära anatomiska strukturen hos en video var läget förutsägelse av alla dess extraherade Full Dataset ramar. ). F1 scores and model performance varied by anatomic class, but in general classes with lesser frames had lower performance (Supplementary Fig. ), vilket föreslår en möjlighet att förbättra prestanda om mer märkta data var tillgängliga. 2 2 5 1 3b Algoritm 3: lokalisering av angiogramobjekt Algoritm 3 syftade till att lokalisera relevanta föremål inom bilder av vänster och höger koronar artärer (utgången av Algoritm 2). ), the tasks most critical to the CathAI pipeline were to (i) identify coronary artery segments, (ii) identify stenoses (if present) and (iii) localize other relevant objects such as guidewires or sternotomy. To generate training data for Algorithm 3, 2338 contrast-containing images of LCA and RCA both with and without stenosis (as identified by Algorithm 2) were annotated by a cardiologist who placed bounding boxes around all relevant objects in the image (Supplementary Table Endast stenoser i de huvudsakliga epikardiella kärlen, inte sidogranar som diagonaler eller marginaler, märktes.I 100% av de 2338 ramarna var LCA eller RCA den primära anatomiska strukturen som innehöll, och artären var väl visualiserad, väl opacified och inte underfylld, enligt den anmärkningsvärda kardiologen. 3 3 I vår sista dedikerade CathAI-rörledning utbildade vi två versioner av Algoritm 3: Algoritm 3a utbildades på och accepterade både LCA- och RCA-bilder som input. Eftersom RCA i LAO-projektionen innehöll det största antalet annoterade bilder i vår dataset, utbildade vi också en dedikerad Algoritm 3b på denna projektion för att demonstrera möjliga prestandavinster från att fokusera en algoritm på en specifik artär/projektion (RCA i LAO). För att träna Algoritmer 3a/b delade vi våra märkta bilder för denna uppgift i två separata dataset: En som innehåller vänster/höger koronarterier (2,338 bilder) och en som innehåller RCA-bilder i LAO-projektionen (450 bilder). Varje dataset delades sedan upp i 90% träning (210 Algoritmerna 3a/b använde RetinaNet-arkitekturen och utbildades med hjälp av ursprungliga hyperparametrar RetinaNet har uppnått state-of-the-art prestanda för objektlokalisering såsom fotgängardetektering för självkörande bilar Eftersom vissa arteriella segment i vissa angiografiska projektioner är kända a priori att vara förkortade eller inte synliga, tillämpade vi en post-hoc heuristik för att utesluta vissa segment av arterier som förutses av Algoritm 3a/b från angiografiska projektioner enligt förutsägelsen av Algoritm 1 (Tilläggstabell 1). Detta representerar därmed en sammanslagning av mellanliggande förutsägelser från två CathAI-rörledningsalgoritmer för att uppnå mer kliniskt relevanta övergripande rörledningsprestanda.För att bedöma Algoritm 3a/b-prestanda jämfördes de förutsagda koordinaterna med grund-sanningskoordinaterna med hjälp av förhållandet mellan korsningsområdet och unionsområdet (kallas Intersection-over-union [IoU]) En IoU ≥ 0,5 mellan de förutsagda och annoterade koordinaterna ansågs vara en sann positiv.Därefter mätte vi den genomsnittliga genomsnittliga noggrannheten (mAP), som representerar förhållandet mellan sanna positiva över sanna och falska positiva vid olika tröskelvärden för IoU, för varje klass En mAP på 50% jämför med toppmoderna resultat för den här typen av uppgift , . 16 35 4 36 37 16 35 Algorithm 4: predicting the percentage of coronary artery stenosis Algorithm 4 was developed to predict the severity of coronary artery stenosis as a percentage, given input images cropped around stenosed artery segments identified by Algorithm 3. Algorithms 3a/b were run on all Report dataset videos to localize artery segments and stenoses. All frames that contained a stenosis bounding box overlapping with a coronary artery segment bounding box with IoU ≥0.20 comprised potential input frames for Algorithm 4. A stenosis was localized to the artery segment that Algorithm 3 identified which had the greatest overlap by IoU. To derive train/test labels for Algorithm 4, we cross-matched stenoses found by Algorithm 3a/3b with the stenosis percentage found in the procedural report in corresponding artery segments (Supplementary Fig. Matchade procedurrapporteringsvärden fungerade som etiketter för att träna Algoritm 4 med ingångsbilder klippta runt stenösa artärsegment enligt Algoritm 3a/b gränslådor.Omatchade stenoser togs bort från vår datasats.Vi uteslöt också alla videor där en intra-koronär guide tråd var närvarande i mer än 4 ramar, som automatiskt bestäms av Algoritm 3a/b (6,076 videor, 41,780 stenos-ramar identifierade med guidewires), eftersom dessa videor sannolikt representerar perkutana koronära ingrepp som kan ändra stenosprocenten inom den videon (Tilläggsfigur. För att träna och validera Algoritm 4 kombinerade vi 6258 bilder av icke-stenoserade koronararteriesegment med de återstående 98.756 bilderna av stenoser. 1 1 När en stenos identifierades utvidgades gränssnittets koordinater med 12 pixlar i alla dimensioner, sedan klipptes och dimensionerades till närmaste av tre förutbestämda storlekar: 256*256 pixlar (aspektförhållande nr.1), 256*128 pixlar (aspektförhållande nr.2) och 128*256 pixlar (aspektförhållande nr.3). Detta utfördes för att maximera signal-till-brusförhållandet (fartyg-till-bakgrund) på grund av olika fartygsinriktningar och stenosstorlekar. ”Report Dataset” som användes för att utbilda Algoritm 4 bestod av 105,014 bilder (6667 stenoser från 2 736 patienter och 5,134 friska fartygssegment från 1 160 patienter. Eftersom icke-stenoserade fartygssegment tenderade att vara längre än den fokala stenos som kan föranleda träning, klippte vi alla icke-stenoserade segment slumpmässigt till en höjd och bredd, vilket speglar fördelningen av stenosbildstorlekar inom det koronarsegmentet. 1 Algorithm 4 baserades på en modifierad Xception-arkitektur där det sista skiktet (Softmax-skiktet, som används för klassificering) ersattes med ett "genomsnittligt pool" och därefter ett tätt skikt med en linjär aktiveringsfunktion för att möjliggöra förutsägelse av stenosens svårighetsgrad som ett kontinuerligt procentuellt värde. Bildmetadata som bestod av koronarsegmentets etikett och klippta aspektförhållanden tillsattes också som ingångar till det slutliga skiktet i Algorithm 4, vilket förbättrade prestandan. Algoritmen gav ett procentuellt stenosvärde mellan 0 och 100 för varje ingångsbild som representerade den maximala stenosen i det koronarsegmentet. Modellvikter initialiserades med hjälp av de från den utbildade Algoritmen 1.Bilderna förstärktes av slumpmässig flip (både horisontell och vertikal), slumpmässig kontrast, gamma- och ljusstyrka variationer, slumpmässig tillämpning av adaptiv histogram equalization (För att förbättra kontrasten i bilder).Algoritmerna utbildades för att minimera kvadratförlusten mellan den förutsagda (AI-stenos) och rapporten-stenos med RADAM-optimeraren med en inledande inlärningsfrekvens på 0,001, momentum på 0,9 och batchstorlek på 12, utbildades för 50 epoker. 38 For Algorithm 4, we modified the training scheme such that each epoch was trained on images of one aspect ratio, with the next epoch training on another aspect ratio (copying all weights from the previous iteration), as performed previously for multi-size inputs Detta upprepades till konvergens.Vi mätte algoritmprestanda på den kompletta testdataset, bestående av de tre aspektförhållandena.Vi observerade att konvergens av inmatningsutbildningen i flera storlekar var som andra algoritmer som använde en fast storlek för träning.Vi undersökte också olika förbearbetningsmetoder och sekvenser utan förbättring av algoritmprestanda (Tilläggstabell) och ) 39 7s Neurala nätverksförklaringsmetoder Vi tillämpade två neurala nätverksförklaringsmetoder på de fullt utbildade CathAI-algoritmerna för att bättre förstå hur algoritmer gjorde sina förutsägelser, respektive deras relativa uppgifter. Tekniken belyser de bildregioner som är mest kritiska för förutsägelse.Röda markerade områden indikerar högre betydelse för algoritm förutsägelse, medan mer blå markerade områden indikerar lägre betydelse. , which highlights individual pixels in the image that contribute most to algorithm predictions. Brighter pixels represent greater contribution to the algorithm’s prediction. 17 18 Extern validering För extern stenosis-validering samlade vi slumpmässigt 1000 koronar angiogram-videor som utfördes vid University of Ottawa Heart Institute (UOHI) mellan juli 1st 2020 och oktober 31st 2020, förvärvade med Philips Azurion-system (Koninklijke Philips N.V., Amsterdam, Nederländerna), vid 15 fps, med hjälp av Iopromide-färgning. Algorithms 1, 2 och 3 tillämpades på varje video för att identifiera och lokalisera stenoser, och Algorithm 4 förutspådde AI-stenos. Vi samlade sedan upp till 40 exempel på angiogram-videor per segment av koronar artär för att bilda vår externa valideringsdataset, vilket identifierade totalt 464 koronar angiogram med distinkta stenoser. Två styrelsecertifier För att träna CathAI-algoritmen 4 för den olika befolkningsfördelningen i QCA-dataset delade vi upp QCA-dataset i utbildning (75%), utveckling (12.5%) och testning (12.5%) och finjusterade de två sista helt anslutna skikten i Algoritmen 4, så att algoritmen kunde lära sig att förutsäga QCA-stenosvärdena från inmatningsstenosbilderna i stället för visuellt utvärderad stenos. Vi utförde en grid-sökning av inledande inlärningsfrekvenser från 1e−4 till 1e−8 och valde den takt som producerade det lägsta förlustvärdet på utvecklingen i 100 epoker. Vi tränade sedan modellen med en inlärningsfrekvens på 1e-6 och faller med en faktor på 0,1 var 100 epoker, Kvantitativ koronar angiografi dataset CathAI-systemet ger en algoritmisk grund som ska omutbildas för framtida angiogramrelaterade uppgifter. För att demonstrera detta erhöll vi en extern dataset av koronar angiogram av en a priori annorlunda patientpopulation som tilldelades vid Montreal Heart Institute (MHI) Core laboratorium med hjälp av CMS QCA-systemet (MEDIS, Leiden, Nederländerna). Denna dataset bestod av angiogram analyserade av MHI Angiographic Core lab, erhållna under randomiserade kontrollerade prövningar (RCT) hos ≥ 18-åriga patienter som hade en koronar angiografi intervention som en del av studien och fick nya lipidsänkande läkemedel eller placebo The trials from which this data were derived used inclusion criteria that excluded patients with obstructive coronary artery disease (CAD) at the start of the study, which resulted in a majority of mild-to-moderate severity coronary stenosis in this dataset. QCA analysis was performed by two trained technicians and was supervised by an expert physician. For this dataset, severe stenosis was defined as ≥50% QCA stenosis severity , . 40 6 13 Coronary angiogram bilder erhålls med hjälp av Philips (Koninklijke Philips N.V., Amsterdam, Nederländerna), General Electric Medical Systems (General Electric, Chicago, Illinois, USA) och Toshiba (Toshiba Corporation, Minato City, Tokyo, Japan) vid 15 bilder per sekund, genom injektion Iopromide färgning i koronar artärer. För varje QCA stenos analys vid MHI kärn lab, valdes en end-diastolic ram med anguleringar som bäst visade stenos i dess svåraste grad med minimal förkortning och gren överlappning. QCA programvara beräknade automatiskt diameterprocenten stenos för koronary arteriesegment med referensdiameter ≥ 1,5 mm. Denna RCT QCA dataset innehöll en annan patientpopulation a priori från den verkliga kliniska UCSF dataset, eftersom alla stenoser ≥ 50% inte var närvarande under baslinjen angiogram (men kan vara närvarande vid en uppföljning angiogram), lämnar främst mild-CAD med en genomsnittlig QCA stenos svårighetsgrad av 31.7% ± 11.6%. Detta gav en optimal möjlighet att undersöka hur CathAI kunde ge en grund för omutbildning med QCA stenos etiketter att fungera som ett automatiserat verktyg för kärnan lab angiogram analys. Vi delade QCA dataset i utbildning (75%), utveckling (12.5%) och test (12.5%) datasatser och finjusterade de sista två helt anslutna skikten av CathAI algoritm 4 för att förutsäga QCA värden snarare än visu Algoritmutvärdering och statistisk analys Som lämpligt för varje uppgift utvärderades varje algoritms prestanda för kategoriska värden med hjälp av positivt prediktivt värde (PPV), negativt prediktivt värde, känslighet, specificitet, område under mottagarens operativa karakteristiska kurva (AUC), F1-poäng och Bland-Altmann-plotter. och Pearsons korrelation och den genomsnittliga absoluta felet mellan CathAI: s stenos förutsägelse och rapporten stenos eller QCA stenos. 41 Neurala nätverk utbildades med Keras v.2.24 och TensorFlow v.1.12. Slutlig algoritmprestanda rapporterades i Test Dataset. Algoritmerna 1 och 2 utvärderades på ram/bildenivå med hjälp av precision (dvs. positivt prediktivt värde), påminnelse (känslighet) och diagram prestanda med hjälp av förvirrande matriser. För att utvärdera algoritmen 3a och 3b beräknade vi korsningsområdet över unionsområdet (IoU) mellan de förutspådda bounding-box-koordinaterna och de expertannoterade bounding-box-koordinaterna för objekt i varje klass i testdataset. En IoU≥0,5 betyder minst 50 % överlappningsområde mellan de förutsagda och sanna gränssnitten, som vi ansåg vara en sann positiv.Vi rapporterar sedan prestandan hos Algoritm 3a/b som den genomsnittliga genomsnittliga noggrannheten (mAP) metrik, som representerar förhållandet mellan sanna och falska positiva vid olika tröskelvärden för IoU, för varje klass . A mAP value of 50% compares with state-of-the-art results for this type of task , . We also present the mean average precision for algorithm 3a and algorithm 3b by calculating the proportion of correct class prediction with an IoU≥0.1 with our ground-truth labeling across all our classes in our test dataset, as well as the positive predictive value of stenosis localization using the report or QCA dataset as ground truth. 36 37 16 35 För att utvärdera algoritm 4 var den primära mätningen av intresse det genomsnittliga absoluta felet mellan det rapporterade värdet (REPORT-stenos) och det förutsagda värdet (AI-stenos) på artärnivå. , Bildnivå AI-stenos medelvärdes över en video för att få video-nivå AI-stenos och jämfördes mot REPORT-stenos med hjälp av den genomsnittliga kvadratfel. Tillförlitligheten klassificerades som dålig (< 0,5), måttlig (0,50–0,75), bra (0,76–0,90), eller utmärkt (0,91–1,0).(52) Slutligen presenterar vi det genomsnittliga kvadratfelet mellan REPORT-stenos och AI-stenos på videonivå. 2 3 42 För att förutsäga binär "obstruktiv" koronar arteriell stenos, definierad som ≥70% stenos , , en tröskel på 0,54 användes som optimerade F1-poängen.Baserat på detta rapporterar vi också området under mottagarens operativa karaktäristiska kurva (AUC), känslighet, specificitet och diagnostiska odds-ratio , at the frame level, video level and artery level, based on this threshold. 2 3 43 Confidence intervals for performance metrics were derived by bootstrapping 80% of the test data over 1000 iterations to obtain 5th and 95th percentile values. We present the performance of Algorithm 4 stratified by sex, by left and right coronary arteries, by artery segment and by age group. We also present two-sided värden för interaktion (mellan CathAI-stenos, covariates och-stenos beräknat genom Wald-testet). Vi kategoriserade AI-stenos och REPORT-stenos i grupper av concordant och discordant lesion baserat på den visuella ≥70% cutoff. För discordant lesioner presenterar vi deras prevalens, stratifierad efter koronarartärsegment. För lesion/kärlsnivå data, en blandad effekt logistisk regression modell som används för att räkna in-subject korrelation och för upprepade angiogram. P Reporting summary Further information on research design is available in the länkat till den här artikeln. Naturforskningsrapport sammanfattning Data availability De data som används i denna studie härrör från klinisk vård och görs därför inte offentligt tillgängliga på grund av dataskyddsfrågor. Kod tillgänglighet Koden som stöder detta arbete är upphovsrättsskyddad av Regents of the University of California och kan göras tillgänglig genom licens.Data som används för att träna och validera algoritmen kan inte göras offentligt tillgänglig eftersom den innehåller personlig hälsoinformation. Referenser Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 Acknowledgements RA is supported by the “Fonds de la recherche en santé du Québec » (Grant 274831). JEO received funds from the NIH (U2CEB021881). GHT received support from the National Institutes of Health NHLBI K23HL135274. KS has no relevant funding related to this manuscript. AW is supported by the National Science Foundation Graduate Research Fellowship under Grant No. DGE 1752814. YS is supported by a Mid-Career Investigator Award by the Heart and Stroke Foundation of Ontario. J-CT holds the Canada Research Chair in personalized and translational medicine and the University of Montreal endowed research chair in atherosclerosis. JEG is funded by the NSF CISE Expeditions Award CCF-1730628 as well as gifts from Amazon Web Services, Ant Group, CapitalOne, Ericsson, Facebook, Futurewei, Google, Intel, Microsoft, Nvidia, Scotiabank, Splunk and VMware. The funders had no role in study design, data collection and analysis, decision to publish or preparation of the manuscript. Denna artikel är tillgänglig i naturen under CC by 4.0 Deed (Attribution 4.0 International) licens. Denna artikel är tillgänglig i naturen under CC by 4.0 Deed (Attribution 4.0 International) licens.