CathAI: Hulumtuesit ndërtuan një AI që lexon skanimet e zemrës si një kardiolog

Autorët : Robert Avram Jeffrey E. Olgin Zeeshan Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Autorët : Robert Avram Jeffrey E. Olgin më shumë Zeqiri Ahmed Gjergj Verrault-Julien Alvin Wani Joshua Barrios Shën Abrahami Derek Wani Joseph E. Gonzalez në Prishtinë Jean-Claude Tardif në Prishtinë Derek Y. So Krishtlindje Sonja Geoffrey H. Tison në abstraktë Cathworld CAD angiografia e vlerësimit të këndit të koronarit është procedura kryesore për diagnozën dhe vendimet e menaxhimit në sëmundjen e angiografisë koronare (CAD), por vlerësimi vizual ad-hoc i angiogrameve ka variabilitet të lartë. Këtu ne raportojmë një qasje plotësisht të automatizuar për të interpretuar angiografinë e angiografisë së stenozës së arterieve koronare nga angiogramet standarde koronare. Duke përdorur 13,843 studime angiografike nga 11,972 pacientë të rritur në Universitetin e Kalifornisë, San Francisco (UCSF), midis 1 prillit 2008 dhe 31 dhjetorit 2019, ne trajnojmë rrjetet neurale për të kryer katër detyra të nevojshme sekuenciale për lokalizimin dhe vlerësimin automatik të st Hyrje Sëmundja koronare e zemrës (CHD) është shkaku kryesor i vdekjes së të rriturve në Shtetet e Bashkuara dhe në mbarë botën. , e shkaktuar nga pllakat aterosklerotike që ngushtojnë arteriet koronare, të quajtur edhe sëmundje koronare (CAD). Procedura e angiografisë koronare është procedura e standardit të artë për të diagnostikuar stenozën e arterieve koronare, e cila për këtë arsye ofron informacione vendimtare për vendimet e trajtimit CAD duke filluar nga terapia mjekësore vetëm në revaskularizimin me stents koronare ose kirurgji bypass Vlerësimi vizual i mjekut të rëndësisë së stenozës koronare nga angiogramet mbetet qasja më e zakonshme, e mbështetur nga udhëzime për të vlerësuar ngushtimin angiografik të lumenit të arterisë koronare. , . 1 2 2 3 Megjithatë, kufizimet e vlerësimit vizual për ashpërsinë e stenozës koronare janë përshkruar mirë dhe përfshijnë variabilitetin brenda dhe ndër-vëzhguesit, paragjykimin e operatorit dhe riprodhueshmërinë e dobët. , Variabiliteti në vlerësimin e stenozës vizuale varion nga 7.6 në 22.5% , , Dhe ndërsa cilësia e imazhit të angiografisë koronare është përmirësuar, variabiliteti mbetet ende dhe është më i madh në vendosjen e një lexuesi të vetëm mjekësor, i cili është me siguri rrjedha më e zakonshme e punës klinike. , Vlerësimi vizual i stenozës mund të mbivlerësojë ashpërsinë e stenozës në më shumë se një të katërtën e rasteve dhe mund të kontribuojë në kirurgji të papërshtatshme të bypassit të arterieve koronare në 17% të pacientëve dhe përdorimin e stentit në të paktën 10% të pacientëve , , , Një qasje më e standardizuar, e riprodhueshme për interpretimin e angiogramës dhe vlerësimin e stenozës koronare do të kishte rëndësi të konsiderueshme klinike. 4 5 4 5 6 4 7 8 4 5 6 8 Testime të ndryshme adjuvantë mund të plotësojnë vlerësimin CAD gjatë angiografisë koronare, të tilla si vlerësimi fiziologjik , Imagjinimi intra-vaskular , edhe pse shumica kërkojnë ekspertizë shtesë të operatorit dhe përdorimin e kateterëve shtesë, kështu që përdoren në më pak se 10-20% të angiogrameve koronare , , Për më tepër, përcaktimi i nevojës për testimin adjuvant ende mbështetet kryesisht në vlerësimin vizual të mjekut të angiogramave gjatë procedurës angiografike për të identifikuar rëndësinë e ndërmjetme ose stenozën më të madhe koronare (p.sh. 40-69%) Angiografia sasiore koronare (QCA) është një teknikë që ofron analizë të angiogrameve që lejon vlerësimin më të standardizuar të stenozave. Megjithatë, QCA nuk është plotësisht e automatizuar dhe kërkon hyrjen e operatorit për kalibrimin e imazhit dhe përzgjedhjen e kornizës, duke e releguar atë kryesisht në cilësimet e hulumtimit. , . 9 10 11 9 11 12 3 13 5 14 Algoritmet e inteligjencës artificiale (AI) dhe rrjetet neurale të thella në veçanti, kanë demonstruar aftësinë për të automatizuar detyra të rëndësishme klinike në kardiologji si dhe kardiologji ndërhyrëse. Qëllimi ynë është të zhvillojmë dhe validojmë një qasje të automatizuar për interpretimin e angiogramës koronare, lokalizimin e stenozës së arterieve koronare dhe vlerësimin e ashpërsisë nga angiogramet koronare të botës reale. 15 Rezultatet Dataset e plotë përbëhej nga 13,843 studime të plotë angiogram (195,195 video të përgjithshme angiografike) nga 11,972 pacientë të moshës ≥ 18 vjeç nga Universiteti i Kalifornisë, San Francisco (UCSF), midis 1 prillit 2008 dhe 31 dhjetorit 2019 (Fig. Një figurë shtesë. Mosha mesatare ishte 63.5 ± 13.7 vjet në Dataset të plotë dhe 66.7 ± 12.0 në Dataset Raport. 1a 1 Angiogram video rrjedhin nga një algoritëm në tjetrin për të kryer 4 detyrat kritike të nevojshme për interpretimin automatik. Aplikimi i CathAI në një shembull angiogram koronare. Një shembull i majtë angiogram arterial ulur e përparme me stenozë të rëndë (proximale në segmentin e mesëm) është treguar duke progresuar nëpërmjet sistemit CathAI për: identifikimin e projektimit angiografik, identifikimin e LCA (e majtë), vendosjen e kutive kufitare rreth objekteve të tilla si stenozë (zoom, mesatare), dhe parashikimin e ashpërsisë maksimale të stenozës (e djathtë). a b Performanca CathAI për të klasifikuar këndin e projektimit angiografik, strukturat anatomike dhe lokalizimin e objektit të angiogramës Për të klasifikuar këndin e projektimit angiografik, CathAI arriti një vlerë parashikuese pozitive të peshuar me frekuencë (PPV) prej 0,90, ndjeshmëri prej 0,90 dhe rezultat F1 prej 0,90 në grupin e të dhënave të testit (Tabela shtesë). Për të klasifikuar strukturën primare anatomike të përmbajtura në një video angiogram, CathAI arriti një PPV me frekuencë të peshuar prej 0.89, ndjeshmëri prej 0.89 dhe rezultat F1 prej 0.89 në grupin e të dhënave të testimit (Tabela). Performanca CathAI ishte e lartë për të dy arteriet koronare të majtë dhe të djathtë (LCA dhe RCA, respektivisht), të cilat janë objektet kryesore angiografike të interesit: PPV dhe ndjeshmëria, respektivisht, ishin 0.97 dhe 0.94 për LCA dhe 0.93 dhe 0.93 për RCA. 8 1 Once angiogram videos primarily containing the LCA and RCA were identified, CathAI localized objects in the angiogram by predicting bounding boxes around coronary artery segments such as the proximal portion of a coronary artery, stenosis regions, stents and coronary catheters. To measure CathAI performance to localize these objects, mean average precision (mAP) was used to compare predicted coordinates against ground-truth for each object. CathAI exhibited a 48.1% weighted average mAP in the test dataset, which corresponds to state-of-the-art results for object-localization AI algorithms (Tabelë shtesë CathAI lokalizoi saktësisht 93.3% të stenozave të arterieve koronare (PPV) në grupin e të dhënave të testit UCSF. 16 9 Performanca CathAI për të parashikuar ashpërsinë e stenozës The final algorithm in the CathAI system estimated coronary artery stenosis severity (Fig. Vlerësimet e parashikuara të ashpërsisë së stenozës ishin mesatare nga të gjitha videot e angiogrameve nga një studim i dhënë që vizualizonte një segment të veçantë arterial (të quajtur "nivel arterial"), duke pasqyruar praktikën standarde klinike. • Fig. Parashikimi i stenozës në nivelin e arterieve kryer më mirë se parashikimet në nivelin e videos ose imazhit (Fig. Tavolinë shtesë Për parashikimin e CathAI të rëndësisë së stenozës si një përqindje e vazhdueshme e stenozës, diferenca mesatare absolute e përqindjes midis AI-stenozës dhe raport-stenozës ishte 17.9 ± 15.5% (Tabela • Figura shtesë. Ka pasur një diferencë mesatare absolute përqindje më të ulët për RCA vs LCA (16.4 ± 15.0 vs 19.0 ± 15.8; 0 0 0 Tabelë Tabela shtesë CathAI kishte AUC modestisht më të lartë për të identifikuar stenozën e rëndë në shtresat e femrave kundrejt meshkujve [0.890 (95% CI: 0.864–0.923) vs 0.830 (95% CI: 0.805–0.856) respektivisht, Vlera për ndërveprim: 0.02 1B 2 2a 2a 10 2 3 p 2 10 P Receiver Operating Characteristic Curves (ROC) për CathAI parashikimin e stenozës koronare obstruktive (</≥70%) në grupin e të dhënave të testimit. pikë e zezë: prag AI-stenozë i zgjedhur për të optimizuar pikën F1 në grupin e të dhënave në nivel arterial. kryq i kuq: specifikimi kur ndjeshmëria është e fiksuar në 80%. kryq blu: ndjeshmëria kur specifikimi është i fiksuar në 80%. Matrix konfuzion për CathAI parashikimin e stenozës obstruktive vs. REPORT-stenosis. UOHI Ekstern Validation Dataset-ROC për CathAI parashikimin e stenozës obstruktive (</≥70%) Pika e zezë: prag AI-stenozë i zgjedhur për të optimizuar pikën F1 në grupin e të dhënave në nivel arterial. Kryqi i kuq: Specifikimi kur ndjeshmëria është e fiksuar në 80%. Kryqi i kaltër: Ndjeshmëria kur specifikimi është i fiksuar në 80%. UOHI Ekstern Validation Dataset-Confusion matricë për CathAI parashikimin e stenozës obstruktive vs. ekspert adjudicators. AUC zonë nën kurbë, intervalin e besimit CI, AI inteligjencë artificiale. a b c d Nga ato ≥70% stenozë sipas REPORT-stenozës, CathAI klasifikuar 74.5% saktë (95% CI: 70.0-78.4%; 260/349, Fig. ); dhe nga ata <70% stenoses nga REPORT-stenosis, Algoritmi 4 klasifikuar 78.1% saktë (95% CI:76.1–80.1%; 1082/1385). Kur ndjeshmëria e Algoritmit 4 për të zbuluar stenosis obstruktive koronare u fiksua në 80.0%, specifika e saj për të zbuluar stenosis obstruktive ishte 74.1%; dhe kur specifika u fiksua në 80.0%, ndjeshmëria e saj për të zbuluar stenosis obstruktive ishte 71.6%. CathAI mbivlerësuar stenozë të butë dhe nënvlerësuar stenozë të rënda (Fig. ) të 2B 2 3 Validimi i jashtëm i CathAI në grupin e të dhënave UOHI Për të shqyrtuar përgjithësueshmërinë e jashtme, ne kemi aplikuar CathAI në 464 video randomly sampled angiogram nga UOHI. Në të njëjtën periudhë, në të njëjtën periudhë të periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudh Në të njëjtën periudhë të periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudhës së periudh = 360); në të gjitha 15.5% të mbetura ku nën-segmenti i arterieve nuk ishte i saktë, CathAI caktoi stenozën në arterinë koronare të saktë në përgjithësi (LCA vs RCA). Të gjitha stenozat e identifikuara nga CathAI ishin stenozat e vërteta, në krahasim me artefaktin për shkak të papastërtisë suboptimale ose tortuositetit të enëve, sipas të dy gjyqtarëve. 4 n n Ndërmjet vëzhguesve variabiliteti për vlerësimin e përqindjes së stenozës midis dy gjyqtarëve ishte 15.7% ± 14.5%. Për përcaktimin e stenozës obstruktive (</≥ 70%) gjyqtarët nuk pajtohen në 16.8% të stenozave si obstruktive ( = 78). Ne llogaritëm mesataren aritmetike të përqindjes së stenozës nga të dy arbitrat për të krahasuar me parashikimin e CathAI të parashikimit të ashpërsisë së stenozës.Në krahasim me këtë, AUC e CathAI për stenozën obstruktive (≥70%) ishte 0.869 (95% CI: 0.830-0,907; Fig. të ); sensitivity was 86.4% and specificity was 67.3% (Fig. Diferenca mesatare e përqindjes absolute midis AI-stenozës dhe përqindjes së stenozës mesatare nga dy gjyqtarët ishte 18.02% ± 11.02%.Në dataset UOHI, CathAI mori ~ 3-5 s për të analizuar një video angiografi, ose 35 s për një provim të plotë, duke përdorur një GPU Nvidia GTX 1080 Ti. n 2C 3 2D Rezultatet kryesore për validimin e brendshëm të University of California, San Francisco (UCSF) dhe validimin e jashtëm të University of Ottawa Heart Institute (UOHI) janë treguar për secilën nga 4 detyrat. Retraining CathAI për të parashikuar QCA Stenosis RCT QCA dataset përbëhej nga 709 pacientë me 858 ekzaminime (1384 stenoza; 18 të rënda ≥70%, 71 të rënda ≥50% por <70% dhe 1295 jo të rënda). = 1384) të stenozave (67.2% për LCA dhe 86.8% për RCA). rëndësia mesatare e stenozës siç vlerësohet nga QCA ishte 31.7 ± 11.6% (Figura shtesë. Duke pasur parasysh popullsinë e pacientëve të ndryshme të grupit të të dhënave RCT QCA të kritereve kryesisht të butë CAD dhe QCA (≥50% QCA stenosis) në vend të vlerësimit vizual, grupi i të dhënave RCT QCA ofroi një mundësi për të trajnuar CathAI për të parashikuar stenosis etiketuar QCA, në krahasim me stenosis vizualisht vlerësuar. ) dhe për stenozën e QCA ≥70%, AUC ishte 0.75 (95% CI: 0.570-0.930). Diferenca mesatare e stenozës midis stenozës së parashikuar nga CathAI dhe stenozës së vlerësuar nga QCA ishte 6.5 ± 5.5% në grupin e të dhënave të testimit. n 5 11 Përdorimi i shpjegueshmërisë së rrjetit nervor për të kuptuar performancën CathAI To better understand the elements within angiograms that contributed to CathAI predictions, we applied two explainability approaches to the fully-trained CathAI algorithms. This can help illuminate how algorithms function and provide additional decision-making context to clinicians. GradCAM nxjerr në pah rajonet e imazhit më kritike për parashikimin e CathAI, duke treguar se ajo përdori rajone si një kardiolog, të tilla si arteria e majtë e përparme për të identifikuar imazhet e LCA (Fig. Ne gjithashtu nxorëm harta të dallueshmërisë për parashikimin e CathAI të ashpërsisë së stenozës duke përdorur metodën e Visualizimit të Rregullt të Informacionit (LOVI) Pikselët e theksuar (Fig. • Figura shtesë. ) nuk ishin të kufizuara vetëm në segmente të arterieve të stenozuara, por edhe në segmente normale dhe piksele menjëherë fqinje me arterinë, duke sugjeruar se marrëdhënia midis segmenteve të arterieve të stenozuara dhe jo-stenozuara kontribuon në parashikimin e CathAI të ashpërsisë së stenozës. 17 4a 18 4B 6 GradCAM aplikuar për klasifikimin CathAI të strukturës primare anatomike. dy imazhe origjinale angiogram janë treguar (në të majtë), së bashku me imazhet përkatëse të theksuara nga GradCAM (në të djathtë) duke treguar fusha me rëndësi më të madhe për vendimet algoritmike. GradCAM-të theksuar zona të përqendruara rreth arteries koronare të majtë brenda imazhit angiogram, me ngjyrë blu duke treguar rëndësinë më të ulët, ngjyra e verdhë duke treguar rëndësinë e mesme dhe ngjyra e kuqe duke treguar rëndësinë më të lartë për parashikimin e algoritmit CathAI 2. LOVI Saliency Maps of CathAI prediction of coronary stenosis severity. origjinal angiogram images (top) and corresponding images with LOVI saliency maps (bottom). pixels white represent greater contribution to CathAI's (Algorithm 4) prediction, showing that Algorithm 4 focused on pixels near the region of coronary artery stenosis in most cases. a b Diskutimi Ne përshkruam zhvillimin dhe validimin e tubacionit CathAI i cili përbëhej nga katër algoritme dhe tregoi përparime të rëndësishme në analizën e automatizuar të angiogrameve koronare. Çdo algoritëm arriti një detyrë të veçantë që lehtësoi arritjen e qëllimit primar diagnostikues të angiografisë koronare – vlerësimin e ashpërsisë së stenozës së arterieve koronare – arritjen e performancës së fundit për secilën detyrë. Me rëndësi, CathAI ishte i përgjithshëm, pa trajnime shtesë, për të parashikuar stenozat e vlerësuara vizualisht nga angiograme të botës reale UOHI, një sistem mjekësor i veçantë në një vend tjetër. CathAI ishte gjithashtu i trajnuar me sukses për të parashikuar vlerësimet e stenozës Puna e mëparshme ka raportuar rrjetet nervore që kryejnë detyra individuale në mjedise eksperimentale të lidhura me analizën e angiogramit të tilla si nxjerrja e kornizës , parashikimi i stenozës nga imazhet RCA (zgjedhur manualisht) , , , , , , Segmentimi i enëve koronare , Identifikimi i stenozës Megjithatë, sipas njohurive tona, analizat plotësisht të automatizuara dhe parashikimi i stenozës për videot e angiogramës koronare ende nuk janë demonstruar në angiogramet e botës reale. , , , , , , ndoshta sepse ka shumë më pak variabilitet anatomik dhe kompleksitet në krahasim me LCA, duke zvogëluar vështirësinë e analizimit të angiogramave RCA. Megjithatë, qasjet e trajnuar në angiogramat e parazgjedhur RCA nuk mund të analizojnë grupet e të dhënave të botës reale, të cilat përfshijnë videot e arterieve jo-RCA dhe jo-koronare. Në një përpjekje të kohëve të fundit Du et al. analizuan korniza të vetme nga të dy angiogramet LCA dhe RCA për të lokalizuar segmentet koronare dhe stenozën , por nuk parashikoi ashpërsinë e stenozës, e cila është një komponent kritik. puna jonë avancon gjendjen e fundit që është e përgjithshme për angiogramet e jashtme të botës reale dhe pasqyron standardin e udhëzimeve të kujdesit-rekomanduar vlerësimin e "vizionit më të keq" , Sepse angiografia koronare është kritike për të gjitha vendimet klinike të CHD , Dallimi i parashikimeve të CathAI nga vlerësimi vizual i ekspertëve njerëzorë ishte mirë brenda, dhe shpesh më pak se, variabiliteti i raportuar zakonisht ndër-vëzhguesit , , , , ; ndërsa devijimi i ri-trajnuar QCA i CathAI ishte 6.5 ± 5.5% në grupin e të dhënave RCT QCA, e cila është substancialisht më e ulët se diferenca 10.2-16.6% midis vlerësimit vizual të mjekut dhe QCA raportuar në literaturë. 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Analizat e automatizuara të angiogrameve kanë ngjashmëri më të mëdha me perceptimin e teknologjisë “autonome” sesa me analizat standarde radiologjike (p.sh. rrezet X), duke pasur parasysh marrjet video shumë të ndryshueshme të angiogrameve, të përcaktuara nga operatorët dhe sekuencën e detyrave komplekse të nevojshme për analizë.Analizat e suksesshme të angiogrameve të botës reale kërkojnë që sistemi IA të përpunojë çdo lloj videoje të takuar gjatë procedurave të botës reale, të identifikojë imazhet përkatëse, pastaj të lokalizojë me saktësi objektet e rëndësishme. , , , , , , , ofron dëshmi të konceptit se algoritmet e mësimit të thellë të ndërtuara me qëllime të shumëfishta mund të kapërcejnë pengesat që deri më tani kanë parandaluar analizën e angiogramës plotësisht të automatizuar. Sub-detyrat e shumëfishta CathAI kryen në rrugën drejt parashikimit përfundimtar të stenozës siguron një bazë të fortë për të mbështetur shumë detyra të ardhshme shtesë që ndërtohen mbi çdo sub-detyrë CathAI, të tilla si parashikimi i nën-përhapjes së stentit, morfologjisë së pllakës aterosklerotike ose rezervës së rrjedhës fraksionale nga modelet e rrjedhës së kontrastit. CathAI mund të përshtatet lehtësisht për detyra shtesë. Ashtu si teknologjia e makinave vetë , Pa dyshim, përmirësimi i mëtejshëm në secilin nga algoritmet individuale të CathAI-së ka të ngjarë të jetë i nevojshëm para vendosjes klinike, e cila mund të arrihet, për shembull, duke rritur madhësinë e grupeve të të dhënave të shënuara nga njeriu-ekspert ose duke trajnuar algoritme të ndërtuara me qëllim për pikëpamje specifike (të tilla si një RCA-LAO vetëm algoritëm lokalizimi arterial). 19 20 21 22 23 24 25 28 2 3 Implikimi më i menjëhershëm klinik i vendosjes së një tubacioni si CathAI do të ishte për të rritur standardizimin në vlerësimin e stenozës koronare. , , , , dhe midis 10-17% kundrejt një standardi QCA ari , duke ndikuar drejtpërdrejt në vendimet për trajtimet e revaskularizimit të CHD që shpëtojnë jetën. Studime të shumta kanë raportuar vazhdimisht mbivlerësimin e stenozës nga vlerësimi vizual , , Një studim ri-vlerësoi angiogramet klinike nga lexuesit e shumëfishtë, duke raportuar se rekomandimi për kirurgji bypass koronare ndryshoi nga "i nevojshëm / i përshtatshëm" në "i pasigurt / i papërshtatshëm" në 17-33% të rasteve, duke përfshirë 10% të rasteve për vendndodhjet stent. . This study sugjeroi kryerjen e një interpretimi të dytë të pavarur të angiogramës para revaskularizimit, megjithëse kjo është në përgjithësi e pamundur dhe jo standardi klinik i kujdesit i dhënë rrjedhave të punës të kardiologjisë ndërhyrëse klinike. Megjithatë, CathAI mund ta kryejë lehtësisht këtë funksion në një mënyrë të automatizuar, të riprodhueshme për të siguruar parashikime pothuajse në kohë reale gjatë procedurës për të plotësuar diagnozën ad-hoc të mjekëve. Megjithatë, pasi CathAI u trajnua me të njëjtën stenozë të paragjykuar vizualisht të vlerësuar, ajo gjithashtu ka tendencë të mbivlerësojë stenozën. Për të adresuar këtë, CathAI mund të trajnohet përsëri duke përdorur të dhënat e QCA, e cila, 4 5 6 7 29 5 5 6 8 4 4 Disa studime të fundit kanë sugjeruar se mund të ketë dallime gjinore në vlerësimet e stenozës, ku stenozat kanë tendencë të mbivlerësohen tek femrat. Për të hetuar nëse CathAI mund të ndihmojë në zvogëlimin e këtij paragjykimi në vlerësimin e stenozës në të gjithë gjininë, ne krahasuam performancën e Algoritmit 4 midis meshkujve dhe femrave në grupin tonë të të dhënave të brendshme. Analiza jonë gjeti një dallim të vogël, por të rëndësishëm midis performancës së algoritmit në shtresat e meshkujve dhe femrave. Punimet e ardhshme duhet të synojnë balancimin e shembujve të stenozave të rënda dhe jo të rënda në të dy meshkujt dhe femrat për të adresuar më tej çështjen e paragjykimeve të bazuara në seks në vlerësimin e ashpërsisë së stenozës. 30 Megjithatë, ky sistem i të dhënave më të ulëta të kërkimit të mundshme të UOCA në zonat më të ulëta të punës është predikimi i sistemit të të dhënave të avancuara, duke treguar se CathAI përgjithëson në mënyrë të parë angiogramet e gatshme të jashtme të botës reale të vlerësuara nga vlerësimi vizual i mjekut. Në krahasim, grupi i të dhënave RCT QCA përfaqësoi jo vetëm një metodë të ndryshme të vlerësimit të rrënjës së të dhënave të RCTs. Në shumicën e angiogramave klinike UCSF, siç është e zakonshme në praktikë klinike, stenoza koronare ≥50% për QCA vs ≥70% për vlerësim vizual, duke e bërë atë në mënyrë efektive një detyrë të ndryshme Puna jonë e vlerësuar ka disa kufizime. Një kufizim i dukshëm vjen nga përdorimi ynë i etiketave të trajnimit të rrjedhura gjatë kujdesit rutinë klinike duke përdorur vlerësimin vizual të mjekut. Për shkak të natyrës së fuqisë intensive të gjenerimit të numrit të madh të shënimeve të kardiologëve për imazhet angiografike, për të arritur grupin më të madh të të dhënave për të trajnuar CathAI për stenosis seriozitet, ne përdorim vlerat e gjeneruara klinikisht REPORT-stenosis që ishin në dispozicion në numra të mëdhenj. Edhe pse këto janë gjeneruar nga kardiologët e ardhshëm të trajnuar në bazë të specialitetit, ata ndoshta ende tregojnë variabilitetin që është e natyrshme në çdo etiketë të Qëllimi ynë me këtë studim provë-i-koncepti ishte për të demonstruar "blloqet e ndërtimit" të nevojshme për interpretimin automatik të angiogrameve koronare, dhe jo domosdoshmërisht për të zëvendësuar standardin aktual klinik për interpretimin e angiogrameve. Për të arritur këtë të fundit, përpjekje të konsiderueshme njerëzore ndoshta do të kërkohet për të etiketuar grupe të mëdha të të dhënave me metoda të sakta. Për më tepër, ne kemi përfshirë vetëm enët kryesore epikardiale në këtë version të CathAI. 31 Në përfundim, CathAI është tubacioni i parë i analizave plotësisht të automatizuara në shumë faza për angiogramet koronare. CathAI arrin performancë të përparuar për çdo detyrë të nevojshme për interpretimin e angiogramave të botës reale, është i vlefshëm nga jashtë dhe siguron një bazë për detyrat e ardhshme në interpretimin angiografik të automatizuar. Vlerësimi i automatizuar i stenozës i mundësuar nga CathAI mund të shërbejë për të rritur standardizimin dhe riprodhueshmërinë në vlerësimin e stenozës koronare, një nga fushat më kritike në marrjen e vendimeve klinike të CHD. Metodat Studimi i pjesëmarrësve dhe studimi i datasets Për Dataset tonë të Plotë, ne morëm studime retrospektive, të de-identifikuara të angiografisë koronare nga të gjithë pacientët 18 vjeç ose më të vjetër nga Universiteti i Kalifornisë, San Francisco (UCSF), midis 1 prillit 2008 dhe 31 dhjetorit 2019 (fig. Pacientët pa video të arterieve koronare të majtë ose të djathtë u përjashtuan. Angiogramet u bënë me sistemet Philips (Koninklijke Philips N.V., Amsterdam, Holanda) dhe Siemens (Siemens Healthineers, Forchheim, Gjermania) në 15 korniza në sekondë duke përdorur kontrastin Iopromide. Ne gjeneruam grupe të dhënash të trajnimit specifike (ose përmes meta-të dhënave të disponueshme ose anotacioneve të ekspertëve) të nënsetave të Dataset të Plotë për secilin nga katër detyrat kryesore të kryera nga CathAI. 1 Për të maksimizuar përpjekjet manuale të etiketimit të nevojshme për të gjeneruar të dhënat e trajnimit për çdo Algoritëm, ne krijuam një "dataset të plotë të nxjerrë" duke identifikuar fillimisht automatikisht kornizat brenda videove që mund të përmbajnë kontrast të lartë duke llogaritur matjen e indeksit të ngjashmërisë strukturore (SSIM) nga korniza në pozicionin '0' ku nuk ka ngjyra është zakonisht e pranishme, të cilën ne e quajmë kornizë "referencë". SSIM është më e lartë nëse imazhet kanë vlera të ngjashme pixel dhe më e ulët nëse ka dallim më të madh. Korniza me indeksin më të ulët të ngjashmërisë nga korniza reference u zgjodh si më e mundshme për të = 1,418,297). Të gjitha kornizat e një video u konvertuan në imazhe me dimension 512*512 pixel për analizë algoritmike. n For all algorithms, except Algorithm 3, data was split randomly for each algorithm into Training (70%), Development (10%) and Test (20%) datasets, each containing non-overlapping patients. The development dataset was used for algorithm tuning, when required. For Algorithm 3, dataset splits were Training (80%) and Test (20%); since we used original hyperparameters and did not require algorithm tuning , . 16 32 Algorithm 1 labels were taken directly from the DICOM metadata describing the cranial-caudal and LAO-RAO orientations. Algorithm 2 and 3 required annotations by a board-certified cardiologist (Supplementary Fig. Tavolinë shtesë të dhe Për Algoritmin 4, stenozat u morën direkt nga raporti procedural. 8 1 2 3 Dataset Raporti Menjëherë pas kryerjes së procedurës, kardiologët ndërhyrës zakonisht interpretojnë angiogramën duke përdorur vlerësimin vizual, sipas praktikës standarde klinike, dhe përshkruajnë ashpërsinë e stenozës koronare në raportin e procedurës. Ne identifikuam 9782 stenozë koronare në segmente të arterieve (REPORT-stenozë) dhe identifikuan në 1766 enët e plota jo-stenozë që prodhojnë një total prej 10,088 segmenteve të enëve jo-stenozë, të rrjedhura nga 84,153 imazhe. Metadata u nxorën nga çdo video angiogram duke përfshirë datën e procedurës, primare (Drejt Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) dhe sekondare (cranio-caudal) këndet e rrotullimit, një identifikator unik ekzaminimi dhe një identifikator unik i pacientit. Jo-matched REPORT-stenoses u heqën nga dataset. Ne gjithashtu përjashtuan videot ku një intra-coronary guidewire ishte i pranishëm në më shumë se 4 korniza, siç përcaktohet automatikisht nga Algoritmi 3 (6,076 video, 41,780 stenosis-frames identifikuar me guidewires), pasi këto video me gjasë përfaqësojnë ndërhyrjet perkutane koronare që mund të ndryshojnë përqindjen ); videot u ruajtën nga studimet para futjes së një udhëzuesi intracoronary. 3 1 1 Metodat e Parsimit të Tekstit Teksti i lirë nga raporti procedural u segmentua së pari duke përdorur komada (“,”) ose periudha (“.”). Ne pastaj aplikuam metodat e analizimit të tekstit për të identifikuar segmente të veçanta koronare (Tabela shtesë). Kur u gjet një segment koronar, ne identifikuan çdo përshkrim të përshtatshëm për përqindjen e stenozës duke lokalizuar "%" dhe numrin më të afërt nga një deri në tre shifra në atë fjali. Ne fillimisht kërkuam duke përdorur terma standarde (si "arteri koronare e djathtë"), pastaj zgjeruar fjalët kyçe nga rishikimi manual i tekstit, mbi iterime të shumta, për të përfshirë shkurtimet më të zakonshme, shkronjat alternative dhe permutacionet (Si "RCA"). Përshkrimet kualitative të CHD obstruktive, të tilla si "e butë", "e moderuar" ose "e rëndë" sëmundje nuk u nxorën. Për më tepër, ne kërkuam fjalë kyçe të tilla si "thrombus", Ne nuk analizuam okluzionet kronike totale dhe stenozat në diagonale, marginale, septale, ramus, arteriet e majta të prapme të zbritjes, posterolaterale të majtë ose në transplantet e bypassit. 3 3 Hulumtimi i subjekteve njerëzore This study was reviewed by the University of California, San Francisco Institutional Review Board and need for informed consent was waived. The external validation was reviewed and approved by the University of Ottawa Institutional Review Board. Zhvillimi i algoritmeve Sistemi CathAI përbëhet nga 4 algoritme të rrjetit nervor të organizuara në një tubacion (Fig. Imazhet angiografike analizohen nga secili algoritëm dhe "lëvizin" në mënyrë sekuenciale në të ardhmen për të përmbushur katër detyrat themelore për analizën e angiogramës automatike: (1) klasifikimi i këndit të projektimit angiografik; (2) klasifikimi i strukturës primare anatomike të një angiogrami; (3) lokalizimi i objekteve relevante brenda një angiogrami, duke përfshirë nën-segmentet dhe stenozat e arterieve koronare; (4) parashikimi i ashpërsisë së stenozës koronare (si një përqindje e ngushtimit të arterieve). 1a Ne i përshtatëm secilën nga arkitekturën e rrjetit nervor bazë të 4 algoritmeve të CathAI për të arritur një detyrë angiogram-relevant, siç përshkruhet në seksionet e mëposhtme.Si një përmbledhje e nivelit të lartë, Algoritmi 1 pranoi imazhe individuale (korniza video angiogram koronare) si hyrje dhe identifikoi këndin angiografik të projektimit të përdorur të përshkruar nga LAO-RAO dhe boshtat kranial-caudal (LAO cranial, RAO caudal, etj); etiketat ishin në dispozicion nga metadata e secilës video. Algoritmi 2 identifikoi strukturën primare anatomike (Tabela shtesë). ), pasi është e zakonshme për të kapur video angiogram që përmbajnë strukturat anatomike jo-kardiake të tilla si aorta ose arteri femorale. Algoritmi 2 lejoi CathAI për t'u fokusuar më pas vetëm në video angiogram që përmbajnë kryesisht arteriet koronare të majtë dhe të djathtë (LCA dhe RCA, respektivisht). Algoritmi 3 lokalizoi objektet relevante brenda imazheve të LCA dhe RCA duke nxjerrë koordinatat kufi për objektet e identifikuara (Video shtesë). Vendndodhja e stenozës së arterieve koronare u caktua sipas mbivendosjes më të madhe midis dy algoritmeve 3-parashikuar kuti kufi të nën-segmentit të arterisë koronare dhe stenozës (Figura. Algoritmi 4 pranoi imazhe të prerë rreth segmenteve të arterieve të shkëmbyera (nga kuti kufitare të Algoritmit 3) dhe parashikoi përqindjen maksimale të stenozës brenda imazhit si një vlerë e vazhdueshme midis 0 dhe 100 për çdo imazh. 2 1B Algoritmi 1: Klasifikimi i këndit të projektimit angiografik Algoritmi 1 pranoi imazhe individuale (korniza video) si hyrje dhe identifikoi këndin e projektimit angiografik të përdorur. këndin e projektimit i referohet këndit fluoroskopik të përdorur për të marrë imazhin, i përshkruar zakonisht në dy akse të përcaktuara nga LAO-RAO dhe kranio-caudal (LAO cranial, RAO caudal, etj). Për të dhënat e trajnimit të Algoritmit 1, të gjitha imazhet nga Dataset i plotë i nxjerrë u kategorizuan në 12 kategori të këndeve të projektimit të majtë-djathtë dhe kranio-caudal bazuar në këndet primare dhe sekondare të nxjerra nga metadat e secilës video (−180 dhe 180 gradë për këndin Pastaj e ndanim Dataset të plotë të nxjerrë në trajnim (990,082), zhvillim (128,590) dhe dataset test (299,625). 1 Arkitektura e algoritmit 1 u bazua në Xception, e cila është një rrjet nervor konvolucional që ka arritur performancë të fundit në detyrat e njohjes së imazhit. . It was initialized with ‘ImageNet’ weights , siç kryhet zakonisht për të inicializuar peshat për konvergencë më të shpejtë të algoritmit në cilësimet e klasifikimit të imazhit; të gjitha shtresat ishin të stërvitshme. Imazhet u rritën me zoom të rastësishëm (rreth = 0,2) dhe shkurtim të rrotulluar (rreth = 0,2). Dataset zhvillimi u përdor për të krahasuar në mënyrë iterative performancën e algoritmit dhe hiperparametrat e tonit të hollë duke përdorur kërkimin e rrjetës (Tabela shtesë ). We experimented with different architectures such as VGG-16, ResNet50 and InceptionNet-V3 but found no incremental benefit over Xception. A grid search was used to fine-tune hyperparameters. The Test dataset was not used at all during training and was only used to report final performance. The most common prediction across extracted the frames of each video was assigned as the angiographic projection of that video; ties were addressed by selecting the projection with the highest average probability across all frames. We used Algorithm 1 weights as a ”core model” to initialize the weights for training the subsequent algorithms based on the Xception architecture. 33 34 5 Algoritmi 2: Klasifikimi i strukturës primare anatomike Algoritmi 2 synuar për të identifikuar strukturën primare anatomike të pranishme në një video angiografike (Tabela shtesë Për të gjeneruar të dhënat e trajnimit të Algoritmit 2, ne kemi zgjedhur rastësisht 14,366 imazhe nga Dataset i plotë i nxjerrë, dhe një kardiolog i kategorizoi çdo imazh në një nga 11 klasa që përshkruajnë strukturën primare anatomike (Tabela shtesë). Ky grup i të dhënave u nda në grupet e të dhënave të trajnimit / zhvillimit / testimit, që përmbajnë 9887 (70%), 1504 (10%), dhe 2975 (20%) imazhe, respektivisht. Imazhet u rritën me zoom të rastit (rreth = 0.2) dhe rrotullimin e prerjes (rreth = 0.2). Struktura primare anatomike e parashikuar e një video ishte parashikimi i modalitetit të të gjitha kornizave të të dhënave të plota të nxjerra. Rezultatet e F1 dhe performanca e modelit ndryshuan sipas klasës anatomike, por në klasat e përgjithshme me korniza më të vogla kishin performancë më të ulët (Fig. ), duke sugjeruar një mundësi për të përmirësuar performancën në qoftë se më shumë të dhëna të etiketuara ishin në dispozicion. 2 2 5 1 3B Algoritmi 3: Lokalizimi i objekteve të angiogramës Algoritmi 3 synonte të lokalizonte objektet relevante brenda imazheve të arterieve koronare të majtë dhe të djathtë (rezultati i Algoritmit 2). ), detyrat më kritike për tubacionin CathAI ishin (i) identifikimi i segmenteve të arterieve koronare, (ii) identifikimi i stenozave (nëse janë të pranishme) dhe (iii) lokalizimi i objekteve të tjera relevante të tilla si guidewires ose sternotomy.Për të gjeneruar të dhënat e trajnimit për Algoritmin 3, 2338 imazhet kontrast-mbajtëse të LCA dhe RCA si me dhe pa stenozë (siç identifikohet nga Algoritmi 2) u shënuan nga një kardiolog i cili vendosi kuti kufitare rreth të gjitha objekteve relevante në imazh (Tabela shtesë). Vetëm stenozat në enët kryesore epikardiale, jo degët anësore të tilla si diagonale ose margjinale, u etiketuan.Në 100% të 2338 kornizave, LCA ose RCA ishte struktura kryesore anatomike e përmbajtur, dhe arteria ishte mirë e vizualizuar, mirë e paprekur dhe jo e mbushur, sipas kardiologut shënues. 3 3 In our final CathAI pipeline we trained two versions of Algorithm 3: Algorithm 3a was trained on and accepted both LCA and RCA images as input. Since the RCA in the LAO projection contained the greatest number of annotated images in our dataset, we also trained a dedicated Algorithm 3b on this projection to demonstrate possible performance gains from focusing an algorithm on a specific artery/projection (RCA in LAO). To train Algorithms 3a/b, we split our labeled images for this task into two separate datasets: One containing left/right coronary arteries (2,338 images) and one containing RCA images in the LAO projection (450 images). Each dataset was subsequently split into 90% training (2,104 and 405 images respectively) and 10% test (234 and 45 images respectively) and Algorithms 3a/b were trained for 50 epochs. Once deployed in the CathAI pipeline, Algorithm 3b served to decrease input variability for Algorithm 3a, which produced performance improvements for both algorithms. Since we achieved performance gains by developing an algorithm on this specific artery/projection, future gains may be achieved with other dedicated algorithms. Algoritmet 3a/b përdorën arkitekturën RetinaNet dhe u trajnuan duke përdorur hiperparametrat origjinale RetinaNet ka arritur performancë të përparuar për lokalizimin e objekteve të tilla si zbulimi i këmbësorëve për makinat autonome Për detyrën tonë, Algorithms 3a/b output bounding box koordinon çdo objekt të pranishëm në çdo imazh hyrës.Për shkak se disa segmente arteriale në disa projektime angiografike janë të njohura a priori të jenë të shkurtuara ose të padukshme, ne kemi aplikuar një heuristikë post-hoc për të përjashtuar segmente të caktuara arteriale të parashikuara nga Algoritmi 3a/b nga projektimet angiografike siç parashikohet nga Algoritmi 1 (Tabela shtesë). Kjo përfaqëson kështu një bashkim të parashikimeve të ndërmjetme nga dy algoritme të tubacionit CathAI për të arritur një performancë më klinike të rëndësishme të tubacionit të përgjithshëm.Për të vlerësuar performancën e algoritmit 3a/b, koordinatat e parashikuara u krahasuan me koordinatat e së vërtetës bazë duke përdorur raportin e zonës së kryqëzimit mbi zonën e bashkimit (e quajtur Intersection-over-union [IoU]) . An IoU≥0.5 between the predicted and annotated coordinates was considered a true positive. Next, we measured the mean average precision (mAP), which represents the ratio of true positives over true and false positives at different thresholds of IoU, for each class Një hartë e 50% krahason me rezultatet e fundit për këtë lloj detyre , . 16 35 4 36 37 16 35 Algoritmi 4: parashikimi i përqindjes së stenozës së arterieve koronare Algoritmi 4 u zhvillua për të parashikuar ashpërsinë e stenozës së arterieve koronare si një përqindje, duke pasur parasysh imazhet e hyrjes të prerë rreth segmenteve të arterieve të stenozuara të identifikuara nga Algoritmi 3. Algoritmet 3a/b u ekzekutuan në të gjitha videot e grupit të të dhënave të Raportit për të lokalizuar segmentet e arterieve dhe stenozat. Të gjitha kornizat që përmbajnë një kuti të kufizimit të stenozës që mbivendoset me një kuti të kufizimit të segmentit të arterieve koronare me IoU ≥0.20 përbënin kornizat e hyrjes potenciale për Algoritmin 4. Një stenozë u lokalizua në segmentin e arterieve që Algoritmi Vlerat e krahasuara të raportit procedural shërbenin si etiketime për të trajnuar Algoritmin 4 me imazhe hyrëse të gdhendur rreth segmenteve të arterieve të stenozuara sipas kutive kufitare të Algoritmit 3a/b. Stenozat e papajtuara u hoqën nga grupi ynë i të dhënave. Ne gjithashtu përjashtuam të gjitha videot ku një udhëzues intra-koronarian ishte i pranishëm në më shumë se 4 korniza, siç përcaktohet automatikisht nga Algoritmi 3a/b (6,076 video, 41,780 korniza stenozë të identifikuara me udhëzues), pasi këto video mund të përfaqësojnë ndërhyrje perkutane koronare që mund të ndryshojnë përqindjen e stenozës brenda atij video (Figura Për të trajnuar dhe validuar Algoritmin 4, ne kemi kombinuar 6258 imazhe të segmenteve të arterieve koronare jo-stenoze me 98.756 imazhe të mbetura të stenozave. 1 1 Pasi u identifikua një stenozë, koordinatat e kutive kufitare u zgjeruan me 12 pikselë në të gjitha dimensionet, pastaj u prerë dhe u rritën në më të afërtën nga tre madhësitë e paracaktuara: 256*256 pikselë (raporti i aspektit nr.1), 256*128 pikselë (raporti i aspektit nr.2) dhe 128*256 pikselë (raporti i aspektit nr.3). Kjo u krye për të maksimizuar raportin e sinjalit ndaj zhurmës (avulli ndaj sfondit), për shkak të orientimeve të ndryshme të enëve dhe madhësive të stenozës. "Raporti Dataset" i përdorur për të trajnuar Algoritmin 4 përbëhej nga 105,014 imazhe (6667 stenozë nga 2,736 pacientë dhe 5, Për shkak se segmentet e enëve jo-stenoze kanë tendencë të jenë më të gjata se stenoza fokale që mund të paragjykojnë trajnimin, ne i kemi prerë të gjitha segmentet jo-stenoze në mënyrë të rastësishme në një lartësi dhe gjerësi, duke pasqyruar shpërndarjen e madhësive të imazhit të stenozës brenda këtij segmenti koronar. 1 Algoritmi 4 u bazua në një arkitekturë të modifikuar Xception ku shtresa e fundit (Shtresa Softmax, e përdorur për klasifikim) u zëvendësua me një "pool mesatar" pastaj shtresë të dendur me një funksion aktivizimi linear për të mundësuar parashikimin e ashpërsisë së stenozës si një vlerë përqindje e vazhdueshme. Metadat e imazhit që përbëhej nga etiketimi i segmentit të arterieve koronare dhe raportet e aspektit të prerë u shtuan gjithashtu si hyrje në shtresën e fundit të Algoritmit 4, e cila përmirësoi performancën. Algoritmi nxori një vlerë përqindje të stenozës midis 0 dhe 100 për çdo imazh të hyrjes që përfaqësonte stenozën maksimale në atë segment të arterieve kor Veshjet e modelit u nisën duke përdorur ato nga Algoritmi i trajnuar 1. Imazhet u rritën me rrotullim të rastësishëm (të dyja horizontale dhe vertikale), kontrast të rastësishëm, variacionet e gamma dhe ndriçimit, aplikimi i rastësishëm i ekualizimit të histogramit adaptiv (për të përmirësuar kontrastin në imazhe). Algoritmet u trajnuan për të minimizuar humbjen katrore midis parashikuar (AI-stenozës) dhe raport-stenozës duke përdorur optimizuesin RADAM with an initial learning rate of 0.001, momentum of 0.9 and batch size of 12, trained for 50 epochs. Training was halted when loss stopped improving for 8 consecutive epochs in the test dataset. 38 Për Algoritmin 4, ne modifikuam skemën e trajnimit në mënyrë që çdo epokë të trajnohej në imazhe me një raport aspekt, me trajnimin e epokës së ardhshme në një raport aspekt tjetër (kopjimin e të gjitha peshave nga iterimi i mëparshëm), siç ishte kryer më parë për hyrjet me madhësi të shumëfishtë. Kjo u përsërit deri në konvergjencë. Ne matëm performancën e algoritmit në grupin e plotë të të dhënave të testimit, i cili përbëhej nga tre raportet e aspektit. Ne vërejmë se konvergjenca e trajnimit të hyrjes në shumë madhësi ishte si algoritmet e tjera që përdorin një madhësi të fiksuar për trajnimin. Ne gjithashtu shqyrtuam qasjet dhe sekuencat e ndryshme të para-procesimit pa përmirësim në performancën e algoritmit (Tabela shtesë) ) të 39 7s Metodat e shpjegimit të rrjeteve neuronale We applied two neural network explainability approaches to the fully-trained CathAI algorithms in order to better understand how algorithms made their predictions, respective to their relative tasks. The GradCAM Teknika nxjerr në pah rajonet e imazhit më kritike për parashikimin. zonat e nxjerra në pah në të kuqe tregojnë rëndësi më të lartë për parashikimin e algoritmit, ndërsa rajonet më të nxjerra në pah në të kaltër tregojnë rëndësi më të ulët. , e cila nxjerr në pah pikselet individuale në imazh që kontribuojnë më shumë në parashikimet e algoritmit. 17 18 Validimi i jashtëm For external validation, we randomly sampled 1000 coronary angiogram videos performed at the University of Ottawa Heart Institute (UOHI) between July 1st 2020 and October 31st 2020, acquired with Philips Azurion systems (Koninklijke Philips N.V., Amsterdam, Netherlands), at 15 fps, using Iopromide dye. Algorithms 1, 2 and 3 were applied to each video to identify and localize stenoses, and Algorithm 4 predicted AI-stenosis. We then sampled up to 40 examples of angiogram videos per coronary artery segment to form our external validation dataset, identifying a total of 464 coronary angiograms with distinct stenoses. Two board certified interventional cardiologists at the UOHI, each with over 2500 coronary angiograms of experience as primary operators, adjudicated these 464 videos in a blinded fashion by grading stenosis severity as a percentage between 0 and 100%, describing the underlying anatomic structure and localizing the stenosis to a coronary artery sub-segment. Algorithm performance in this dataset was reported as the AUC of the AI-stenosis compared to each adjudicator, and to the average of both adjudicators. Since stenoses in this external validation dataset were only visualized in one video, there was no calculation of artery-level AI-stenosis performance. The same binary threshold (0.54) was used for obstructive AI-stenosis as in the primary analysis. We also described the concordance between the localization of the stenosis as determined by Algorithm 3 and by the two adjudicators as well as the average difference between each adjudicator stenosis percentage. Për të trajnuar algoritmin CathAI 4 për shpërndarjen e ndryshme të popullsisë të datasetit QCA, ne e kemi ndarë datasetin QCA në trajnim (75%), zhvillim (12.5%) dhe testim (12.5%) dhe i kemi përshtatur mirë dy shtresat e fundit plotësisht të lidhura të algoritmit 4, për t'i lejuar algoritmit të mësojë të parashikojë vlerat e stenozës QCA nga imazhet e stenozës së hyrjes në vend të stenozës së vlerësuar vizualisht. Ne kemi kryer një kërkim të rrjetit të normave fillestare të mësimit nga 1e−4 në 1e−8 dhe kemi zgjedhur normën që prodhoi vlerën më të ulët të humbjes në zhvillim në 100 epoka. Angiografia kuantitative koronare Për të demonstruar këtë, ne morëm një grup të dhënash të jashtëm të angiogrameve koronare të një popullsi të ndryshme të pacientëve a priori të gjykuar në laboratorin e Montreal Heart Institute (MHI) Core duke përdorur sistemin CMS QCA (MEDIS, Leiden, Holandë). Ky grup i dhënash përbëhej nga angiograme të analizuara nga laboratori MHI Angiographic Core, të marra gjatë studimeve të kontrolluara të rastësishme (RCT) në pacientë ≥ 18 vjeç që kishin një ndërhyrje të angiografisë koronare si pjesë e studimit, dhe morën ilaçe të reja që ulin lipidet ose placebo. Studimet nga të cilat këto të dhëna u nxorën përdorën kriteret e përfshirjes që përjashtuan pacientët me sëmundje obstruktive koronare koronare (CAD) në fillim të studimit, e cila rezultoi në një shumicë të stenozës koronare me rëndësi të butë deri në të moderuar në këtë grup të të dhënave. , . 40 6 13 Imazhet e angiogrameve koronare u morën duke përdorur Philips (Koninklijke Philips N.V., Amsterdam, Holanda), General Electric Medical Systems (General Electric, Chicago, Illinois, Shtetet e Bashkuara) dhe Toshiba (Toshiba Corporation, Minato City, Tokyo, Japonia) në 15 korniza në sekondë, duke injektuar ngjyrosjen e iopromidit në arteriet koronare. Për çdo analizë të stenozës QCA në laboratorin bazë të MHI, u zgjodh një kornizë diastolike me këndime që treguan më së miri stenozën në shkallën e saj më të rëndë me prerje minimale dhe mbivendosje të degëve. Ky grup i të dhënave RCT QCA përmbante një popullsi të ndryshme të pacientëve a priori nga grupi i të dhënave klinike UCSF në botën reale, pasi të gjitha stenozat ≥ 50% nuk ishin të pranishme gjatë angiogramës fillestare (por mund të ishin të pranishme në një angiogramë të mëvonshme), duke lënë kryesisht të butë-CAD me një rëndësi mesatare të stenosis QCA prej 31.7% ± 11.6%. Kjo ofroi një mundësi optimale për të shqyrtuar se si CathAI mund të ofrojë një themel për rilindjen duke përdorur etiketat e stenosis QCA për të funksionuar si një mjet i automatizuar për analizën e angiogramës bazë laboratorike. Ne e ndamë grupin e të dhënave QCA Vlerësimi i algoritmeve dhe analiza statistikore Siç është e përshtatshme për secilën detyrë, performanca e çdo algoritmi për vlerat kategorike u vlerësua duke përdorur vlerën e parashikueshme pozitive (PPV), vlerën e parashikueshme negative, ndjeshmërinë, specifikat, zonën nën kurbën e karakteristikave operative të marrësit (AUC), pikën F1 dhe komplotet Bland-Altmann. and Pearson correlation and the mean absolute error between CathAI’s stenosis prediction and the report stenosis or QCA stenosis. All three centers report continuous percentage stenoses as part of their routine clinical care. 41 Rrjetet neurale u trajnuan duke përdorur Keras v.2.24 dhe TensorFlow v.1.12. Performanca e algoritmeve përfundimtare u raportua në Test Dataset. Algoritmet 1 dhe 2 u vlerësuan në nivelin e kornizës / imazhit duke përdorur saktësinë (p.sh. vlerën e parashikimit pozitiv), rikthimin (sensitivitetin) dhe planifikimin e performancës duke përdorur matricat e konfuzionit. Për të vlerësuar Algoritmin 3a dhe 3b, ne llogaritëm zonën e kryqëzimit mbi zonën e bashkimit (IoU) midis koordinatave të parashikuara të kutive kufitare dhe koordinatave të kutive kufitare të shënuara nga ekspertët të objekteve në çdo klasë në grupin e të dhënave të testit. Një IoU ≥0.5 do të thotë të paktën 50 për qind të sipërfaqes së mbivendosjes midis kutive të parashikuara dhe të vërteta, të cilat ne e konsideronim një pozitiv të vërtetë.Ne pastaj raportojmë performancën e Algoritmit 3a/b si metrikën mesatare të saktësisë mesatare (mAP), e cila përfaqëson raportin e pozitivëve të vërtetë mbi pozitivët e vërtetë dhe të rremë në kufi të ndryshëm të IoU, për çdo klasë Një vlerë mAP prej 50% krahasohet me rezultatet e fundit për këtë lloj detyre , Ne gjithashtu paraqesim saktësinë mesatare për algoritmin 3a dhe algoritmin 3b duke llogaritur përqindjen e parashikimit të saktë të klasës me një IoU ≥0.1 me etiketimin tonë të së vërtetës bazë në të gjitha klasat tona në grupin tonë të të dhënave të testimit, si dhe vlerën pozitive parashikuese të lokalizimit të stenozës duke përdorur raportin ose grupin e të dhënave QCA si të vërtetën bazë. 36 37 16 35 Për të vlerësuar Algoritmin 4, metrika primare e interesit ishte gabimi mesatar absolut midis vlerës së raportuar (REPORT-stenozës) dhe vlerës së parashikuar (AI-stenozës) në nivelin e arterieve.Kjo pasqyron praktikën standarde klinike bazuar në udhëzime për vlerësimin e stenozës, duke matur stenozën në disa projektime ortogonale dhe duke raportuar shkallën maksimale të ngushtimit të stenozës , Imazhi-nivel AI-stenosis u mesatarizua në një video për të marrë video-nivel AI-stenosis dhe krahasuar me REPORT-stenosis duke përdorur gabimin mesatar katror. plots were then calculated between the REPORT-stenosis and AI-stenosis at the video-level and artery-level. The reliability was classified as poor ( < 0.5), moderate (0.50–0.75), good (0.76-0.90), or excellent (0.91-1.0).(52) Finally, we present the mean squared error between REPORT-stenosis and AI-stenosis at the video-level. 2 3 42 To predict binary “obstructive” coronary artery stenosis, defined as ≥70% stenosis , , a threshold of 0.54 was used which optimized the F1 score. Based on this, we also report the area under the receiver operating characteristic curve (AUC), sensitivity, specificity and diagnostic odds-ratio , në nivelin e kornizës, nivelin e videos dhe nivelin e arterieve, bazuar në këtë kufi. 2 3 43 Intervalet e besimit për metrikën e performancës u nxorën duke bootstrapping 80% të të dhënave të testit mbi 1000 iterime për të marrë vlerat e 5-të dhe 95-të percentile. Ne prezantojmë performancën e Algoritmit 4 të stratifikuar nga gjinia, nga arteriet koronare të majtë dhe të djathtë, nga segmenti i arterieve dhe nga grupi i moshës. values for interaction (between the CathAI stenosis, the covariates and reported stenosis calculated by the Wald test). We categorized AI-stenosis and REPORT-stenosis in concordant and discordant lesion groups based on the visual ≥70% cutoff. For discordant lesions we present their prevalence, stratified by coronary artery segment. For lesion/vessel level data, a mixed effects logistic regression model as used to account for within-subject correlation and for repeated angiograms. P Raporti i përmbledhjes Informacione të mëtejshme në lidhje me projektin e kërkimit janë në dispozicion në Lidhur me këtë artikull. Nature Research Reporting Summary Disponueshmëria e të dhënave Të dhënat e përdorura në këtë studim janë të nxjerra nga kujdesi klinik dhe kështu nuk janë bërë publike për shkak të shqetësimeve të privatësisë së të dhënave. kërkesat e arsyeshme për bashkëpunim duke përdorur të dhënat mund të bëhen nga autorët, nëse është e mundur dhe e lejuar nga Regjentët e Universitetit të Kalifornisë. Kodi i disponueshmërisë Kodi që mbështet këtë punë është autori i Regjentëve të Universitetit të Kalifornisë dhe mund të bëhet i disponueshëm përmes licencës. të dhënat e përdorura për të trajnuar dhe validuar algoritmin nuk mund të bëhen të disponueshme publikisht pasi përmban informacion personal shëndetësor. Referencë Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 Njoftime RA është mbështetur nga “Fonds de la recherche en santé du Québec” (Grant 274831). JEO ka marrë fonde nga NIH (U2CEB021881). GHT ka marrë mbështetje nga Institutet Kombëtare të Shëndetësisë NHLBI K23HL135274. KS nuk ka fonde relevante në lidhje me këtë dorëshkrim. AW është mbështetur nga Fondacioni Kombëtar i Shkencave Graduate Research Fellowship nën Grant No. DGE 1752814. YS është mbështetur nga një Mid-Career Investigator Award nga Heart and Stroke Foundation of Ontario. J-CT mban Kryetarinë e Kërkimit të Kanadasë në Mjekësinë e Personalizuar dhe Translational dhe Kryetarinë e Kërkimit të Universitetit të Montreal në aterosklerozë. JEG është financuar nga Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International). This paper is nën licencën CC by 4.0 Deed (Attribution 4.0 International). Në dispozicion në natyrë