CathAI: Výskumníci vyvinuli AI, ktorá číta srdcové vyšetrenia ako kardiológ

Autori : Robert Avram Jeffrey E. Olgin Zeeshan Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Autori : Robert Avram Názov: Jeffrey E. Olgin Štefan Ahmed Názov: Louis Verreault-Julien Alvin Wanová Joshua Barriosová Sean otvoril Derek Wanová Jozef E. Gonzalez Predchádzajúci Jean-Claude Tardif Derek Y. Taký Krištof Soni Geoffrey H. Tisonová abstraktné Cathworld CAD angiografia je primárnym postupom pre diagnostiku a riadenie rozhodnutí v koronárnej angiogramy (CAD), ale ad-hoc vizuálne posúdenie angiogramov má vysokú variabilitu účelu. Tu uvádzame plne automatizovaný prístup k interpretácii angiografickej angiografickej angiografickej stenózy koronárnej artérie z štandardných koronárnych angiogramov. Pomocou 13,843 angiografických štúdií od 11,972 dospelých pacientov na University of California, San Francisco (UCSF), medzi 1. aprílom 2008 a 31. decembrom 2019, trénujeme neurálne siete na vykonanie štyroch sekvenčných úloh potrebných na automatickú lokalizáciu a odhad angiografickej stenózy koronárnej artérie. Algoritmy sú interne valid Úvodná Koronárne ochorenie srdca (CHD) je hlavnou príčinou úmrtia dospelých v Spojených štátoch a na celom svete , spôsobené aterosklerotickými plakmi, ktoré zužujú koronárne tepny, tiež nazývané koronárna arteriálna choroba (CAD). koronárna angiografia je zlatým štandardným postupom na diagnostiku koronárnej stenózy, ktorý preto poskytuje kľúčové informácie pre rozhodnutia o liečbe CAD od lekárskej terapie až po revaskularizáciu koronárnymi stentmi alebo chirurgickým obchádzaním Vizuálne posúdenie závažnosti koronárnej stenózy lekárom z angiogramov zostáva najbežnejším, usmernením podporovaným prístupom k hodnoteniu angiografického zúženia lumenu koronárnej artérie. , . 1 2 2 3 Avšak obmedzenia vizuálneho odhadu závažnosti koronárnej stenózy sú dobre popísané a zahŕňajú variabilitu vnútri a medzi pozorovateľmi, predispozíciu operátora a zlú reprodukovateľnosť. , Variabilita v hodnotení vizuálnej stenózy sa pohybuje od 7,6 do 22,5% , , A zatiaľ čo kvalita koronárnej angiografie sa zlepšila, variabilita stále zostáva a je väčšia v nastavení jedného lekára, čo je zďaleka najbežnejší klinický pracovný postup. , Vizuálne posúdenie stenózy môže preceňovať závažnosť stenózy vo viac ako štvrtine prípadov a môže prispieť k nevhodnej koronárnej bypassovej chirurgii u 17% pacientov a k použitiu stentu u najmenej 10% pacientov , , , Štandardizovaný, reprodukovateľný prístup k interpretácii angiogramu a hodnoteniu koronárnej stenózy by mal významný klinický význam. 4 5 4 5 6 4 7 8 4 5 6 8 Rôzne adjuvantné testy môžu doplniť hodnotenie CAD počas koronárnej angiografie, ako je fyziologické hodnotenie , Intra-vaskulárne zobrazovanie , hoci väčšina vyžaduje dodatočné operátorské odborné znalosti a použitie dodatočných katétrov, preto sa používajú v menej ako 10-20% koronárnych angiogramov , , . Furthermore, determining the need for adjunctive testing still relies primarily upon physician visual estimation of angiograms during the angiography procedure to identify intermediate-severity or greater coronary stenosis (e.g. 40–69%) Kvantitatívna koronárna angiografia (QCA) je technika poskytujúca analýzu angiogramov, ktorá umožňuje viac štandardizované posúdenie stenózy QCA však nie je plne automatizovaná a vyžaduje vstup operátora pre kalibráciu obrazu a výber rámu, čo ho do značnej miery releguje na nastavenia výskumu. , . 9 10 11 9 11 12 3 13 5 14 Algoritmy umelej inteligencie (AI) a najmä hlboké nervové siete preukázali schopnosť automatizovať dôležité klinické úlohy v kardiológii, ako aj v intervenčnej kardiológii. Naším cieľom je vyvinúť a overiť automatizovaný prístup k interpretácii koronárneho angiogramu, lokalizácii stenózy koronárnych artérií a odhadu závažnosti z koronárnych angiogramov v reálnom svete. 15 Výsledky Úplný súbor údajov pozostával z 13 843 kompletných štúdií angiogramu (195,195 celkových angiografických videí) od 11 972 pacientov vo veku ≥ 18 rokov z University of California, San Francisco (UCSF), medzi 1. aprílom 2008 a 31. decembrom 2019 (obr. 1). Doplňujúca fig. Priemerný vek bol 63,5 ± 13,7 rokov v Úplnej databáze a 66,7 ± 12,0 rokov v Report Dataset. 1a 1 Prehľad potrubia CathAI pre automatizovanú interpretáciu angiogramov.Angiogramové videá prúdia z jedného algoritmu do ďalšieho na splnenie 4 kritických úloh potrebných pre automatizovanú interpretáciu. Aplikácia CathAI na príklad koronárneho angiogramu. Príklad ľavej prednej dolnej arteriálnej angiogramu s ťažkou stenózou (proximálne k strednému segmentu) sa ukazuje postupujúcim prostredníctvom systému CathAI na: identifikáciu angiografickej projekcie, identifikáciu LCA (vľavo), umiestnenie hraničných boxov okolo objektov, ako je stenóza (zoom, stred), a predpovedať maximálnu závažnosť stenózy (vpravo). a b CathAI výkon na klasifikáciu uhlov angiografickej projekcie, anatomických štruktúr a lokalizácie objektov angiogramu Na klasifikáciu angiografického uhla projekcie dosiahol CathAI frekvenčne váženú pozitívnu prediktívnu hodnotu (PPV) 0,90, citlivosť 0,90 a skóre F1 0,90 v testovacom súbore údajov (Doplnková tabuľka). Vysoko používané uhly projekcie, ako sú LAO Straight, RAO Straight a LAO Cranial, mali lepší celkový výkon. Na klasifikáciu primárnej anatomickej štruktúry obsiahnuté v angiograme video, CathAI dosiahol frekvenčne vážený PPV 0,89, citlivosť 0,89 a skóre F1 0,89 v testovacom súbore údajov (Tabuľka). ). CathAI performance was high for both the left and right coronary arteries (LCA and RCA, respectively), which are the primary angiographic objects of interest: PPV and sensitivity, respectively, were 0.97 and 0.94 for LCA and 0.93 and 0.93 for RCA. 8 1 Akonáhle boli identifikované angiogramové videá obsahujúce predovšetkým LCA a RCA, CathAI lokalizovala objekty v angiograme predpovedaním hraničných polí okolo segmentov koronárnej artérie, ako je proxymálna časť koronárnej artérie, oblasti stenózy, stenty a koronárne katétre. Na meranie výkonu CathAI na lokalizáciu týchto objektov sa použila priemerná priemerná presnosť (mAP) na porovnanie predpovedaných súradníc proti základnej pravde pre každý objekt. (doplňujúci stôl CathAI správne lokalizoval 93,3% stenóz koronárnych artérií (PPV) v testovacom súbore UCSF. 16 9 CathAI výkon predpovedať závažnosť stenózy Konečný algoritmus v systéme CathAI odhadol závažnosť stenózy koronárnej artérie (obr. Predpovedané odhady závažnosti stenózy boli priemerom zo všetkých angiogramových videí z danej štúdie, ktoré vizualizovali konkrétny segment tepny (nazývaný „arteriálna úroveň“), čo odráža štandardnú klinickú prax.V testovacom súbore údajov bola AUC CathAI na identifikáciu obštrukčnej stenózy 0,862 (95% CI: 0,843–0,880) na úrovni tepny (Tabuľka). • Fig. Predpovedanie stenózy na úrovni tepien sa vykonalo lepšie ako predpovede na úrovni videa alebo obrazu (obr. 1). Doplnkový stôl ). For CathAI’s prediction of stenosis severity as a continuous percentage stenosis, the mean absolute percentage difference between the AI-stenosis and report-stenosis was 17.9 ± 15.5% (Table • Doplňujúca fig. Existoval výrazne nižší priemerný absolútny percentuálny rozdiel pre RCA oproti LCA (16,4 ± 15,0 oproti 19,0 ± 15,8; < 0,001, tabuľka • Doplnkový stôl CathAI mal mierne vyššiu AUC na identifikáciu závažnej stenózy u vrstiev žien vs. mužov [0,890 (95% CI: 0,864–0,923) vs. 0,830 (95% CI: 0,805–0,856) resp. value for interaction: 0.02]. 1B 2 2a 2a 10 2 3 p 2 10 P Príjemca prevádzkových charakteristických kriviek (ROC) pre CathAI predpovedanie obštrukčnej (</≥70%) koronárnej stenózy v testovacej databáze. Čierna bodka: prahová hodnota AI-stenózy zvolená na optimalizáciu skóre F1 v databáze na úrovni tepny. Červený kríž: Špecifickosť, keď je citlivosť fixovaná na 80%. Modrý kríž: Citlivosť, keď je špecifickosť fixovaná na 80%. Matrix zmätku pre CathAI predpovedanie obštrukčnej stenózy vs. REPORT-stenózy. UOHI External Validation Dataset-ROC pre CathAI predpovedanie obštrukčnej (</≥70%) stenózy. Čierna bodka: prahová hodnota AI-stenózy zvolená na optimalizáciu skóre F1 v databáze na úrovni tepny. Červený kríž: Špecifickosť, keď je citlivosť fixovaná na 80%. Modrý kríž: Citlivosť, keď je špecifickosť fixovaná na 80%. UOHI External Validation Dataset-Confusion matrix pre CathAI predpovedanie obštrukčnej stenózy vs. expert adjudicators. AUC oblasť pod krivkou, CI confidence interval, AI umelá inteligencia. a b c d Z tých ≥70% stenóz podľa REPORT-stenózy CathAI správne klasifikovala 74,5% (95% CI: 70.0–78,4%; 260/349, Obr. ); a z tých <70% stenóz podľa REPORT-stenózy, algoritmus 4 klasifikoval 78,1% správne (95% CI:76.1–80.1%; 1082/1385). Keď bola citlivosť algoritmu 4 na detekciu obštrukčnej koronárnej stenózy stanovená na 80.0%, jej špecifickosť na detekciu obštrukčnej stenózy bola 74,1%; a keď bola špecifickosť stanovená na 80.0%, jej citlivosť na detekciu obštrukčnej stenózy bola 71,6%. Existovali stredne silné korelácie medzi kontinuálnou AI-stenózou a REPORT-stenózou (Tabuľka CathAI preceňoval miernejšie stenózy a podceňoval ťažké stenózy (Doplňujúci obrázok. ) sa 2b 2 3 Externá validácia CathAI v databáze UOHI Na preskúmanie vonkajšej zovšeobecniteľnosti sme aplikovali CathAI na 464 náhodne odobratých angiogramových videí z UOHI. V 100% angiogramov UOHI algoritmus 2 úspešne identifikoval RCA alebo LCA. Obaja adjudicatori UOHI sa zhodli na lokalizácii stenózy v rámci toho istého segmentu koronárnej artérie v 91,4% ( V tomto podskupine CathAI lokalizovaná stenóza v rovnakom segmentu tepny v 84.5% ( = 360); vo všetkých zostávajúcich 15,5%, kde podsekcia tepny nebola správna, CathAI priradila stenózu k správnej koronárnej tepne celkovo (LCA vs RCA). Všetky CathAI identifikované stenózy boli skutočné stenózy, na rozdiel od artefaktov v dôsledku suboptimálnej opacity alebo tortuosity ciev, podľa oboch rozhodcov. 4 n n Medziobzervatívna variabilita pre percentuálne posúdenie stenózy medzi dvoma súťažiacimi bola 15,7% ± 14,5%. Pre určenie obštrukčnej (</≥ 70%) stenózy, súťažiaci nesúhlasili s 16,8% stenózou ako obštrukčnou ( = 78). Vypočítali sme aritmetický priemer percentuálnej stenózy z dvoch rozhodcov na porovnanie s predpoveďou CathAI o predpovedaní závažnosti stenózy.V porovnaní s tým bola AUC CathAI pre obštrukčnú stenózu (≥70%) 0,869 (95% CI: 0,830-0,907; Figs. , , ); citlivosť bola 86,4% a špecifickosť bola 67,3% (obr. Priemerný absolútny percentuálny rozdiel medzi AI-stenózou a percentuálnou stenózou priemerom od dvoch rozhodcov bol 18.02% ± 11.02%.V databáze UOHI CathAI trvalo ~3–5 s na analýzu angiografického videa alebo 35 s na úplnú skúšku pomocou GPU Nvidia GTX 1080 Ti. n 2c 3 2D Hlavné výsledky internej validácie University of California, San Francisco (UCSF) a externej validácie University of Ottawa Heart Institute (UOHI) sú zobrazené pre každú z 4 úloh. Retrénovanie CathAI predpovedať QCA stenózu RCT QCA dataset pozostával z 709 pacientov s 858 skúškami (1384 stenózy; 18 ťažkých ≥70%, 71 ťažkých ≥50% ale <70% a 1295 non-závažných). = 1384) stenóz (67,2 % pre LCA a 86,8 % pre RCA). Priemerná závažnosť stenózy podľa hodnotenia QCA bola 31,7 ± 11,6 % (Doplňujúca Obr. Vzhľadom na rozdielnu populáciu pacientov v databáze RCT QCA s prevažne miernymi kritériami CAD a QCA (≥50% QCA stenóza) namiesto vizuálneho odhadu, databáza RCT QCA poskytla príležitosť na preškolenie CathAI na predpovedanie QCA označených stenóz, na rozdiel od vizuálne odhadovaných stenóz. Po preškolení bola AUC CathAI na diskrimináciu obštrukčnej QCA stenózy (≥50%) 0,775 (95% CI: 0,594-0,955) na arteriálnej úrovni (doplnková tabuľka). ) a pre QCA stenózu ≥70%, AUC bola 0,75 (95% CI: 0,570-0,930). Priemerný rozdiel v stenóze medzi CathAI predpovedanou stenózou a QCA odhadovanou stenózou bol 6,5 ± 5,5% v testovacom súbore údajov. n 5 11 Použitie neurónovej sieťovej vysvetliteľnosti na pochopenie výkonu CathAI Aby sme lepšie pochopili prvky v angiogramoch, ktoré prispeli k predpovediam CathAI, aplikovali sme dva prístupy vysvetľovateľnosti na plne vyškolené algoritmy CathAI. zdôrazňuje oblasti obrazu, ktoré sú najkritickejšie pre predpovede CathAI, čo ukazuje, že použil oblasti, ako je kardiológ, ako je ľavá predná klesajúca tepna na identifikáciu obrazov LCA (obr. Tiež sme odvodili mapy významu pre predpovede CathAI o závažnosti stenózy pomocou metódy Layer Ordered Visualization of Information (LOVI) Zvýraznené pixely (Fig. • Doplňujúca fig. ) boli obmedzené nielen na stenozované arteriálne segmenty, ale aj na normálne segmenty a pixely bezprostredne priľahlé k tepne, čo naznačuje, že vzťah medzi stenozovanými a nestenozovanými arteriálnymi segmentmi prispieva k predpovedi CathAI o závažnosti stenózy. 17 4a 18 4b 6 GradCAM aplikovaný na klasifikáciu primárnej anatomickej štruktúry CathAI. sú zobrazené dva pôvodné angiogramové obrázky (vľavo), vedľa zodpovedajúcich obrázkov zvýraznených GradCAM (vpravo), ktoré ukazujú oblasti s väčším významom pre rozhodnutia algoritmov. GradCAM zvýraznené oblasti sústredené okolo ľavej koronárnej tepny v angiograme s modrou farbou označujúcou najnižšiu dôležitosť, žltou farbou označujúcou strednú dôležitosť a červenou farbou označujúcou najvyššiu dôležitosť pre predpovedanie algoritmu CathAI 2. LOVI Saliency Map of CathAI predpovedanie závažnosti koronárnej stenózy. pôvodné angiogramové obrázky (v hornej časti) a zodpovedajúce obrázky s LOVI výraznými mapami (v spodnej časti). Biele pixely predstavujú väčší príspevok k predpovedaniu CathAI (algorithm 4) ukazujúc, že algoritmus 4 sa vo väčšine prípadov zameriaval na pixely v blízkosti oblasti koronárnej stenózy. a b Diskusia Opísali sme vývoj a validáciu potrubia CathAI pozostávajúceho zo štyroch algoritmov a preukázali významné pokroky v automatizovanej analýze koronárnych angiogramov. Každý algoritmus dosiahol špecifickú úlohu, ktorá uľahčila dosiahnutie primárneho diagnostického cieľa koronárnej angiografie – posúdenie závažnosti stenózy koronárnych artérií – dosiahnutím najmodernejšieho výkonu pre každú úlohu. Dôležité je, že CathAI bol generalizovateľný, bez ďalšieho školenia, na predpovedanie vizuálne odhadovaných stenóz z nekurovaných reálnych angiogramov UOHI, samostatného lekárskeho systému v inej krajine. CathAI bol tiež úspešne preškolený na predpovedanie odhadov stenózy Q Predchádzajúca práca hlásila neurálne siete vykonávajúce jednotlivé úlohy v experimentálnych nastaveniach súvisiacich s analýzou angiogramov, ako je extrakcia rámu. , stenosis prediction from (manually-selected) RCA images , , , , , , segmentácia koronárnych ciev , alebo stenóza identifikácia Avšak, na naše vedomosti plne automatizovaná analýza a stenóza predpovedanie pre koronárne angiogram videá ešte neboli preukázané na reálnom svete angiogramy. , , , , , , pravdepodobne preto, že má podstatne menšiu anatomickú variabilitu a zložitosť v porovnaní s LCA, čo znižuje ťažkosti pri analýze angiogramov RCA. Avšak prístupy vyškolené na vopred vybraných angiogramoch RCA nemôžu analyzovať súbory skutočného sveta, ktoré zahŕňajú videá z non-RCA a non-koronárnych artérií. V nedávnom úsilí Du et al. analyzovali jednotlivé rámy z angiogramov LCA a RCA na lokalizáciu koronárnych segmentov a stenózy , ale nepredpovedal závažnosť stenózy, ktorá je kritickou zložkou. Naša práca rozširuje najmodernejšie, ktoré je možné zovšeobecniť na vonkajšie angiogramy v reálnom svete a odráža odporúčané hodnotenie "najhoršieho pohľadu" podľa štandardnej smernice o starostlivosti , Pretože koronárna angiografia je rozhodujúca pre všetky klinické rozhodovanie o CHD , Odchýlka predpovede CathAI od vizuálneho hodnotenia ľudských odborníkov bola dobre v rámci, a často menej ako, bežne hlásené medzi pozorovateľmi variability , , , , ; keďže re-trénovaná odchýlka QCA CathAI bola 6,5 ± 5,5 % v databáze RCT QCA, čo je podstatne nižšie ako rozdiel 10,2–16,6 % medzi vizuálnym posúdením lekára a QCA hláseným v literatúre 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Automatizovaná analýza angiogramov má väčšie podobnosti s vnímaním technológie „samovoľného riadenia“ ako so štandardnou rádiologickou analýzou (t. j. röntgenovými lúčmi), vzhľadom na vysoko variabilné, operátorom určené video získanie angiogramov a sekvenciu zložitých úloh potrebných na analýzu. Úspešná analýza reálnych angiogramov vyžaduje, aby systém AI spracoval akýkoľvek typ videa, ktorý sa vyskytuje počas reálnych procedúr, identifikoval relevantné obrázky a potom presne lokalizoval dôležité objekty. , , , , , , , poskytuje dôkaz o koncepte, že viacúčelové algoritmy hlbokého učenia môžu prekonať prekážky, ktoré doteraz zabránili plne automatizovanej analýze angiogramov. Viacnásobné podúlohy, ktoré CathAI vykonáva na ceste k predpovedaniu konečnej stenózy, poskytujú robustný základ na podporu mnohých budúcich dodatočných úloh, ktoré sú založené na akejkoľvek podúlohe CathAI, ako napríklad predpovedanie podexpanzie stentu, morfológie aterosklerotických plakov alebo frakčnej rezervy prietoku z kontrastných vzorcov prietoku. CathAI sa dá ľahko prispôsobiť ďalším úlohám. Rovnako ako technológia autonómnych vozidiel, zostáva však veľa práce na dosiahnutí veľmi vysokej presnosti predtým, ako bude Cath , Nepochybne bude pred klinickým nasadením pravdepodobne potrebné ďalšie zlepšenie v každom z jednotlivých algoritmov CathAI, čo sa dá dosiahnuť napríklad zvýšením veľkosti ľudsko-expertných anotovaných dátových súborov alebo školením účelovo postavených algoritmov pre konkrétne názory (ako napríklad RCA-LAO iba arteriálny lokalizácia algoritmus). 19 20 21 22 23 24 25 28 2 3 Najbezprostrednejším klinickým dôsledkom nasadenia potrubia, ako je CathAI, by bolo zvýšenie štandardizácie pri hodnotení koronárnej stenózy. , , , , a medzi 10 – 17% voči zlatému štandardu QCA , directly impacting decisions for life-saving CHD revascularization therapies. Multiple studies have consistently reported overestimation of stenosis by visual estimation , , Jedna štúdia opätovne vyhodnotila klinické angiogramy viacerými čitateľmi a uviedla, že odporúčanie pre koronárnu bypassovú chirurgiu sa zmenilo z „potrebnej/vhodnej“ na „neistú/nevhodnú“ v 17–33% prípadov, vrátane 10% prípadov pre stentové umiestnenia. Táto štúdia navrhol vykonať druhú nezávislú angiogramovú interpretáciu pred revaskularizáciou, hoci to je vo všeobecnosti nemožné a nie klinický štandard starostlivosti vzhľadom na pracovné postupy klinickej intervenčnej kardiológie. Avšak CathAI mohol ľahko vykonávať túto funkciu automatizovaným, reprodukovateľným spôsobom, aby poskytol predpovede v takmer reálnom čase počas postupu na doplnenie vlastnej ad hoc diagnózy lekárov. Avšak vzhľadom na to, že CathAI bol vyškolený s rovnakými zaujatými vizuálne odhadovanými stenózami, má tiež tendenciu preceňovať stenózy. Na riešenie tohto problému môže byť CathAI opätovne vyškolený pomocou údajov QCA, ktoré, ako demonštrujeme, majú tendenciu predpovedať menej závažné stenó 4 5 6 7 29 5 5 6 8 4 4 Niektoré nedávne štúdie naznačujú, že v odhadoch stenózy môžu existovať pohlavné rozdiely, kde stenózy majú tendenciu byť preceňované u žien. Aby sme preskúmali, či CathAI môže pomôcť znížiť túto predispozíciu v odhade stenózy medzi pohlaviami, porovnali sme výkonnosť algoritmu 4 medzi mužmi a ženami v našej internej databáze.Naša analýza zistila malý, ale významný rozdiel medzi výkonnosťou algoritmu v vrstvách mužov a žien.Budúca práca by mala byť zameraná na vyváženie príkladov závažných a non-závažných stenóz u mužov a žien, aby sa ďalej riešila otázka predispozície založenej na pohlaví v odhade závažnosti stenózy. 30 V porovnaní s tým, RCT QCA dataset predstavoval nielen jednu inú metódu prihlasovania hlavnej databázy RCTs. To je demonštrované tým, že vo väčšine UCSF klinických angiogramov, ako je bežné v klinickej praxi, koronárne stenózy ≤50% pre klinickú predpokladu ≤50% boli jednoducho opísané ako "neobštrukčná stenóza" a neboli odhadované v dôsledku "neobštruktívnej časti" a neboli poskytnuté percentuálne odhady; na rozdiel od AIi, AIi je vizuálne odlišné od QCA, ktoré poskytujú hodnoty vo všetkých prípadoch. To je demonštrované tým, že QCA preukazuje, že predchádzajúca klasifikácia QCA zvyšuje hodnoty Takáto práca má niekoľko obmedzení. Pozoruhodné obmedzenie vyplýva z nášho používania výcvikových štítkov odvodených počas rutinnej klinickej starostlivosti pomocou lekárskej vizuálnej odhady. Vzhľadom na zdrojovo náročnú povahu generovania veľkého počtu kardiologických poznámok pre angiografické obrázky, aby sme dosiahli najväčšiu databázu na výcvik CathAI pre závažnosť stenózy, použili sme klinicky generované hodnoty REPORT-stenózy, ktoré boli k dispozícii vo veľkom počte. Hoci tieto boli generované sub-špecializovanými špecializovanými futures intervenčnými kardiológmi na UCSF, pravdepodobne stále vykazujú variabilitu vlastnú akejkoľvek klinicky generovanej etikete. Naším cieľom s touto štúdiou s dôkazom koncepcie bolo preukázať „stavebné bloky“, ktoré sú potrebné pre automatickú interpretáciu koronárnych angiogramov, a nie nevyhnutne nahradiť súčasný klinický štandard pre interpretáciu angiogramov. Na dosiahnutie tohto posledného bude pravdepodobne potrebné značné ľudské úsilie na označenie veľkých dátových súborov s presnými metódami. Okrem toho sme do tejto verzie CathAI zahrnuli iba hlavné epikardiálne cievy. 31 Na záver CathAI je prvým viacstupňovým plne automatizovaným analytickým potrubím pre koronárne angiogramy. CathAI dosahuje najmodernejší výkon pre každú úlohu potrebnú na interpretáciu reálnych angiogramov, je externe platná a poskytuje základ pre budúce úlohy v automatizovanej angiografickej interpretácii. Automatizované posudzovanie stenózy umožnené CathAI môže slúžiť na zvýšenie štandardizácie a reprodukovateľnosti v posudzovaní koronárnej stenózy, jednej z najdôležitejších súvislostí v klinickom rozhodovaní o CHD. Metódy Štúdium účastníkov a štúdium súborov údajov Pre náš kompletný dataset sme získali retrospektívne, de-identifikované koronárne angiografické štúdie od všetkých pacientov vo veku 18 rokov a starších z University of California, San Francisco (UCSF), medzi 1. aprílom 2008 a 31. decembrom 2019 (Doplňujúca Obr. Pacienti bez videí ľavej alebo pravej koronárnej artérie boli vylúčení. Angiogramy boli získané so systémami Philips (Koninklijke Philips N.V., Amsterdam, Holandsko) a Siemens (Siemens Healthineers, Forchheim, Nemecko) pri 15 snímkach za sekundu pomocou kontrastu Iopromidu. Vytvorili sme špeciálne anotované dátové súbory školenia (buď prostredníctvom dostupných metaúdajov alebo expertných anotácií) podskupín Full Dataset pre každú zo štyroch hlavných úloh vykonávaných spoločnosťou CathAI. 1 To maximize the manual labeling efforts required to generate training data for each Algorithm, we generated an “extracted Full dataset” by first automatically identifying the frames within the video that likely contained peak-contrast by calculating the structural similarity index measure (SSIM) from the frame in position ‘0’ where no dye is usually present, which we called the “reference” frame. SSIM is higher if images have similar pixel values and lower if there is greater difference. The frame with the lowest similarity index from the reference frame was selected as most likely containing peak-contrast (e.g. when the artery is full of contrast). Up to 8 frames were then extracted from each video by retaining the reference frame, the peak-contrast frame and the 3 frames immediately preceding and following the peak-contrast frame. This is referred to as the “extracted” Full Dataset frames ( = 1,418,297). All frames of a video were converted to images of dimension 512*512 pixels for algorithmic analysis. Subsets of frames from the extracted Full Dataset were then labeled for each task, as described below, to generate training data for Algorithms 1–3. n Pre všetky algoritmy, s výnimkou algoritmu 3, boli údaje pre každý algoritmus náhodne rozdelené na dátové súbory Školenie (70%), Vývoj (10%) a Test (20%), z ktorých každý obsahoval neprekrývajúcich sa pacientov. Vývojový dátový súbor bol použitý na algoritmické nastavenie, keď to bolo potrebné. Pre algoritmus 3 boli dátové súbory rozdelené na dátové súbory Školenie (80%) a Test (20%); pretože sme používali pôvodné hyperparametre a nevyžadovali algoritmické nastavenie , . 16 32 Algorithm 1 labels were taken directly from the DICOM metadata describing the cranial-caudal and LAO-RAO orientations. Algorithm 2 and 3 required annotations by a board-certified cardiologist (Supplementary Fig. and Supplementary Table , and Pre algoritmus 4 boli stenózy prevzaté priamo z procedurálnej správy. 8 1 2 3 Dataset správy Krátko po vykonaní postupu intervenční kardiológovia zvyčajne interpretujú angiogram pomocou vizuálneho posúdenia podľa štandardnej klinickej praxe a opisujú závažnosť koronárnej stenózy v správe o postupe.Tento text procedurálnej správy bol analyzovaný (pozri nižšie) s cieľom identifikovať: akýkoľvek opis koronárnej stenózy, maximálne percento stenózy (nazývané REPORT-stenóza) a jej umiestnenie v jednom z 11 segmentov koronárnej artérie (Doplňujúca tabuľka) Identifikovali sme 9782 koronárnych stenóz v arteriálnych segmentoch (REPORT-stenózy) a identifikovali sme v 1766 nestenózovaných kompletných ciev, ktoré prinášajú celkom 10 088 nestenózovaných cievnych segmentov, odvodených z 84 153 obrázkov. ). Metadata was extracted from each angiogram video including the procedure date, the primary (Right Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) and secondary (cranio-caudal) angles of rotation, a unique exam identifier and a unique patient identifier. Non-matched REPORT-stenoses were removed from the dataset. We also excluded videos where an intra-coronary guidewire was present in more than 4 frames, as automatically determined by Algorithm 3 (6,076 videos, 41,780 stenosis-frames identified with guidewires), since these videos likely represent percutaneous coronary interventions which could alter the stenosis percentage within that video (Supplementary Fig. ); videos were retained from studies prior to the insertion of an intracoronary guidewire. 3 1 1 Text parsing methods The free text from the procedural report was first segmented using commas (“,”) or periods (“.”). We then applied text parsing methods to identify distinct coronary segments (Supplementary Table Keď bol nájdený koronárny segment, identifikovali sme akýkoľvek opis zodpovedajúceho percenta stenózy lokalizáciou „%“ a najbližšieho jedného až trojciferného čísla v danej vete. Spočiatku sme vyhľadávali pomocou štandardných pojmov (ako je „pravá koronárna artéria“), potom sme rozšírili kľúčové slová manuálnym preskúmaním textu, cez viacnásobné iterácie, aby sme zahrnuli najbežnejšie skratky, alternatívne spisy a permutacie (ako je „RCA“). Kvantitatívne opisy obštrukčnej CHD, ako je „mierna“, „mierna“ alebo „závažná“ choroba neboli extrahované. Okrem toho sme vyhľadávali kľúčové slová ako „trombus Neanalyzovali sme chronické celkové okluzie a stenózy v diagonálnych, okrajových, septálnych, ramusových, ľavých zadných klesajúcich tepnách, ľavých posterolaterálnych alebo v bypassových implantátoch. 3 3 Výskum ľudských subjektov This study was reviewed by the University of California, San Francisco Institutional Review Board and need for informed consent was waived. The external validation was reviewed and approved by the University of Ottawa Institutional Review Board. Vývoj algoritmov Systém CathAI sa skladá zo 4 neurónových sieťových algoritmov usporiadaných v potrubí (Obr. Angiografické obrazy sú analyzované každým algoritmom a "prúdenie" postupne k ďalšiemu, aby sa splnili štyri základné úlohy pre analýzu automatizovaného angiogramu: (1) klasifikácia uhla angiografickej projekcie; (2) klasifikácia primárnej anatomickej štruktúry angiogramu; (3) lokalizácia relevantných objektov v angiograme, vrátane podsekcií a stenóz koronárnej artérie; (4) predpovedanie závažnosti stenózy koronárnej artérie (ako percento zúženia artérie). 1a Ako zhrnutie na vysokej úrovni, algoritmus 1 prijal jednotlivé obrázky (koronárne angiogram video rámy) ako vstup a identifikoval angiografický uhol projekcie použitý popísané LAO-RAO a lebky-kaudálne osi (LAO lebky, RAO kaudálne, atď); štítky boli k dispozícii z metaúdajov každého videa. algoritmus 2 identifikoval primárnu anatomickú štruktúru (Doplnková tabuľka) ), pretože je bežné zachytiť angiogramové videá obsahujúce non-srdcové anatomické štruktúry, ako je aorta alebo femorálna artéria. Algoritmus 2 umožnil CathAI následne zamerať sa len na angiogramové videá obsahujúce predovšetkým ľavé a pravé koronárne artérie (LCA a RCA). Algoritmus 3 lokalizoval relevantné objekty v obrazoch LCA a RCA vydaním hraničných súradníc pre identifikované objekty (Doplňujúce video). Miesto stenózy koronárnej artérie bolo pridelené podľa najväčšieho prekrývania medzi dvoma algoritmom 3 predpovedanými hraničnými boxmi podsegmentu koronárnej artérie a stenózy (obr. 1). Algoritmus 4 prijal obrazy nakrájané okolo kamenistých arteriálnych segmentov (podľa algoritmu 3 hraničných políčok) a predpovedal maximálnu percentuálnu stenózu v obraze ako nepretržitú hodnotu medzi 0 a 100 pre každý obrázok. 2 1b Algorithm 1: classification of angiographic projection angle Algorithm 1 accepted individual images (video frames) as its input and identified the angiographic projection angle used. The projection angle refers to the fluoroscopic angulation used to obtain the image, commonly described on two axes defined by LAO-RAO and cranial-caudal (LAO cranial, RAO caudal, etc). For Algorithm 1 training data, all images from the extracted Full Dataset were categorized into 12 categories of left-right and cranio-caudal projection angles based on the primary and secondary angles extracted from each video’s metadata (−180 and 180 degrees for the primary angle and −50 and 50 degrees for secondary; Supplementary Table Potom sme extrahovanú kompletnú databázu rozdelili na školenia (990,082), vývoj (128,590) a testovacie databázy (299,625). 1 Algorithm 1 architecture was based on Xception, which is a convolutional neural network that has achieved state-of-the-art performance at image recognition tasks Bol iniciovaný s váhami „ImageNet“ , as commonly performed to initialize weights for faster algorithm convergence in image classification settings; all layers were trainable. Images were augmented by random zoom (range=0.2) and shear rotate (range=0.2). The development dataset was used to iteratively compare algorithm performance and fine tune hyperparameters using grid search (Supplementary Table ). We experimented with different architectures such as VGG-16, ResNet50 and InceptionNet-V3 but found no incremental benefit over Xception. A grid search was used to fine-tune hyperparameters. The Test dataset was not used at all during training and was only used to report final performance. The most common prediction across extracted the frames of each video was assigned as the angiographic projection of that video; ties were addressed by selecting the projection with the highest average probability across all frames. We used Algorithm 1 weights as a ”core model” to initialize the weights for training the subsequent algorithms based on the Xception architecture. 33 34 5 Algorithm 2: classification of primary anatomic structure Algorithm 2 aimed to identify the primary anatomic structure present in an angiographic video (Supplementary Table ), pretože je bežné zachytiť angiogramové videá obsahujúce ne-srdcové anatomické štruktúry, ako je aorta alebo femorálna artéria počas postupu.Na generovanie dát z výcviku algoritmu 2 sme náhodne vybrali 14 366 obrázkov z extrahovanej plnej databázy a kardiológ kategorizoval každý obrázok do jednej z 11 tried opisujúcich primárnu anatomickú štruktúru (Doplnková tabuľka) ). This dataset was split into Training/Development/ Test datasets, containing 9887 (70%), 1504 (10%), and 2975 (20%) images, respectively. We trained Algorithm 2 using the Xception architecture, initialized weights from trained Algorithm 1, and tuned hyper-parameters (Supplementary Table Obrázky boli zväčšené náhodným zoomom (rozsah = 0,2) a rotačným prerezávaním (rozsah = 0,2). Predpovedanou primárnou anatomickou štruktúrou videa bola predpoveď režimu všetkých jeho extrahovaných Full Dataset rámov. ). F1 scores and model performance varied by anatomic class, but in general classes with lesser frames had lower performance (Supplementary Fig. ), čo naznačuje možnosť zlepšenia výkonu, ak by bolo k dispozícii viac označených údajov. 2 2 5 1 3b Algorithm 3: localization of angiogram objects Algoritmus 3 bol zameraný na lokalizáciu relevantných objektov v obrazoch ľavých a pravých koronárnych artérií (výstup algoritmu 2). ), úlohy najdôležitejšie pre potrubie CathAI boli (i) identifikovať segmenty koronárnych artérií, (ii) identifikovať stenózy (ak sú prítomné) a (iii) lokalizovať iné relevantné objekty, ako sú sprievodné drôty alebo sternotómia. Na generovanie tréningových údajov pre algoritmus 3, 2338 kontrastných obrazov LCA a RCA s stenózou aj bez nej (ako je identifikované algoritmom 2) bolo poznamenané kardiológom, ktorý umiestnil hraničné boxy okolo všetkých relevantných objektov na obrázku (Doplnková tabuľka) ). Only stenoses in the main epicardial vessels, not side branches such as diagonals or marginals, were labeled. In 100% of the 2338 frames, the LCA or RCA was the primary anatomic structure contained, and the artery was well visualized, well opacified, and not underfilled, according to the annotating cardiologist. 3 3 In our final CathAI pipeline we trained two versions of Algorithm 3: Algorithm 3a was trained on and accepted both LCA and RCA images as input. Since the RCA in the LAO projection contained the greatest number of annotated images in our dataset, we also trained a dedicated Algorithm 3b on this projection to demonstrate possible performance gains from focusing an algorithm on a specific artery/projection (RCA in LAO). To train Algorithms 3a/b, we split our labeled images for this task into two separate datasets: One containing left/right coronary arteries (2,338 images) and one containing RCA images in the LAO projection (450 images). Each dataset was subsequently split into 90% training (2,104 and 405 images respectively) and 10% test (234 and 45 images respectively) and Algorithms 3a/b were trained for 50 epochs. Once deployed in the CathAI pipeline, Algorithm 3b served to decrease input variability for Algorithm 3a, which produced performance improvements for both algorithms. Since we achieved performance gains by developing an algorithm on this specific artery/projection, future gains may be achieved with other dedicated algorithms. Algoritmy 3a/b používali architektúru RetinaNet a boli vyškolené pomocou pôvodných hyperparametrov RetinaNet dosiahol najmodernejší výkon pre lokalizáciu objektov, ako je detekcia chodcov pre autonómne vozidlá Vzhľadom na to, že niektoré arteriálne segmenty v určitých angiografických projekciách sú známe a priori, že sú skrátené alebo nie sú viditeľné, použili sme post-hoc heuristiku na vylúčenie určitých segmentov arterií predpovedaných algoritmom 3a/b z angiografických projekcií, ako predpovedá algoritmus 1 (Doplnková tabuľka). To teda predstavuje fúziu medzipredikcií z dvoch algoritmov potrubia CathAI na dosiahnutie klinicky relevantnejšej celkovej výkonnosti potrubia.Na posúdenie výkonnosti algoritmu 3a/b boli predpovedané súradnice porovnané s súradnicami základnej pravdy pomocou pomeru oblasti križovatky nad oblasťou zväzku (nazývaný Intersection-over-union [IoU]) IoU ≥ 0,5 medzi predpovedanými a anotovanými súradnicami sa považuje za pravdivý pozitív. Ďalej sme merali priemernú presnosť (mAP), ktorá predstavuje pomer pravdivých pozitívov k pravdivým a falošným pozitívom pri rôznych prahových hodnotách IoU pre každú triedu. MAP 50% porovnáva s najmodernejšími výsledkami pre tento typ úlohy , . 16 35 4 36 37 16 35 Algorithm 4: predicting the percentage of coronary artery stenosis Algorithm 4 was developed to predict the severity of coronary artery stenosis as a percentage, given input images cropped around stenosed artery segments identified by Algorithm 3. Algorithms 3a/b were run on all Report dataset videos to localize artery segments and stenoses. All frames that contained a stenosis bounding box overlapping with a coronary artery segment bounding box with IoU ≥0.20 comprised potential input frames for Algorithm 4. A stenosis was localized to the artery segment that Algorithm 3 identified which had the greatest overlap by IoU. To derive train/test labels for Algorithm 4, we cross-matched stenoses found by Algorithm 3a/3b with the stenosis percentage found in the procedural report in corresponding artery segments (Supplementary Fig. Zosúladené hodnoty procedurálnych správ slúžili ako štítky na výcvik algoritmu 4 s vstupnými obrazmi nakrájanými okolo stenozovaných arteriálnych segmentov podľa hraničných políčok algoritmu 3a/b. Nezosúladené stenózy boli odstránené z nášho súboru údajov. Taktiež sme vylúčili všetky videá, v ktorých bola prítomná intrakoronárna vodiaca dráha vo viac ako 4 snímkach, ako automaticky určuje algoritmus 3a/b (6,076 videí, 41,780 stenóznych snímok identifikovaných pomocou vodiacich drôtov), pretože tieto videá pravdepodobne predstavujú perkutánne koronárne intervencie, ktoré by mohli zmeniť percento stenózy vo vnútri tohto videa (dodatočná Obr. Na výcvik a validáciu algoritmu 4 sme kombinovali 6258 snímok nestenózovaných segmentov koronárnych artérií s zostávajúcimi 98,756 snímkami stenóz. 1 1 Akonáhle bola zistená stenóza, súradnice hraničných políčok sa rozšírili o 12 pixelov vo všetkých rozmeroch, potom sa zmenšili a zmenšili na najbližšiu z troch preddefinovaných veľkostí: 256*256 pixelov (vzhľadový pomer č. 1), 256*128 pixelov (vzhľadový pomer č. 2) a 128*256 pixelov (vzhľadový pomer č. 3). Toto sa vykonalo s cieľom maximalizovať pomer signálu k hluku (plavidlo k pozadí) v dôsledku rôznych orientácií plavidiel a veľkostí stenózy. „Súbor údajov o správe“ používaný na výcvik algoritmu 4 pozostával z 105 014 obrázkov (6667 stenóz od 2 736 pacientov a 5 134 zdravých segmentov pla Vzhľadom k tomu, že segmenty nestenózovaných ciev majú tendenciu byť dlhšie ako ohnisková stenóza, ktorá môže viesť k predsudkom, všetky nestenózované segmenty sme náhodne nakrájali na výšku a šírku, čo odráža distribúciu veľkostí obrazu stenózy v rámci tohto koronárneho segmentu. 1 Algoritmus 4 bol založený na modifikovanej architektúre Xception, kde bola posledná vrstva (vrstva Softmax, používaná na klasifikáciu) nahradená „priemerným bazénom“ a potom hustou vrstvou s lineárnou aktiváciou, ktorá umožnila predpovedať závažnosť stenózy ako nepretržitú percentuálnu hodnotu. Obrázkové metadata pozostávajúce z označenia segmentu koronárnej artérie a pomerov rozrezaných aspektov boli tiež pridané ako vstupy do konečnej vrstvy algoritmu 4, čo zlepšilo výkon. Algoritmus vydal percentuálnu hodnotu stenózy medzi 0 a 100 pre každý vstupný obrázok predstavujúci maximálnu stenózu v tomto segmentu koronárnej artérie. Percentuálna hodnota bola potom priemerom pre všetky rámy segmentu stenózy Model weights were initialized using those from the trained Algorithm 1. Images were augmented by random flip (both horizontal and vertical), random contrast, gamma and brightness variations, random application of adaptive histogram equalization (To improve contrast in images). The algorithms were trained to minimize the squared loss between the predicted (AI-stenosis) and the report-stenosis using the RADAM optimizer s počiatočnou rýchlosťou učenia 0,001, momentom 0,9 a veľkosťou dávky 12, trénovali po dobu 50 epoch. 38 Pre algoritmus 4 sme modifikovali tréningovú schému tak, že každá epocha bola trénovaná na obrázkoch s jedným aspektovým pomerom, s ďalším epochovým tréningom na inom aspektovom pomere (kopírovaním všetkých váh z predchádzajúcej iterácie), ako to bolo vykonané predtým pre vstupy viacerých veľkostí Toto bolo iterované až do konvergencie. Zmerali sme výkon algoritmu na kompletnej testovacej databáze, ktorá pozostáva z troch pomerov aspektov. Zistili sme, že konvergencia multi-size vstupného tréningu bola ako iné algoritmy, ktoré používali pevnú veľkosť pre tréning. Taktiež sme preskúmali rôzne prístupy pred spracovaním a sekvencie bez zlepšenia výkonu algoritmu (Doplnková tabuľka) ). 39 7s Neural network explainability methods Na plne vyškolené algoritmy CathAI sme aplikovali dva prístupy k vysvetľovateľnosti neurónových sietí, aby sme lepšie pochopili, ako algoritmy robili svoje predpovede v súlade s ich relatívnymi úlohami. technique highlights image regions most critical to prediction. Red highlighted areas denote higher importance to algorithm prediction, whereas more blue highlighted regions denote lower importance. We also derived saliency maps using the Layer Ordered Visualization of Information (LOVI) method , which highlights individual pixels in the image that contribute most to algorithm predictions. Brighter pixels represent greater contribution to the algorithm’s prediction. 17 18 Externá validácia Pre vonkajšiu validáciu binárneho arenosu sme náhodne odobrali vzorku 1000 koronárnych angiogramových videí vykonaných na University of Ottawa Heart Institute (UOHI) medzi 1. júlom 2020 a 31. októbrom 2020, získaných s systémami Philips Azurion (Koninklijke Philips N.V., Amsterdam, Holandsko), pri 15 snímkach za sekundu, pomocou Iopromidovej farby. Algority 1, 2 a 3 boli aplikované na každé video na identifikáciu a lokalizáciu stenóz a algoritmus 4 predpovedal validáciu AI-stenózy. Potom sme odobrali až 40 príkladov angiogramových videí na segment koronárnej artérie, aby sme vytvorili našu externú databázu validácie, ktorá identifikovala celkom 464 koronárnych angiogramov s odlišnými stenóz Na výcvik algoritmu CathAI 4 pre rozdielnu distribúciu populácie databázy QCA sme databázu QCA rozdelili na školenia (75%), vývoj (12.5%) a testovanie (12.5%) a finálne prispôsobili posledné dve plne prepojené vrstvy algoritmu 4, aby sa algoritmus naučil predpovedať hodnoty stenózy QCA z vstupných stenózových obrázkov namiesto vizuálne vyhodnotených stenóz. Vykonali sme sieťové vyhľadávanie počiatočných rýchlostí učenia od 1e−4 do 1e−8 a vybrali sme rýchlosť, ktorá produkovala najnižšiu hodnotu straty na vývoji za 100 epoch. Quantitative coronary angiography dataset Systém CathAI poskytuje algoritmický základ pre opätovné školenie pre budúce úlohy súvisiace s angiogramom. Na preukázanie toho sme získali externý súbor údajov o koronárnych angiogramoch a priori odlišnej populácie pacientov v Montreal Heart Institute (MHI) Core laboratóriu pomocou systému CMS QCA (MEDIS, Leiden, Holandsko). Tento súbor údajov pozostával z angiogramov analyzovaných laboratóriom MHI Angiographic Core, získaných počas randomizovaných kontrolovaných štúdií (RCT) u ≥ 18-ročných pacientov, ktorí mali koronárnu angiografiu v rámci štúdie a dostali nové lieky na zníženie lipidov alebo placebo. Štúdie, z ktorých boli tieto údaje odvodené, používali kritériá začlenenia, ktoré na začiatku štúdie vylúčili pacientov s obštrukčnou koronárnou chorobou (CAD), čo viedlo k väčšine koronárnej stenózy miernej až strednej závažnosti v tejto databáze. QCA analýza bola vykonaná dvoma vyškolenými technikmi a bola pod dohľadom odborného lekára. , . 40 6 13 Koronárne angiogramy boli získané pomocou obrazov Philips (Koninklijke Philips N.V., Amsterdam, Holandsko), General Electric Medical Systems (General Electric, Chicago, Illinois, Spojené štáty) a Toshiba (Toshiba Corporation, Minato City, Tokyo, Japonsko) pri 15 snímkach za sekundu injekciou Iopromidovej farby do koronárnych artérií. Pre každú analýzu QCA stenózy v jadrovej laboratóriu MHI bol vybraný koncový diastolický rám s úhlami, ktoré najlepšie preukázali stenózu v najzávažnejšom stupni s minimálnym skrátením a prekrývaním vetiev. softvér QCA automaticky vypočítal percento priemernej stenózy pre segmenty koronárnych artérií s referenčným Táto databáza RCT QCA obsahovala a priori odlišnú populáciu pacientov v porovnaní s klinickou databázou UCSF v reálnom svete, pretože všetky stenózy ≥ 50% neboli prítomné počas východiskového angiogramu (ale mohli byť prítomné na následnom angiograme), čo zanechalo predovšetkým mierne CAD s priemernou závažnosťou QCA stenózy 31,7% ± 11,6%. To poskytlo optimálnu príležitosť preskúmať, ako by CathAI mohol poskytnúť základ pre opätovné školenie pomocou štítkov QCA stenózy, aby fungoval ako automatizovaný nástroj pre analýzu jadra laboratórneho angiogramu. Rozdelili sme databázu QCA na školenia (75%), vývoj (12.5%) a testovanie (12.5 Hodnotenie algoritmov a štatistická analýza Ako je vhodné pre každú úlohu, výkon každého algoritmu pre kategorické hodnoty bol hodnotený pomocou pozitívnej prediktívnej hodnoty (PPV), negatívnej prediktívnej hodnoty, citlivosti, špecifickosti, oblasti pod krivkou charakteristických vlastností prijímača (AUC), skóre F1 a plotov Bland-Altmann. Pearsonova korelácia a priemerná absolútna chyba medzi predpovedaním stenózy CathAI a správou stenózy alebo QCA stenózy. 41 Neurálne siete boli vyškolené pomocou Keras v.2.24 a TensorFlow v.1.12. Výkon konečných algoritmov bol hlásený v Test Dataset. Algorithms 1 and 2 were evaluated on the frame/image level using precision (i.e. positive predictive value), recall (sensitivity) and plot the performance using confusion matrices. We also derived the F1 score for each class, which is the harmonic mean between the precision and recall. Na vyhodnotenie algoritmu 3a a 3b sme vypočítali plochu križovatky nad oblasťou zväzku (IoU) medzi predpovedanými súradnicami bounding-box a expert-annotovanými súradnicami bounding-box objektov v každej triede v testovacej databáze. . An IoU≥0.5 signifies at least 50% area of overlap between the predicted and true bounding-boxes, which we considered a true positive. We then report the performance of Algorithm 3a/b as the mean average precision (mAP) metric, which represents the ratio of true positives over true and false positives at different thresholds of IoU, for every class MAP hodnota 50% porovnáva s najmodernejšími výsledkami pre tento typ úlohy , Taktiež prezentujeme priemernú priemernú presnosť pre algoritmus 3a a algoritmus 3b vypočítaním pomeru správnej predpovede triedy s hodnotou IoU ≥ 0,1 s naším označením základnej pravdy pre všetky naše triedy v našom testovacom databáze, ako aj pozitívnu prediktívnu hodnotu lokalizácie stenózy pomocou správy alebo databázy QCA ako základnej pravdy. 36 37 16 35 Na vyhodnotenie algoritmu 4 bola primárnou metrikou záujmu priemerná absolútna chyba medzi hlásenou hodnotou (REPORT-stenóza) a predpovedanou hodnotou (AI-stenóza) na úrovni tepien. , . Image-level AI-stenosis was averaged across a video to obtain video-level AI-stenosis and compared against REPORT-stenosis using the mean squared error. Pearson and Intra-class correlation (ICC) and Bland-Altman Spoľahlivosť bola klasifikovaná ako zlá (< 0,5), stredná (0,50–0,75), dobrá (0,76–0,90), alebo vynikajúca (0,91–1,0).(52) Nakoniec prezentujeme priemernú štvorcovú chybu medzi REPORT-stenózou a AI-stenózou na úrovni videa. 2 3 42 Predpovedať binárnu „obštrukčnú“ stenózu koronárnej artérie, definovanú ako ≥70% stenóza , , bola použitá prahová hodnota 0,54, ktorá optimalizovala skóre F1. Na základe toho uvádzame aj oblasť pod krúžkom charakteristických vlastností prijímača (AUC), citlivosť, špecifickosť a diagnostický pomer , na úrovni rámu, na úrovni videa a na úrovni tepny, na základe tohto prahu. 2 3 43 Intervaly dôveryhodnosti pre metriky výkonu boli odvodené bootstrappingom 80% testovacích údajov cez 1000 iterácií na získanie hodnôt 5. a 95. percentilu. Prezentujeme výkon algoritmu 4 stratifikovaný podľa pohlavia, podľa ľavých a pravých koronárnych artérií, podľa segmentu tepny a podľa vekovej skupiny. hodnoty interakcie (medzi CathAI stenózou, kovariátmi a prípadnou stenózou vypočítané Waldovým testom). Kategorizovali sme AI-stenózu a REPORT-stenózu do skupín súbežných a disordantných lézií na základe vizuálneho ≥70% rezania. Pre disordantné lézie prezentujeme ich prevalenciu, stratifikovanú podľa segmentu koronárnej artérie. Pre údaje na úrovni lézie / cievy sa používa model logistickej regresie zmiešaných účinkov na účely korelácie v rámci subjektu a pre opakované angiogramy. P Reporting summary Further information on research design is available in the prepojené s týmto článkom. Zhrnutie výskumu v prírode Dostupnosť údajov Údaje použité v tejto štúdii sú odvodené z klinickej starostlivosti, a preto nie sú verejne dostupné kvôli obavám o ochranu osobných údajov. Kód dostupnosti Kód, ktorý podporuje túto prácu, je autorským právom Regentov Kalifornskej univerzity a môže byť sprístupnený prostredníctvom licencie.Údaje použité na školenie a validáciu algoritmu nemôžu byť verejne dostupné, pretože obsahujú osobné zdravotné informácie. Referencie Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 uznanie RA je podporovaná „Fonds de la recherche en santé du Québec“ (Grant 274831). JEO dostala finančné prostriedky od NIH (U2CEB021881). GHT dostala podporu od Národných inštitútov zdravotníctva NHLBI K23HL135274. KS nemá žiadne relevantné financovanie súvisiace s týmto rukopisom. AW je podporovaná Národnou vedeckou nadáciou Graduate Research Fellowship pod grantom č. DGE 1752814. YS je podporovaná cenou Mid-Career Investigator od Heart and Stroke Foundation of Ontario. J-CT drží kanadskú výskumnú stoličku v oblasti personalizovanej a translačnej medicíny a univerzita v Montreale má výskumnú stoličku v oblasti aterosklerózy. JEG je financovaná cenou NSF C Tento dokument je k dispozícii v prírode pod licenciou CC by 4.0 Deed (Attribution 4.0 International). Tento papier je Podlieha licencii CC by 4.0 Deed (Attribution 4.0 International). available on nature