CathAI: Истражувачите создадоа вештачка интелигенција која ги чита срцевите скени како кардиолог

Автори на: Роберт Аврам Џефри Е. Олин Zeeshan Ahmed Louis Verreault-Julien Alvin Wan Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Автори на: Роберт Аврам Џефри Е. Олин Зевс Ахмед Луј Верро-Жулијан Алвин Ван Џошуа Бариос Шон Отвори Дерек Ван Џозеф Е. Гонзалес Жан-Клод Тардиф Дерек Е. Така Кристијан Сони Џефри Х. Тисон апстракција Категрафијата за дијагностицирање на коронарна ангиографија (CAD) е примарна процедура за дијагностицирање и управување со одлуки во коронарна ангиографија (CAD), но ад-хок визуелната проценка на ангиографиите има висока валидност. Тука известуваме за целосно автоматизиран пристап за интерпретирање на ангиографската стеноза на коронарна ангиографија од стандардни коронарни ангиографии. Користејќи 13.843 ангиографски студии од 11.972 возрасни пациенти на Универзитетот во Калифорнија, Сан Франциско (UCSF), помеѓу 1 април 2008 и 31 декември 2019 година, ги обучуваме невронските мрежи за да ги извршиме четирите последователни потребни задачи за автоматска локализација и проценка на коронарна анги Воведување Болеста на коронарното срце е водечка причина за смрт кај возрасните во САД и во светот. , предизвикани од атеросклеротични плаки кои ги стеснуваат коронарните артерии, исто така наречени коронарна артериска болест (CAD). постапката за коронарна ангиографија е постапката со златен стандард за дијагностицирање на коронарна артериска стеноза која затоа обезбедува клучни информации за одлуките за третман на CAD кои се движат од медицинска терапија само до реваскуларизација со коронарни стенти или хирургија за заобиколување Медицинската визуелна проценка на тежината на коронарната стеноза од ангиограмите останува најчестиот, насочен пристап за проценка на ангиографското стеснување на луменот на коронарната артерија. , . 1 2 2 3 Сепак, ограничувањата на визуелната проценка за тежината на коронарната стеноза се добро опишани и вклучуваат внатрешна и меѓунабљудувачка варијабилност, операторски предрасуди и слаба репродуктивност. , Варијабилност во процената на визуелната стеноза се движи од 7.6 до 22.5% , , И додека квалитетот на сликање на коронарната ангиографија се подобри, варијабилноста сè уште останува и е поголема во поставувањето на еден лекар читач, што е далеку најчестиот клинички работен тек. , Визуелната проценка на стенозата може да ја прецени тежината на стенозата во повеќе од една четвртина од случаите. и може да придонесе за несоодветна операција за заобиколување на коронарната артерија кај 17% од пациентите и употреба на стент кај најмалку 10% од пациентите , , , Постандардизиран, репродуктивен пристап кон интерпретацијата на ангиограмот и проценката на коронарната стеноза би имал значително клиничко значење. 4 5 4 5 6 4 7 8 4 5 6 8 Различни дополнителни тестови може да го надополнат CAD оценувањето за време на коронарната ангиографија, како што е физиолошката проценка. , Интраваскуларна слика Иако повеќето бараат дополнителна експертиза на операторот и употреба на дополнителни катетери, така се користат во помалку од 10-20% од коронарните ангиограми. , , Покрај тоа, утврдувањето на потребата за адјунктивно тестирање сеуште се потпира првенствено на визуелната проценка на лекарот на ангиограмите за време на процедурата за ангиографија за да се идентификуваат интермедиумска тежина или поголема коронарна стеноза (на пример, 40-69%). Квантитативната коронарна ангиографија (QCA) е техника која обезбедува анализа на ангиограмите што овозможува повеќе стандардизирана проценка на стенозите. Сепак, QCA не е целосно автоматизирана и бара влез на оператор за калибрација на сликата и избор на рамка, префрлувајќи го во голема мера на поставките за истражување. , . 9 10 11 9 11 12 3 13 5 14 Алгоритмите за вештачка интелигенција (АИ), а особено длабоките невронски мрежи, покажаа способност за автоматизирање на важни клинички задачи во кардиологијата, како и интервенционалната кардиологија. Нашата цел е да се развие и да се потврди автоматски пристап за интерпретација на коронарна ангиограм, локализација на коронарна стеноза и проценка на сериозноста од реалниот свет коронарни ангиограми. 15 Резултати Комплетната база на податоци се состои од 13.843 комплетни студии на ангиограм (195.195 вкупно ангиографски видеа) од 11.972 пациенти на возраст ≥ 18 години од Универзитетот во Калифорнија, Сан Франциско (UCSF), помеѓу 1 април 2008 и 31 декември 2019 година (Слика. Дополнителна фиг. Просечната возраст беше 63.5 ± 13.7 години во Комплетниот сет на податоци и 66.7 ± 12.0 години во Сетот на податоци за извештаи. 1а 1 Преглед на гасоводот на CathAI за автоматизирана интерпретација на ангиограм. видеото на ангиограмот тече од еден алгоритам до следниот за да ги изврши 4 критични задачи потребни за автоматизирана интерпретација. Примена на CathAI на пример коронарна ангиограм. Пример лево предниот надолу артериски ангиограм со тешка стеноза (проксимална до средниот сегмент) е прикажано напредува низ системот CathAI да: идентификуваат ангиографска проекција, идентификуваат LCA (лево), поставуваат гранични кутии околу објекти како стеноза (зоум, средина), и да се предвиди максимална тежина на стеноза (десно). a b CathAI перформанси за класификација на ангиографскиот агол на проекција, анатомските структури и локализацијата на објектот на ангиограф За да се класифицира ангиографскиот агол на проекција, CathAI постигнала фреквенциска позитивна прогнозна вредност (PPV) од 0,90, чувствителност од 0,90 и F1 резултат од 0,90 во тестот (Дополнителна табела) Високо користените агли на проекција, како што се LAO Straight, RAO Straight и LAO Cranial, имаа подобри вкупни перформанси. За да ја класифицираат примарната анатомска структура содржана во видеото со ангиограм, CathAI постигна PPV со фреквенција од 0,89, чувствителност од 0,89 и F1 резултат од 0,89 во тестот (Табела). CathAI перформансите беа високи и за левата и за десната коронарна артерија (LCA и RCA, респективно), кои се примарни ангиографски објекти од интерес: PPV и чувствителноста, респективно, беа 0,97 и 0,94 за LCA и 0,93 и 0,93 за RCA. 8 1 Откако биле идентификувани видеа со ангиограм кои главно содржат LCA и RCA, CathAI ги локализираше објектите во ангиограмот преку предвидување на граничните кутии околу сегментите на коронарната артерија, како што е проксималниот дел на коронарната артерија, регионите на стеноза, стентите и коронарните катетери. За мерење на перформансите на CathAI за да ги локализираат овие објекти, средната прецизност (mAP) беше користена за да се споредат предвидените координати против вистината за секој објект. Дополнителна табела CathAI правилно локализираше 93,3% од коронарните артериски стенози (PPV) во тестот на UCSF. 16 9 CathAI перформанси за предвидување на тежината на стенозата The final algorithm in the CathAI system estimated coronary artery stenosis severity (Fig. Предвидените проценки за тежината на стенозата беа просечни од сите видеа на ангиограм од дадена студија која визуелизираше одреден сегмент на артеријата (наречен "артериски ниво"), што ја одразува стандардната клиничка пракса.Во сетот на тестови, AUC на CathAI за идентификување на опструктивна стеноза беше 0,862 (95% CI: 0,843-0,880) на ниво на артеријата (Табела). • Фиг. Предвидувањето на стенозата на ниво на артеријата се изведува подобро од предвидувањата на ниво на видео или слика (Слика 1). Дополнителна маса За прогнозата на CathAI за тежината на стенозата како континуирана процентна стеноза, просечната апсолутна процентна разлика помеѓу стенозата на АИ и извештајната стеноза беше 17,9 ± 15,5% (Табела). • Дополнителен фиг. Постои значително пониска просечна апсолутна процентна разлика за RCA во однос на LCA (16.4 ± 15.0 против 19.0 ± 15.8; < 0.001, Табела Дополнителна маса CathAI имал скромно повисока AUC за да се идентификува тешка стеноза во слоеви на женски vs машки [0,890 (95% ИИ: 0,864-0,923) vs 0,830 (95% ИИ: 0,805-0,856) соодветно, вредност за интеракција: 0.02 1б 2 2а 2а 10 2 3 p 2 10 P Примач Оперативни карактеристични криви (ROC) за CathAI предвидување на опструктивна (</≥70%) коронарна стеноза во тестниот сет на податоци. Црна точка: праг на AI-стеноза избран за да се оптимизира F1 резултат во артериски ниво на податоци. Црвен крст: Специфичност кога чувствителноста е фиксирана на 80%. Синиот крст: Чувствителност кога специфичноста е фиксирана на 80%. Матрица на конфузија за CathAI предвидување на опструктивна стеноза против РЕПОРТ стеноза. UOHI External Validation Dataset-ROC за CathAI предвидување на опструктивна (</≥70%) стеноза. Црна точка: праг на AI-стеноза избран за да се оптимизира F1 резултат во базата на податоци на ниво на артеријата. Црвен крст: Специфичност кога чувствителноста е фиксирана на 80%. Синиот крст: Чувствителност кога специфичноста е фиксирана на 80%. UOHI надворешна валидација Dataset-Confusion матрица за CathAI предвидување на опструктивна стеноза vs. експерт adjudicators. AUC област под кривата, CI доверба интервал, AI вештачка интелигенција. a b c d Од оние ≥70% стенози според REPORT-стенозата, CathAI правилно ги класифицираше 74.5% (95% CI: 70.0–78.4%; 260/349, Фиг. ); и од оние <70% стенози со РЕПОРТ-стеноза, Алгоритам 4 класифициран 78.1% правилно (95% CI:76.1–80.1%; 1082/1385). Кога чувствителноста на Алгоритам 4 за откривање на опструктивна коронарна стеноза беше фиксирана на 80.0%, нејзината специфичност за откривање на опструктивна стеноза беше 74.1%; и кога специфичноста беше фиксирана на 80.0%, нејзината чувствителност за откривање на опструктивна стеноза беше 71.6%. CathAI преценил благи стенози и потценил тешки стенози (Дополнителна слика. ) на 2б 2 3 Надворешна валидација на CathAI во базата на податоци на UOHI За да се испита надворешната генерализабилност, ние се применуваат CathAI на 464 случајно применет ангиограм видеа од UOHI. CathAI предвидени ангиографска проекција со висока точност (Дополнителна слика. Во 100% од UOHI ангиограмите, Алгоритам 2 успешно го идентификуваше RCA или LCA. Двете UOHI адјудикатори се согласија за локализација на стеноза во истиот сегмент на коронарната артерија во 91,4% ( Во рамките на овој подсек CathAI локализирана стеноза во истиот сегмент на артеријата во 84.5% ( = 360); во сите преостанати 15.5% каде артерискиот подсегмент не беше точен, CathAI ја додели стенозата на точната коронарна артерија во целина (LCA vs RCA). Сите CathAI-идентификувани стенози беа вистински стенози, за разлика од артефактот поради субоптимална opacification или крварење на садовите, според двата судија. 4 n n Проценката за проценка на процентот на стеноза меѓу двајцата судија беше 15.7% ± 14.5%. За одредување на опструктивната (</≥70%) стеноза, судиите не се согласија дека 16.8% од стенозите се опструктивни ( = 78). Го пресметавме аритметичкиот просек на процентот на стеноза од двата судија за да го споредиме со предвидувањето на CathAI за сериозноста на стенозата. , на ); чувствителноста беше 86,4% и специфичноста беше 67,3% (Слика. Просечната апсолутна процентна разлика помеѓу стенозата на АИ и процентот на стеноза просечно од двата судија беше 18.02% ± 11.02%. во UOHI сет на податоци, на CathAI им беа потребни 3-5 секунди за да анализираат видео со ангиографија, или 35 секунди за целосен испит, користејќи Nvidia GTX 1080 Ti GPU. n 2C 3 2Д Главните резултати за внатрешната валидација на Универзитетот во Калифорнија, Сан Франциско (UCSF) и надворешната валидација на Институтот за срце на Универзитетот во Отава (UOHI) се прикажани за секоја од 4 задачи. Претренирање на CathAI за да се предвиди QCA стеноза На RCT QCA се состои од 709 пациенти со 858 испитувања (1384 стенози; 18 тешки ≥70%, 71 тешки ≥50% но <70% и 1295 не-тешки). = 1384) на стенози (67,2% за LCA и 86,8% за RCA). Просечната тежина на стеноза како што е оценета од страна на QCA беше 31,7 ± 11,6% (Дополнителна фигура. Со оглед на дивергентната популација на пациенти на RCT QCA базата на податоци со главно благи CAD и QCA критериуми (≥50% QCA стеноза) наместо визуелна проценка, RCT QCA базата на податоци обезбеди можност да се претренира CathAI за да се предвидат QCA означени стенози, за разлика од визуелно оценети стенози. ) и за QCA стеноза ≥70%, AUC беше 0.75 (95% CI: 0.570-0.930). Просечната разлика во стенозата помеѓу CathAI-предвидената стеноза и QCA-оценената стеноза беше 6.5 ± 5.5% во тестот. n 5 11 Користење на објаснување на невронски мрежи за да се разбере CathAI перформансите За подобро да ги разбереме елементите во ангиограмите кои придонесоа за предвидувањата на CathAI, применивме два пристапи за објаснување на целосно обучените алгоритми на CathAI. истакнува региони на сликата кои се најкритични за предвидувањето на CathAI, покажувајќи дека користеле региони како кардиолог, како што е левата предна спуштена артерија за да ги идентификуваат сликите на LCA (Слика. Исто така, добивме мапи на истакнување за предвидувањето на тежината на стенозата од страна на CathAI користејќи го методот Layer Ordered Visualization of Information (LOVI). Прикажани пиксели (фиг. • Дополнителен фиг. ) не се ограничени само на стенозирани артериски сегменти, туку и на нормални сегменти и пиксели непосредно во непосредна близина на артеријата, што сугерира дека односот помеѓу стенозираните и нестенозираните артериски сегменти придонесува за предвидувањето на CathAI за тежината на стенозата. 17 4а 18 4б 6 GradCAM се применува на класификацијата на CathAI на примарната анатомска структура. Прикажани се две оригинални слики на ангиограмот (лево), заедно со соодветните слики нагласени од GradCAM (десно) покажувајќи области од поголемо значење за алгоритамски одлуки. GradCAM-означени области фокусирани околу левата коронарна артерија во рамките на сликата на ангиограмот, со сина боја што укажува на најниско значење, жолта боја што укажува на средно значење и црвена боја што укажува на највисоко значење за предвидувањето на CathAI алгоритам 2. LOVI Saliency Мапи на CathAI предвидување на тежината на коронарна стеноза. Оригинални слики на ангиограм (во горниот дел) и соодветни слики со LOVI мапи на истакнување (во дното). Бели пиксели претставуваат поголем придонес за предвидувањето на CathAI (Алгоритам 4) покажувајќи дека алгоритам 4 се фокусираше на пиксели во близина на регионот на коронарна стеноза во повеќето случаи. a b Дискусија Ние го опишавме развојот и валидацијата на гасоводот на CathAI кој се состои од четири алгоритми и демонстрира значителен напредок во автоматската анализа на коронарните ангиограми. Секој алгоритам постигна специфична задача која го олесни постигнувањето на примарната дијагностичка цел на коронарната ангиографија – проценка на тежината на коронарната стеноза – постигнување на state-of-the-art перформанси за секоја задача. Важно е дека CathAI беше генерализирана, без дополнителна обука, за да се предвидат визуелно проценети стенози од не-куирани реалниот свет UOHI ангиограми, посебен медицински систем во друга земја. CathAI исто така беше успешно ре-трениран за да се предвидат проценките на QCA стеноза во Претходна работа објавила дека невронските мрежи вршат поединечни задачи во експериментални поставувања поврзани со ангиограмската анализа, како што е екстракцијата на рамката. , прогноза на стеноза од (ручно избрани) RCA слики , , , , , , Сегрегација на коронарни садови , Идентификација на стеноза Сепак, до нашето знаење целосно автоматски анализа и стеноза предвидување за коронарна ангиограм видеа сè уште не е демонстрирана на реалниот свет ангиограми. , , , , , , веројатно затоа што има значително помала анатомска варијабилност и комплексност во споредба со LCA, намалувајќи ја тешкотијата на анализирање на RCA ангиограмите. Сепак, пристапите обучени на претходно избрани RCA ангиограми не можат да ги анализираат реалните податоци, кои вклучуваат не-RCA и не-коронарни артериски видеа. Во неодамнешниот напор, Du et al. ги анализирале поединечните рамки од двете LCA и RCA ангиограми за да ги локализираат коронарните сегменти и стенозата , но не ја предвиди сериозноста на стенозата, која е критична компонента.Нашата работа го унапредува најсовремениот метод кој може да се генерализира на реалниот свет надворешни ангиограми и го одразува препорачаното оценување на "најлошото гледиште" во стандардните насоки за нега , Бидејќи коронарната ангиографија е критична за сите клинички одлуки за ХД , Отстапувањето на предвидувањата на CathAI од визуелната проценка на човечките експерти беше добро во рамките на, и често помалку од, обично пријавени меѓу-набљудувач варијабилност , , , , ; каде што претренираниот QCA отстапување на CathAI беше 6,5 ± 5,5% во RCT QCA сет на податоци, што е значително пониско од 10,2-16,6% разлика помеѓу визуелната проценка на лекарите и QCA пријавени во литературата 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Автоматизираната анализа на ангиограмите има поголеми сличности со перцептивната страна на технологијата на „самостојното возило“ отколку со стандардната радиолошка анализа (т.е. рентгенски зраци), со оглед на високо променливите, операторски одредени видео стекнувања на ангиограмите и низа комплексни задачи потребни за анализа.Успешната анализа на реалниот свет на ангиограмите бара од системот за вештачка интелигенција да обработува било каков вид на видео што се среќава за време на процедурите во реалниот свет, да ги идентификува релевантните слики, а потоа точно да ги локализира важните објекти. , , , , , , , provides proof-of-concept that multiple purpose-built deep learning algorithms can overcome the barriers that to date have prevented fully automated angiogram analysis. The multiple sub-tasks CathAI accomplishes en route to the final stenosis prediction provides a robust foundation to support many future additional tasks that build upon any CathAI sub-task, such as predicting stent under-expansion, atherosclerotic plaque morphology or fractional flow reserve from contrast flow patterns. CathAI can be readily adapted to additional tasks. Like self-driving car technology, however, much work remains to achieve very high accuracy before CathAI is “clinically ready,” given the central role of coronary stenosis assessment to CHD clinical decision making , Несомнено, дополнителни подобрувања во секој од индивидуалните алгоритми на CathAI веројатно ќе бидат потребни пред клиничката имплементација, што може да се постигне, на пример, со зголемување на големината на човечки-експерт анотирани збирки на податоци или обука на наменски изградени алгоритми за специфични погледи (како што е RCA-LAO само алгоритам за локализација на артериите). 19 20 21 22 23 24 25 28 2 3 Најблиската клиничка импликација на распоредувањето на цевка како што е CathAI би била да се зголеми стандардизацијата во проценката на коронарната стеноза. , , , , и помеѓу 10-17% во однос на QCA златен стандард , директно влијае на одлуките за животоспасувачки CHD реваскуларизација терапии. повеќе студии постојано се пријавени преценување на стеноза од страна на визуелна проценка , , Една студија повторно ги евалуирала клиничките ангиограми од страна на повеќе читатели, известувајќи дека препораката за операција за коронарна байпас се променила од „неопходна/соодветна“ на „несигурна/несоодветна“ во 17–33% од случаите, вклучувајќи 10% од случаите за поставувања на стент. Оваа студија Сепак, CathAI може лесно да ја изврши оваа функција на автоматски, репродуктивен начин за да обезбеди речиси во реално време предвидувања за време на постапката за да ја надополни сопствената дијагноза на лекарите. Сепак, бидејќи CathAI беше обучен со истите пристрасни визуелно проценети стенози, исто така има тенденција да ги прецени стенозите. За да се справи со ова, CathAI може да биде ре-трениран со користење на QCA податоци, кои, како што демонстрираме, имаат тенденција да предвидат помалку тешки стенози како што е прикажано во литературата. 4 5 6 7 29 5 5 6 8 4 4 Некои неодамнешни студии сугерираат дека може да има родови разлики во проценките за стеноза, каде што стенозите имаат тенденција да бидат преценети кај жените. За да истражиме дали CathAI може да помогне во намалувањето на оваа предрасуда во проценката на стенозата низ полот, ги споредивме перформансите на Алгоритам 4 меѓу мажите и жените во нашиот внатрешен сет на податоци. Нашата анализа откри мала, но значајна разлика помеѓу перформансите на алгоритам во слоевите на мажите и жените. 30 Во споредба, RCT QCA базата на податоци претставува не само еден поинаков метод на дизајн на основната база на податоци на RCTs. Ова е докажано од страна на повеќето UCSF клинички ангиограми, како што е вообичаено во клиничката пракса, коронарни стенози ≤50% за потенцијални суб-анализа ≤50% беа едноставно опишани како "не-обструктивна стеноза" и не беше дадена проценка поради триактивност; во спротивно, AIi ± визуелно дистрибуирани QCA дистрибуираат вредности во сите случаи. Ова е докажано од претходната конфигурација на QCA, која покажува дека 78.7% од податоците за стенозирање се потребни во споредба со оние кои се препорачуваат за пре- Таквата работа е оценета со неколку ограничувања. Значајно ограничување произлегува од нашата употреба на етикети за обука добиени за време на рутинската клиничка нега користејќи визуелна проценка на лекарите. Поради ресурс-интензивната природа на генерирање на голем број на кардиолошки забелешки за ангиографски слики, за да се постигне најголемиот сет на податоци за обука на CathAI за стеноза сериозност, можевме да користиме клинички генерирани РЕПОРТ-стеноза вредности кои беа достапни во голем број. Иако овие биле генерирани од суб-специјално обучени интервенциони кардиолози на UCSF, тие веројатно сè уште покажуваат варијабилност инхерентна во која било клинички генерирана етичка ознака. Так Нашата цел со оваа студија беше да ги демонстрираме „градежните блокови“ потребни за автоматска интерпретација на коронарните ангиограми, а не нужно да го замениме сегашниот клинички стандард за интерпретација на ангиограмите. За да се постигне ова, веројатно ќе биде потребен значаен човечки напор за да се означат големи збирки на податоци со прецизни методи. Покрај тоа, ние ги вклучивме само главните епикардни садови во оваа верзија на CathAI. Други релевантни садови / објекти, како што се трансплантации за заобиколување, дијагонали, хронични вкупни оклузии или колатерали, беа исклучени, но претставуваат примарни цели за блиска иднина работа. 31 Во заклучок, CathAI е првиот мулти-фаза целосно автоматизирана анализа цевка за коронарни ангиограми. CathAI постигнува state-of-the-art перформанси за секоја задача потребна за интерпретација на реалниот свет ангиограми, е надворешно валидна, и обезбедува основа за идните задачи во автоматска ангиографска интерпретација. Методи Студирање на учесниците и студирање на податоци За нашиот Комплетен сет на податоци, добивме ретроспективни, де-идентификувани коронарни ангиографски студии од сите пациенти на возраст од 18 години или постари од Универзитетот во Калифорнија, Сан Франциско (UCSF), помеѓу 1 април 2008 и 31 декември 2019 година (Дополнителна слика. ) that underwent a coronary angiogram. Patients without videos of the left or right coronary artery were excluded. Angiograms were acquired with Philips (Koninklijke Philips N.V., Amsterdam, Netherlands) and Siemens (Siemens Healthineers, Forchheim, Germany) systems at 15 frames per second using Iopromide contrast. We generated specifically annotated training datasets (either through available meta-data or expert annotation) of Full Dataset subsets for each of the four primary tasks performed by CathAI. 1 To maximize the manual labeling efforts required to generate training data for each Algorithm, we generated an “extracted Full dataset” by first automatically identifying the frames within the video that likely contained peak-contrast by calculating the structural similarity index measure (SSIM) from the frame in position ‘0’ where no dye is usually present, which we called the “reference” frame. SSIM is higher if images have similar pixel values and lower if there is greater difference. The frame with the lowest similarity index from the reference frame was selected as most likely containing peak-contrast (e.g. when the artery is full of contrast). Up to 8 frames were then extracted from each video by retaining the reference frame, the peak-contrast frame and the 3 frames immediately preceding and following the peak-contrast frame. This is referred to as the “extracted” Full Dataset frames ( Сите рамки на видеото беа конвертирани во слики со димензија од 512*512 пиксели за алгоритамска анализа. n За сите алгоритми, освен алгоритам 3, податоците беа случајно поделени за секој алгоритам во сетови на податоци за обука (70%), развој (10%) и тест (20%), од кои секоја содржи пациенти кои не се преклопуваат. , . 16 32 Етикетите на алгоритам 1 се земени директно од DICOM метаподатоците кои ги опишуваат ориентациите на черепот-каудал и LAO-RAO. Алгоритам 2 и 3 бараат анотации од страна на кардиолог сертифициран од страна на одборот (Дополнителна слика. Дополнителна маса , на и За алгоритам 4, стенозите биле земени директно од процедуралниот извештај. 8 1 2 3 The Report dataset Набрзо по извршувањето на постапката, интервенционите кардиолози обично го толкуваат ангиограмот користејќи визуелна проценка, како што е во стандардна клиничка пракса, и ја опишуваат тежината на коронарната стеноза во извештајот за постапката. Овој текст на процедурниот извештај е анализиран (види подолу) за да се идентификуваат: секој опис на коронарната стеноза, максималниот процент на стеноза (наречена REPORT-stenosis) и нејзината локација во еден од 11 сегменти на коронарната артерија (Дополнителна табела) Идентификувавме 9782 коронарни стенози во сегментите на артериите (РЕПОРТ-стенози) и идентификувавме во 1766 нестенозирани комплетни садови што даваат вкупно 10.088 нестенозирани сегменти на садови, кои произлегуваат од 84.153 слики. Метаподатоците беа извлечени од секое видео со ангиограм, вклучувајќи го и датумот на постапката, примарниот (Десниот Преден Обличен [RAO] / Левиот Преден Обличен [LAO]) и секундарниот (кранио-кадалниот) агол на ротација, уникатен идентификатор за испитување и уникатен идентификатор на пациентот. Неспоредените REPORT-стенози беа отстранети од базата на податоци. Ние исто така исклучивме видеа каде што интра-коронарната жица е присутна во повеќе од 4 рамки, како што автоматски се одредува со Алгоритам 3 (6,076 видеа, 41,780 стенози-рамки идентификувани со водичи), бидејќи овие видеа најверојатно претставуваат перкута ); видеа беа зачувани од студии пред вметнување на интракоронарна жица. 3 1 1 Text parsing methods The free text from the procedural report was first segmented using commas (“,”) or periods (“.”). We then applied text parsing methods to identify distinct coronary segments (Supplementary Table Кога беше пронајден коронарниот сегмент, идентификувавме секој опис на соодветниот процент на стеноза со локализирање на "%" и најблискиот број од еден до три цифри во таа реченица. Првично пребарувавме користејќи стандардни термини (како што е "десната коронарна артерија"), а потоа ги проширивме клучните зборови со рачен преглед на текстот, преку повеќе итерации, за да ги вклучиме најчестите скратувања, алтернативни правопис и пермутации (како што е "RCA"). Квалитативни описи на опструктивниот CHD, како што се "меки", "умерени" или "тешки" болести не беа извлечени. Понатаму, баравме клучни зборови како што се "thrombus", "обструкција" Ние не ги анализираме хроничните вкупни оклузии и стенози во дијагонални, маргинални, септални, рамусни, лево задната спуштена артерија, лево posterolateral или во bypass трансплантации. 3 3 Истражување на човечки субјекти This study was reviewed by the University of California, San Francisco Institutional Review Board and need for informed consent was waived. The external validation was reviewed and approved by the University of Ottawa Institutional Review Board. Развој на алгоритми Системот CathAI се состои од 4 алгоритми на невронски мрежи организирани во цевка (Слика. ). Angiographic images are analyzed by each algorithm and “flow” sequentially to the next to accomplish the four foundational tasks for automated angiogram analysis: (1) classification of angiographic projection angle; (2) classification of an angiogram’s primary anatomic structure; (3) localization of relevant objects within an angiogram, including coronary artery sub-segments and stenoses; (4) prediction of coronary artery stenosis severity (as a percentage of artery narrowing). 1а Ние прилагодивме секоја од 4 алгоритми базирана невронски мрежа архитектура на CathAI за да се постигне ангиограм релевантна задача, како што е детално опишано во секциите подолу. Како резиме на високо ниво, алгоритам 1 прифати индивидуални слики (коронарни ангиограм видео рамки) како влез и го идентификува ангиографскиот агол на проекција опишани од LAO-RAO и черепно-кадалните оски (LAO череп, RAO caudal, итн); етикети беа достапни од метаподатоците на секое видео. алгоритам 2 ја идентификуваше примарната анатомска структура (Дополнителна табела) ), since it is common to capture angiogram videos containing non-cardiac anatomic structures such as the aorta or the femoral artery. Algorithm 2 allowed CathAI to subsequently focus on only angiogram videos primarily containing the left and right coronary arteries (LCA and RCA, respectively). Algorithm 3 localized relevant objects within images of the LCA and RCA by outputting bounding box coordinates for identified objects (Supplementary Video). Coronary artery stenosis location was assigned according to greatest overlap between two Algorithm 3-predicted bounding boxes of the coronary artery sub-segment and stenosis (Fig. Алгоритам 4 прифатил слики исечени околу стенозирани артериски сегменти (по алгоритам 3 гранични кутии) и го предвидел максималниот процент на стеноза во сликата како континуирана вредност помеѓу 0 и 100 за секоја слика. 2 1б Алгоритам 1: Класификација на ангиографскиот агол на проекција Алгоритам 1 прифатил поединечни слики (видео рамки) како негов влез и го идентификувал аголот на ангиографска проекција кој се користи. Аголот на проекција се однесува на флуороскопскиот агол кој се користи за да се добие сликата, обично опишан на две оски дефинирани од LAO-RAO и черепно-каудал (LAO черепно, RAO каудал, итн). За податоците за обука на Алгоритам 1, сите слики од извлечениот Комплет на податоци беа категоризирани во 12 категории на лево-десни и черепно-каудални агли на проекција врз основа на примарните и секундарните агли извлечени од метаподатоците на секое видео (−180 и 180 степени за примарниот Потоа го поделивме извлечениот Комплетен сет на податоци во обука (990,082), развој (128,590) и тестови (299,625). 1 Архитектурата на алгоритам 1 се базира на Xception, која е конволуционална невронска мрежа која постигнува најсовремена перформанси во задачите за препознавање на слики. Таа беше инициализирана со „ImageNet“ тегови , како што вообичаено се изведува за инициализирање на тегови за побрза алгоритамска конвергенција во поставувањата за класификација на слики; сите слоеви беа обучувани. сликите беа зголемени со случаен зум (ранг = 0,2) и сечење ротира (ранг = 0,2). Ние експериментиравме со различни архитектури, како што се VGG-16, ResNet50 и InceptionNet-V3, но не најдовме зголемена корист во однос на Xception. Пребарувањето на мрежата беше користено за фино прилагодување на хиперпараметри. Тестниот сет на податоци воопшто не беше користен за време на обуката и беше користен само за да се извести за конечниот перформанс. Најчестата прогноза низ извлечените рамки на секое видео беше доделена како ангиографска проекција на тоа видео; врските беа решени со избирање на проекцијата со највисока просечна веројатност во сите рамки. 33 34 5 Алгоритам 2: Класификација на примарната анатомска структура Алгоритам 2 има за цел да ја идентификува примарната анатомска структура присутна во ангиографски видео (Дополнителна табела) ), since it is common to capture angiogram videos containing non-cardiac anatomic structures such as the aorta or the femoral artery during the procedure. To generate Algorithm 2 training data, we randomly selected 14,366 images from the extracted Full Dataset, and a cardiologist categorized each image into one of 11 classes describing the primary anatomic structure (Supplementary Table Овој сет на податоци беше поделен на сетови за обука/развој/тест, кои содржат 9887 (70%), 1504 (10%) и 2975 (20%) слики, соодветно.Ние го обучивме алгоритам 2 користејќи ја архитектурата Xception, инициализиравме тегови од обучен алгоритам 1 и прилагодивме хипер-параметри (Дополнителна табела). Сликите беа зголемени со случаен зум (рамен = 0,2) и сечење ротира (рамен = 0,2). Предвидената примарна анатомска структура на видеото беше предвидувањето на режимот на сите извлечени рамки со целосен сет на податоци. Само видеа кои главно содржат десни или леви коронарни артерии течеа во Алгоритам 3 за последователни анализи на CathAI (Дополнителна фигура. Резултатите од F1 и перформансите на моделите варирале според анатомската класа, но во општите класи со помали рамки имале пониски перформанси (Дополнителна слика. ), сугерирајќи можност за подобрување на перформансите ако беа достапни повеќе етикетирани податоци. 2 2 5 1 3б Алгоритам 3: Локализација на објектите на ангиограмот Алгоритам 3 има за цел да ги локализира релевантните објекти во сликите на левата и десната коронарна артерија (излезот на Алгоритам 2). ), најкритичните задачи за цевката на CathAI беа (i) идентификување на коронарните сегменти на артериите, (ii) идентификување на стенози (ако се присутни) и (iii) локализирање на други релевантни објекти како што се водичи или сternotomy. За да се генерираат податоци за обука за Алгоритам 3, 2338 контрастни слики на LCA и RCA со и без стеноза (како што е идентификувано со Алгоритам 2) беа забележани од страна на кардиолог кој постави граници околу сите релевантни објекти во сликата (Дополнителна Табела) Само стенози во главните епикардиални садови, а не странични гранки како дијагонални или маргинални, беа етикетирани.Во 100% од 2338-те рамки, LCA или RCA беше примарната анатомска структура содржана, а артеријата беше добро визуализирана, добро opacified, а не потполна, според анотирачкиот кардиолог. 3 3 In our final CathAI pipeline we trained two versions of Algorithm 3: Algorithm 3a was trained on and accepted both LCA and RCA images as input. Since the RCA in the LAO projection contained the greatest number of annotated images in our dataset, we also trained a dedicated Algorithm 3b on this projection to demonstrate possible performance gains from focusing an algorithm on a specific artery/projection (RCA in LAO). To train Algorithms 3a/b, we split our labeled images for this task into two separate datasets: One containing left/right coronary arteries (2,338 images) and one containing RCA images in the LAO projection (450 images). Each dataset was subsequently split into 90% training (2,104 and 405 images respectively) and 10% test (234 and 45 images respectively) and Algorithms 3a/b were trained for 50 epochs. Once deployed in the CathAI pipeline, Algorithm 3b served to decrease input variability for Algorithm 3a, which produced performance improvements for both algorithms. Since we achieved performance gains by developing an algorithm on this specific artery/projection, future gains may be achieved with other dedicated algorithms. Алгоритмите 3a/b ја користеле архитектурата RetinaNet и биле обучени со користење на оригинални хиперпараметри. RetinaNet постигна state-of-the-art перформанси за локализација на објекти, како што е детекторот на пешаци за автономни автомобили Поради тоа што некои сегменти на артериите во одредени ангиографски проекции се познати a priori да бидат предкратени или невидливи, ние применивме пост-хок еуристика за да исклучиме одредени сегменти на артериите предвидени со алгоритам 3a/b од ангиографските проекции како што е предвидено со Алгоритам 1 (Дополнителна Табела). ). This thereby represents a fusion of intermediate predictions from two CathAI pipeline algorithms to achieve more clinically-relevant overall pipeline performance. To assess Algorithm 3a/b performance, the predicted coordinates were compared with the ground-truth coordinates using the ratio of the area of intersection over the area of union (called Intersection-over-union [IoU]) Следно, ја измеривме просечната прецизност (mAP), која го претставува односот на вистинските позитиви над вистинските и лажните позитиви на различни прагови на IoU, за секоја класа. Мапа од 50% се споредува со најсовремени резултати за овој тип на задача , . 16 35 4 36 37 16 35 Алгоритам 4: предвидување на процентот на коронарна артериска стеноза Алгоритам 4 беше развиен за да се предвиди тежината на коронарна артериска стеноза како процент, со оглед на влезните слики исечени околу стенозирани артериски сегменти идентификувани со Алгоритам 3. Алгоритам 3a/b беа извршени на сите извештај податоци сет видеа за да се локализираат артериски сегменти и стенози. Сите рамки кои содржат стеноза гранична кутија преклопување со коронарна артерија сегмент гранична кутија со IoU ≥0.20 се состои од потенцијални влез рамки за Алгоритам 4. Стеноза беше локализирана на артериски сегмент кој Алгоритам 3 идентификува кој има најголемо преклопување со IoU. За да се добијат етикети за обука Усогласените процедурални вредности на извештајот служеа како етикети за обука на алгоритам 4 со влезни слики исечени околу стенозирани артериски сегменти според алгоритам 3a/b граничните кутии. Неусогласените стенози беа отстранети од нашиот сет на податоци. Ние исто така ги исклучивме сите видеа каде што интракоронарната водич е присутна во повеќе од 4 рамки, како што автоматски се одредува со алгоритам 3a/b (6,076 видеа, 41,780 стенози-рамки идентификувани со водичи), бидејќи овие видеа веројатно претставуваат перкутани коронарни интервенции кои би можеле да го променат процентот на стеноза во тој видео (Дополнителна слика. За да го обучиме и потврдиме алгоритам 4, комбиниравме 6258 слики на нестенозирани коронарни артериски сегменти со преостанатите 98.756 слики на стенози. 1 1 Откако беше идентификувана стеноза, граничните координати на кутијата беа проширени за 12 пиксели во сите димензии, а потоа исечени и преместени на најблиската од трите предодредени големини: 256*256 пиксели (аспект сооднос број 1), 256*128 пиксели (аспект сооднос број 2), и 128*256 пиксели (аспект сооднос број 3). Ова беше направено за да се максимизира односот сигнал-звук (субјект-заднина) поради различните ориентации на садовите и големината на стенозата. Бидејќи сегментите на нестенозираните садови имаа тенденција да бидат подолги од фокалната стеноза, што може да предизвика предрасуди за обука, сите нестенозирани сегменти случајно ги исечевме на висина и ширина, што ја одразува дистрибуцијата на големина на сликата за стеноза во тој коронарни сегмент. 1 Алгоритам 4 се базираше на модифицирана архитектура Xception каде што последниот слој (Softmax слој, кој се користи за класификација) беше заменет со "просечен базен" а потоа густ слој со линеарна функција за активирање за да се овозможи предвидување на стенозата како континуирана процентна вредност. Метадатите на сликата кои се состојат од етикетата на сегментот на коронарната артерија и резаниот однос на аспектите, исто така беа додадени како влез во финалниот слој на Алгоритам 4, што ги подобри перформансите. Алгоритамот излегува процентна вредност на стеноза помеѓу 0 и 100 за секоја влезна слика што претставува максимална стеноза во тој сегмент на коронарната артерија. Сликите беа зголемени со случаен пресврт (и хоризонтално и вертикално), случаен контраст, гама и варијации на осветленост, случајна примена на адаптивна хистографска еквализација (за подобрување на контрастот во сликите). Алгоритмите беа обучени да го минимизираат квадратниот губиток помеѓу предвидената (AI-стеноза) и извештајната стеноза користејќи го оптимизаторот RADAM со почетна стапка на учење од 0,001, импулс од 0,9 и големина на партијата од 12, обучени за 50 епохи. 38 За алгоритам 4, ја модифициравме шемата за обука, така што секоја епоха беше обучена на слики од еден аспект сооднос, а следната епоха обука на друг аспект сооднос (копирање на сите тегови од претходната итерација), како што беше направено претходно за мулти-големи влезови. . This was iterated until convergence. We measured the algorithm performance on the complete test dataset, consisting of the three aspect ratios. We observed that the convergence of the multi-size input training was like other algorithms that used a fixed size for training. We also examined various pre-processing approaches and sequences without improvement in algorithm performance (Supplementary Table ) на 39 7С Методи за објаснување на невронски мрежи Ние применивме два пристапи за објаснување на невронски мрежи на целосно обучените CathAI алгоритми за подобро да разбереме како алгоритмите ги правеа своите предвидувања, во однос на нивните релативни задачи. technique highlights image regions most critical to prediction. Red highlighted areas denote higher importance to algorithm prediction, whereas more blue highlighted regions denote lower importance. We also derived saliency maps using the Layer Ordered Visualization of Information (LOVI) method , што ги нагласува поединечните пиксели во сликата кои најмногу придонесуваат за алгоритамските предвидувања. 17 18 Надворешна валидација За надворешна валидација на алгеноза, ние случајно земавме примероци од 1000 видеа на коронарна ангиограма направени во Институтот за срце на Универзитетот во Отава (UOHI) помеѓу 1 јули 2020 и 31 октомври 2020 година, добиени со системите на Philips Azurion (Koninklijke Philips N.V., Амстердам, Холандија), на 15 слики во секунда, користејќи Iopromide боја. Алгоритмите 1, 2 и 3 беа примени на секое видео за да се идентификуваат и локализираат стенози, а Алгоритмот 4 беше предвиден за валидација на АИ-стеноза. Потоа земавме примероци до 40 примероци на видеа на ангиограма по сегмент на коронарна артерија за да го формираме нашиот надворешен За да го обучиме алгоритам 4 на CathAI за различните популациски дистрибуции на QCA, го поделивме QCA на обука (75%), развој (12.5%) и тестирање (12.5%) и фино ги прилагодивме последните два целосно поврзани слоеви на алгоритам 4, за да му овозможиме на алгоритам да научи да ги предвиди вредностите за стеноза на QCA од внесните слики за стеноза наместо визуелно оценета стеноза. Квантитативна коронарна ангиографија За да го демонстрираме ова, добивме надворешен сет на податоци од коронарни ангиограми од априори различна популација на пациенти доделени во Монтреал кардиологија Институтот (MHI) Core лабораторија со користење на CMS QCA систем (MEDIS, Leiden, Холандија). Овој сет на податоци се состои од ангиограми анализирани од страна на MHI Angiographic Core лабораторија, добиени во текот на рандомизирани контролирани испитувања (RCT) кај ≥ 18-годишни пациенти кои имале коронарна ангиографија интервенција како дел од студијата, и добиле нови лекови за намалување на липидите или плацебо Истражувањата од кои се добиле овие податоци користеле критериуми за вклучување кои исклучиле пациенти со опструктивна коронарна болест (CAD) на почетокот на студијата, што резултирало со мнозинство на коронарна стеноза со блага до умерена тежина во овој сет на податоци. Анализата на QCA била спроведена од два обучени техничари и била надгледувана од експерт лекар. , . 40 6 13 Изображувањата на коронарната ангиограма се добиени со помош на Philips (Koninklijke Philips N.V., Амстердам, Холандија), General Electric Medical Systems (General Electric, Chicago, Illinois, САД) и Toshiba (Toshiba Corporation, Minato City, Токио, Јапонија) на 15 кадри во секунда, со инјектирање на боја Iopromide во коронарните артерии. За секоја анализа на QCA стеноза во јадрото лабораторија на MHI, беше избрана рамка на крај-дијастола со аголации кои најдобро ја покажаа стенозата во најтешкиот степен со минимално прескокнување и преклопување на гранките. Овој RCT QCA датотечен сет содржи различна популација на пациенти a priori од реалниот свет клинички UCSF датотечен сет, бидејќи сите стенози ≥ 50% не беа присутни за време на базилната ангиограм (но може да биде присутен на следниот ангиограм), оставајќи главно благи-CAD со просечна тежина на QCA стеноза од 31.7% ± 11.6%. Ова обезбеди оптимална можност да се испита како CathAI може да обезбеди основа за претренинг со користење на QCA стеноза етикети да функционира како автоматска алатка за анализа на јадро лабораториски ангиограм. Ние го поделивме QCA датотечен сет во обука (75%), развој (12.5%) и тестирање (12.5%) датотечни сетови и фино прилагодени последните два Алгоритамска евалуација и статистичка анализа Како што е соодветно за секоја задача, перформансите на секој алгоритам за категорични вредности беа оценети користејќи позитивна вредност за предвидување (PPV), негативна вредност за предвидување, чувствителност, специфичност, подрачје под кривата на оперативна карактеристика на примачот (AUC), резултат F1 и плочи на Bland-Altmann. Корелацијата на Пирсон и просечната апсолутна грешка помеѓу прогнозата на CathAI за стеноза и извештајот за стеноза или QCA стеноза. Сите три центри известуваат за континуирани процентни стенози како дел од нивната рутинска клиничка нега. 41 Невронските мрежи беа обучени користејќи Keras v.2.24 и TensorFlow v.1.12. Резултатите од конечниот алгоритам беа пријавени во Test Dataset. Алгоритмите 1 и 2 беа оценети на ниво на рамка / слика користејќи прецизност (т.е. позитивна предвидувачка вредност), потсетување (чувствителност) и нацртање на перформансите користејќи матрици на конфузија. За да ги процениме алгоритмите 3a и 3b, ја пресметавме површината на пресекување на површината на унијата (IoU) помеѓу предвидените координати на граничната кутија и експертските координати на граничната кутија на објектите во секоја класа во тестниот сет на податоци. IoU≥0.5 означува најмалку 50% површина на преклопување помеѓу предвидените и вистинските граници, кои ние ги сметаме за вистински позитивни. Потоа ги известуваме перформансите на алгоритмот 3a/b како метриката за просечна прецизност (mAP), која го претставува односот на вистинските позитиви над вистинските и лажните позитиви на различни прагови на IoU, за секоја класа Вредноста на мапи од 50% се споредува со најсовремени резултати за овој тип на задача , . We also present the mean average precision for algorithm 3a and algorithm 3b by calculating the proportion of correct class prediction with an IoU≥0.1 with our ground-truth labeling across all our classes in our test dataset, as well as the positive predictive value of stenosis localization using the report or QCA dataset as ground truth. 36 37 16 35 За да се процени алгоритам 4, примарната метрика од интерес беше просечната апсолутна грешка помеѓу пријавената вредност (REPORT-стеноза) и предвидената вредност (AI-стеноза) на ниво на артеријата. , АИ стенозата на ниво на сликата беше просечна низ видео за да се добие АИ стеноза на ниво на видео и се споредува со REPORT стенозата користејќи ја просечната квадратна грешка. Доверливоста беше класифицирана како лоша ( < 0,5), умерена (0,50-0,75), добра (0,76-0,90), или одлична (0,91-1.0).(52) На крајот, ја претставуваме просечната квадратна грешка помеѓу REPORT-стенозата и AI-стенозата на ниво на видео. 2 3 42 Да се предвиди бинарна „обструктивна“ стеноза на коронарната артерија, дефинирана како ≥ 70% стеноза , , беше користен праг од 0,54 кој го оптимизираше F1 резултатот. Врз основа на ова, исто така, го известуваме областа под кривата на карактеристика на операцијата на примачот (AUC), чувствителноста, специфичноста и дијагностичкиот коефициент на шанси , на ниво на рамката, видео ниво и ниво на артеријата, врз основа на овој праг. 2 3 43 Confidence intervals for performance metrics were derived by bootstrapping 80% of the test data over 1000 iterations to obtain 5th and 95th percentile values. We present the performance of Algorithm 4 stratified by sex, by left and right coronary arteries, by artery segment and by age group. We also present two-sided Вредностите за интеракција (меѓу CathAI стенозата, ковариите и стенозата, како што се пресметуваат со Валд тестот). Ние ги категоризиравме AI-стенозата и REPORT-стенозата во групи на конкордантни и дискордантни лезии врз основа на визуелниот ≥70% намалување. За дискордантните лезии ја презентираме нивната преваленца, стратифицирана по сегмент на коронарната артерија. За податоците на ниво на лезија / садови, логистички модел за регресија на мешани ефекти како што се користи за пресметување на внатрешно-субјектната корелација и за повторени ангиограми. P Известување за резиме Дополнителни информации за дизајнот на истражувањето се достапни во поврзани со оваа статија. Nature Research Reporting Summary Data availability Податоците што се користат во оваа студија се добиени од клиничка нега и затоа не се достапни јавно поради загриженост за приватноста на податоците. Достапност на кодот Кодот кој ја поддржува оваа работа е авторско право на Регентите на Универзитетот во Калифорнија и може да се направи достапен преку лиценца. References Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 Признанија RA е поддржан од “Fonds de la recherche en santé du Québec” (Грант 274831). JEO добил средства од NIH (U2CEB021881). GHT добил поддршка од Националниот институт за здравство NHLBI K23HL135274. KS нема релевантно финансирање поврзано со овој ракопис. AW е поддржан од Националната фондација за наука за постдипломски истражувања под грант број DGE 1752814. YS е поддржан од наградата за истражувач на средината на кариерата од Фондацијата за срце и мозочен удар на Онтарио. J-CT го држи канадскиот истражувачки стол во персонализирана и транслациона медицина, а Универзитетот во Монтреал му дава истражувачки стол во атеросклероза. JEG е финансиран од наградата Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International). Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International).