CathAI: дослідники побудували штучний інтелект, який читає сканування серця, як кардіолог

Автори : Robert Avram Jeffrey E. Olgin Zeeshan Ahmed Луї Верро-Джулієн Альвін Ван Joshua Barrios Sean Abreau Derek Wan Joseph E. Gonzalez Jean-Claude Tardif Derek Y. So Krishan Soni Geoffrey H. Tison Автори : Роберт Авраам Джеффрі Е. Ольгін Зеленський Ахмед Луї Верро-Джулієн Альвін Ван Джошуа Барріос Шон Відкритий Дерек Ван Джозеф Е. Гонзалес Жан-Клод Тардіф Дерек І. Так Крістіан Соні Джеффрі Х. Тісон абстрактні Позиційна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анатомічна анато Введення Коронарна хвороба серця (CHD) є провідною причиною смерті дорослих у Сполучених Штатах і в усьому світі , викликані атеросклеротичними бляшками, що звужують коронарні артерії, також відомі як коронарна артеріальна хвороба (CAD). Процедура коронарної ангіографії є золотим стандартом для діагностики стенозу коронарної артерії, яка, отже, надає важливу інформацію для рішень щодо лікування CAD, починаючи від медичної терапії тільки до реваскуляризації з коронарними стентами або обхідною хірургією Візуальна оцінка ступеня тяжкості коронарного стенозу з ангіограм залишається найбільш поширеним підходом для оцінки ангіографічного звуження просвіту коронарної артерії. , . 1 2 2 3 Однак обмеження візуальної оцінки тяжкості коронарного стенозу добре описані, і включають внутрішньо- і міжспостерігачем варіативність, операторський ухил і погану відтворюваність , Варіативність оцінки візуального стенозу варіюється від 7,6 до 22,5% , , І хоча якість зображення коронарної ангіографії покращилася, варіабельність все ще залишається і є більшою в налаштуванні одного лікаря-читача, що є найпоширенішим клінічним робочим процесом. , Візуальна оцінка стенозу може переоцінити тяжкість стенозу більш ніж у чверті випадків. і може сприяти неадекватній операції обходу коронарної артерії у 17% пацієнтів і застосуванню стентів принаймні у 10% пацієнтів. , , , . A more standardized, reproducible approach to angiogram interpretation and coronary stenosis assessment would have substantial clinical importance. 4 5 4 5 6 4 7 8 4 5 6 8 Різні додаткові тести можуть доповнювати CAD оцінку під час коронарної ангіографії, наприклад, фізіологічну оцінку. , або внутрішньосудинне зображення , хоча більшість вимагають додаткових знань оператора і використання додаткових катетерів, таким чином, використовуються в менш ніж 10-20% коронарних ангіограм , , Крім того, визначення необхідності додаткового тестування все ще залежить в першу чергу від візуальної оцінки лікарем ангіографії під час процедури ангіографії для виявлення проміжної тяжкості або більшого коронарного стенозу (наприклад, 40-69 %). Кількісна коронарна ангіографія (QCA) - це техніка, що забезпечує аналіз ангіограм, що дозволяє більш стандартизовану оцінку стенозів. Однак QCA не повністю автоматизований і вимагає введення оператора для калібрування зображення та вибору кадрів, що переважно призводить до налаштувань досліджень. , . 9 10 11 9 11 12 3 13 5 14 Алгоритми штучного інтелекту, зокрема глибокі нейронні мережі, продемонстрували здатність автоматизувати важливі клінічні завдання в кардіології та інтервенційній кардіології. Наша мета полягає в розробці та валідації автоматизованого підходу до інтерпретації коронарної ангіограми, локалізації стенозу коронарної артерії та оцінки тяжкості з коронарних ангіограм реального світу. 15 Результати Повний набір даних складався з 13 843 повних досліджень ангіографії (195,195 загальних ангіографічних відео) з 11 972 пацієнтів віком ≥ 18 років з Університету Каліфорнії, Сан-Франциско (UCSF), в період з 1 квітня 2008 року по 31 грудня 2019 року (рис. Додаткова фігура . Середній вік становив 63,5 ± 13,7 років у повному наборі даних і 66,7 ± 12,0 років у звітному наборі даних. 1а 1 Огляд трубопроводу CathAI для автоматизованої інтерпретації ангіограми. відео ангіограми перетікають від одного алгоритму до наступного, щоб виконати 4 критичні завдання, необхідні для автоматизованої інтерпретації. Застосування CathAI до прикладу коронарної ангіограми. Приклад лівої передньої опускається артерії ангіограми з важким стенозом (проксимальний до середнього сегменту) показано прогресує через систему CathAI: визначити ангіографічну проекцію, визначити LCA (ліворуч), розташувати прикордонні коробки навколо об'єктів, таких як стеноз (зоум, середній), і передбачити максимальну тяжкість стенозу (праворуч). a b CathAI для класифікації ангіографічного кута проекції, анатомічних структур та локалізації об'єкта ангіографії Щоб класифікувати ангіографічний кут проекції, CathAI досяг частотно зваженого позитивного прогнозного значення (PPV) 0,90, чутливості 0,90 і оцінки F1 0,90 в наборі даних тесту (Додаткова таблиця). Високо використовувані кути проекції, такі як LAO Straight, RAO Straight і LAO Cranial, мали кращу загальну продуктивність. Щоб класифікувати первинну анатомічну структуру, що міститься в відео ангіограми, CathAI досяг частотно зваженого PPV 0,89, чутливості 0,89 і оцінки F1 0,89 в тестовому наборі даних (Таблиця Досвід CathAI був високим як для лівих, так і для правих коронарних артерій (LCA і RCA відповідно), які є первинними ангіографічними об'єктами інтересу: PPV і чутливість, відповідно, були 0,97 і 0,94 для LCA і 0,93 і 0,93 для RCA. 8 1 Після того, як були виявлені відео ангіограми, що в першу чергу містять LCA і RCA, CathAI локалізував об'єкти в ангіограмі, передбачаючи прикордонні коробки навколо сегментів коронарної артерії, таких як проксимальна частина коронарної артерії, регіони стенозу, стенти та коронарні катетери. Для вимірювання продуктивності CathAI для локалізації цих об'єктів, середня точність (mAP) використовувалася для порівняння прогнозованих координат проти наземної істини для кожного об'єкта. (Додатковий стіл CathAI правильно локалізував 93,3% стенозів коронарних артерій (PPV) в наборі даних тесту UCSF. 16 9 CathAI для прогнозування тяжкості стенозу Остаточний алгоритм в системі CathAI оцінив тяжкість стенозу коронарної артерії (рис. ). Прогнозовані оцінки тяжкості стенозу були середні з усіх відео ангіограми з даного дослідження, яке візуалізувало певний сегмент артерії (названий «рівень артерії»), що відображає стандартну клінічну практику.У наборі даних тесту, AUC CathAI для виявлення обструктивного стенозу був 0,862 (95% CI: 0,843-0,880) на рівні артерії (Таблиця • Фіг. Прогнозування стенозу на рівні артерій проводилося краще, ніж прогнозування на рівні відео або зображення (рис. Додатковий стіл ). For CathAI’s prediction of stenosis severity as a continuous percentage stenosis, the mean absolute percentage difference between the AI-stenosis and report-stenosis was 17.9 ± 15.5% (Table • Додаткова фігура. ). There was a significantly lower mean absolute percentage difference for the RCA versus the LCA (16.4 ± 15.0 vs 19.0 ± 15.8; 0 001 Столиця · Додатковий стіл CathAI мав скромно вище AUC для виявлення важкого стенозу у шарів жінок проти чоловіків [0,890 (95% ІС: 0,864-0,923) vs 0,830 (95% ІС: 0,805-0,856) відповідно, значення для взаємодії: 0,02 1б 2 2а 2а 10 2 3 p 2 10 P Приймач операційних характеристичних кривих (ROC) для CathAI прогнозу обструктивного (</≥70%) коронарного стенозу в наборі даних тесту. Чорна точка: порог стенозу AI, обраний для оптимізації оцінки F1 в наборі даних на рівні артерій. Червоний хрест: Специфічність, коли чутливість фіксується на 80%. Блакитний хрест: чутливість, коли специфічність фіксується на 80%. Матриця плутанини для CathAI прогнозу обструктивного стенозу проти REPORT-stenosis. UOHI External Validation Dataset-ROC for CathAI prediction of obstructive (</≥70%) stenosis. Black dot: AI-stenosis threshold chosen to optimize F1 score in artery-level dataset. Red cross: Specificity when sensitivity is fixed at 80%. Blue cross: Sensitivity when specificity is fixed at 80%. UOHI External Validation Dataset-Confusion Matrix для CathAI прогнозу обструктивного стенозу проти експертних суддів. область AUC під кривою, інтервал довіри CI, штучний інтелект AI. a b c d З тих ≥70% стенозів згідно з REPORT-стенозом, CathAI правильно класифікував 74,5% (95% ІК: 70.0–78,4%; 260/349, фіг. ); і з тих <70% стенозів по REPORT-стенозу, алгоритм 4 класифікував 78,1% правильно (95% CI:76.1–80.1%; 1082/1385). Коли чутливість алгоритму 4 для виявлення обструктивного коронарного стенозу була встановлена на 80.0%, його специфічність для виявлення обструктивного стенозу була 74,1%; і коли специфічність була встановлена на 80.0%, його чутливість для виявлення обструктивного стенозу була 71,6%. CathAI переоцінювали легкі стенози і недооцінювали важкі стенози (Додаткова фігура. ) 2б 2 3 External validation of CathAI in the UOHI dataset Щоб вивчити зовнішню узагальнюваність, ми застосували CathAI до 464 випадково відібраних ангіографічних відео з UOHI. Згідно з даними дослідників, в результаті випробувань, які проводилися в ДНЗ, в результаті випробувань, які проводилися в ДНЗ, в ДНЗ було виявлено 91,2 % ( За даними досліджень, в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому в середньому ( = 360); у всіх решти 15,5%, де підсегмент артерії не був правильним, CathAI присвоїв стеноз правильній коронарній артерії в цілому (LCA vs RCA). Всі стенози, визначені CathAI, були справжніми стенозами, на відміну від артефакту через субоптимальну opacification або судинну торту, за словами обох суддів. 4 n n За даними дослідників, середній показник забруднення вуглеводів в середньому становить 15,8 % від загального показника забруднення вуглеводів у середньому ( = 78).Ми обчислили арифметичну середню відсоток стенозу від двох суддів, щоб порівняти з прогнозом CathAI щодо прогнозу тяжкості стенозу. , ); чутливість становила 86,4% і специфічність становила 67,3% (рис. Середня абсолютна відсотка різниці між AI-стенозом і відсотками стенозу, середньою від двох суддів, становила 18.02% ± 11.02%.У наборі даних UOHI CathAI брав ~3–5 с для аналізу відео ангіографії, або 35 с для повного іспиту, використовуючи GPU Nvidia GTX 1080 Ti. n 2С 3 2D Основні результати внутрішньої перевірки Університету Каліфорнії, Сан-Франциско (UCSF) та зовнішньої перевірки Університетського інституту серця Оттави (UOHI) показано для кожного з 4 завдань. Ретренування CathAI для прогнозування стенозу QCA Згідно з даними РКЦ ККА, 709 пацієнтів з 858 обстеженнями (1384 стенози; 18 тяжких ≥70%, 71 тяжких ≥50% але <70% і 1295 не тяжких) CathAI успішно визначив 100% відео LCA / RCA і 78,7% ( = 1384) стенозів (67,2% для LCA і 86,8% для RCA). Середня тяжкість стенозу, як оцінюється QCA, становила 31,7 ± 11,6% (Додаткова фігура. З огляду на дивергентну пацієнтську популяцію набору даних RCT QCA з переважно м'якими критеріями CAD та QCA (≥50% стеноз QCA) замість візуальної оцінки, набір даних RCT QCA надав можливість перепідготовки CathAI для прогнозування стенозів, позначених QCA, на відміну від візуально оцінених стенозів. ) і для стенозу QCA ≥70%, AUC становила 0,75 (95% CI: 0,570-0,930). Середня різниця стенозу між прогнозованим стенозом CathAI і оціненим стенозом QCA становила 6,5 ± 5,5% в наборі даних тесту. n 5 11 Використання пояснюваності нейронних мереж для розуміння продуктивності CathAI Щоб краще зрозуміти елементи в ангіограмах, які сприяли прогнозуванню CathAI, ми застосували два підходи до пояснюваності до повністю навчених алгоритмів CathAI. підкреслює регіони зображення, найбільш критичні для прогнозу CathAI, показуючи, що він використовував регіони, такі як кардіолог, наприклад, ліву передню опускаючу артерію для ідентифікації зображень LCA (рис. Ми також отримали карти виміру для прогнозу тяжкості стенозу CathAI за допомогою методу LOVI (Layer Ordered Visualization of Information). Підкреслюються пікселі (рис. • Додаткова фігура. Вони були обмежені не тільки стенозованими сегментами артерій, але і нормальними сегментами і пікселями, що безпосередньо прилягають до артерії, що свідчить про те, що зв'язок між стенозованими і нестенозованими сегментами артерій сприяє прогнозуванню CathAI тяжкості стенозу. 17 4а 18 4Б 6 GradCAM застосовувався до класифікації CathAI первинної анатомічної структури. Показано дві оригінальні зображення ангіограми (ліворуч), поряд з відповідними зображеннями, підкресленими GradCAM (праворуч), що показують області більшого значення для алгоритмових рішень. GradCAM-підкреслені області зосереджені навколо лівої коронарної артерії всередині зображення ангіограми, з синім кольором, що вказує на найнижче значення, жовтим кольором, що вказує на середнє значення, і червоним кольором, що вказує на найвище значення для прогнозу алгоритму CathAI 2. LOVI Saliency Maps of CathAI prediction of coronary stenosis severity. Оригінальні зображення ангіограми (верху) і відповідні зображення з картами LOVI saliency (низу). Білі пікселі представляють більший внесок у прогноз CathAI (Альгоритм 4) , що показує, що алгоритм 4 зосереджений на пікселях поблизу області стенозу коронарної артерії в більшості випадків. a b Дискусії Ми описали розробку та валідацію трубопроводу CathAI, що складається з чотирьох алгоритмів, і продемонстрували значні досягнення в автоматизованому аналізі коронарних ангіограм. Кожен алгоритм досяг конкретного завдання, яке полегшило досягнення первинної діагностичної мети коронарної ангіографії — оцінку тяжкості стенозу коронарних артерій — досягнення найсучаснішої продуктивності для кожного завдання. Важливо, що CathAI можна було узагальнити, без додаткового навчання, для прогнозування візуально оцінених стенозів від невилікованих реальних UOHI-ангіограм, окремої медичної системи в іншій країні. CathAI також був успішно перепідготовлений, щоб передбачити оцінки стенозу Попередні роботи повідомляли про нейронні мережі, які виконують окремі завдання в експериментальних умовах, пов'язаних з аналізом ангіограми, наприклад, екстракцією кадрів. , прогнозування стенозу з (ручно вибраних) зображень RCA , , , , , , Сегментація коронарних судин , ідентифікація стенозу Однак, на наш погляд, повністю автоматизований аналіз і прогнозування стенозу для відео коронарної ангіограми ще не було продемонстровано на реальних ангіограмах. , , , , , , ймовірно, тому що він має значно меншу анатомічну мінливість і складність порівняно з LCA, зменшуючи складність аналізу ангіограм RCA. Однак підходи, підготовлені на попередньо обраних ангіограмах RCA, не можуть аналізувати набори даних реального світу, які включають не-RCA і не-коронарні артеріальні відео. У недавній спробі Du et al. аналізували окремі кадри з обох ангіограм LCA і RCA для локалізації коронарних сегментів і стенозу , але не передбачав тяжкості стенозу, який є критичним компонентом. наша робота просуває найсучасніші, які можна узагальнювати до реальних зовнішніх ангіограм і відображають стандартну рекомендацію щодо догляду за оцінкою "найгіршого погляду" , Тому що коронарна ангіографія є критичною для всіх клінічних рішень з ХГЧ , Відхилення від прогнозів CathAI від візуальної оцінки людських експертів було добре в межах, і часто менше, ніж, зазвичай повідомляється між спостерігачами варіабельності , , , , ; оскільки відхилення від QCA, перепідготовленого CathAI, становило 6,5 ± 5,5% у наборі даних RCT QCA, що суттєво нижче, ніж різниця від 10,2 до 16,6% між візуальною оцінкою лікаря та QCA, що повідомляється в літературі. 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Автоматичний аналіз ангіограм має більші схожість з сприйняттям технології «самохідного автомобіля» ніж зі стандартним рентгенологічним аналізом (тобто рентгенівськими променями), враховуючи високоскладні, оператором визначені відеопридбання ангіограм і послідовність складних завдань, необхідних для аналізу.Успішний аналіз ангіограм реального світу вимагає, щоб система AI обробляла будь-який тип відео, що зустрічається під час реальних процедур, ідентифікувала відповідні зображення, а потім точно локалізувала важливі об'єкти. , , , , , , , Підзадачі, які CathAI виконує на шляху до прогнозу кінцевого стенозу, забезпечують міцну основу для підтримки багатьох майбутніх додаткових завдань, які будуються на будь-якому підзадачі CathAI, таких як прогнозування недорозширення стенту, морфології атеросклеротичної бляшки або фракційного резерву потоку від моделей контрастного потоку. CathAI може бути легко адаптований до додаткових завдань. Як і технологія автономного автомобіля, однак, багато роботи залишається зробити для досягнення дуже високої точності, перш ніж CathAI буде «клінічно готовий», враховуючи центральну роль оцінки коронарного стенозу до клінічного прийняття рішень CHD , Безсумнівно, додаткове вдосконалення кожного з індивідуальних алгоритмів CathAI, ймовірно, буде потрібно до клінічного розгортання, що може бути досягнуто, наприклад, шляхом збільшення розмірів наборів даних, анотованих людиною-експертом, або навчання цілеспрямованих алгоритмів для конкретних поглядів (наприклад, алгоритм локалізації артерій тільки RCA-LAO). 19 20 21 22 23 24 25 28 2 3 Найближчим клінічним наслідком розгортання трубопроводу, такого як CathAI, було б збільшення стандартизації в оцінці коронарного стенозу. , , , , і від 10 до 17% проти золотого стандарту QCA , що безпосередньо впливає на рішення для рятувальних CHD терапії реваскуляризації. Кілька досліджень послідовно повідомили про переоцінку стенозу за допомогою візуальної оцінки , , Одне дослідження переоцінювало клінічні ангіограми кількома читачами, повідомляючи про те, що рекомендація для операції коронарного обходу змінилася від «необхідного/адекватного» до «небезпечного/неадекватного» у 17–33% випадків, включаючи 10% випадків для розміщення стентів. Це дослідження запропоновано виконувати другу незалежну інтерпретацію ангіограми перед реваскуляризацією, хоча це, як правило, неможливо і не є клінічним стандартом догляду з урахуванням клінічних інтервенційних кардіологічних робочих процесів. Однак CathAI може легко виконувати цю функцію в автоматизованому, відтворюваному способі, щоб забезпечити майже реальні прогнози під час процедури, щоб доповнити власну ad-hoc діагноз лікарів. Однак, оскільки CathAI був підготовлений з тими ж пристрасними візуально оціненими стенозами, він також має тенденцію переоцінювати стенози. Щоб вирішити це, CathAI можна було перепідготувати за допомогою даних QCA, які, як ми демонструємо, мають тенденцію прогнозувати менш важкі стенози, як показано 4 5 6 7 29 5 5 6 8 4 4 Деякі останні дослідження показали, що можуть бути гендерні відмінності в оцінках стенозу, де стенози, як правило, переоцінені у жінок. Щоб дослідити, чи може CathAI допомогти зменшити цей ухил у оцінці стенозу через статевий зв'язок, ми порівняли ефективність алгоритму 4 між чоловіками і жінками у нашому внутрішньому наборі даних. Наш аналіз виявив невелику, але значну різницю між ефективністю алгоритму у шарах чоловіків і жінок. Майбутня робота повинна бути спрямована на баланс прикладів важких і несерйозних стенозів у чоловіків і жінок, щоб далі вирішувати питання гендерних ухилів у оцінці тяжкості стенозу. 30 У порівнянні з тим, RCT QCA набір даних представлений не тільки одним різним методом призначення основного набору даних RCT. Це підтверджується тим, що в більшості клінічних ангіограм UCSF, як це часто трапляється в клінічній практиці, коронарні стенози ≤50% порівняно з високою оцінкою QCA проти ≥ 70% для візуальної оцінки, були просто описані як «необструктивний стеноз» через оцінку «необструктивної частини» і не отримали відсотка; на відміну від візуальної оцінки, AIi±QCA дистрибуціонує цінності в усіх випадках. Це підтверджується тим, що QCA допомагає встановити, як QtraSQ вимірюється в попередніх випадках, що 78.7% даних Така робота оцінюється з декількома обмеженнями. Значне обмеження виникає з нашого використання тренувальних етикет, отриманих під час рутинної клінічної допомоги за допомогою візуальної оцінки лікаря. Через ресурсоінтенсивну природу генерування великої кількості кардіологічних анотацій для ангіографічних зображень, щоб досягти найбільшого набору даних для підготовки CathAI для стунезу, ми використовували клінічно-генеровані значення REPORT-stenosis, які були доступні у великій кількості. Хоча ці алгоритми CathAI могли бути легко перероблені і перероблені суб-спеціалізованими інтервенційними кардіологами в UCSF, вони, ймовірно, все ще показують варіативність, властиву будь-якому клінічно Наша мета з цим доказовим дослідженням концепції полягала в тому, щоб продемонструвати «будівельні блоки», необхідні для автоматичної інтерпретації коронарних ангіограм, а не обов'язково замінити поточний клінічний стандарт для інтерпретації ангіограм. Щоб досягти останнього, значні зусилля людини, ймовірно, знадобляться для позначення великих наборів даних з точними методами. Крім того, ми включали тільки основні епікардіальні судини в цій версії CathAI. Інші відповідні судини / об'єкти, такі як обхідні пересадки, діагонали, хронічні загальні окуляри або колатерали були виключені, але представляли основні цілі для найближчої майбутньої роботи. 31 У підсумку, CathAI є першим багатоступеневим повністю автоматизованим аналітичним трубопроводом для коронарних ангіограм. CathAI досягає найсучаснішої продуктивності для кожного завдання, необхідного для інтерпретації реальних ангіограм, є зовнішньо дійсним, і забезпечує основу для майбутніх завдань в автоматизованій ангіографічній інтерпретації. Методи Вивчення учасників та вивчення наборів даних Для нашого повного набору даних ми отримали ретроспективні, ідентифіковані коронарні ангіографічні дослідження всіх пацієнтів віком від 18 років і старше з Університету Каліфорнії, Сан-Франциско (UCSF), в період з 1 квітня 2008 року по 31 грудня 2019 року (Додаткова фігура. Пацієнти без відео з лівої або правої коронарної артерії були виключені. Ангіограми були придбані за допомогою систем Philips (Koninklijke Philips N.V., Амстердам, Нідерланди) і Siemens (Siemens Healthineers, Forchheim, Німеччина) при 15 кадрах на секунду за допомогою контрасту Іопроміду. Ми генерували спеціально анотовані набори даних навчання (будь через доступні мета-дані або експертну анотацію) піднабору Full Dataset для кожної з чотирьох основних завдань, виконаних CathAI. 1 Для максимізації зусиль ручного маркування, необхідних для генерування даних навчання для кожного алгоритму, ми генерували «витягнутий повний набір даних», спочатку автоматично ідентифікуючи кадри у відео, які, ймовірно, містять пік-контраст, обчислюючи міру індексу структурної подібності (SSIM) з кадрів у положенні «0», де зазвичай немає фарбування, що ми називаємо «референтним» кадром. SSIM вище, якщо зображення мають схожі значення пікселів, і нижче, якщо є більша різниця. = 1,418,297). All frames of a video were converted to images of dimension 512*512 pixels for algorithmic analysis. Subsets of frames from the extracted Full Dataset were then labeled for each task, as described below, to generate training data for Algorithms 1–3. n Для всіх алгоритмів, за винятком алгоритму 3, дані були випадково розділені для кожного алгоритму на набори даних Тренінг (70%), Розробка (10%) і Тест (20%), кожен з яких містить пацієнтів, які не перекриваються. , . 16 32 Етикетки алгоритму 1 були взяті безпосередньо з метаданих DICOM, що описують черепно-кавадальні та LAO-RAO орієнтації. алгоритми 2 і 3 вимагали анотацій сертифікованим кардіологом (Додаткова фігура. Додатковий стіл , та Для алгоритму 4 стенози були взяті безпосередньо з процедурного звіту. 8 1 2 3 Звіт Dataset Незабаром після проведення процедури інтервенційні кардіологи зазвичай інтерпретують ангіограму за допомогою візуальної оцінки, як за стандартною клінічною практикою, і описують тяжкість коронарного стенозу в доповіді про процедуру. Ми ідентифікували 9782 коронарні стенози в сегментах артерій (репортаж-стенози) і ідентифікували в 1766 нестенозованих повних судин, що дають загальний обсяг 10 088 нестенозованих сегментів судин, отриманих з 84 153 зображень. Метадані були вилучені з кожного відео ангіограми, включаючи дату процедури, первинний (Правий передній обліковий [RAO] / Лівий передній обліковий [LAO])) і вторинний (черепно-кодальний) кути обертання, унікальний ідентифікатор обстеження і унікальний ідентифікатор пацієнта. Невідповідний REPORT-стеноз був вилучений з набору даних. Ми також виключили відео, де внутрішньокоронарний проводник був присутній у більш ніж 4 кадрах, як це автоматично визначено алгоритмом 3 (6,076 відео, 41,780 стенозних кадрів, ідентифікованих за допомогою проводників), оскільки ці відео, ймовірно, представляють прокожні коронарні інтервенції ); відео були збережені з досліджень до введення внутрішньокоронарного проводника. 3 1 1 Text parsing methods Вільний текст з процедурного звіту спочатку був сегментований за допомогою комарів (“,”) або періодів (“.”).Ми потім застосували методи аналізу тексту для виявлення різних коронарних сегментів (Додаткова таблиця Коли був знайдений коронарний сегмент, ми ідентифікували будь-який опис відповідного відсотка стенозу, локалізуючи «%» і найближче одне до трьохзначне число в цьому реченні. Ми спочатку шукали за допомогою стандартних термінів (таких як «правильна коронарна артерія»), потім розширили ключові слова шляхом ручного огляду тексту, протягом декількох ітерацій, включаючи найпоширеніші абревіації, альтернативні шрифти та пермутації (Такі як «RCA»). Якісні описи обструктивного CHD, такі як «легка», «помірна» або «важка» хвороба не були вилучені. Крім того, ми шукали ключові слова, такі як «тромб», «обструкція Ми не проаналізували хронічні загальні окклюзії та стенози в діагональних, маргінальних, септальних, рамусних, лівих задніх опускаючих артеріях, лівих posterolateral або в обхідних трансплантаціях. 3 3 Дослідження людських суб'єктів Це дослідження було переглянуто Університетом Каліфорнії, Сан-Франциско Інституційна комісія з перегляду і необхідність інформованої згоди була відмовлена. Algorithm development Система CathAI складається з 4 нейронних мережевих алгоритмів, організованих в трубопровід (рис. Ангіографічні зображення аналізуються кожним алгоритмом і "протікають" послідовно до наступного, щоб виконати чотири фундаментальні завдання для аналізу автоматизованої ангіографії: (1) класифікація кута ангіографічної проекції; (2) класифікація первинної анатомічної структури ангіограми; (3) локалізація відповідних об'єктів в рамках ангіограми, включаючи підсегменти і стенози коронарної артерії; (4) прогнозування тяжкості стенозу коронарної артерії (як відсоток звуження артерії). 1а Як підсумок на високому рівні, алгоритм 1 прийняв індивідуальні зображення (відеокамери коронарної ангіограми) як вхід і визначив ангіографічний кут проекції, що використовується для опису осей LAO-RAO та черепно-коадульних осей (черепно-коадульні осі LAO, коадульні осі RAO тощо); етикетки були доступні з метаданих кожного відео. алгоритм 2 визначив первинну анатомічну структуру (Додаткова таблиця) ), оскільки звичайно записувати відео ангіограми, що містять несерцеві анатомічні структури, такі як аорта або феморальна артерія. Алгоритм 2 дозволив CathAI згодом зосередитися тільки на відео ангіограми, що в першу чергу містять ліві і праві коронарні артерії (LCA і RCA, відповідно). Алгоритм 3 локалізував відповідні об'єкти всередині зображень LCA і RCA шляхом виведення граничних координат для ідентифікованих об'єктів (Додаткове відео). Місце розташування стенозу коронарної артерії було присвоєно відповідно до найбільшого перекриття між двома алгоритмами 3-прогнозованих прикордонних ящиків субсегмента коронарної артерії Алгоритм 4 приймав зображення, нарізані навколо скельованих сегментів артерій (за допомогою алгоритму 3 прикордонних ящиків) і передбачав максимальний відсоток стенозу всередині зображення як безперервне значення від 0 до 100 для кожного зображення. 2 1b Алгоритм 1: класифікація ангіографічного кута проекції Алгоритм 1 прийняв окремі зображення (відеокадри) як свій вхід і ідентифікував використовуваний кут ангіографічної проекції. Кут проекції відноситься до флюороскопічного кута, що використовується для отримання зображення, що зазвичай описується на двох осях, визначених LAO-RAO і черепно-кадуальним (LAO черепно-кадуальний, RAO кадуальний тощо). Для даних навчання алгоритму 1, всі зображення з вилученого повного набору даних були класифіковані в 12 категорій ліво-правових і черепно-кадуальних кутів проекції на основі первинних і вторинних кутів, вилучених з метаданих кожного відео (−180 і 180 градусів для первинного кута і − Потім ми розділили вилучений повний набір даних на тренінги (990,082), розробки (128,590) та тестові набори даних (299,625). 1 Архітектура алгоритму 1 базувалася на Xception, яка є конволюційною нейронною мережею, яка досягла найсучасніших показників при виконанні завдань з розпізнавання зображень. Він був ініціалізований з вагами «ImageNet» , як зазвичай виконувалося для ініціалізації ваг для більш швидкої конвергенції алгоритмів в налаштуваннях класифікації зображень; всі шари були тренувальні. зображення були збільшені випадковим збільшенням (рівень = 0,2) і обертанням різання (рівень = 0,2). Набір даних розробки використовувався для ітеративного порівняння продуктивності алгоритмів і гіперпараметрів тонкого тонування за допомогою пошуку сітки (Додаткова таблиця Ми експериментували з різними архітектурами, такими як VGG-16, ResNet50 і InceptionNet-V3, але не знайшли ніякої додаткової переваги перед Xception. Використовувався пошук сітки для тонкого настроювання гіперпараметрів. Тестовий набір даних взагалі не використовувався під час навчання і використовувався тільки для звітування про кінцеву продуктивність. Найпоширеніший прогноз через вилучені кадри кожного відео був присвоєний як ангіографічна проекція того відео; зв'язки були вирішені шляхом вибору проекції з найвищою середньою ймовірністю по всіх кадрах. Ми використовували ваги алгоритму 1 як "ядерну модель" для ініціалізації ваг для навчання наступних алгоритмів на основі архітектури Xception. 33 34 5 Алгоритм 2: класифікація первинної анатомічної структури Алгоритм 2, спрямований на визначення первинної анатомічної структури, присутньої в ангіографічному відео (Додаткова таблиця) ), оскільки зазвичай під час процедури записуються відео ангіограми, що містять анатомічні структури, що не належать до серця, такі як аорта або плечова артерія. Щоб генерувати дані підготовки алгоритму 2, ми випадково вибрали 14 366 зображень з вилученої повної бази даних, а кардіолог розділив кожне зображення на один з 11 класів, що описують первинну анатомічну структуру (Додаткова таблиця) Цей набір даних був розділений на тренінгові/розробні/тестові набори даних, що містять 9887 (70%), 1504 (10%), і 2975 (20%) зображень відповідно. Зображення були збільшені випадковим збільшенням (відрізок = 0,2) і обертанням (відрізок = 0,2). Прогнозована первинна анатомічна структура відео була прогнозом режиму всіх його вилучених кадрів повного набору даних. Результати F1 і показники моделі варіювалися за анатомічним класом, але в загальних класах з меншими рамками були нижчі показники (Додаткова фігура. ), suggesting a possibility to improve performance if more labeled data were available. 2 2 5 1 3б Алгоритм 3: локалізація об'єктів ангіограми Алгоритм 3 спрямований на локалізацію відповідних об'єктів у межах зображень лівих і правих коронарних артерій (вихід алгоритму 2). ), найкритичнішими завданнями для трубопроводу CathAI були (i) виявлення сегментів коронарних артерій, (ii) виявлення стенозів (якщо вони присутні) та (iii) локалізація інших відповідних об'єктів, таких як провідники або стернотомія. Щоб генерувати дані навчання для алгоритму 3, 2338 контрастних зображень LCA і RCA як зі стенозом, так і без (як визначено алгоритмом 2) були відзначені кардіологом, який розмістив прикордонні коробки навколо всіх відповідних об'єктів на зображенні (Додаткова таблиця). ). Only stenoses in the main epicardial vessels, not side branches such as diagonals or marginals, were labeled. In 100% of the 2338 frames, the LCA or RCA was the primary anatomic structure contained, and the artery was well visualized, well opacified, and not underfilled, according to the annotating cardiologist. 3 3 Оскільки RCA в проекції LAO містив найбільшу кількість анотованих зображень у нашому наборі даних, ми також тренували спеціальний алгоритм 3b на цій проекції, щоб продемонструвати можливі досягнення від зосередження алгоритму на конкретній артерії/проекції (RCA в LAO). Щоб тренувати алгоритми 3a/b, ми розділили наші позначені зображення для цього завдання на два окремі набори даних: один, що містить ліві/праві коронарні артерії (2,338 зображень) і один, що містить зображення RCA в проекції LAO (450 зображень). Кожен набір даних був згодом розділений на 90% навчання (2104 і 405 зображень відповідно) і 10% тестування (234 і 45 зображень відповідно) Алгоритми 3a/b використовували архітектуру RetinaNet і були підготовлені з використанням оригінальних гіперпараметрів. RetinaNet досягла найсучасніших показників для локалізації об'єктів, таких як виявлення пішоходів для автономних автомобілів Оскільки деякі сегменти артерій у певних ангіографічних проекціях відомі a priori як попередньо скорочені або невидимі, ми застосували пост-хок-евристику, щоб виключити певні сегменти артерій, передбачені алгоритмом 3a/b, з ангіографічних проекцій, як передбачено алгоритмом 1 (Додаткова таблиця). Це, таким чином, являє собою злиття проміжних прогнозів з двох алгоритмів трубопроводу CathAI для досягнення більш клінічно значущої загальної продуктивності трубопроводу. Для оцінки продуктивності алгоритму 3a/b передбачені координати порівнювалися з координатами підземної істини, використовуючи співвідношення площі перетину над площею об'єднання (так званий перетин над об'єднанням [IoU]) Потім ми виміряли середню точність (mAP), яка являє собою співвідношення правдивих позитивних до правдивих і неправдивих позитивних на різних порогах IoU для кожного класу. A mAP of 50% compares with state-of-the-art results for this type of task , . 16 35 4 36 37 16 35 Algorithm 4: predicting the percentage of coronary artery stenosis Алгоритм 4 був розроблений, щоб передбачити тяжкість стенозу коронарної артерії як відсоток, зважаючи на вхідні зображення, висічені навколо стенозованих сегментів артерій, визначених алгоритмом 3. Алгоритми 3a/b були запущені на всіх відео набору даних доповіді, щоб локалізувати сегменти артерій і стенози. Всі кадри, які містили стенозу, що обмежує ящик, що перекривається з коронарної артерії, що обмежує сегмент ящик з IoU ≥0.20 складалися з потенційних вхідних кадрів для алгоритму 4. Стеноз був локалізований до артерії, що сегмент алгоритм 3 ідентифікував, який мав найбільше перекриття за IoU ). Matched procedural report values served as labels to train Algorithm 4 with input images cropped around stenosed artery segments according to Algorithm 3a/b bounding boxes. Non-matched stenoses were removed from our dataset. We also excluded all videos where an intra-coronary guidewire was present in more than 4 frames, as automatically determined by Algorithm 3a/b (6,076 videos, 41,780 stenosis-frames identified with guidewires), since these videos likely represent percutaneous coronary interventions which could alter the stenosis percentage within that video (Supplementary Fig. Для підготовки та підтвердження алгоритму 4 ми поєднали 6258 зображень нестенозованих сегментів коронарної артерії з рештою 98,756 зображень стенозів. 1 1 Після того, як було виявлено стеноз, координати кордонів коробки розширилися на 12 пікселів у всіх розмірах, а потім розрізали і збільшили до найближчого з трьох заздалегідь визначених розмірів: 256*256 пікселів (аспектний співвідношення No.1), 256*128 пікселів (аспектний співвідношення No.2) і 128*256 пікселів (аспектний співвідношення No.3). Це було зроблено для максимізації співвідношення сигналу до шуму (судини до фону) через різні орієнтації судин і розміри стенозу. ). Since non-stenosed vessel segments tended to be longer than focal stenosis which may bias training, we cropped all non-stenosed segments randomly to a height and width, mirroring the distribution of stenosis image sizes within that coronary segment. This yielded similar vessel sizes between the stenosed and non-stenosed images for each vessel segment. Images were randomly split into 70% training, 10% development and 20% in testing datasets. 1 Алгоритм 4 базувався на модифікованій архітектурі Xception, де останній шар (слой Softmax, що використовується для класифікації) був замінений «середнім басейном», а потім щільним шаром з лінійною функцією активації, щоб дозволити передбачення тяжкості стенозу як безперервної відсоткової вартості. Метадані зображення, що складаються з етикетки сегменту коронарної артерії та відсоткових співвідношень, також були додані в якості входів до кінцевого шару алгоритму 4, що покращило продуктивність. Алгоритм випустив відсоток стенозу між 0 і 100 для кожного вхідного зображення, що представляє максимальні стенози в цьому сегменті коронарної артерії. Від Зображення були збільшені випадковим поворотом (як горизонтальним, так і вертикальним), випадковим контрастом, варіаціями гамми та яскравості, випадковим застосуванням адаптивної гістограмної рівняння (для поліпшення контрасту в зображеннях). with an initial learning rate of 0.001, momentum of 0.9 and batch size of 12, trained for 50 epochs. Training was halted when loss stopped improving for 8 consecutive epochs in the test dataset. 38 Для алгоритму 4 ми змінювали схему навчання таким чином, що кожна епоха тренувалася на зображеннях одного аспектного співвідношення, а наступна епоха тренувалася на іншому аспектному співвідношенні (копіюючи всі ваги з попередньої ітерації), як це було зроблено раніше для багаторозмірних входів. Це повторювалося до конвергенції. Ми виміряли продуктивність алгоритму на повному наборі даних тесту, що складається з трьох аспектних співвідношень. Ми спостерігали, що конвергенція багаторозмірного вхідного навчання була схожа на інші алгоритми, які використовували фіксований розмір для навчання. Ми також досліджували різні підходи до попередньої обробки та послідовності без поліпшення продуктивності алгоритму (Додаткова таблиця) ) 39 7С Neural network explainability methods Ми застосували два підходи до пояснюваності нейронних мереж до повністю навчених алгоритмів CathAI, щоб краще зрозуміти, як алгоритми роблять свої прогнози, відповідно до їхніх відносних завдань. Техніка підкреслює найбільш критичні для прогнозування області зображення. Червоні підкреслені області означають більшу важливість для прогнозування алгоритмів, тоді як більш сині підкреслені регіони означають меншу важливість. , which highlights individual pixels in the image that contribute most to algorithm predictions. Brighter pixels represent greater contribution to the algorithm’s prediction. 17 18 Зовнішня валідація Для зовнішньої візуалізації Alenosis, ми випадково випробували 1000 відео коронарної ангіограми, виконаних в Інституті серця Університету Оттави (UOHI) між 1 липня 2020 і 31 жовтня 2020, придбаних з системами Philips Azurion (Koninklijke Philips N.V., Амстердам, Нідерланди), за 15 кадрів на секунду, використовуючи Iopromide dye. Алгоритми 1, 2 і 3 були застосовані до кожного відео для ідентифікації та локалізації стенозів, а алгоритм 4 передбачив AI-стеноз. Потім ми випробували до 40 прикладів відео стенозів на сегмент коронарної артерії, щоб сформувати наш зовнішній набір даних про візуалізацію, що визначає загалом 464 коронарної ан Для підготовки алгоритму CathAI 4 до різних розподілів популяції набору даних QCA ми розділили набір даних QCA на навчання (75%), розробку (12.5%) та тестування (12.5%) і налаштували останні два повністю пов'язані шари алгоритму 4, щоб дозволити алгоритму навчитися передбачати значення стенозу QCA з вхідних зображень стенозу, а не візуально оціненого стенозу. Ми провели пошук початкових темпів навчання з 1e−4 до 1e−8 і вибрали рівень, який виробляв найнижчу втрату на наборі розвитку за 100 епох. Кількісна коронарна ангіографія Для того щоб продемонструвати це, ми отримали зовнішній набір даних про коронарні ангіограми різної популяції пацієнтів, апріорі призначених в Монреальському інституті серця (MHI) Core лабораторії, використовуючи систему CMS QCA (MEDIS, Лейден, Нідерланди). Цей набір даних складався з ангіограм, аналізованих лабораторією MHI Angiographic Core, отриманих під час рандомізованих контрольованих досліджень (RCT) у пацієнтів віком ≥ 18 років, які мали коронарну ангіографію в рамках дослідження, і отримали нові ліки, що знижують ліпіди або плацебо. Дослідження, з яких були отримані ці дані, використовували критерії включення, які виключали пацієнтів з обструктивною хворобою коронарних артерій (CAD) на початку дослідження, що призвело до більшості випадків коронарного стенозу легкої до помірної тяжкості в цьому наборі даних. Аналіз QCA проводився двома підготовленими техніками і контролювався фахівцем. , . 40 6 13 Зображення коронарної ангіограми були отримані за допомогою Philips (Koninklijke Philips N.V., Амстердам, Нідерланди), General Electric Medical Systems (General Electric, Chicago, Illinois, США) і Toshiba (Toshiba Corporation, Minato City, Tokyo, Japan) при 15 кадрах на секунду, шляхом ін’єкції Iopromide фарбування в коронарні артерії. Для кожного аналізу стенозу QCA в ядерній лабораторії MHI була обрана кінцева діастолічна рамка з кутами, які найкраще демонстрували стеноз у найтяжчій ступені з мінімальним укороченням і перекриттям гілок. Цей набір даних RCT QCA містив іншу популяцію пацієнтів a priori, ніж реальний клінічний набір даних UCSF, оскільки всі стенози ≥ 50% не були присутні під час базової ангіограми (але могли бути присутні на подальшій ангіограмі), залишаючи в основному м'який-CAD з середньою тяжкістю стенозу QCA 31,7% ± 11,6%. Це забезпечило оптимальну можливість вивчити, як CathAI може забезпечити основу для перепідготовки з використанням етикетки стенозу QCA, щоб функціонувати як автоматизований інструмент для аналізу основної лабораторної ангіограми. Ми розділилили набір даних QCA на навчання (75%), розробку (12.5%) і тестування (12.5%) наборів даних і тонко Оцінка алгоритмів та статистичний аналіз У відповідності з кожним завданням, ефективність кожного алгоритму для категоріальних значень оцінювалася за допомогою позитивного прогнозного значення (PPV), негативного прогнозного значення, чутливості, специфічності, площі під кривою характеристик операції приймача (AUC), оцінки F1 і партій Bland-Altmann. і кореляція Пірсона і середня абсолютна помилка між прогнозом стенозу CathAI і звітом стенозу або стенозу QCA. Всі три центри повідомляють про безперервний відсоток стенозів як частину їх рутинної клінічної допомоги. 41 Нейронні мережі були підготовлені за допомогою Keras v.2.24 і TensorFlow v.1.12. Останні результати алгоритмів були повідомлені в Test Dataset. Алгоритми 1 і 2 були оцінені на рівні кадрів / зображень з використанням точності (тобто позитивної прогнозної вартості), запам'ятовування (чутливості) і планування продуктивності з використанням матриць плутанини. Для оцінки алгоритмів 3a і 3b ми обчислили площу перетину над площею союзу (IoU) між передбаченими координатами кордону і експертно-аннотованими координатами кордону об'єктів у кожному класі в тестовому наборі даних. ІОУ ≥ 0,5 означає принаймні 50% площі перекриття між передбаченими і справжніми межами, які ми вважали справжнім позитивним.Ми потім повідомляємо про продуктивність алгоритму 3a/b як середню точність (mAP) метрики, яка представляє співвідношення справжніх позитивних до справжніх і помилкових позитивних на різних порогах ІОУ, для кожного класу Значення мапу 50% порівнюється з найсучаснішими результатами для цього типу завдань , Ми також представляємо середню точність для алгоритму 3a і алгоритму 3b, обчислюючи співвідношення правильного класового прогнозу з IU ≥ 0,1 з нашою маркуванням базової істини по всіх наших класах у нашому наборі даних тесту, а також позитивне прогнозне значення локалізації стенозу, використовуючи звіт або набір даних QCA як базову істину. 36 37 16 35 To evaluate Algorithm 4, the primary metric of interest was the average absolute error between the reported value (REPORT-stenosis) and the predicted value (AI-stenosis) at the artery level. This mirrors guideline-based standard clinical practice for stenosis estimation, by measuring stenosis in multiple orthogonal projections and reporting the maximal degree of stenosis narrowing , Стеноз AI на рівні зображення був середнім у відео для отримання стенозу AI на рівні відео і порівняно з стенозом REPORT, використовуючи середню квадратну помилку. Надійність була класифікована як погана (< 0,5), помірна (0,50-0,75), хороша (0,76-0,90), або відмінна (0,91-1.0).(52) Нарешті, ми представляємо середню квадратну помилку між REPORT-стенозом і AI-стенозом на рівні відео. 2 3 42 Для прогнозу бінарного «обструктивного» стенозу коронарної артерії, визначеного як стеноз ≥70% , На підставі цього, ми також повідомляємо про область під кривою характеристик експлуатації приймача (AUC), чутливість, специфічність та діагностичне співвідношення шансів , на рівні кадрів, рівня відео та рівня артерій, на основі цього порогу. 2 3 43 Інтервали довіри для показників продуктивності були отримані шляхом завантаження 80% даних тесту за 1000 ітерацій для отримання 5-го і 95-го відсоткових значень. Ми представляємо продуктивність алгоритму 4, стратифікованого за статтю, за лівими і правими коронарними артеріями, за сегментом артерій та за віковою групою. значення для взаємодії (між CathAI стенозом, коваріатами і, можливо, стенозом, розраховані тестом Валда). Ми класифікували AI-стеноз і REPORT-стеноз в групи конкордних і дискордних уражень на основі візуального ≥70% скорочення. Для дискордних уражень ми представляємо їх поширеність, стратифіковану за сегментом коронарної артерії. Для даних рівня ураження / судини, модель логістичної регресії змішаних ефектів, яка використовується для обчислення внутрішньо суб'єктивної кореляції та для повторних ангіограм. P Звітне резюме Більш детальну інформацію про проект дослідження можна знайти в пов'язана з цією статтею. Реферат на тему Nature Research Reporting Доступність даних Дані, використані в цьому дослідженні, походять від клінічної допомоги і, таким чином, не стають публічно доступними через проблеми конфіденційності даних. Доступність коду Код, який підтримує цю роботу, є авторським правом Регентів Університету Каліфорнії і може бути доступний за ліцензією.Дані, які використовуються для навчання та підтвердження алгоритму, не можуть бути публічно доступні, оскільки вони містять особисту інформацію про здоров'я. Референції Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 визнання RA підтримується «Fonds de la recherche en santé du Québec» (Грант 274831). JEO отримав кошти від NIH (U2CEB021881). GHT отримав підтримку від Національних інститутів охорони здоров'я NHLBI K23HL135274. KS не має відповідного фінансування, пов'язаного з цим рукописом. AW підтримується Національним фондом наукових досліджень під грантом No DGE 1752814. YS підтримується нагородою середньої кар'єри дослідника Фондом серця та інсульту Онтаріо. J-CT володіє канадською дослідницькою кафедрою з персоналізованої та трансляційної медицини, а Університет Монреаля надає дослідницьку кафедру з атеросклерозу. JEG фінансується нагородою Ця стаття доступна на природі за ліцензією CC by 4.0 Deed (Attribution 4.0 International). Ця стаття доступна на природі за ліцензією CC by 4.0 Deed (Attribution 4.0 International).