CathAI: Penyelidik Membina AI yang Membaca Pemindaian Jantung Seperti Ahli Kardiologi

Penulis : Robert Avram Jeffrey E. Olgin Zeeshan Ahmed Louis Verreault-Julien Melayu Wan Joshua Barrios Beliau membuka Derek Wan Joseph E. Gonzalez Jean-Claude Tardif dalam Derek Y. So Krishan Soni Geoffrey H. Tison Penulis : oleh Robert Avram daripada Jeffrey E. Olgin Melayu ahmed Pengarah: Louis Verreault-Julien Melayu Wan Yohanes Barrios Beliau membuka Derek Wan oleh Joseph E. Gonzalez Jean-Claude Tardif dalam Derek Y. Begitu Rujukan Sonya oleh Geoffrey H. Tison abstrak Di sini kami melaporkan pendekatan yang sepenuhnya automatik untuk menafsirkan angiografi angiografi angiografi dari angiogram koronari standard. Menggunakan 13,843 kajian angiografi keputusan dalam penyakit angiografi koronari (CAD), tetapi penilaian visual ad-hoc angiogram mempunyai variabiliti yang tinggi. Di sini kami melaporkan pendekatan yang sepenuhnya automatik untuk menafsirkan angiografi angiografi angiografi dari angiogram koronari standard. Menggunakan 13,843 kajian angiografi standar dari 11,972 pesakit dewasa di University of California, San Francisco (UCSF), antara 1 April 2008 dan 31 Disember 2019, kami melatih rangkaian saraf untuk menyelesaikan empat tugas berturut-turut yang diperlukan untuk lokasi dan penilaian angiografi angiografi angiografi angiografi koronari automatik. Algoritma Pengenalan Coronary heart disease (CHD) is the leading cause of adult death in the United States and worldwide , yang disebabkan oleh plak aterosklerotik yang menyempitkan arteri koroner, juga dikenali sebagai penyakit arteri koroner (CAD). prosedur angiografi koroner adalah prosedur standard emas untuk mendiagnosis stenosis arteri koroner yang oleh itu menyediakan maklumat penting untuk keputusan rawatan CAD yang berkisar daripada terapi perubatan sahaja kepada revaskularisasi dengan stent koroner atau pembedahan bypass Penilaian visual doktor keparahan stenosis koroner daripada angiogram kekal pendekatan yang paling biasa, panduan disokong untuk menilai pengencangan angiografi lumen arteri koroner , . 1 2 2 3 Walau bagaimanapun, batasan penilaian visual untuk keparahan stenosis koronari digambarkan dengan baik, dan termasuk variabiliti intra- dan inter-pengamat, bias operator dan reproducibiliti yang buruk. , Variabiliti dalam penilaian stenosis visual berkisar daripada 7.6 hingga 22.5% , , Dan walaupun kualiti imej angiografi koronari telah meningkat, variabiliti masih kekal dan lebih besar dalam tetapan pembaca doktor tunggal, yang merupakan aliran kerja klinikal yang paling biasa. , Penilaian visual stenosis boleh melebih-lebihkan keparahan stenosis dalam lebih daripada seperempat kes dan boleh menyumbang kepada pembedahan bypass arteri koroner yang tidak sesuai pada 17% pesakit dan penggunaan stent pada sekurang-kurangnya 10% pesakit , , , Pendekatan yang lebih standard, boleh diulang kepada interpretasi angiogram dan penilaian stenosis koronari akan mempunyai kepentingan klinikal yang besar. 4 5 4 5 6 4 7 8 4 5 6 8 Berbagai ujian tambahan boleh melengkapkan penilaian CAD semasa angiografi koroner, seperti penilaian fisiologi , Pengukuran imej intra-vaskular Walaupun kebanyakan memerlukan kepakaran operator tambahan dan penggunaan kateter tambahan, oleh itu digunakan dalam kurang daripada 10–20% angiogram koroner , , Selain itu, menentukan keperluan ujian tambahan masih bergantung terutamanya kepada penilaian visual doktor angiogram semasa prosedur angiografi untuk mengenal pasti kesukaran menengah atau stenosis koroner yang lebih besar (contohnya 40-69%) . Quantitative coronary angiography (QCA) is a technique providing analysis of angiograms that allows for more standardized stenoses assessment Walau bagaimanapun, QCA tidak sepenuhnya automatik dan memerlukan input operator untuk kalibrasi imej dan pemilihan bingkai, mengalihkannya sebahagian besarnya kepada tetapan penyelidikan. , . 9 10 11 9 11 12 3 13 5 14 Artificial intelligence (AI) algorithms, and deep neural networks in particular, have demonstrated the ability to automate important clinical tasks in cardiology as well as interventional cardiology Matlamat kami adalah untuk membangunkan dan mengesahkan pendekatan automatik untuk interpretasi angiogram koronari, lokalisasi stenosis arteri koronari dan perkiraan keparahan dari angiogram koronari dunia sebenar. 15 Hasil Set Data Lengkap terdiri daripada 13,843 kajian angiogram lengkap (195,195 keseluruhan video angiografi) daripada 11,972 pesakit berusia ≥18 tahun dari University of California, San Francisco (UCSF), antara 1 April 2008 dan 31 Disember 2019 (Gambar. Tambahan kepada Fig. Umur purata ialah 63.5 ± 13.7 tahun dalam Dataset Lengkap dan 66.7 ± 12.0 tahun dalam Dataset Laporan. 1a 1 Gambaran keseluruhan paip CathAI untuk interpretasi angiogram automatik. video angiogram mengalir dari satu algoritma ke yang lain untuk menyelesaikan 4 tugas kritikal yang diperlukan untuk interpretasi automatik. Penggunaan CathAI kepada contoh angiogram koronari. contoh angiogram arteri turun hadapan kiri dengan stenosis yang teruk (hampir ke segmen tengah) ditunjukkan maju melalui sistem CathAI untuk: mengenal pasti projeksi angiografi, mengenal pasti LCA (kiri), meletakkan kotak sempadan di sekitar objek seperti stenosis (zoom, tengah), dan meramalkan keparahan stenosis maksimum (kiri). a b prestasi CathAI untuk mengklasifikasikan sudut projeksi angiografi, struktur anatomi, dan lokalisasi objek angiogram Untuk mengklasifikasikan sudut projeksi angiografi, CathAI mencapai nilai prediktif positif frekuensi (PPV) 0.90, kepekaan 0.90 dan skor F1 0.90 dalam set data ujian (Tabel Tambahan). Sudut proyeksi yang digunakan, seperti LAO Straight, RAO Straight dan LAO Cranial, mempunyai prestasi keseluruhan yang lebih baik.Untuk mengklasifikasikan struktur anatomi utama yang terkandung dalam video angiogram, CathAI mencapai PPV yang ditimbang frekuensi 0.89, kepekaan 0.89 dan skor F1 0.89 dalam set data ujian (Jadual Performa CathAI adalah tinggi untuk kedua-dua arteri koronari kiri dan kanan (LCA dan RCA, masing-masing), yang merupakan objek angiografi utama minat: PPV dan sensitiviti, masing-masing, adalah 0.97 dan 0.94 untuk LCA dan 0.93 dan 0.93 untuk RCA. 8 1 Sebaik sahaja video angiogram yang mengandungi LCA dan RCA telah diidentifikasi, CathAI mendekati objek dalam angiogram dengan meramalkan kotak sempadan di sekitar segmen arteri koroner seperti bahagian proximal arteri koroner, kawasan stenosis, stents dan kateter koroner. Untuk mengukur prestasi CathAI untuk mendekati objek ini, ketepatan purata (mAP) digunakan untuk membandingkan koordinat yang diramalkan dengan kebenaran tanah bagi setiap objek. (Tabel tambahan CathAI dengan betul mendedahkan 93.3% daripada stenosis arteri koroner (PPV) dalam dataset ujian UCSF. 16 9 prestasi CathAI untuk meramalkan keparahan stenosis Algoritma akhir dalam sistem CathAI menganggarkan keparahan stenosis arteri koroner (Fig. Perkiraan yang diramalkan tentang keparahan stenosis adalah purata daripada semua video angiogram dari kajian yang diberikan yang memvisualisasikan segmen arteri tertentu (disebut "tingkat arteri"), mencerminkan amalan klinikal standard. dalam set data ujian, AUC CathAI untuk mengenal pasti stenosis obstruktif adalah 0.862 (95% CI: 0.843–0.880) di peringkat arteri (Jadual ; Fig. Prediksi stenosis tahap arteri dilakukan lebih baik daripada prediksi tahap video atau imej (Fig. Jadual Tambahan Untuk prediksi CathAI tentang keparahan stenosis sebagai persentase stenosis berterusan, perbezaan persentase mutlak purata antara AI-stenosis dan laporan-stenosis adalah 17.9 ± 15.5% (Jadual Tambahan daripada Fig. Terdapat perbezaan peratusan mutlak purata yang lebih rendah bagi RCA berbanding LCA (16.4 ± 15.0 berbanding 19.0 ± 15.8; < 0.001, Jadual · Jadual tambahan CathAI mempunyai AUC yang lebih tinggi untuk mengenal pasti stenosis yang teruk dalam lapisan wanita berbanding lelaki [0.890 (95% CI: 0.864–0.923) vs 0.830 (95% CI: 0.805–0.856) masing-masing, Nilai untuk interaksi: 0.02 1b 2 2a 2a 10 2 3 p 2 10 P Receiver Operating Characteristic Curves (ROC) untuk prediksi CathAI stenosis koronar obstruktif (</≥70%) dalam set data ujian. titik hitam: ambang stenosis AI yang dipilih untuk mengoptimumkan skor F1 dalam set data tahap arteri. salib merah: ketepatan apabila kepekaan ditentukan pada 80%. salib biru: kepekaan apabila kepepatan ditentukan pada 80%. Matriks kebingungan untuk prediksi CathAI stenosis obstruktif vs. REPORT-stenosis. UOHI Eksternal Validation Dataset-ROC untuk prediksi CathAI stenosis obstruktif (</≥70%). titik hitam: ambang stenosis AI yang dipilih untuk mengoptimumkan skor F1 dalam set data tahap arteri. salib merah: Spesifikasi apabila sensitiviti ditetapkan pada 80%. salib biru: Sensitiviti apabila spesifikasi ditetapkan pada 80%. UOHI Eksternal Validation Dataset-Confusion matrix untuk prediksi CathAI stenosis obstruktif vs. ahli adjudicators. kawasan AUC di bawah kurva, interval kepercayaan CI, kecerdasan buatan AI. a b c d Daripada stenosis ≥70% mengikut REPORT-stenosis, CathAI mengklasifikasikan 74.5% dengan betul (95% CI: 70.0–78.4%; 260/349, Fig. ); dan daripada stenosis <70% oleh REPORT-stenosis, Algorithm 4 mengklasifikasikan 78.1% dengan betul (95% CI:76.1–80.1%; 1082/1385). Apabila sensitiviti Algorithm 4 untuk mendeteksi stenosis koronari obstruktif ditubuhkan pada 80.0%, spesifisiti untuk mendeteksi stenosis obstruktif ialah 74.1%; dan apabila spesifisiti ditubuhkan pada 80.0%, kepekaan untuk mendeteksi stenosis obstruktif ialah 71.6%. CathAI melebih-lebihkan stenosis ringan dan merendahkan stenosis yang teruk (Gambar Tambahan. ) daripada 2b 2 3 Pengesahan luaran CathAI dalam kumpulan data UOHI Untuk mengkaji generalizability luaran, kami menggunakan CathAI kepada 464 video angiogram sampel acak dari UOHI. CathAI meramalkan projeksi angiografi dengan ketepatan yang tinggi (Gambar Tambahan. Perbezaan antara kedua-duanya ialah pengambilan sampel dan pengambilan sampel yang dikemukakan oleh ahli-ahli persekitaran yang bersangkutan ( Perbezaan di antara jenis-jenis aliran aliran aliran aliran aliran aliran aliran aliran aliran ( = 360); dalam semua 15.5% yang tersisa di mana sub-segmen arteri tidak betul, CathAI menetapkan stenosis kepada arteri koroner yang betul secara keseluruhan (LCA vs RCA). 4 n n Penilaian peratusan stenosis antara kedua-dua penganjur ialah 15.7% ± 14.5%. Untuk penilaian stenosis obstruktif (</≥70%) penganjur tidak bersetuju mengenai 16.8% stenosis sebagai obstruktif ( = 78).Kami mengira purata aritmatik peratusan stenosis daripada kedua-dua adjudicators untuk membandingkan dengan prediksi CathAI mengenai prediksi keparahan stenosis.Bandingkan dengan ini, AUC CathAI untuk stenosis obstruktif (≥70%) adalah 0.869 (95% CI: 0.830–0.907; Fig. daripada Sensitiviti ialah 86.4% dan spesifikasi ialah 67.3% (Fig. Perbezaan purata persentase mutlak antara AI-stenosis dan persentase stenosis purata dari kedua-dua adjudicators ialah 18.02% ± 11.02%. Dalam set data UOHI, CathAI mengambil ~3–5 s untuk menganalisis video angiografi, atau 35 s untuk peperiksaan penuh, menggunakan GPU Nvidia GTX 1080 Ti. n 2c 3 2d Hasil utama untuk University of California, San Francisco (UCSF) pengesahan dalaman dan University of Ottawa Heart Institute (UOHI) pengesahan dalaman dipaparkan untuk setiap daripada 4 tugas. Retraining CathAI untuk meramalkan QCA Stenosis RCT QCA data set terdiri daripada 709 pesakit dengan 858 peperiksaan (1384 stenosis; 18 parah ≥70%, 71 parah ≥50% tetapi <70% dan 1295 tidak parah). = 1384) stenosis (67.2% untuk LCA dan 86.8% untuk RCA). kesukaran stenosis purata seperti yang dinilai oleh QCA ialah 31.7 ± 11.6% (Gambar Tambahan. Mengikut populasi pesakit yang berlainan dalam kumpulan data RCT QCA dengan kriteria penilaian CAD dan QCA yang kebanyakannya ringan (≥50% QCA stenosis) alih-alih penilaian visual, kumpulan data RCT QCA memberikan peluang untuk melatih CathAI untuk meramalkan stenosis yang diberi label QCA, berbanding dengan stenosis yang dinilai secara visual.Selepas latihan semula, AUC CathAI untuk membezakan stenosis QCA obstruktif (≥50%) ialah 0.775 (95% CI: 0.594-0,955) di peringkat arteri (Jadual Tambahan) ) dan untuk stenosis QCA ≥70%, AUC adalah 0.75 (95% CI: 0.570-0.930). Perbezaan stenosis purata antara stenosis yang dijangka oleh CathAI dan stenosis yang dianggarkan oleh QCA adalah 6.5 ± 5.5% dalam set data ujian. n 5 11 Menggunakan penjelasan rangkaian saraf untuk memahami prestasi CathAI Untuk memahami lebih baik unsur-unsur dalam angiogram yang menyumbang kepada ramalan CathAI, kami telah menggunakan dua pendekatan penjelasan kepada algoritma CathAI yang dilatih sepenuhnya. menonjolkan kawasan imej yang paling kritikal untuk ramalan CathAI, menunjukkan bahawa ia menggunakan kawasan seperti ahli kardiologi, seperti arteri yang turun anterior kiri untuk mengenal pasti imej LCA (Gambar. Kami juga mengeluarkan peta ketara untuk prediksi CathAI tentang keparahan stenosis menggunakan kaedah Visualization Layer Ordered of Information (LOVI) . The highlighted pixels (Fig. ; Supplementary Fig. ) tidak hanya terhad kepada segmen arteri stenosis, tetapi juga kepada segmen normal dan piksel yang bersebelahan dengan arteri, menunjukkan bahawa hubungan antara segmen arteri stenosis dan non-stenosis menyumbang kepada prediksi CathAI tentang keparahan stenosis. 17 4a 18 4b 6 GradCAM diterapkan kepada klasifikasi CathAI struktur anatomi utama. Dua imej angiogram asal dipaparkan (kiri), di samping imej yang sesuai disoroti oleh GradCAM (kiri) yang menunjukkan kawasan yang lebih penting untuk keputusan algoritma. GradCAM-menonjolkan kawasan yang difokuskan di sekitar arteri koroner kiri dalam imej angiogram, dengan warna biru menunjukkan kepentingan terendah, warna kuning menunjukkan kepentingan menengah dan warna merah menunjukkan kepentingan tertinggi untuk ramalan CathAI Algorithm 2. LOVI Saliency Maps of CathAI prediction of coronary stenosis severity. Original angiogram images (top) and corresponding images with LOVI saliency maps (bottom). White pixels represent greater contribution to CathAI’s (Algorithm 4) prediction, showing that Algorithm 4 focused on pixels near the region of coronary artery stenosis in most cases. LOVI Layer Ordered Visualization of Information. a b perbincangan We described the development and validation of the CathAI pipeline comprised of four algorithms and demonstrated significant advancements in automated analysis of coronary angiograms. Each algorithm achieved a specific task that facilitated accomplishment of the primary diagnostic aim of coronary angiography—assessment of coronary artery stenosis severity—achieving state-of-the-art performance for each task. Importantly, CathAI was generalizable, without additional training, to predict visually estimated stenoses from non-curated real-world UOHI angiograms, a separate medical system in a different country. CathAI was also successfully re-trained to predict QCA stenosis estimates in a third external RCT QCA dataset. This provides a broad foundation for various future angiogram-relevant tasks—such as automatic estimation of a stenosis severity or identification of intermediate-grade stenoses requiring adjunctive testing. Furthermore, the adoption of explainability methods such as GradCAM and LOVI provides clinicians better understanding of the CathAI’s predictions. Kerja terdahulu telah melaporkan rangkaian saraf melaksanakan tugas individu dalam tetapan eksperimen yang berkaitan dengan analisis angiogram seperti ekstraksi bingkai , prediksi stenosis daripada gambar RCA (dipilih secara manual) , , , , , , , coronary vessel segmentation , pengenalan stenosis Walau bagaimanapun, kepada pengetahuan kami, analisis sepenuhnya automatik dan ramalan stenosis untuk video angiogram koroner belum ditunjukkan pada angiogram dunia sebenar. , , , , , , likely because it has substantially less anatomic variability and complexity compared to the LCA, decreasing the difficulty of analyzing RCA angiograms. However, approaches trained on pre-selected RCA angiograms cannot analyze real-world datasets, which include non-RCA and non-coronary artery videos. In a recent effort Du et al. analyzed single frames from both LCA and RCA angiograms to localize coronary segments and stenosis , tetapi tidak meramalkan keparahan stenosis yang merupakan komponen kritikal. kerja kami memajukan state-of-the-art yang boleh digeneralisasi kepada angiogram luaran dunia sebenar dan mencerminkan penilaian yang disyorkan oleh garis panduan penjagaan standard "pemandangan terburuk" , Kerana angiografi koroner adalah penting untuk semua pengambilan keputusan klinikal CHD , CathAI mempunyai potensi yang besar untuk mengotomatiskan interpretasi angiogram. penyimpangan prediksi CathAI daripada penilaian visual pakar manusia adalah dalam, dan sering kurang daripada, variabiliti antara pengamat yang biasa dilaporkan , , , , ; manakala penyimpangan QCA yang dilatih semula oleh CathAI adalah 6.5 ± 5.5% dalam set data RCT QCA yang jauh lebih rendah daripada perbezaan 10.2–16.6% antara penilaian visual doktor dan QCA yang dilaporkan dalam literatur. 19 19 20 21 22 23 24 25 26 27 28 19 20 21 22 23 24 25 28 2 3 2 3 4 5 6 7 29 5 Analisis automatik angiogram mempunyai kemiripan yang lebih besar dengan sisi persepsi teknologi "mobil mengemudi mandiri" daripada dengan analisis radiologi standard (iaitu sinar-X), dengan angiogram yang sangat berubah-ubah, pengambilalihan video yang ditentukan oleh operator dan urutan tugas-tugas yang kompleks yang diperlukan untuk analisis. analisis yang berjaya angiogram dunia sebenar memerlukan sistem AI untuk memproses apa-apa jenis video yang dihadapi semasa prosedur dunia sebenar, mengenal pasti imej yang relevan, kemudian mendeteksi objek penting dengan tepat. prestasi mutakhir CathAI pada setiap tugas teras dan juga perkiraan stenosis , , , , , , , menyediakan bukti konsep bahawa pelbagai algoritma pembelajaran mendalam yang dibina dengan tujuan boleh mengatasi halangan-halangan yang sehingga kini telah menghalang analisis angiogram yang sepenuhnya automatik. Sub-tugas yang pelbagai CathAI mencapai di jalan ke ramalan stenosis akhir menyediakan asas yang kukuh untuk menyokong banyak tugas tambahan masa depan yang membina pada mana-mana sub-tugas CathAI, seperti meramalkan stent under-expansion, morphology plat aterosklerotic atau cadangan aliran fraksional daripada pola aliran kontras. CathAI boleh dengan mudah disesuaikan untuk tugas-tugas tambahan. Seperti teknologi kenderaan bebas, bagaimanapun, banyak kerja yang tersisa untuk mencapai ketepatan yang sangat tinggi sebelum CathAI adalah "siap klinikal", mengingat peranan utama penilaian stenosis koroner kepada pengambilan keputusan klinikal CHD , Tidak diragukan lagi, peningkatan tambahan dalam setiap algoritma individu CathAI mungkin diperlukan sebelum penyebaran klinikal, yang boleh dicapai, contohnya, dengan meningkatkan saiz kumpulan data yang dinyatakan oleh ahli manusia atau latihan algoritma yang dibina untuk pandangan tertentu (seperti algoritma lokalisasi arteri RCA-LAO sahaja). 19 20 21 22 23 24 25 28 2 3 Implikasi klinikal yang paling segera untuk membina paip seperti CathAI akan meningkatkan standardisasi dalam penilaian stenosis koronari. penilaian visual ahli manusia stenosis koronari telah ditubuhkan untuk mempunyai variabiliti yang tinggi antara 7–22% , , , , dan antara 10–17% berbanding standard emas QCA , secara langsung memberi kesan kepada keputusan untuk rawatan revaskularisasi CHD yang menyelamatkan nyawa. kajian yang berlainan telah secara konsisten melaporkan overestimation stenosis oleh penilaian visual , , Satu kajian menilai semula angiogram klinikal oleh pelbagai pembaca, melaporkan bahawa cadangan untuk pembedahan bypass koronari berubah daripada "syarat / sesuai" kepada "tidak pasti / tidak sesuai" dalam 17-33% kes, termasuk 10% kes untuk penempatan stent Kajian ini disyorkan untuk melakukan interpretasi angiogram bebas kedua sebelum revaskularisasi, walaupun ini biasanya tidak boleh dilakukan dan bukan standard penjagaan klinikal yang diberikan aliran kerja kardiologi intervensi klinikal. Walau bagaimanapun, CathAI boleh dengan mudah melaksanakan fungsi ini dalam cara yang automatik, boleh diulang untuk menyediakan ramalan hampir masa nyata semasa prosedur untuk melengkapkan diagnosis ad-hoc doktor sendiri. Walau bagaimanapun, kerana CathAI dilatih dengan stenosis yang dianggarkan secara visual yang sama, ia juga cenderung untuk melebih-lebihkan stenosis. Untuk menangani ini, CathAI boleh dilatih semula menggunakan data QCA, yang, seperti yang kami tunjukkan, cenderung untuk meramalkan stenosis yang kurang teruk seperti yang ditunjukkan dalam literatur. 4 5 6 7 29 5 5 6 8 4 4 Sesetengah kajian baru-baru ini telah mencadangkan bahawa mungkin terdapat perbezaan jantina dalam perkiraan stenosis, di mana stenosis cenderung untuk diabaikan pada wanita. Untuk menyiasat sama ada CathAI boleh membantu mengurangkan bias ini dalam penilaian stenosis di seluruh jantina, kami membandingkan prestasi Algorithm 4 antara lelaki dan wanita dalam set data dalaman kami. Analisis kami mendapati perbezaan kecil tetapi signifikan antara prestasi algoritma dalam lapisan lelaki dan wanita. Kerja masa depan harus bertujuan untuk menyeimbangkan contoh stenosis yang teruk dan tidak teruk pada kedua-dua lelaki dan wanita untuk lebih lanjut menangani isu bias berasaskan jantina dalam penilaian keparahan stenosis. 30 Namun, potensi UOCA yang lebih rendah daripada kerja-kerja akhir-akhir ini ialah sistem pengesahan klinikal yang lebih rendah, yang menunjukkan bahawa CathAI menggeneralisasi angiogram dunia nyata yang lebih baik kepada angiogram luar yang dianggarkan oleh penilaian visual doktor. Sebagai perbandingan, kumpulan data RCT QCA yang lebih rendah mewakili bukan sahaja satu kaedah yang berbeza untuk penilaian patologi utama (yang juga menggunakan ambang-ambang yang berbeza untuk stenosis klinikal yang teruk ≥50% untuk QCA berbanding ≥70% untuk penilaian visual), menjadikannya secara berkesan meningkatkan tugas yang berbeza, tetapi populasi pesakit yang sangat berbeza dengan ketinggian kecil-CAD disebabkan oleh reka bentuk set data RCT. Dalam kebanyakan angiogram klinikal UCSF, seperti yang biasa dalam amalan klinikal, stenosis koronari Kerja-kerja kami yang dinilai mempunyai beberapa batasan. Batasan yang ketara timbul daripada penggunaan label latihan kami yang dihasilkan semasa penjagaan klinikal rutin menggunakan penilaian visual doktor. Oleh kerana sifat resource-intensif pengeluaran bilangan besar nota kardiologi untuk imej angiografi, untuk mencapai set data terbesar untuk melatih CathAI untuk keparahan stenosis, kami menggunakan nilai-nilai stenosis REPORT yang dihasilkan secara klinikal yang boleh didapati dalam bilangan yang besar. Walaupun ini dihasilkan oleh ahli kardiologi intervensi masa depan yang terlatih di UCSF, mereka mungkin masih menunjukkan variabiliti yang melekat dalam mana-mana label yang dihasilkan secara klinikal. Variabiliti sedemikian dalam kedua-dua data latihan dan ujian boleh meletakkan plafon buatan pada prestasi algorithmic yang diamati; Walau bagaimanapun, algoritma CathAI ini boleh dengan mudah Matlamat kami dengan kajian bukti konsep ini ialah untuk menunjukkan "blok pembinaan" yang diperlukan untuk interpretasi automatik angiogram koronar, dan tidak semestinya menggantikan piawaian klinikal semasa untuk interpretasi angiogram. Untuk mencapai yang terakhir, usaha manusia yang besar mungkin diperlukan untuk merekodkan set data besar dengan kaedah yang tepat.Selain itu, kami hanya memasukkan pembuluh epikardial utama dalam versi CathAI ini. pembuluh/objek lain yang relevan, seperti transplantasi bypass, diagonal, oklusion total kronik atau collaterals dikecualikan, mewakili tetapi sasaran utama untuk kerja masa hadapan. 31 Sebagai kesimpulan, CathAI adalah paip analisis automatik sepenuhnya pelbagai peringkat pertama untuk angiogram koroner. CathAI mencapai prestasi mutakhir untuk setiap tugas yang diperlukan untuk menafsirkan angiogram dunia sebenar, adalah sah secara luaran, dan menyediakan asas untuk tugas-tugas masa depan dalam interpretasi angiografi automatik. penilaian stenosis automatik yang diaktifkan oleh CathAI boleh digunakan untuk meningkatkan standardisasi dan kebolehpercayaan dalam penilaian stenosis koroner, salah satu titik yang paling kritikal dalam pengambilan keputusan klinikal CHD. kaedah Mengkaji peserta dan mengkaji data set Untuk Dataset Lengkap kami, kami memperoleh kajian angiografi koroner yang retrospektif dan tidak diidentifikasi daripada semua pesakit 18 tahun atau lebih tua dari University of California, San Francisco (UCSF), antara 1 April 2008 dan 31 Disember 2019 (Gambar Tambahan. Pasien tanpa video arteri koronari kiri atau kanan dikecualikan. Angiogram diperolehi dengan Philips (Koninklijke Philips N.V., Amsterdam, Belanda) dan Siemens (Siemens Healthineers, Forchheim, Jerman) sistem pada 15 bingkai setiap saat menggunakan kontras Iopromide. 1 To maximize the manual labeling efforts required to generate training data for each Algorithm, we generated an “extracted Full dataset” by first automatically identifying the frames within the video that likely contained peak-contrast by calculating the structural similarity index measure (SSIM) from the frame in position ‘0’ where no dye is usually present, which we called the “reference” frame. SSIM is higher if images have similar pixel values and lower if there is greater difference. The frame with the lowest similarity index from the reference frame was selected as most likely containing peak-contrast (e.g. when the artery is full of contrast). Up to 8 frames were then extracted from each video by retaining the reference frame, the peak-contrast frame and the 3 frames immediately preceding and following the peak-contrast frame. This is referred to as the “extracted” Full Dataset frames ( = 1,418,297). Semua bingkai video telah ditukar kepada imej saiz 512*512 piksel untuk analisis algoritmik. n Untuk semua algoritma, kecuali Algorithm 3, data dibahagikan secara rawak untuk setiap algoritma kepada set data Latihan (70%), Pembangunan (10%) dan Ujian (20%), masing-masing mengandungi pesakit yang tidak berlapis. , . 16 32 Label Algorithm 1 diambil secara langsung daripada metadata DICOM yang menggambarkan orientasi tengkorak-caudal dan LAO-RAO. Algorithm 2 dan 3 memerlukan anotasi oleh ahli kardiologi yang bersertifikat (Fig. Tambahan. Meja Tambahan daripada and Untuk Algoritma 4, stenosis diambil secara langsung daripada laporan prosedur. 8 1 2 3 Laporan Dataset Tidak lama selepas pelaksanaan prosedur, ahli-ahli kardiologi intervensi biasanya menafsirkan angiogram menggunakan penilaian visual, mengikut amalan klinikal standard, dan menerangkan keparahan stenosis koronari dalam laporan prosedur. teks laporan prosedur ini telah dibincangkan (lihat di bawah) untuk mengenal pasti: apa-apa penerangan stenosis arteri koronari, peratusan stenosis maksimum (disebut REPORT-stenosis) dan lokasi di salah satu daripada 11 segmen arteri koronari (Tabel Tambahan Kami mengenal pasti 9782 stenosis koronari dalam segmen arteri (REPORT-stenosis) dan mengenal pasti dalam 1766 pembuluh lengkap yang tidak-stenosed menghasilkan jumlah 10,088 segmen pembuluh yang tidak-stenosed, yang dihasilkan daripada 84,153 imej. ) Metadata dikeluarkan dari setiap video angiogram termasuk tarikh prosedur, primary (Right Anterior Oblique [RAO]/Left Anterior Oblique [LAO]) dan sekunder (cranio-caudal) sudut rotasi, pengenal ujian yang unik dan pengenal pesakit yang unik. non-matched REPORT-stenoses dikeluarkan daripada dataset. Kami juga mengecualikan video di mana wire guide intra-coronary hadir dalam lebih daripada 4 bingkai, seperti yang ditentukan secara automatik oleh Algorithm 3 (6,076 video, 41,780 stenosis-frame yang diidentifikasi dengan wire guide), kerana video-video ini mungkin mewakili intervensi koronari perkutani yang boleh mengubah peratusan stenosis dalam video itu (Gambar Tambahan. ); video telah disimpan daripada kajian sebelum penyisipan wire panduan intracoronary. 3 1 1 Text parsing methods Teks percuma daripada laporan prosedur pertama dibahagikan menggunakan kompa (“,”) atau tempoh (“.”). Apabila segmen koroner ditemui, kami mengenal pasti apa-apa deskripsi peratusan stenosis yang sesuai dengan meletakkan "%" dan nombor tiga digit terdekat dalam ayat itu. Kami mula-mula mencari menggunakan istilah standard (seperti "arteri koroner kanan"), kemudian meluaskan kata kunci dengan meninjau teks secara manual, melalui beberapa iterasi, untuk memasukkan singkatan yang paling biasa, spelling alternatif dan permutasi (seperti "RCA"). deskripsi kualitatif CHD obstruktif, seperti "ringan", "moderate" atau "keras" penyakit tidak dikeluarkan. Selain itu, kami mencari kata kunci seperti "thrombus", "obstruksi" atau "oklusion" dalam laporan; apabila terdapat dalam segmen koroner, 100% stenosis ditugaskan kepada segmen itu. Untuk analisis, segmen ostial dan coronary pro ). We did not analyze chronic total occlusions and stenoses in diagonals, marginals, septals, ramus, left posterior descending artery, left posterolateral or in bypass grafts. 3 3 Penyelidikan subjek manusia Kajian ini telah ditinjau oleh Lembaga Penilaian Institusi Universiti California, San Francisco dan keperluan untuk persetujuan didedahkan. pengesahan luaran telah ditinjau dan diluluskan oleh Lembaga Penilaian Universiti Ottawa. Perkembangan Algoritma Sistem CathAI terdiri daripada 4 algoritma rangkaian saraf yang dianjurkan dalam paip (Fig. ). Angiographic images are analyzed by each algorithm and “flow” sequentially to the next to accomplish the four foundational tasks for automated angiogram analysis: (1) classification of angiographic projection angle; (2) classification of an angiogram’s primary anatomic structure; (3) localization of relevant objects within an angiogram, including coronary artery sub-segments and stenoses; (4) prediction of coronary artery stenosis severity (as a percentage of artery narrowing). 1a Kami menyesuaikan masing-masing daripada 4 arsitektur rangkaian saraf berasaskan algoritma CathAI untuk mencapai tugas yang berkaitan dengan angiogram, seperti yang terperinci dalam seksyen di bawah. Sebagai ringkasan peringkat tinggi, Algorithm 1 menerima imej individu (ram video angiogram koroner) sebagai input dan mengenal pasti sudut proyeksi angiografi yang digunakan yang diterangkan oleh LAO-RAO dan sumbu tengkorak-kaudal (LAO tengkorak, RAO caudal, dll); label tersedia dari metadata setiap video. ), kerana ia adalah biasa untuk menangkap video angiogram yang mengandungi struktur anatomi bukan jantung seperti aorta atau arteri femoral. Algorithm 2 membolehkan CathAI untuk kemudian memberi tumpuan kepada hanya video angiogram yang mengandungi arteri koronari kiri dan kanan (LCA dan RCA, masing-masing). Algorithm 3 mendapati objek yang berkaitan dalam imej LCA dan RCA dengan mengeluarkan koordinat kotak sempadan untuk objek yang diidentifikasi (Video Tambahan). Lokasi stenosis arteri koronari ditugaskan mengikut tumpuan terbesar antara dua kotak sempadan 3 prediksi Algorithm sub-segmen arteri koronari dan stenosis (Gambar. Algorithm 4 menerima imej yang dipotong di sekeliling segmen arteri batu (dengan kotak sempadan Algorithm 3) dan meramalkan peratusan maksimum stenosis dalam imej sebagai nilai berterusan antara 0 dan 100 untuk setiap imej. 2 1b Algoritma 1: Klasifikasi sudut proyeksi angiografi Algorithm 1 menerima imej individu (gambar video) sebagai input dan mengenal pasti sudut proyeksi angiografi yang digunakan. sudut proyeksi merujuk kepada sudut fluoroskopik yang digunakan untuk mendapatkan imej, yang biasanya digambarkan pada dua sumbu yang ditakrifkan oleh LAO-RAO dan tengkorak-caudal (LAO tengkorak, RAO caudal, dan lain-lain). Untuk data latihan Algorithm 1, semua imej dari Set Data Lengkap yang dieksport dikategorikan ke dalam 12 kategori sudut proyeksi kanan kiri dan tengkorak-caudal berdasarkan sudut utama dan sekunder yang dieksport dari metadata setiap video (-180 dan 180 darjah untuk sudut utama dan -50 dan 50 darjah untuk sekunder; Jadual Tambahan Kemudian kami membahagikan Dataset Lengkap yang diekstrak kepada latihan (990,082), pembangunan (128,590) dan set data ujian (299,625). 1 Arsitektur Algorithm 1 didasarkan pada Xception, yang merupakan rangkaian saraf konvolusi yang telah mencapai prestasi canggih dalam tugas pengenalan imej. Ia telah dimulakan dengan berat ‘ImageNet’ , seperti yang biasa dilakukan untuk memulakan berat untuk konvergensi algoritma yang lebih cepat dalam tetapan pengklasifikasian imej; semua lapisan boleh dilatih. imej diperluaskan dengan zoom acak (range=0.2) dan putar putar (range=0.2). Dataset pembangunan digunakan untuk membandingkan prestasi algoritma dan hiperparameter tune halus menggunakan carian grid (Tabel Tambahan Kami bereksperimen dengan arsitektur yang berbeza seperti VGG-16, ResNet50 dan InceptionNet-V3 tetapi tidak mendapati apa-apa faedah yang meningkat berbanding dengan Xception. Pencarian grid digunakan untuk menyesuaikan hyperparameter. Set data ujian tidak digunakan sama sekali semasa latihan dan hanya digunakan untuk melaporkan prestasi akhir. Prediksi yang paling biasa di seluruh bingkai yang diekstrak setiap video ditugaskan sebagai proyeksi angiografi video itu; hubungan diselesaikan dengan memilih proyeksi dengan kebarangkalian purata tertinggi di semua bingkai. Kami menggunakan berat Algorithm 1 sebagai "model teras" untuk memulakan berat untuk latihan algoritma seterusnya berdasarkan arsitektur Xception. 33 34 5 Algorithm 2: klasifikasi struktur anatomi utama Algoritma 2 bertujuan untuk mengenal pasti struktur anatomi utama yang hadir dalam video angiografi (Tabel Tambahan ), since it is common to capture angiogram videos containing non-cardiac anatomic structures such as the aorta or the femoral artery during the procedure. To generate Algorithm 2 training data, we randomly selected 14,366 images from the extracted Full Dataset, and a cardiologist categorized each image into one of 11 classes describing the primary anatomic structure (Supplementary Table Kumpulan data ini dibahagikan kepada kumpulan data Latihan / Pembangunan / Ujian, yang mengandungi 9887 (70%), 1504 (10%), dan 2975 (20%) imej, masing-masing. Gambar-gambar ditingkatkan dengan zoom acak (range = 0.2) dan putar putar (range = 0.2). Struktur anatomi utama video yang diramalkan adalah ramalan mod semua bingkai Dataset penuh yang dikeluarkan. Hanya video yang mengandungi arteri koroner kanan atau kiri yang mengalir ke Algorithm 3 untuk analisis CathAI seterusnya (Gambar Tambahan. Skor F1 dan prestasi model bervariasi mengikut kelas anatomi, tetapi dalam kelas umum dengan bingkai yang lebih kecil mempunyai prestasi yang lebih rendah (Gambar Tambahan. ), mencadangkan kemungkinan untuk meningkatkan prestasi jika data yang lebih ditandai tersedia. 2 2 5 1 3b Algoritma 3: Lokalisasi objek angiogram Algorithm 3 bertujuan untuk melokalisasikan objek yang berkaitan dalam imej arteri koroner kiri dan kanan (hasil Algorithm 2). manakala Algorithm 3 dilatih untuk melokalisasikan pelbagai objek (Tabel Tambahan ), tugas-tugas yang paling kritikal kepada paip CathAI ialah (i) mengenal pasti segmen arteri koroner, (ii) mengenal pasti stenosis (jika ada) dan (iii) mengenal pasti objek lain yang berkaitan seperti guidewires atau sternotomy.Untuk mewujudkan data latihan untuk Algorithm 3, 2338 imej yang mengandungi kontras LCA dan RCA dengan dan tanpa stenosis (seperti yang diidentifikasi oleh Algorithm 2) telah disenaraikan oleh ahli kardiologi yang meletakkan kotak sempadan di sekeliling semua objek yang berkaitan dalam imej (Tabel Tambahan) Hanya stenosis dalam pembuluh epikardium utama, bukan cawangan samping seperti diagonal atau marginal, telah dilabelkan. Dalam 100% daripada 2338 bingkai, LCA atau RCA adalah struktur anatomi utama yang terkandung, dan arteri telah dipaparkan dengan baik, tidak dipenuhi dengan baik, dan tidak diisi dengan kurang, menurut ahli kardiologi yang mencantumkan. 3 3 Dalam paip CathAI kami yang terakhir, kami telah melatih dua versi Algorithm 3: Algorithm 3a telah dilatih dan menerima kedua-dua imej LCA dan RCA sebagai input. Oleh kerana RCA dalam projeksi LAO mengandungi bilangan imej yang ditandai yang terbesar dalam set data kami, kami juga melatih Algorithm 3b khusus pada projeksi ini untuk menunjukkan peningkatan prestasi yang mungkin daripada memfokuskan algoritma pada arteri / projeksi tertentu (RCA dalam LAO). Untuk melatih Algorithms 3a / b, kami membahagikan imej yang ditandai untuk tugas ini kepada dua set data berasingan: Satu yang mengandungi arteri koroner kiri / kanan (2,338 imej) dan satu yang mengandungi imej RCA dalam projeksi LAO (450 imej). Setiap set data kemudian dibahagikan kepada 90% latihan (2104 dan 40 Algorithms 3a/b employed the RetinaNet architecture and were trained using original hyperparameters RetinaNet telah mencapai prestasi terkini untuk lokalisasi objek seperti pengesanan pejalan kaki untuk kenderaan bebas Untuk tugas kami, Algorithms 3a/b output bounding box koordinat untuk mana-mana objek yang hadir dalam setiap imej input. Oleh kerana sesetengah segmen arteri dalam projeksi angiografi tertentu diketahui a priori untuk dipersingkat atau tidak kelihatan, kami menggunakan heuristik post-hoc untuk mengecualikan segmen arteri tertentu yang diramalkan oleh Algorithm 3a/b daripada projeksi angiografi seperti yang diramalkan oleh Algorithm 1 (Tabel Tambahan) Ini mewakili penggabungan ramalan pertengahan daripada dua algoritma paip CathAI untuk mencapai prestasi paip keseluruhan yang lebih relevan secara klinikal.Untuk menilai prestasi Algorithm 3a/b, koordinat yang diramalkan dibandingkan dengan koordinat dasar kebenaran menggunakan perbandingan kawasan persimpangan di atas kawasan persatuan (disebut Intersection-over-union [IoU]) IoU ≥0.5 antara koordinat yang diramalkan dan ditandai dianggap positif sejati.Selepas itu, kami mengukur ketepatan purata (mAP), yang mewakili perbandingan positif sejati dan positif palsu pada ambang yang berbeza IoU, untuk setiap kelas. MAP 50% membandingkan dengan hasil terkini untuk jenis tugas ini , . 16 35 4 36 37 16 35 Algoritma 4: meramalkan peratusan stenosis arteri koroner Algoritma 4 telah dibangunkan untuk meramalkan keparahan stenosis arteri koroner sebagai peratusan, diberikan imej input dipotong di sekitar segmen arteri stenosis yang diidentifikasi oleh Algoritma 3. Algoritma 3a/b dijalankan pada semua video set data Laporan untuk meletakkan segmen arteri dan stenosis. Semua bingkai yang mengandungi kotak sempadan stenosis meliputi dengan kotak sempadan segmen arteri koroner dengan IoU ≥0.20 terdiri daripada bingkai input potensial untuk Algoritma 4. Sebuah stenosis telah ditempatkan kepada segmen arteri yang telah diidentifikasi oleh Algoritma 3 yang mempunyai tumpuan terbesar oleh IoU. Untuk menghasilkan label latihan / ujian untuk Algoritma 4, kami meliputi batu persamaan yang ditemukan oleh Algoritma 3a/3b dengan peratusan stenosis yang terdapat dalam laporan pros Nilai laporan prosedur yang sesuai berfungsi sebagai label untuk melatih Algorithm 4 dengan imej input yang dipotong di sekeliling segmen arteri yang dipalsukan mengikut kotak sempadan Algorithm 3a/b. Stenosis yang tidak dipalsukan telah dikeluarkan daripada set data kami. Kami juga mengecualikan semua video di mana kawat panduan intra-koronari hadir dalam lebih daripada 4 bingkai, seperti yang ditentukan secara automatik oleh Algorithm 3a/b (6,076 video, 41,780 bingkai stenosis yang diidentifikasi dengan kawat panduan), kerana video-video ini mungkin mewakili campur tangan koronari perkutani yang boleh mengubah peratusan stenosis dalam video itu (Gambar Tambahan. Untuk melatih dan mengesahkan Algorithm 4, kami menggabungkan 6258 imej segmen arteri koroner yang tidak terstenoid dengan 98,756 imej stenosis yang tersisa. 1 1 Sebaik sahaja stenosis diidentifikasi, koordinat kotak sempadan diperluaskan dengan 12 piksel dalam semua dimensi, kemudian dipotong dan diubah saiz kepada yang terdekat daripada tiga saiz yang telah ditentukan: 256*256 piksel (aspek perbandingan no.1), 256*128 piksel (aspek perbandingan no.2) dan 128*256 piksel (aspek perbandingan no.3). Ini dilakukan untuk memaksimumkan perbandingan isyarat kepada bunyi (tubuh ke latar belakang), disebabkan oleh orientasi pembuluh dan saiz stenosis yang berbeza. "Rapport Dataset" yang digunakan untuk melatih Algorithm 4 terdiri daripada 105,014 imej (6667 stenosis yang berasal daripada 2,736 pesakit dan 5,134 segmen pembuluh yang sihat dari 1,160 pesakit; Gambar Tambahan. Oleh kerana segmen pembuluh darah non-stenosed cenderung untuk lebih panjang daripada pembuluh darah fokus yang mungkin bias latihan, kami memotong semua segmen non-stenosed secara rawak ke ketinggian dan lebar, mencerminkan perkongsian saiz imej stenosis dalam segmen koronar itu. 1 Algorithm 4 didasarkan pada arsitektur Xception yang diubahsuai di mana lapisan terakhir (lapisan Softmax, yang digunakan untuk klasifikasi) digantikan dengan lapisan "pulau purata" kemudian lapisan padat dengan fungsi pengaktifan linier untuk membolehkan prediksi keparahan stenosis sebagai nilai peratusan berterusan. Metadata imej yang terdiri daripada label segmen arteri koronari dan rasio aspek dipotong juga telah ditambah sebagai input ke lapisan akhir Algorithm 4, yang meningkatkan prestasi. Algoritma mengeluarkan nilai peratusan stenosis antara 0 dan 100 untuk setiap imej input yang mewakili stenosis maksimum dalam segmen arteri koronari itu. Nilai peratusan kemudian diukur di seluruh bingkai segmen arteri stenosis dalam video, kemudian diukur di seluruh video segmen arteri yang sama untuk mendapatkan per Berat model dimulakan menggunakan yang daripada Algoritma yang dilatih 1. imej-imej ditambah secara rawak (baik horisontal dan vertikal), kontras rawak, variasi gamma dan kecerahan, aplikasi rawak pengilaian histogram adaptif (Untuk meningkatkan kontras dalam imej). algoritma dilatih untuk meminimalkan kerugian persegi antara yang diramalkan (AI-stenosis) dan laporan-stenosis menggunakan optimizer RADAM with an initial learning rate of 0.001, momentum of 0.9 and batch size of 12, trained for 50 epochs. Training was halted when loss stopped improving for 8 consecutive epochs in the test dataset. 38 For Algorithm 4, we modified the training scheme such that each epoch was trained on images of one aspect ratio, with the next epoch training on another aspect ratio (copying all weights from the previous iteration), as performed previously for multi-size inputs Kami mengukur prestasi algoritma pada set data ujian lengkap, yang terdiri daripada tiga rasio aspek. Kami mengamati bahawa konvergensi latihan input pelbagai saiz adalah seperti algoritma lain yang menggunakan saiz tetap untuk latihan. Kami juga mengkaji pelbagai pendekatan pra-pengolahan dan urutan tanpa peningkatan prestasi algoritma (Jadual Tambahan ) daripada 39 7S Rangkaian Neural Penjelasan Kami menggunakan dua pendekatan penjelasan rangkaian saraf kepada algoritma CathAI yang dilatih sepenuhnya untuk memahami lebih baik bagaimana algoritma membuat ramalan mereka, berkaitan dengan tugas-tugas relatif mereka. teknik menonjolkan kawasan imej yang paling penting untuk ramalan. kawasan yang ditekankan merah menunjukkan kepentingan yang lebih tinggi untuk ramalan algoritma, manakala kawasan yang ditekankan lebih biru menunjukkan kepentingan yang lebih rendah. , yang menyoroti piksel individu dalam imej yang paling menyumbang kepada ramalan algoritma. piksel yang lebih terang mewakili sumbangan yang lebih besar kepada ramalan algoritma. 17 18 Validasi Luar Untuk pengesahan albenda binari, kami secara rawak sampel 1000 video angiogram koronari yang dilakukan di Universiti Ottawa Heart Institute (UOHI) antara 1 Julai 2020 dan 31 Oktober 2020, diperolehi dengan sistem Philips Azurion (Koninklijke Philips N.V., Amsterdam, Belanda), pada 15 fps, menggunakan pewarna Iopromide. Algorithms 1, 2 dan 3 telah digunakan kepada setiap video untuk mengenal pasti dan mendedahkan stenosis, dan Algorithm 4 telah meramalkan AI-stenosis. Kami kemudian mengambil sampel sehingga 40 contoh video angiogram per segmen arteri koronari untuk membentuk dataset pengesahan luaran kami, mengidentifikasi jumlah 464 angiogram koronari dengan stenosis yang berbeza. Dua ahli kardiologi yang disahkan di UOHI, masing-masing dengan lebih daripada 2500 angstenostery koron Untuk melatih Algorithm CathAI 4 untuk distribusi populasi yang berbeza dalam dataset QCA, kami membahagikan dataset QCA kepada latihan (75%), pembangunan (12.5%) dan pengujian (12.5%) dan menyesuaikan dua lapisan terakhir Algorithm 4, untuk membolehkan algoritma mempelajari untuk meramalkan nilai-nilai stenosis QCA daripada imej stenosis input dan bukannya stenosis yang dinilai secara visual. Quantitative coronary angiography dataset Sistem CathAI menyediakan asas algorithmic untuk dilatih semula untuk tugas-tugas yang berkaitan dengan angiogram masa depan. Untuk menunjukkan ini, kami memperoleh satu set data luar angiogram koronari dari populasi pesakit yang berbeza a priori yang dinyatakan di makmal teras Institut Jantung Montreal (MHI) menggunakan sistem CMS QCA (MEDIS, Leiden, Belanda). Set data ini terdiri daripada angiogram yang dianalisis oleh makmal MHI Angiographic Core, yang diperolehi semasa ujian terkawal rawak (RCT) pada pesakit berusia ≥ 18 tahun yang mempunyai intervensi angiografi koronari sebagai sebahagian daripada kajian, dan menerima ubat-ubatan lipid rendah baru atau plasebo. Kajian di mana data ini dihasilkan menggunakan kriteria penyertaan yang mengecualikan pesakit dengan penyakit koroner koroner obstruktif (CAD) pada permulaan kajian, yang mengakibatkan majoriti stenosis koroner yang ringan hingga moderat dalam set data ini. Analisis QCA dilakukan oleh dua teknisi yang dilatih dan diselia oleh pakar perubatan. , . 40 6 13 Imej angiogram koronari diperolehi menggunakan Philips (Koninklijke Philips N.V., Amsterdam, Belanda), General Electric Medical Systems (General Electric, Chicago, Illinois, Amerika Syarikat) dan Toshiba (Toshiba Corporation, Minato City, Tokyo, Jepun) pada 15 bingkai setiap saat, dengan suntikan pewarna Iopromide ke dalam arteri koronari. Untuk setiap analisis stenosis QCA di makmal inti MHI, bingkai diastolic akhir dipilih dengan angulasi yang paling baik menunjukkan stenosis pada tahap yang paling teruk dengan penyempitan terendah dan cabang. perisian QCA secara automatik mengira peratusan stenosis diameter untuk segmen arteri koronari dengan diameter rujukan ≥1.5 mm. Set data RCT QCA ini mengandungi populasi pesakit yang berbeza a priori daripada set data UCSF klinikal dunia sebenar, kerana semua stenosis ≥ 50% tidak hadir semasa angiogram asas (tetapi boleh hadir pada angiogram tindak lanjut), meninggalkan terutamanya mild-CAD dengan kesukaran stenosis QCA purata 31.7% ± 11.6%. Ini menyediakan peluang yang optimal untuk mengkaji bagaimana CathAI boleh menyediakan asas untuk latihan semula menggunakan label stenosis QCA untuk berfungsi sebagai alat automatik untuk analisis angiogram makmal teras. Kami membahagikan set data QCA kepada latihan (75%), pembangunan (12.5%) dan pengujian (12.5%) dan menyesuaikan dua lapisan terakhir yang sepenuhnya disambungkan daripada Algorithm CathAI 4 untuk meramalkan nilai QCA bukannya perkiraan stenosis yang dinilai secara visual. Penilaian Algoritma dan Analisis Statistik Seperti yang sesuai untuk setiap tugas, prestasi setiap algoritma untuk nilai kategori dinilai menggunakan nilai prediktif positif (PPV), nilai prediktif negatif, kepekaan, spesifikasi, kawasan di bawah kurva karakteristik operasi penerima (AUC), skor F1 dan plot Bland-Altmann. dan korelasi Pearson dan kesilapan mutlak purata antara prediksi stenosis CathAI dan laporan stenosis atau QCA stenosis. 41 Rangkaian saraf dilatih menggunakan Keras v.2.24 dan TensorFlow v.1.12. prestasi algoritma akhir dilaporkan dalam Dataset Ujian. Algoritma 1 dan 2 dinilai pada tahap bingkai / imej menggunakan ketepatan (iaitu nilai prediktif positif), mengingat (sensitiviti) dan melukis prestasi menggunakan matriks kebingungan. Untuk menilai Algoritma 3a dan 3b, kami mengira kawasan persimpangan di atas kawasan persatuan (IoU) antara koordinat kotak sempadan yang diramalkan dan koordinat kotak sempadan yang dinyatakan oleh pakar objek dalam setiap kelas dalam set data ujian. . An IoU≥0.5 signifies at least 50% area of overlap between the predicted and true bounding-boxes, which we considered a true positive. We then report the performance of Algorithm 3a/b as the mean average precision (mAP) metric, which represents the ratio of true positives over true and false positives at different thresholds of IoU, for every class Nilai mAP 50% membandingkan dengan hasil terkini untuk jenis tugas ini , Kami juga memperkenalkan ketepatan purata purata untuk algoritma 3a dan algoritma 3b dengan mengira peratusan ramalan kelas yang betul dengan IoU ≥0.1 dengan label kebenaran asas kami di semua kelas kami dalam set data ujian kami, serta nilai prediktif positif lokalisasi stenosis menggunakan laporan atau set data QCA sebagai kebenaran asas. 36 37 16 35 Untuk menilai Algoritma 4, metrik utama yang menarik perhatian adalah kesilapan mutlak purata antara nilai dilaporkan (REPORT-stenosis) dan nilai dijangka (AI-stenosis) di peringkat arteri. , AI-stenosis peringkat imej dijangka di seluruh video untuk mendapatkan AI-stenosis peringkat video dan dibandingkan dengan REPORT-stenosis menggunakan kesilapan persekitaran purata. Keandalan diklasifikasikan sebagai buruk (< 0.5), moderat (0.50–0.75), baik (0.76-0.90), atau sangat baik (0.91-1.0).(52) Akhirnya, kami memaparkan kesilapan persegi rata-rata antara REPORT-stenosis dan AI-stenosis pada tahap video. 2 3 42 Untuk meramalkan binari "obstruktif" stenosis arteri koroner, ditakrifkan sebagai ≥ 70% stenosis , , ambang 0.54 digunakan yang mengoptimumkan skor F1. Berdasarkan ini, kami juga melaporkan kawasan di bawah kurva karakteristik operasi penerima (AUC), kepekaan, spesifikasi dan rasio peluang diagnostik , pada tahap bingkai, tahap video dan tahap arteri, berdasarkan ambang ini. 2 3 43 Interval keyakinan untuk metrik prestasi dihasilkan dengan memulakan 80% daripada data ujian melalui 1000 iterasi untuk mendapatkan nilai percentil 5 dan 95. kami memaparkan prestasi Algorithm 4 yang dilipatgandakan mengikut jantina, oleh arteri koronari kiri dan kanan, oleh segmen arteri dan oleh kumpulan umur. Nilai untuk interaksi (antara CathAI stenosis, covariates dan stenosis dikira oleh ujian Wald). Kami mengkategorikan AI-stenosis dan REPORT-stenosis dalam kumpulan lesion concordant dan discordant berdasarkan pemotongan visual ≥70%. Untuk lesion discordant kami memaparkan prevalensi mereka, berlapis mengikut segmen arteri koroner. Untuk lesion / data tahap pembuluh darah, model regresi logistik kesan campuran yang digunakan untuk memperhitungkan korelasi dalam subjek dan untuk angiogram berulang. P Laporan ringkasan Maklumat lanjut mengenai reka bentuk penyelidikan boleh didapati di terhubung kepada artikel ini. Laporan Penyelidikan Alam Data ketersediaan Data yang digunakan dalam kajian ini diperolehi daripada penjagaan klinikal dan oleh itu tidak disediakan secara awam kerana masalah privasi data. permintaan yang munasabah untuk kerjasama menggunakan data boleh dibuat daripada penulis, jika boleh dan dibenarkan oleh Regents of the University of California. Kod ketersediaan Kod yang menyokong kerja ini adalah hak cipta Regents of the University of California dan boleh disediakan melalui lesen. data yang digunakan untuk melatih dan mengesahkan algoritma tidak boleh dibuat tersedia secara awam kerana ia mengandungi maklumat kesihatan peribadi. Referensi Virani, S. S. et al. Heart Disease and Stroke Statistics—2021 Update: A Report From the American Heart Association. , e254–e743 (2021). Circulation 143 Manesh, R. P. et al. ACC/AATS/AHA/ASE/ASNC/SCAI/SCCT/STS 2017 Appropriate Use Criteria for Coronary Revascularization in Patients With Stable Ischemic Heart Disease: A Report of the American College of Cardiology Appropriate Use Criteria Task Force, American Association for Thoracic Surgery, American Heart Association, American Society of Echocardiography, American Society of Nuclear Cardiology, Society for Cardiovascular Angiography and Interventions, Society of Cardiovascular Computed Tomography, and Society of Thoracic Surgeons. , 2212–2241 (2017). J. Am. Coll Cardiol 69 Levine, G. N. et al. 2011 ACCF/AHA/SCAI Guideline for Percutaneous Coronary Intervention: executive summary: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines and the Society for Cardiovascular Angiography and Interventions. , 2574–2609 (2011). Circulation 124 Leape, L. L. et al. Effect of variability in the interpretation of coronary angiograms on the appropriateness of use of coronary revascularization procedures. , 106–113 (2000). Am. Heart J. 139 Haibo, Z. et al. Comparison of physician visual assessment with quantitative coronary angiography in assessment of stenosis severity in China. , 239–247 (2018). JAMA Intern Med. 178 Rohan, S. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the PROMISE trial. , 1–9 (2017). Am. Heart J. 184 Kussmaul, W. G., Popp, R. L. & John, N. Accuracy and reproducibility of visual coronary stenosis estimates using information from multiple observers. , 154–162 (1992). Clin Cardiol 15 Nallamothu, B. K. et al. Comparison of clinical interpretation with visual assessment and quantitative coronary angiography in patients undergoing percutaneous coronary intervention in contemporary practice. , 1793–1800 (2013). Circulation 127 Elbaz-Greener, G., Masih, S., Fang, J., Roifman, I. & Wijeysundera, H. C. Temporal trends in fractional flow reserve use in patients undergoing coronary angiography: A population-based study. , 10–18 (2019). Cjc Open 1 Tonino, P. A. L. et al. Fractional flow reserve versus angiography for guiding percutaneous coronary intervention. , 213–224 (2009). New Engl J Medicine 360 Islam, Y. E. et al. Temporal trends in inpatient use of intravascular imaging among patients undergoing percutaneous coronary intervention in the United States. . , 913–915 (2018). JACC Cardiovasc. Interv 11 Parikh, R. V. et al. Utilization and outcomes of measuring fractional flow reserve in patients with stable ischemic heart disease. , 409–419 (2020). J. Am. CollegeCardiol. 75 Paolo, G. et al. Quantitative coronary angiography in the current era: principles and applications. , 527–536 (2009). J. Interv. Cardiol 22 Shah, R. et al. Comparison of visual assessment of coronary stenosis with independent quantitative coronary angiography: Findings from the Prospective Multicenter Imaging Study for Evaluation of Chest Pain (PROMISE) trial. , 1–9 (2017). Am. Heart J. 184 Langlais, É. L. et al. Novel artificial intelligence applications in cardiology: Current landscape, limitations, and the road to real-world applications. . 1–13 (2022). J. Cardiovasc. Transl https://doi.org/10.1007/s12265-022-10260-x Tsung-Yi, L., Priya, G., Ross, G., Kaiming, H. & Piotr, D. Focal loss for dense object detection. Preprint at (2017). https://arxiv.org/abs/1708.02002 Selvaraju, R. R. et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. , 336–359 (2019). Int J Comput Vis 128 Nathan, M. T., Chen, B. Y. & Friedland, G. Efficient saliency maps for explainable AI. Preprint at (2019). https://arxiv.org/abs/1911.11293 Chengyang, Z. et al. Automated deep learning analysis of angiography video sequences for coronary artery disease. Preprint at (2021). https://arxiv.org/abs/2101.12505 Yang, S. et al. Major vessel segmentation on X-ray coronary angiography using deep networks with a novel penalty loss function. , 16897 (2019). Sci. Rep. 9 Nasr-Esfaha, E. et al. Segmentation of vessels in angiograms using convolutional neural networks. , 240–251 (2018). Biomed. Signal Process. Control 40 Benjamin, A. et al. Automated characterization of stenosis in invasive coronary angiography images with convolutional neural networks. Preprint at (2018). https://arxiv.org/abs/1807.10597 Athanasios, V. & Krystian, M. Deep segmentation and registration in X-ray angiography video. Preprint at (2018). https://arxiv.org/abs/1805.06406 Jingfan, F. et al. Multichannel fully convolutional network for coronary artery segmentation in X-Ray angiograms. , 44635–44643 (2018). IEEE Access 6 Moon, J. H. et al. Automatic stenosis recognition from coronary angiography using convolutional neural networks. , 105819 (2021). Comput Methods Programs Biomed. 198 Iyer, K. et al. AngioNet: a convolutional neural network for vessel segmentation in X-ray angiography. , 18066 (2021). Sci. Rep-uk 11 Yang, S. et al. Automatic coronary artery segmentation in X-ray angiograms by multiple convolutional neural networks. 31–35 (2018). Assoc. Comput. Mach. https://doi.org/10.1145/3195588.3195592 Du, T. et al. Training and validation of a deep learning architecture for the automatic analysis of coronary angiography. , 32–40 (2021). Eurointervention 17 Marcus, M. L. et al. Visual estimates of percent diameter coronary stenosis: “a battered gold standard.”. , 882–885 (1988). J. Am. Coll Cardiol. 11 Xu, X. et al. Sex differences in assessing stenosis severity between physician visual assessment and quantitative coronary angiography. , 9–14 (2022). Int. J. Cardiol. 348 Morris, P. D., Curzen, N. & Gunn, J. P. Angiography‐derived fractional flow reserve: More or less physiology? , e015586 (2020). J. Am. Heart Assoc. 9 Jaemin, S., Jun, P., Sang & Kyu-Hwan, J. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. Preprint at (2017). https://arxiv.org/abs/1706.09318 Chollet, F. Xception: Deep Learning with Depthwise Separable Convolutions. Preprint at (2017). https://arxiv.org/abs/1610.02357 Alex, K., Ilya, S. & Geoffrey, E. H. ImageNet classification with deep convolutional neural networks. in 1097–1105 (2012). Advances in Neural Information Processing Systems Minh, H. et al. Deep RetinaNet-based detection and classification of road markings by visible light camera sensors. , 281 (2019). Sensors (Basel) 19 Rezatofighi, H. et al. Generalized intersection over union: A metric and a loss for bounding box regression. . 658–666 (2019). Conference: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2019.00075 Tie-Yan, L. Learning to rank for information retrieval. , 225–331 (2007). Found Trends Inf. Retr 3 Liyuan, L. et al. On the variance of the adaptive learning rate and beyond. Preprint at (2019). https://arxiv.org/abs/1908.03265 Kaiming, H., Xiangyu, Z., Shaoqing, R. & Jian, S. Spatial pyramid pooling in deep convolutional networks for visual recognition. 346–361 (2014). Lect Notes Comput. Sci. Tardif, J.-C. et al. Effects of reconstituted high-density lipoprotein infusions on coronary atherosclerosis: A randomized controlled trial. , 1675–1682 (2007). JAMA 297 Koo, T. K. & Li, M. Y. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. , 155–163 (2016). J. Chiropr. Med. 15 Bland, J. M. & Altman, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. , 307–310 (1986). Lancet 327 Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. & Bossuyt, P. M. M. The diagnostic odds ratio: a single indicator of test performance. , 1129–1135 (2003). J. Clin. Epidemiol. 56 Acknowledgements RA is supported by the “Fonds de la recherche en santé du Québec » (Grant 274831). JEO received funds from the NIH (U2CEB021881). GHT received support from the National Institutes of Health NHLBI K23HL135274. KS has no relevant funding related to this manuscript. AW is supported by the National Science Foundation Graduate Research Fellowship under Grant No. DGE 1752814. YS is supported by a Mid-Career Investigator Award by the Heart and Stroke Foundation of Ontario. J-CT holds the Canada Research Chair in personalized and translational medicine and the University of Montreal endowed research chair in atherosclerosis. JEG is funded by the NSF CISE Expeditions Award CCF-1730628 as well as gifts from Amazon Web Services, Ant Group, CapitalOne, Ericsson, Facebook, Futurewei, Google, Intel, Microsoft, Nvidia, Scotiabank, Splunk and VMware. The funders had no role in study design, data collection and analysis, decision to publish or preparation of the manuscript. Dokumen ini ialah under CC by 4.0 Deed (Attribution 4.0 International) license. Tersedia di Alam Dokumen ini ialah di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Tersedia di Alam