Authors: Ittai Dayan Holger R. Roth Aoxiao Zhong Ahmed Harouni Amilcare Gentili Anas Z. Abidin Andrew Liu Anthony Beardsworth Costa Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang Chun-Nan Hsu C. K. Lee Peiying Ruan Daguang Xu Dufan Wu Eddie Huang Felipe Campos Kitamura Griffin Lacey Gustavo César de Antônio Corradi Gustavo Nino Hao-Hsin Shin Hirofumi Obinata Hui Ren Jason C. Crane Jesse Tetreault Jiahui Guan John W. Garrett Joshua D. Kaggie Jung Gil Park Keith Dreyer Krishna Juluru Kristopher Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru Masoom A. Haider Meena AbdelMaseeh Nicola Rieke Pablo F. Damasceno Pedro Mario Cruz e Silva Pochuan Wang Sheng Xu Shuichi Kawano Sira Sriswasdi Soo Young Park Thomas M. Grist Varun Buch Watsamon Jantarabenjakul Weichung Wang Won Young Tak Xiang Li Xihong Lin Young Joon Kwon Abood Quraini Andrew Feng Andrew N. Priest Baris Turkbey Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Chin Lin Chiu-Ling Lai Christopher P. Hess Colin Compas Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul Pierre Elnajjar Sarah Hickman Sharmila Majumdar Shelley L. McLeod Sheridan Reed Stefan Gräf Stephanie Harmon Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li ผู้เขียน : Ittai Dayan Holger R. Roth มณฑลซานตง Ahmed Harouni Amilcare Gentili Anas Z. Abidin Andrew Liu Anthony Beardsworth คอสตา Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang โบสถ์ C. K. Lee Peiying Ruan Daguang Xu Dufan Wu Eddie Huang Felipe Campos Kitamura Griffin Lacey Gustavo César de Antônio Corradi กูสเตว Nino Hao-Hsin Shin ฮิโรฟูมิ Obinata Hui Ren Jason C. Crane เจสซี Tetreault ชาวญี่ปุ่น จอห์น W. Garrett Joshua D. Kaggie Jung Gil Park Keith Dreyer Krishna Juluru Kristopher Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru เมซูอม A. Haider Meena AbdelMaseeh นิกโกลา Rieke แป๊อโล F. Damasceno Pedro Mario Cruz e Silva Pochuan Wang Sheng Xu Shuichi Kawano Sira Sriswasdi สวนเด็ก Soo จอห์น M. Grist หนังสือ Varun Watsamon Jantarabenjakul โบสถ์ Wang วินเทจ มณฑลซาน Xihong Lin Young Joon Kwon Abood Quraini Andrew Feng Andrew N. Priest Baris Turkbey Benjamin Glicksberg บาร์นาร์โดเบซโซ Byung Seok Kim แคโลสโทร์ดิเอส Chia-Cheng Lee Chia-Jung Hsu Chin Lin ภาษาไทย Christopher P. Hess Colin Compas ลึกลงไป Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul พีเรีย Elnajjar Sarah Hickman แชร์มิลล์ เซลเลย์ L. McLeod Sheridan Reed Stefan Gräf สเตฟานีฮาร์โมน Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li Abstract Federated learning (FL) is a method used for training artificial intelligence models with data from multiple sources while maintaining data anonymity, thus removing many barriers to data sharing. Here we used data from 20 institutes across the globe to train a FL model, called EXAM (electronic medical record (EMR) chest X-ray AI model), that predicts the future oxygen requirements of symptomatic patients with COVID-19 using inputs of vital signs, laboratory data and chest X-rays. EXAM achieved an average area under the curve (AUC) >0.92 for predicting outcomes at 24 and 72 h from the time of initial presentation to the emergency room, and it provided 16% improvement in average AUC measured across all participating sites and an average increase in generalizability of 38% when compared with models trained at a single site using that site’s data. For prediction of mechanical ventilation treatment or death at 24 h at the largest independent test site, EXAM achieved a sensitivity of 0.950 and specificity of 0.882. In this study, FL facilitated rapid data science collaboration without data exchange and generated a model that generalized across heterogeneous, unharmonized datasets for prediction of clinical outcomes in patients with COVID-19, setting the stage for the broader use of FL in healthcare. หน้าหลัก สมาคมวิทยาศาสตร์วิชาการแพทย์และวิทยาศาสตร์ข้อมูลได้มาพร้อมกันในสภาพแวดล้อมของภาวะซึมเศร้า COVID-19 เพื่อประเมิน paradigms ใหม่ ๆ ในอัจฉริยะเทียม (AI) ที่รวดเร็วและปลอดภัยและอาจกระตุ้นการแบ่งปันข้อมูลและการฝึกอบรมและทดสอบแบบจําลองโดยไม่มีอุปสรรคความเป็นส่วนตัวและทรัพย์สินข้อมูลปกติของความร่วมมือแบบดั้งเดิม , ผู้ให้บริการด้านการดูแลสุขภาพนักวิจัยและอุตสาหกรรมได้มุ่งเน้นไปที่การตอบสนองความต้องการทางคลินิกที่ไม่ได้ตอบสนองและสําคัญที่เกิดจากการวิกฤตด้วยผลลัพธ์ที่โดดเด่น , , , , , , การจ้างงานการทดลองทางคลินิกได้รับการเร่งและอํานวยความสะดวกโดยหน่วยงานกํากับดูแลในประเทศและจิตวิญญาณของความร่วมมือระหว่างประเทศ , , . The data analytics and AI disciplines have always fostered open and collaborative approaches, embracing concepts such as open-source software, reproducible research, data repositories and making available anonymized datasets publicly , . The pandemic has emphasized the need to expeditiously conduct data collaborations that empower the clinical and scientific communities when responding to rapidly evolving and widespread global challenges. Data sharing has ethical, regulatory and legal complexities that are underscored, and perhaps somewhat complicated, by the recent entrance of large technology companies into the healthcare data world , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 A concrete example of these types of collaboration is our previous work on an AI-based SARS-COV-2 clinical decision support (CDS) model. This CDS model was developed at Mass General Brigham (MGB) and was validated across multiple health systems’ data. The inputs to the CDS model were chest X-ray (CXR) images, vital signs, demographic data and laboratory values that were shown in previous publications to be predictive of outcomes of patients with COVID-19 , , , . CXR was selected as the imaging input because it is widely available and commonly indicated by guidelines such as those provided by ACR , the Fleischner Society โพสต์ WHO , national thoracic societies คู่มือ COVID และวิทยาวิทยาวิทยาทั่วโลก . The output of the CDS model was a score, termed CORISK , that corresponds to oxygen support requirements and that could aid in triaging patients by frontline clinicians , , . Healthcare providers have been known to prefer models that were validated on their own data . To date most AI models, including the aforementioned CDS model, have been trained and validated on ‘narrow’ data that often lack diversity , , potentially resulting in overfitting and lower generalizability. This can be mitigated by training with diverse data from multiple sites without centralization of data using methods such as transfer learning , or FL. FL is a method used to train AI models on disparate data sources, without the data being transported or exposed outside their original location. While applicable to many industries, FL has recently been proposed for cross-institutional healthcare research . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 Federated learning supports the rapid launch of centrally orchestrated experiments with improved traceability of data and assessment of algorithmic changes and impact วิธีการหนึ่งในการ FL, ที่เรียกว่าลูกค้าเซิร์ฟเวอร์, ส่งรุ่น ‘ไม่ฝึก’ ไปยังเซิร์ฟเวอร์อื่น ๆ (‘โซเดียม’) ที่ดําเนินการงานการฝึกอบรมบางส่วน, ในทางกลับกันส่งผลลัพธ์กลับเพื่อให้รวมเข้ากับเซิร์ฟเวอร์กลาง (‘พันธมิตร’) นี้จะดําเนินการเป็นกระบวนการ iterative จนกว่าการฝึกอบรมจะเสร็จสมบูรณ์ . 37 36 การจัดการข้อมูลสําหรับ FL ถูกรักษาไว้ในท้องถิ่นเพื่อบรรเทาความกังวลเกี่ยวกับความเป็นส่วนตัว ด้วยการสื่อสารระหว่างเว็บไซต์ลูกค้าและเซิร์ฟเวอร์พันธมิตรเท่านั้น , . FL has already shown promise in recent medical imaging applications , , , , including in COVID-19 analysis , , . A notable example is a mortality prediction model in patients infected with SARS-COV-2 that uses clinical features, albeit limited in terms of number of modalities and scale . 38 39 40 41 42 43 8 44 45 46 วัตถุประสงค์ของเราคือการพัฒนารูปแบบที่แข็งแกร่งและทั่วไปซึ่งสามารถช่วยในการทดสอบผู้ป่วย เราพิจารณาว่ารูปแบบ CDS สามารถเชื่อมต่อได้อย่างประสบความสําเร็จเนื่องจากใช้ข้อมูลอินพุตที่ค่อนข้างทั่วไปในปฏิบัติทางคลินิกและไม่ได้ขึ้นอยู่กับการประเมินสถานะของผู้ป่วยโดยผู้ประกอบการ (เช่นความประทับใจทางคลินิกหรืออาการที่รายงาน) แทนที่ผลการทํางานของห้องปฏิบัติการสัญญาณสําคัญการศึกษาภาพและข้อมูลประชากร (เช่นอายุ) ที่เก็บรวบรวมโดยทั่วไปจึงมีการฝึกอบรมใหม่รูปแบบ CDS กับข้อมูลที่หลากหลายโดยใช้วิธีการ FL ของลูกค้ากับเซิร์ฟเวอร์เพื่อพัฒนารูปแบบ FL ทั่วโลกใหม่ซึ่งเรียกว่า EXAM โดยใช้คุณสมบัติ CXR และ EMR ในฐานะการป้อนข้อมูล โดยใช้ประโยชน์จาก FL สถาบันที่เข้าร่วมไม่จําเป็นต้องถ่ายโอนข้อมูลไปยัง Our hypothesis was that EXAM would perform better than local models and would generalize better across healthcare systems. Results โครงสร้างแบบจําลอง EXAM รูปแบบ EXAM ขึ้นอยู่กับรูปแบบ CDS ที่กล่าวถึงข้างต้น . In total, 20 features (19 from the EMR and one CXR) were used as input to the model. The outcome (that is, ‘ground truth’) labels were assigned based on patient oxygen therapy after 24- and 72-hour periods from initial admission to the emergency department (ED). A detailed list of the requested features and outcomes can be seen in Table . 27 1 The outcome labels of patients were set to 0, 0.25, 0.50 and 0.75 depending on the most intensive oxygen therapy the patient received in the prediction window. The oxygen therapy categories were, respectively, room air (RA), low-flow oxygen (LFO), high-flow oxygen (HFO)/noninvasive ventilation (NIV) or mechanical ventilation (MV). If the patient died within the prediction window, the outcome label was set to 1. This resulted in each case being assigned two labels in the range 0–1, corresponding to each of the prediction windows (that is, 24 and 72 h). For EMR features, only the first values captured in the ED were used and data preprocessing included deidentification, missing value imputation and normalization to zero-mean and unit variance. For CXR images, only the first obtained in the ED was used. The model therefore fuses information from both EMR and CXR features, using a 34-layer convolutional neural network (ResNet34) to extract features from a CXR and a Deep & Cross network to concatenate the features together with the EMR features (for more expanded details, see ). The model output is a risk score, termed the EXAM score, which is a continuous value in the range 0–1 for each of the 24- and 72-hour predictions corresponding to the labels described above. Methods Federating the model The EXAM model was trained using a cohort of 16,148 cases, making it not only among the first FL models for COVID-19 but also a very large and multicontinent development project in clinically relevant AI (Fig. ). Data between sites were not harmonized before extraction and, in light of real-life clinical informatics circumstances, a meticulous harmonization of the data input was not conducted by the authors (Fig. ). 1a,b 1C,D , World map indicating the 20 different client sites contributing to the EXAM study. , Number of cases contributed by each institution or site (client 1 represents the site contributing the largest number of cases). , Chest X-ray intensity distribution at each client site. , Age of patients at each client site, showing minimum and maximum ages (asterisks), mean age (triangles) and standard deviation (horizontal bars). The number of samples of each client site is shown in Supplementary Table . a b c d 1 We compared locally trained models with the global FL model on each client’s test data. Training the model through FL resulted in a significant performance improvement ( « 1 × 10–3, การทดสอบการลงนามของ Wilcoxon) ของ 16% (ตามที่กําหนดโดย AUC โดยเฉลี่ยเมื่อเรียกใช้รุ่นในชุดทดสอบท้องถิ่นที่เกี่ยวข้อง: จาก 0.795 ถึง 0.920, หรือ 12.5 จุดเปอร์เซ็นต์) (ภาพ. ). It also resulted in 38% generalizability improvement (as defined by average AUC when running the model on all test sets: from 0.667 to 0.920, or 25.3 percentage points) of the best global model for prediction of 24-h oxygen treatment compared with models trained only on a site’s own data (Fig. ). For the prediction results of 72-h oxygen treatment, the best global model training resulted in an average performance improvement of 18% compared to locally trained models, while generalizability of the global model improved on average by 34% (Extended Data Fig. ). The stability of our results was validated by repeating three runs of local and FL training on different randomized data splits. P 2a 2b 1 , Performance on each client’s test set in prediction of 24-h oxygen treatment for models trained on local data only (Local) versus that of the best global model available on the server (FL (gl. best)). Av., average test performance across all sites. , Generalizability (average performance on other sites’ test data, as represented by average AUC) as a function of a client’s dataset size (no. of cases). The green horizontal line denotes the generalizability performance of the best global model. The performance for 18 of 20 clients is shown, because client 12 had outcomes only for 72-h oxygen (Extended Data Fig. ) and client 14 had cases only with RA treatment, such that the evaluation metric (av. AUC) was not applicable in either of these cases ( ). Data for client 14 were also excluded from computation of average generalizability in local models. a b 1 Methods รุ่นท้องถิ่นที่ได้รับการฝึกอบรมโดยใช้ cohorts ที่ไม่สมดุล (เช่นกรณีส่วนใหญ่อ่อนของ COVID-19) ได้รับประโยชน์อย่างมีนัยสําคัญจากวิธีการ FL ด้วยการปรับปรุงอย่างมีนัยสําคัญในการคาดการณ์ประสิทธิภาพ AUC อัตราเฉลี่ยสําหรับหมวดหมู่ที่มีเพียงไม่กี่กรณี สิ่งนี้เป็นที่เห็นได้ชัดในเว็บไซต์ลูกค้า 16 (ชุดข้อมูลที่ไม่สมดุล) กับผู้ป่วยส่วนใหญ่ที่มีความรุนแรงของโรคเบาและมีเพียงไม่กี่กรณีที่รุนแรง รุ่น FL ได้บรรลุอัตราความจริงเชิงบวกที่สูงขึ้นสําหรับสองกรณีบวก (รุนแรง) และอัตราความลึกลับเชิงบวกที่ต่ํากว่าอย่างมีนัยสําคัญเมื่อเทียบกับรุ่นท้องถิ่นทั้งแสดงในแผนภูมิ ROC และเมตริกส์ความสับสน (ภาพ. และ Extended Data Fig สิ่งที่สําคัญยิ่งขึ้นคือความสามารถในการรวมตัวของรุ่น FL ได้เพิ่มขึ้นอย่างมีนัยสําคัญเมื่อเทียบกับรุ่นที่ได้รับการฝึกอบรมในท้องถิ่น 3a 2 , ROC at client site 16, with unbalanced data and mostly mild cases. , ROC of the local model at client site 12 (a small dataset), mean ROC of models trained on larger datasets corresponding to the five client sites in the Boston area (1, 4, 5, 6, 8) and ROC of the best global model in prediction of 72-h oxygen treatment for different thresholds of EXAM score (left, middle, right). The mean ROC is calculated based on five locally trained models while the gray area denotes the ROC standard deviation. ROCs for three different cutoff values ( ) of the EXAM risk score are shown. Pos and neg denote the number of positive and negative cases, respectively, as defined by this range of EXAM score. a b t In the case of client sites with relatively small datasets, the best FL model markedly outperformed not only the local model but also those trained on larger datasets from five client sites in the Boston area of the USA (Fig. ). 3b The global model performed well in predicting oxygen needs at 24/72 h in patients both COVID positive and negative (Extended Data Fig. ). 3 การยืนยันในเว็บไซต์ที่เป็นอิสระ Following initial training, EXAM was subsequently tested at three independent validation sites: Cooley Dickinson Hospital (CDH), Martha’s Vineyard Hospital (MVH) and Nantucket Cottage Hospital (NCH), all in Massachusetts, USA. The model was not retrained at these sites and it was used only for validation purposes. The cohort size and model inference results are summarized in Table , and the ROC curves and confusion matrices for the largest dataset (from CDH) are shown in Fig. . จุดปฏิบัติการถูกตั้งค่าเพื่อแยกแยะระหว่างการระบายอากาศที่ไม่ใช่กลและการระบายอากาศกล (MV) การรักษา (หรือการตาย) แบบ FL แบบฝึกอบรมทั่วโลก EXAM ได้บรรลุ AUC โดยเฉลี่ยของ 0.944 และ 0.924 สําหรับงานการคาดการณ์ 24 ชั่วโมงและ 72 ชั่วโมงตามลําดับ (ตาราง) สําหรับการคาดการณ์การรักษา MV (หรือการตาย) ที่ 24 ชั่วโมง, EXAM ได้บรรลุความไวของ 0.950 และความเฉพาะเจาะจงของ 0.882 ที่ CDH และความไวของ 1.000 ความเฉพาะเจาะจงของ 0.934 ที่ MVH NCH ไม่ได้มีกรณีใด ๆ กับ MV / ตายที่ 24 ชั่วโมง ในแง่ของการคาดการณ์ MV 72 ชั่วโมง, EXAM ได้บรรลุความไวของ 0.929 และความเฉพาะเจาะจงของ 0.880 ที่ CDH, ความไวของ 1.000 และความเฉพาะเจาะจงของ 0.976 ที่ MVH และความไวของ 1.000 และความเฉพาะเจาะจงของ 0.929 ที่ NCH 2 4 2 , , Performance (ROC) (top) and confusion matrices (bottom) of the EXAM FL model on the CDH dataset for prediction of oxygen requirement at 24 h ( ) and 72 h ( ). ROCs for three different cutoff values ( ) of the EXAM risk score are shown. a b a b t For MV at CDH at 72 h, EXAM had a low false-negative rate of 7.1%. Representative failure cases are presented in Extended Data Fig. , showing two false-negative cases from CDH where one case had many missing EMR data features and the other had a CXR with a motion artifact and some missing EMR features. 4 Use of differential privacy A primary motivation for healthcare institutes to use FL is to preserve the security and privacy of their data, as well as adherence to data compliance measures. For FL, there remains the potential risk of model ‘inversion’ or even the reconstruction of training images from the model gradients themselves . To counter these risks, security-enhancing measures were used to mitigate risk in the event of data ‘interception’ during site-server communication . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL . Through investigation of a partial weight-sharing scheme , , , we showed that models can reach a comparable performance even when only 25% of weight updates are shared (Extended Data Fig. ). 47 48 49 50 50 51 52 5 Discussion This study features a large, real-world healthcare FL study in terms of number of sites and number of data points used. We believe that it provides a powerful proof-of-concept of the feasibility of using FL for fast and collaborative development of needed AI models in healthcare. Our study involved multiple sites across four continents and under the oversight of different regulatory bodies, and thus holds the promise of being provided to different regulated markets in an expedited way. The global FL model, EXAM, proved to be more robust and achieved better results at individual sites than any model trained on only local data. We believe that consistent improvement was achieved owing to a larger, but also a more diverse, dataset, the use of data inputs that can be standardized and avoidance of clinical impressions/reported symptoms. These factors played an important part in increasing the benefits from this FL approach and its impact on performance, generalizability and, ultimately, the model’s usability. For a client site with a relatively small dataset, two typical approaches could be used for fitting a useful model: one is to train locally with its own data, the other is to apply a model trained on a larger dataset. For sites with small datasets, it would have been virtually impossible to build a performant deep learning model using only their local data. The finding, that these two approaches were outperformed on all three prediction tasks by the global FL model, indicates that the benefit for client sites with small datasets arising from participation in FL collaborations is substantial. This is probaby a reflection of FL’s ability to capture more diversity than local training, and to mitigate the bias present in models trained on a homogenous population. An under-represented population or age group in one hospital/region might be highly represented in another region—such as children who might be differentially affected by COVID-19, including disease manifestations in lung imaging . 46 ผลการตรวจสอบยืนยันว่ารุ่นทั่วโลกมีความแข็งแกร่งซึ่งรองรับแนวโน้มของเราว่ารุ่นที่ได้รับการฝึกอบรมด้วย FL สามารถนําไปใช้กันอย่างแพร่หลายในระบบการดูแลสุขภาพ พวกเขาให้กรณีที่น่าเชื่อถือสําหรับการใช้อัลกอริทึมการคาดการณ์ในการดูแลผู้ป่วย COVID-19 และการใช้ FL ในการสร้างและทดสอบแบบจําลอง โดยการเข้าร่วมการศึกษานี้เว็บไซต์ลูกค้าได้รับการเข้าถึง EXAM เพื่อได้รับการยืนยันเพิ่มเติมก่อนทําการอนุมัติตามกฎระเบียบหรือการแนะนําในอนาคตในการดูแลทางคลินิก แผนจะดําเนินการเพื่อยืนยัน EXAM ในสภาพแวดล้อม ‘การผลิต’ ที่ MGB ใช้ทรัพยากรเป้าหมายของ COVID-19 , as well as at different sites that were not a part of the EXAM training. 53 Over 200 prediction models to support decision-making in patients with COVID-19 have been published ไม่เหมือนกับส่วนใหญ่ของการเผยแพร่ที่มุ่งเน้นไปที่การวินิจฉัยของ COVID-19 หรือการคาดการณ์ความตายเราคาดการณ์ความต้องการออกซิเจนที่มีผลต่อการจัดการผู้ป่วย นอกจากนี้เรายังใช้กรณีที่มีสถานะ SARS-COV-2 ที่ไม่รู้จักดังนั้นรุ่นนี้จึงสามารถให้ข้อมูลเข้าสู่แพทย์ก่อนที่จะได้รับผลสําหรับ PCR ด้วยการแปลกลับ (RT-PCR) ทําให้เป็นประโยชน์สําหรับการตั้งค่าทางคลินิกในชีวิตจริง การเข้าสู่ระบบภาพของรุ่นนี้ใช้ในการปฏิบัติทั่วไปซึ่งแตกต่างจากรูปแบบที่ใช้ CT, โมดูลการวินิจฉัยแบบไม่เห็นด้วยกัน การออกแบบของรุ่นนี้ถูก จํากัด ไปยังผู้คาดการณ์วัตถุประสงค์ซึ่งแตกต่างจากการศึกษาจํานวนมากที่เผยแพร่ซึ่งใช้ประโยชน์จากความประทับใจทางคลินิกโดยทั่วไป ข้อมูลที่เก็บรวบรวมสะท้อนถึงอัตราการเกิดที่แตกต่างกันและ 19 Patient cohort identification and data harmonization are not novel issues in research and data science แต่มีความซับซ้อนมากขึ้นเมื่อใช้ FL เนื่องจากขาดการมองเห็นในชุดข้อมูลของเว็บไซต์อื่น ๆ การปรับปรุงระบบข้อมูลทางคลินิกเป็นสิ่งจําเป็นเพื่อปรับปรุงการเตรียมข้อมูลอย่างมีประสิทธิภาพซึ่งจะนําไปสู่การใช้ประโยชน์ที่ดีขึ้นของเครือข่ายเว็บไซต์ที่เข้าร่วมใน FL สิ่งนี้ร่วมกับวิศวกรรมไฮเปอร์พารามิเตอร์สามารถช่วยให้อัลกอริทึม ‘เรียนรู้’ อย่างมีประสิทธิภาพมากขึ้นจากชุดข้อมูลที่ใหญ่ขึ้นและปรับพารามิเตอร์แบบจําลองไปยังไซต์เฉพาะเพื่อให้สามารถปรับแต่งข้อมูลเพิ่มเติมได้เช่นโดยการปรับความละเอียดเพิ่มเติมในไซต์ . A system that would allow seamless, close-to real-time model inference and results processing would also be of benefit and would ‘close the loop’ from training to model deployment. 54 39 Because data were not centralized they are not readily accessible. Given that, any future analysis of the results, beyond what was derived and collected, is limited. Similar to other machine learning models, EXAM is limited by the quality of the training data. Institutions interested in deploying this algorithm for clinical care need to understand potential biases in the training. For example, the labels used as ground truth in the training of the EXAM model were derived from 24- and 72-h oxygen consumption in the patient; it is assumed that oxygen delivered to the patient equates the oxygen need. However, in the early phase of the COVID-19 pandemic, many patients were provided high-flow oxygen prophylactically regardless of their oxygen need. Such clinical practice could skew the predictions made by this model. Since our data access was limited, we did not have sufficient available information for the generation of detailed statistics regarding failure causes, post hoc, at most sites. However, we did study failure cases from the largest independent test site, CDH, and were able to generate hypotheses that we can test in the future. For high-performing sites, it seems that most failure cases fall into one of two categories: (1) low quality of input data—for example, missing data or motion artifact in CXR; or (2) out-of-distribution data—for example a very young patient. In future, we also intend to investigate the potential for a ‘population drift’ due to different phases of disease progression. We believe that, owing to the diversity across the 20 sites, this risk may have been mitigated. A feature that would enhance these kinds of large-scale collaboration is the ability to predict the contribution of each client site towards improving the global FL model. This will help in client site selection, and in prioritization of data acquisition and annotation efforts. The latter is especially important given the high costs and difficult logistics of these large-consortia endeavors, and it will enable these endeavors to capture diversity rather than the sheer quantity of data samples. Future approaches may incorporate automated hyperparameter searching , neural architecture search and other automated machine learning approaches to find the optimal training parameters for each client site more efficiently. 55 56 57 Known issues of batch normalization (BN) in FL motivated us to fix our base model for image feature extraction เพื่อลดความแตกต่างระหว่างเว็บไซต์ลูกค้าที่ไม่สมดุล การทํางานในอนาคตอาจสํารวจเทคนิคการปกติที่แตกต่างกันเพื่อให้การฝึกอบรมรูปแบบ AI ใน FL มีประสิทธิภาพมากขึ้นเมื่อข้อมูลลูกค้าไม่เป็นอิสระและกระจายกัน 58 49 Recent works on privacy attacks within the FL setting have raised concerns on data leakage during model training . Meanwhile, protection algorithms remain underexplored and constrained by multiple factors. While differential privacy algorithms , , แสดงการป้องกันที่ดีอาจลดประสิทธิภาพของรุ่น อัลกอริทึมการเข้ารหัสเช่นการเข้ารหัสแบบ homomorphic , maintain performance but may substantially increase message size and training time. A quantifiable way to measure privacy would allow better choices for deciding the minimal privacy parameters necessary while maintaining clinically acceptable performance , , . 59 36 48 49 60 36 48 49 Following further validation, we envision deployment of the EXAM model in the ED setting as a way to evaluate risk at both the per-patient and population level, and to provide clinicians with an additional reference point when making the frequently difficult task of triaging patients. We also envision using the model as a more sensitive population-level metric to help balance resources between regions, hospitals and departments. Our hope is that similar FL efforts can break the data silos and allow for faster development of much-needed AI models in the near future. Methods Ethics approval All procedures were conducted in accordance with the principles for human experimentation as defined in the Declaration of Helsinki and International Conference on Harmonization Good Clinical Practice guidelines, and were approved by the relevant institutional review boards at the following validation sites: CDH, MVH, NCH and at the following training sites: MGB, Mass General Hospital (MGH), Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital (all eight of these hospitals were covered under MGB’s ethics board reference, no. 2020P002673, and informed consent was waived by the instititional review board (IRB). Similarly, participation of the remaining sites was approved by their respective relevant institutional review processes: Children’s National Hospital in Washington, DC (no. 00014310, IRB certified exempt); NIHR Cambridge Biomedical Research Centre (no. 20/SW/0140, informed consent waived); The Self-Defense Forces Central Hospital in Tokyo (no. 02-014, informed consent waived); National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration (no. 202108026 W, informed consent waived); Tri-Service General Hospital in Taiwan (no. B202105136, informed consent waived); Kyungpook National University Hospital in South Korea (no. KNUH 2020-05-022, informed consent waived); Faculty of Medicine, Chulalongkorn University in Thailand (nos. 490/63, 291/63, informed consent waived); Diagnosticos da America SA in Brazil (no. 26118819.3.0000.5505, informed consent waived); University of California, San Francisco (no. 20-30447, informed consent waived); VA San Diego (no. H200086, IRB certified exempt); University of Toronto (no. 20-0162-C, informed consent waived); National Institutes of Health in Bethesda, Maryland (no. 12-CC-0075, informed consent waived); University of Wisconsin-Madison School of Medicine and Public Health (no. 2016-0418, informed consent waived); Memorial Sloan Kettering Cancer Center in New York (no. 20-194, informed consent waived); and Mount Sinai Health System in New York (no. IRB-20-03271, informed consent waived). MI-CLAIM guidelines for reporting of clinical AI models were followed (Supplementary Note ) 2 Study setting The study included data from 20 institutions (Fig. ): MGB, MGH, Brigham and Women's Hospital, Newton-Wellesley Hospital, North Shore Medical Center และ Faulkner Hospital; Children's National Hospital in Washington, DC; NIHR Cambridge Biomedical Research Centre; The Self-Defense Forces Central Hospital in Tokyo; National Taiwan University MeDA Lab และ MAHC และ Taiwan National Health Insurance Administration; Tri-Service General Hospital in Taiwan; Kyungpook National University Hospital in South Korea; Faculty of Medicine, Chulalongkorn University in Thailand; Diagnosticos da America SA in Brazil; University of California, San Francisco; VA San Diego; University of Toronto; National Institutes of Health in Bethesda, Maryland; University of Wisconsin-Madison School of Medicine and Public Health; Memorial Sloan Kettering Cancer Center in New York; และ Mount Sinai Health , , . ข้อมูลจากเว็บไซต์สามแห่งที่ใช้สําหรับการยืนยันอิสระ: CDH, MVH และ NCH ทั้งหมดใน Massachusetts, USA โรงพยาบาลสามแห่งเหล่านี้มีลักษณะของประชากรผู้ป่วยที่แตกต่างจากสถานที่ฝึกอบรม ข้อมูลที่ใช้สําหรับการยืนยันอัลกอริทึมประกอบด้วยผู้ป่วยที่ได้รับ ED ในไซต์เหล่านี้ระหว่างเดือนมีนาคม 2020 และเดือนกุมภาพันธ์ 2021 และที่ตอบสนองเกณฑ์การรวมเดียวกันกับข้อมูลที่ใช้ในการฝึกอบรมรูปแบบ FL 1a 61 62 63 Data collection The 20 client sites prepared a total of 16,148 cases (both positive and negative) for the purposes of training, validation and testing of the model (Fig. ). ข้อมูลทางการแพทย์ได้รับการเข้าถึงในแง่ของผู้ป่วยที่ตอบสนองเกณฑ์การรวมการศึกษา เว็บไซต์ของลูกค้าพยายามที่จะรวมทุกกรณี COVID-positive จากจุดเริ่มต้นของปานาเมียในเดือนธันวาคม 2019 และจนถึงเวลาที่พวกเขาเริ่มการฝึกอบรมในท้องถิ่นสําหรับการศึกษา EXAM การฝึกอบรมในท้องถิ่นทั้งหมดเริ่มขึ้นเมื่อวันที่ 30 กันยายน 2020 เว็บไซต์ยังรวมผู้ป่วยอื่น ๆ ในช่วงเดียวกันที่มีผลการทดสอบ RT-PCR ที่ลบ เนื่องจากเว็บไซต์ส่วนใหญ่มีผู้ป่วย SARS-COV-2 ที่ลบกว่าผู้ป่วย -positive เรา จํากัด จํานวนผู้ป่วยเชิงลบที่รวมไว้เป็นสูงสุด 95% ของกรณีทั้งหมดในแต่ละเว็บไซต์ของลูกค้า 1b A ‘case’ included a CXR and the requisite data inputs taken from the patient’s medical record. A breakdown of the cohort size of the dataset for each client site is shown in Fig. . The distribution and patterns of CXR image intensity (pixel values) varied greatly among sites owing to a multitude of patient- and site-specific factors, such as different device manufacturers and imaging protocols, as shown in Fig. . Patient age and EMR feature distribution varied greatly among sites, as expected owing to the differing demographics between globally distributed hospitals (Extended Data Fig. ). 1b 1c,d 6 Patient inclusion criteria Patient inclusion criteria were: (1) patient presented to the hospital’s ED or equivalent; (2) patient had a RT–PCR test performed at any time between presentation to the ED and discharge from the hospital; (3) patient had a CXR in the ED; and (4) patient’s record had at least five of the EMR values detailed in Table , all obtained in the ED, and the relevant outcomes captured during hospitalization. Of note, The CXR, laboratory results and vitals used were the first available for capture during the visit to the ED. The model did not incorporate any CXR, laboratory results or vitals acquired after leaving the ED. 1 แบบอินพุต In total, 21 EMR features were used as input to the model. The outcome (that is, ground truth) labels were assigned based on patient requirements after 24- and 72-h periods from initial admission to the ED. A detailed list of the requested EMR features and outcomes can be seen in Table . 1 การกระจายการประมวลผลออกซิเจนโดยใช้อุปกรณ์ที่แตกต่างกันในเว็บไซต์ของลูกค้าที่แตกต่างกันจะแสดงใน Fig Data Extended , which details the device usage at admission to the ED and after 24- and 72-h periods. The difference in dataset distribution between the largest and smallest client sites can be seen in Extended Data Fig. . 7 8 The number of positive COVID-19 cases, as confirmed by a single RT–PCR test obtained at any time between presentation to the ED and discharge from the hospital, is listed in Supplementary Table . Each client site was asked to randomly split its dataset into three parts: 70% for training, 10% for validation and 20% for testing. For both 24- and 72-h outcome prediction models, random splits for each of the three repeated local and FL training and evaluation experiments were independently generated. 1 การพัฒนารูปแบบการสอบ There is wide variation in the clinical course of patients who present to hospital with symptoms of COVID-19, with some experiencing rapid deterioration in respiratory function requiring different interventions to prevent or mitigate hypoxemia , . A critical decision made during the evaluation of a patient at the initial point of care, or in the ED, is whether the patient is likely to require more invasive or resource-limited countermeasures or interventions (such as MV or monoclonal antibodies), and should therefore receive a scarce but effective therapy, a therapy with a narrow risk–benefit ratio due to side effects or a higher level of care, such as admittance to the intensive care unit . In contrast, a patient who is at lower risk of requiring invasive oxygen therapy may be placed in a less intensive care setting such as a regular ward, or even released from the ED for continuing self-monitoring at home . EXAM was developed to help triage such patients. 62 63 64 65 Of note, the model is not approved by any regulatory agency at this time and it should be used only for research purposes. EXAM score EXAM was trained using FL; it outputs a risk score (termed EXAM score) similar to CORISK (Extended Data Fig. ) and can be used in the same way to triage patients. It corresponds to a patient’s oxygen support requirements within two windows—24 and 72 h—after initial presentation to the ED. Extended Data Fig. illustrates how CORISK and the EXAM score can be used for patient triage. 27 9a 9b Chest X-ray images were preprocessed to select the anterior position image and exclude lateral view images, and then scaled to a resolution of 224 × 224. As shown in Extended Data Fig. , the model fuses information from both EMR and CXR features (based on a modified ResNet34 with spatial attention pretrained on the CheXpert dataset) และเครือข่าย Deep & Cross เพื่อให้เข้ากันได้กับประเภทข้อมูลที่แตกต่างกันเหล่านี้เวกเตอร์ฟังก์ชั่น 512 มิติถูกสกัดจากภาพ CXR แต่ละตัวโดยใช้ ResNet34 ที่ได้รับการฝึกอบรมล่วงหน้าด้วยความสนใจในพื้นที่แล้วเชื่อมโยงกับคุณสมบัติ EMR เป็นข้อมูลเข้าสําหรับเครือข่าย Deep & Cross ผลลัพธ์สุดท้ายคือค่าต่อเนื่องในช่วง 0-1 สําหรับการคาดการณ์ทั้ง 24 ชั่วโมงและ 72 ชั่วโมงซึ่งสอดคล้องกับฉลากที่อธิบายไว้ข้างต้นตามที่แสดงในภาพข้อมูลขยาย . We used cross-entropy as the loss function and ‘Adam’ as the optimizer. The model was implemented in Tensorflow using the NVIDIA Clara Train SDK . The average AUC for the classification tasks (≥LFO, ≥HFO/NIV or ≥MV) was calculated and used as the final evaluation metric, with normalization to zero-mean and unit variance. CXR images were preprocessed to select the correct series and exclude lateral view images, then scaled to a resolution of 224 × 224 (ref. ). 9a 66 67 68 9b 69 70 27 Feature imputation and normalization A MissForest algorithm was used to impute EMR features, based on the local training dataset. If an EMR feature was completely missing from a client site dataset, the mean value of that feature, calculated exclusively on data from MGB client sites, was used. Then, EMR features were rescaled to zero-mean and unit variance based on statistics calculated on data from the MGB client sites. 71 Details of EMR–CXR data fusion using the Deep & Cross network To model the interactions of features from EMR and CXR data at the case level, a deep-feature scheme was used based on a Deep & Cross network architecture . Binary and categorical features for the EMR inputs, as well as 512-dimensional image features in the CXR, were transformed into fused dense vectors of real values by embedding and stacking layers. The transformed dense vectors served as input to the fusion framework, which specifically employed a crossing network to enforce fusion among input from different sources. The crossing network performed explicit feature crossing within its layers, by conducting inner products between the original input feature and output from the previous layer, thus increasing the degree of interaction across features. At the same time, two individual classic deep neural networks with several stacked, fully connected feed-forward layers were trained. The final output of our framework was then derived from the concatenation of both classic and crossing networks. 68 FL details Arguably the most established form of FL is implemention of the federated averaging algorithm as proposed by McMahan et al. , or variations thereof. This algorithm can be realized using a client-server setup where each participating site acts as a client. One can think of FL as a method aiming to minimize a global loss function by reducing a set of local loss functions, which are estimated at each site. By minimizing each client site’s local loss while also synchronizing the learned client site weights on a centralized aggregation server, one can minimize global loss without needing to access the entire dataset in a centralized location. Each client site learns locally, and shares model weight updates with a central server that aggregates contributions using secure sockets layer encryption and communication protocols. The server then sends an updated set of weights to each client site after aggregation, and sites resume training locally. The server and client site iterate back and forth until the model converges (Extended Data Fig. ). 72 9c A pseudoalgorithm of FL is shown in Supplementary Note . In our experiments, we set the number of federated rounds at = 200, with one local training epoch per round at each client. The number of clients, , was up to 20 depending on the network connectivity of clients or available data for a specific targeted outcome period (24 or 72 h). The number of local training iterations, , depends on the dataset size at each client และใช้เพื่อน้ําหนักการมีส่วนร่วมของลูกค้าแต่ละรายเมื่อรวบรวมน้ําหนักโมเดลในค่าเฉลี่ยสหพันธมิตร ในระหว่างงานการฝึกอบรม FL ทุกเว็บไซต์ลูกค้าเลือกรุ่นท้องถิ่นที่ดีที่สุดโดยการติดตามประสิทธิภาพของรุ่นในชุดการยืนยันท้องถิ่น ในเวลาเดียวกันเซิร์ฟเวอร์จะกําหนดรุ่นระดับโลกที่ดีที่สุดตามคะแนนการยืนยันเฉลี่ยที่ส่งจากไซต์ลูกค้าแต่ละรายไปยังเซิร์ฟเวอร์หลังจากรอบการฝึกอบรม FL ทุกครั้ง หลังจากเสร็จสิ้นการฝึกอบรม FL รุ่นท้องถิ่นที่ดีที่สุดและรุ่นระดับโลกที่ดีที่สุดจะถูกแบ่งปันโดยอัตโนมัติกับเว็บไซต์ลูกค้าทั้งหมดและประเมินจากข้อมูลการทดสอบท้องถิ่นของพวกเขา 1 T t K nk k When training on local data only (the baseline), we set the epoch number to 200. The Adam optimizer was used for both local training and FL with an initial learning rate of 5 × 10–5 and a stepwise learning rate decay with a factor 0.5 after every 40 epochs, which is important for the convergence of federated averaging การเปลี่ยนแปลง affine แบบสุ่มรวมถึงการหมุนการแปลการตัดการปรับขนาดและเสียงรบกวนความเข้มแบบสุ่มและการเปลี่ยนแปลงถูกนําไปใช้กับภาพเพื่อเพิ่มข้อมูลในระหว่างการฝึกอบรม 73 Owing to the sensitivity of BN layers when dealing with different clients in a nonindependent and identically distributed setting, we found the best model performance occurred when keeping the pretrained ResNet34 with spatial attention พารามิเตอร์ที่แก้ไขในระหว่างการฝึกอบรม FL (เช่นใช้อัตราการเรียนรู้ของศูนย์สําหรับชั้นเหล่านั้น) เครือข่าย Deep & Cross ซึ่งรวมคุณสมบัติภาพกับคุณสมบัติ EMR ไม่ประกอบด้วยชั้น BN และจึงไม่ได้รับผลกระทบจากปัญหาความไม่มั่นคงของ BN 58 47 In this study we investigated a privacy-preserving scheme that shares only partial model updates between server and client sites. The weight updates were ranked during each iteration by magnitude of contribution, and only a certain percentage of the largest weight updates was shared with the server. To be exact, weight updates (also known as gradients) were shared only if their absolute value was above a certain percentile threshold, (t) (Extended Data Fig. ), which was computed from all non-zero gradients, Δ , and could be different for each client ในแต่ละรอบ FL . Variations of this scheme could include additional clipping of large gradients or differential privacy schemes that add random noise to the gradients, or even to the raw data, before feeding into the network . k 5 Wk(t) k t 49 51 Statistical analysis We conducted a Wilcoxon signed-rank test to confirm the significance of the observed improvement in performance between the locally trained model and the FL model for the 24- and 72-h time points (Fig. and Extended Data Fig. ). hypothesis null ได้รับการปฏิเสธด้วยด้านเดียว « 1 × 10–3 in both cases. 2 1 P Pearson’s correlation was used to assess the generalizability (robustness of the average AUC value to other client sites’ test data) of locally trained models in relation to respective local dataset size. Only a moderate correlation was observed ( = 0.43, = 0.035, degrees of freedom (df) = 17 for the 24-h model and = 0.62, = 0.003, df = 16 for the 72-h model). This indicates that dataset size alone is not the only factor determining a model’s robustness to unseen data. r P r P To compare ROC curves from the global FL model and local models trained at different sites (Extended Data Fig. ), we bootstrapped 1,000 samples from the data and computed the resulting AUCs. We then calculated the difference between the two series and standardized using the formula = (AUC1 – AUC2)/ , where is the standardized difference, is the standard deviation of the bootstrap differences and AUC1 and AUC2 are the corresponding bootstrapped AUC series. By comparing with normal distribution, we obtained the values illustrated in Supplementary Table . The results show that the null hypothesis was rejected with very low ค่าที่แสดงถึงความสําคัญทางสถิติของความเหนือกว่าของผลลัพธ์ FL การคํานวณของ ค่าใช้จ่ายที่ดําเนินการใน R กับห้องสมุด pROC . 3 D s D s D P 2 P P 74 เนื่องจากรุ่นนี้คาดการณ์ผลลัพธ์ที่แตกต่างกันคะแนนอย่างต่อเนื่องจาก 0 ถึง 1 การประเมินการ kalibrating ที่เรียบง่ายเช่น qqplot ไม่เป็นไปได้ ดังนั้น สําหรับการประเมินการ kalibrating ที่ปริมาณได้เราได้วัดความแตกต่าง (ตัวอักษรข้อมูลขยาย) ). We conducted one-way analysis of variation (ANOVA) tests to compare local and FL model scores among four ground truth categories (RA, LFO, HFO, MV). The -statistic, calculated as the variation between the sample means divided by variation within the samples and representing the degree of dispersion among different groups, was used to quantify the models. Our results show that the -values of five different local sites are 245.7, 253.4, 342.3, 389.8 and 634.8, while that of the FL model is 843.5. Given that larger -ค่าหมายความว่ากลุ่มสามารถแยกออกได้มากขึ้นคะแนนจากรุ่น FL ของเราแสดงให้เห็นถึงการกระจายตัวที่ยิ่งใหญ่ขึ้นระหว่างสี่ประเภทของความจริงพื้นฐาน นอกจากนี้การ value of the ANOVA test on the FL model is <2 × 10–16, indicating that the FL prediction scores are statistically significantly different among the different prediction classes. 10 F F F P Reporting Summary Further information on research design is available in the เชื่อมโยงกับบทความนี้ Nature Research Reporting Summary การเข้าถึงข้อมูล The dataset from the 20 institutes that participated in this study remains under their custody. These data were used for training at each of the local sites and were not shared with any of the other participating institutions or with the federated server, and they are not publicly available. Data from the independent validation sites are maintained by CAMCA, and access can be requested by contacting Q.L. Based on determination by CAMCA, a data-sharing review and amendment of IRB for research purposes can be conducted by MGB research administration and in accordance with MGB IRB and policy. Code availability All code and software used in this study are publicly available at NGC. To access, log in as a guest or create a profile then enter one of the URLs below. The trained models, data preparation guidelines, code for training, validating testing of the model, readme file, installation guideline and license files are publicly available at NVIDIA NGC : The federated learning software is available as part of the Clara Train SDK: หรือใช้คําสั่งนี้เพื่อดาวน์โหลดรูปแบบ “wget --content-disposition” -O clara_train_covid19_exam_ehr_xray_1.zip”. 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip References Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 การยอมรับ ความเห็นที่แสดงในงานของลูกค้าที่ระบุไว้ในการศึกษานี้เป็นของผู้เขียนและไม่จําเป็นต้องเป็นของ NHS, NIHR, Department of Health and Social Care หรือองค์กรใด ๆ ที่เกี่ยวข้องกับผู้เขียน MGB ขอขอบคุณบุคคลต่อไปนี้สําหรับการสนับสนุน: J. Brink, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; M. Kalra, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; N. Neumark, Center for Clinical Data Science, Massachusetts General Brigham, Boston, MA; T. Schultz, Department of Radiology, Massachusetts General Hospital, Boston, MA; N. Guo, Center for Advanced Medical Computing and Analysis, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; J. K. Cramer, Director, QTIM Research, this lab at the . The Faculty of Medicine, Chulalongkorn University thank the Ratchadapisek Sompoch Endowment Fund RA (PO) (no. 001/63) for the collection and management of COVID‐19-related clinical data and biological specimens for the Research Task Force, Faculty of Medicine, Chulalongkorn University. NIHR Cambridge Biomedical Research Centre thank A. Priest, who is supported by the NIHR (Cambridge Biomedical Research Centre at the Cambridge University Hospitals NHS Foundation Trust). National Taiwan University MeDA Lab and the MAHC and Taiwan National Health Insurance Administration thank the MOST Joint Research Center for AI technology, the All Vista Healthcare National Health Insurance Administration, Taiwan, the Ministry of Science and Technology, Taiwan and the National Center for Theoretical Sciences Mathematics Division. National Institutes of Health (NIH) acknowledge that the NIH Medical Research Scholars Program is a public–private partnership supported jointly by the NIH and by generous contributions to the Foundation for the NIH from the Doris Duke Charitable Foundation, the American Association for Dental Research, the Colgate-Palmolive Company, Genentech, alumni of student research programs and other individual supporters via contributions to the Foundation for the NIH. https://data.ucsf.edu/covid19 กระดาษนี้สามารถใช้ได้ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) กระดาษนี้เป็น ภายใต้ใบอนุญาต CC by 4.0 Deed (Attribution 4.0 International) available on nature
