Автори на: Ittai Dayan Holger R. Roth Aoxiao Zhong Ahmed Harouni Amilcare Gentili Anas Z. Abidin Andrew Liu Anthony Beardsworth Costa Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang Chun-Nan Hsu C. K. Lee Peiying Ruan Daguang Xu Dufan Wu Eddie Huang Felipe Campos Kitamura Griffin Lacey Gustavo César de Antônio Corradi Gustavo Nino Hao-Hsin Shin Hirofumi Obinata Hui Ren Jason C. Crane Jesse Tetreault Jiahui Guan John W. Garrett Joshua D. Kaggie Jung Gil Park Keith Dreyer Krishna Juluru Kristopher Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru Masoom A. Haider Meena AbdelMaseeh Nicola Rieke Pablo F. Damasceno Pedro Mario Cruz e Silva Pochuan Wang Sheng Xu Shuichi Kawano Sira Sriswasdi Soo Young Park Thomas M. Grist Varun Buch Watsamon Jantarabenjakul Weichung Wang Won Young Tak Xiang Li Xihong Lin Young Joon Kwon Abood Quraini Andrew Feng Andrew N. Priest Baris Turkbey Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Chin Lin Chiu-Ling Lai Christopher P. Hess Colin Compas Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul Pierre Elnajjar Sarah Hickman Sharmila Majumdar Shelley L. McLeod Sheridan Reed Stefan Gräf Stephanie Harmon Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li Автори на: Итај Дајан Холгер Р. Рот Аоксија Жонг Ahmed Harouni Почитување на добротворни Анас З. Абидин Андреј Лиу Ентони Беардсворт Коста Бредфорд Џ. Вуд Чиен-сунг Цаи Чих-Хонг Ванг Чун Нан Хсу К. К. Ли Пекинг Руан Дагуан Су Душан Ву Еди Хуанг Фелипе Кампос Китамура Грифин Лацеј Густаво Цезар од Антонио Корради Густаво Нино Хао-Хсин Шин Хирофуми Obinata Хај Рен Џејсон Крејн Jesse Tetreault Jiahui Guan Џон В. Гарет Џошуа Д. Каги Паркот Јунг Гил Keith Dreyer Кришна Јулуру Кристофер Керстен Марцио Алоисио Безерра Кавалканти Рокенбах Мариус Џорџ Лингурару Masoom A. Haider Мена Абделмасее Никола Рике Пабло Ф. Дамаскино Педро Марио Круз и Силва Почуван Ванг Шенг Су Шуичи Кавано Сира Сривасди Соу Јанг Парк Томас М. Грист Варана Книга Watsamon Jantarabenjakul Weichung Wang Победа на младите Xiang Li Сихонг Лин Младата Џон Квон Абуд Курани Андреј Фенг Андреј Н. Прист Baris Turkbey Benjamin Glicksberg Bernardo Bizzo Погледнете го Ким Карлос Тор-Диз Чија-Ченг Ли ЧИА-ЈУНГ ХСУ Кина Лин Чиу-линг лај Кристофер П. Хес Колин Компас Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Хисаши Сасаки Хитоши Мори Isaac Yang Џеј Хо Син Кришна Нанд Кешава Мурти Li-Chen Fu Матеј Рибеиро Фуртадо де Мендонса Mike Fralick Мина Киу Канг Mohammad Adil Натали Гангај Петар Ватикан Пјер Елнаџар Сара Хикман Шармила Маџудар Shelley L. McLeod Шеридан Рид Stefan Gräf Стефани Хармон Татсуја Кодама Потврда за пукање Тони Мазули Виктор Лима на работа Yothin Rakvongthai Ју Рим Ли Јонг Вејн Фиона Џилберт Mona G. Flores Кванџенг Ли апстракција Federated learning (FL) is a method used for training artificial intelligence models with data from multiple sources while maintaining data anonymity, thus removing many barriers to data sharing. Here we used data from 20 institutes across the globe to train a FL model, called EXAM (electronic medical record (EMR) chest X-ray AI model), that predicts the future oxygen requirements of symptomatic patients with COVID-19 using inputs of vital signs, laboratory data and chest X-rays. EXAM achieved an average area under the curve (AUC) >0.92 for predicting outcomes at 24 and 72 h from the time of initial presentation to the emergency room, and it provided 16% improvement in average AUC measured across all participating sites and an average increase in generalizability of 38% when compared with models trained at a single site using that site’s data. For prediction of mechanical ventilation treatment or death at 24 h at the largest independent test site, EXAM achieved a sensitivity of 0.950 and specificity of 0.882. In this study, FL facilitated rapid data science collaboration without data exchange and generated a model that generalized across heterogeneous, unharmonized datasets for prediction of clinical outcomes in patients with COVID-19, setting the stage for the broader use of FL in healthcare. Main Научните, академските, медицинските и научните заедници се собраа во лицето на пандемиската криза на COVID-19 за брзо да ги проценат новите парадигми во вештачката интелигенција (AI) кои се брзи и безбедни, и потенцијално да ги поттикнат споделувањето на податоци и обуката за моделирање и тестирање без вообичаените бариери за приватност и сопственост на податоци од конвенционалните соработки. , Доставувачите на здравствена заштита, истражувачите и индустријата го свртија своето внимание кон решавање на незадоволените и критичните клинички потреби создадени од кризата, со извонредни резултати. , , , , , , . Clinical trial recruitment has been expedited and facilitated by national regulatory bodies and an international cooperative spirit , , Дисциплините за анализа на податоци и вештачка интелигенција отсекогаш ги поттикнувале отворените и соработливи пристапи, прифаќајќи концепти како што се софтвер со отворен код, репродуктивни истражувања, складишта на податоци и достапни анонимни збирки на податоци за јавноста. , Пандемијата ја нагласи потребата за брза соработка со податоци која ќе ги поттикне клиничките и научните заедници при реагирање на брзо развивачките и широко распространети глобални предизвици. , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Конкретен пример за овие видови на соработка е нашата претходна работа на модел за клиничка поддршка за одлуки (CDS) на SARS-COV-2 базиран на АИ. Овој модел на CDS беше развиен во Mass General Brigham (MGB) и беше валидиран низ податоците на повеќе здравствени системи. Влезот во моделот на CDS беа градински рентгенски (CXR) слики, витални знаци, демографски податоци и лабораториски вредности кои се покажаа во претходните публикации да бидат предвидувачки за исходот на пациентите со COVID-19 , , , CXR е избран како влез за сликање, бидејќи е широко достапен и обично се означува со насоки како оние обезбедени од ACR. , the Fleischner Society Од страна на WHO Национални торачки општества Национално министерство за здравство COVID прирачници и радиологија општества низ целиот свет . The output of the CDS model was a score, termed CORISK , that corresponds to oxygen support requirements and that could aid in triaging patients by frontline clinicians , , . Healthcare providers have been known to prefer models that were validated on their own data До денес, повеќето модели на вештачка интелигенција, вклучувајќи го и претходно споменатиот модел на CDS, се обучени и валидирани на „тесни“ податоци кои честопати немаат разновидност. , , што потенцијално резултира со преоптоварување и пониска генерализабилност. Ова може да се намали со обука со различни податоци од повеќе локации без централизација на податоците using methods such as transfer learning , or FL. FL is a method used to train AI models on disparate data sources, without the data being transported or exposed outside their original location. While applicable to many industries, FL has recently been proposed for cross-institutional healthcare research . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 Federated learning supports the rapid launch of centrally orchestrated experiments with improved traceability of data and assessment of algorithmic changes and impact . One approach to FL, called client-server, sends an ‘untrained’ model to other servers (‘nodes’) that conduct partial training tasks, in turn sending the results back to be merged in the central (‘federated’) server. This is conducted as an iterative process until training is complete . 37 36 Управувањето со податоците за FL се одржува на локално ниво, олеснување на загриженоста за приватноста, со само тежини на модели или градиенти кои се комуницираат помеѓу клиентските сајтови и федеративниот сервер. , . FL has already shown promise in recent medical imaging applications , , , Анализа на COVID-19 , , Забележлив пример е моделот за предвидување на смртноста кај пациентите инфицирани со SARS-COV-2, кој користи клинички карактеристики, иако ограничени во однос на бројот на модалитети и скалата. . 38 39 40 41 42 43 8 44 45 46 Нашата цел беше да развиеме цврст, генерализиран модел кој би можел да помогне во триењето на пациентите. Теоретизиравме дека моделот на CDS може успешно да се федерализира, со оглед на употребата на податоците кои се релативно чести во клиничката пракса и кои во голема мера не се потпираат на оператор-зависни проценки на состојбата на пациентот (како што се клиничките впечатоци или пријавените симптоми). Наместо тоа, беа користени лабораториски резултати, витални знаци, студија за сликање и вообичаено заробена демографија (т.е. возраст). Затоа, го претрениравме моделот на CDS со разновидни податоци користејќи клиент-сервер FL пристап за да развиеме нов глобален FL модел, кој беше наречен EXAM, користејќи CX Нашата хипотеза беше дека ЕКСАМ ќе функционира подобро од локалните модели и ќе генерализира подобро низ здравствените системи. Results Модел на архитектура на испитот Моделот EXAM се базира на моделот CDS споменати погоре Вкупно, 20 карактеристики (19 од EMR и еден од CXR) се користат како влез во моделот. Етикетите за исходот (т.е. „земјата на вистината“) се доделуваат врз основа на терапијата со кислород на пациентот по 24- и 72-часовни периоди од почетокот на прием во одделот за итни случаи (ED). Детална листа на бараните карактеристики и резултати може да се види во Табела . 27 1 Етикетите за исходот на пациентите беа поставени на 0, 0,25, 0,50 и 0,75 во зависност од најинтензивната терапија со кислород која пациентот ја примил во прозорецот за предвидување. Категориите за терапија со кислород беа соодветно воздух во собата (РА), кислород со низок проток (LFO), кислород со висок проток (HFO)/неинвазивна вентилација (NIV) или механичка вентилација (MV). Ако пациентот умре во прозорецот за предвидување, етикетата за исходот беше поставена на 1. За функциите на ЕМР, биле користени само првите вредности зафатени во ЕД, а пред-обработката на податоците вклучувала деидентификација, пропуштена вредност и нормализација до нула-средна и единица варијанта. The model therefore fuses information from both EMR and CXR features, using a 34-layer convolutional neural network (ResNet34) to extract features from a CXR and a Deep & Cross network to concatenate the features together with the EMR features (for more expanded details, see ). The model output is a risk score, termed the EXAM score, which is a continuous value in the range 0–1 for each of the 24- and 72-hour predictions corresponding to the labels described above. Methods Федералниот модел Моделот EXAM беше обучен со користење на кохорта од 16.148 случаи, што го прави не само меѓу првите FL модели за COVID-19 туку и многу голем и мултиконтинентален проект за развој во клинички релевантна АИ (Слика. ). Data between sites were not harmonized before extraction and, in light of real-life clinical informatics circumstances, a meticulous harmonization of the data input was not conducted by the authors (Fig. ). 1а, б 1 г, д , World map indicating the 20 different client sites contributing to the EXAM study. , Number of cases contributed by each institution or site (client 1 represents the site contributing the largest number of cases). , Chest X-ray intensity distribution at each client site. , Age of patients at each client site, showing minimum and maximum ages (asterisks), mean age (triangles) and standard deviation (horizontal bars). The number of samples of each client site is shown in Supplementary Table . a b c d 1 Ние ги споредивме локално обучените модели со глобалниот модел FL на податоците за тестирање на секој клиент. « 1 × 10–3, Wilcoxon signed-rank test) of 16% (as defined by average AUC when running the model on respective local test sets: from 0.795 to 0.920, or 12.5 percentage points) (Fig. ). It also resulted in 38% generalizability improvement (as defined by average AUC when running the model on all test sets: from 0.667 to 0.920, or 25.3 percentage points) of the best global model for prediction of 24-h oxygen treatment compared with models trained only on a site’s own data (Fig. За резултатите од предвидувањето на 72-часовниот третман со кислород, најдобриот глобален модел за обука резултираше со просечно подобрување на перформансите од 18% во споредба со локално обучените модели, додека генерализацијата на глобалниот модел се подобри во просек за 34% (Extended Data Fig. ). The stability of our results was validated by repeating three runs of local and FL training on different randomized data splits. P 2а 2b 1 , Перформансите на тестот на секој клиент се поставени во предвидувањето на 24-часовната обработка на кислородот за модели обучени само на локални податоци (Локално) во однос на најдобриот глобален модел достапен на серверот (ФЛ (види најдобро). , Генерализабилност (просечна перформанса на податоците за тестот на другите сајтови, како што е претставен со просечната AUC) како функција на големината на сет на податоци на клиентот (без случаи). Зелената хоризонтална линија ја означува перформансата на генерализабилност на најдобриот глобален модел. ) и клиентот 14 имале случаи само со РА третман, така што мерката за проценка (од AUC) не е применлива во ниту еден од овие случаи ( ). Data for client 14 were also excluded from computation of average generalizability in local models. a b 1 Методи Локалните модели кои биле обучени со користење на нерамнотежени кохорти (на пример, главно благи случаи на COVID-19) во голема мера имале корист од пристапот FL, со значително подобрување на прогнозирање на просечната AUC перформанси за категории со само неколку случаи. Ова беше очигледно на клиентот сајт 16 (нерамнотежен сет на податоци), со повеќето пациенти кои доживуваат благи тежина на болеста и со само неколку тешки случаи. и проширени податоци Fig. ). More important, the generalizability of the FL model was considerably increased over the locally trained model. 3а 2 , ROC at client site 16, with unbalanced data and mostly mild cases. , ROC of the local model at client site 12 (a small dataset), mean ROC of models trained on larger datasets corresponding to the five client sites in the Boston area (1, 4, 5, 6, 8) and ROC of the best global model in prediction of 72-h oxygen treatment for different thresholds of EXAM score (left, middle, right). The mean ROC is calculated based on five locally trained models while the gray area denotes the ROC standard deviation. ROCs for three different cutoff values ( ) of the EXAM risk score are shown. Pos and neg denote the number of positive and negative cases, respectively, as defined by this range of EXAM score. a b t In the case of client sites with relatively small datasets, the best FL model markedly outperformed not only the local model but also those trained on larger datasets from five client sites in the Boston area of the USA (Fig. ). 3б The global model performed well in predicting oxygen needs at 24/72 h in patients both COVID positive and negative (Extended Data Fig. ). 3 Валидација на независни сајтови Following initial training, EXAM was subsequently tested at three independent validation sites: Cooley Dickinson Hospital (CDH), Martha’s Vineyard Hospital (MVH) and Nantucket Cottage Hospital (NCH), all in Massachusetts, USA. The model was not retrained at these sites and it was used only for validation purposes. The cohort size and model inference results are summarized in Table , и кривите на ROC и матриците за конфузија за најголемиот сет на податоци (од CDH) се прикажани на сликата. . The operating point was set to discriminate between nonmechanical ventilation and mechanical ventilation (MV) treatment (or death). The FL global trained model, EXAM, achieved an average AUC of 0.944 and 0.924 for 24- and 72-h prediction tasks, respectively (Table ), which exceeded the average performance among sites used in training EXAM. For prediction of MV treatment (or death) at 24 h, EXAM achieved a sensitivity of 0.950 and specificity of 0.882 at CDH, and a sensitivity of 1.000 specificity of 0.934 at MVH. NCH did not have any cases with MV/death at 24 h. In regard to 72-h MV prediction, EXAM achieved a sensitivity of 0.929 and specificity of 0.880 at CDH, sensitivity of 1.000 and specificity of 0.976 at MVH and sensitivity of 1.000 and specificity of 0.929 at NCH. 2 4 2 , , Performance (ROC) (top) and confusion matrices (bottom) of the EXAM FL model on the CDH dataset for prediction of oxygen requirement at 24 h ( Во текот на 24 часа ( Постојат три основни причини за појава на рак на простатата ( ) of the EXAM risk score are shown. a b a b t For MV at CDH at 72 h, EXAM had a low false-negative rate of 7.1%. Representative failure cases are presented in Extended Data Fig. , showing two false-negative cases from CDH where one case had many missing EMR data features and the other had a CXR with a motion artifact and some missing EMR features. 4 Use of differential privacy Примарна мотивација за здравствените институции да го користат FL е зачувување на безбедноста и приватноста на нивните податоци, како и придржување кон мерките за усогласеност со податоците. или дури и реконструкција на тренинг слики од самите градиенти на моделот . To counter these risks, security-enhancing measures were used to mitigate risk in the event of data ‘interception’ during site-server communication . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL Преку истражување на шемата за делумна поделба на тежината , , , покажавме дека моделите можат да постигнат споредливи перформанси дури и кога се споделуваат само 25% од надградбите на тежината (Extended Data Fig. ). 47 48 49 50 50 51 52 5 Discussion This study features a large, real-world healthcare FL study in terms of number of sites and number of data points used. We believe that it provides a powerful proof-of-concept of the feasibility of using FL for fast and collaborative development of needed AI models in healthcare. Our study involved multiple sites across four continents and under the oversight of different regulatory bodies, and thus holds the promise of being provided to different regulated markets in an expedited way. The global FL model, EXAM, proved to be more robust and achieved better results at individual sites than any model trained on only local data. We believe that consistent improvement was achieved owing to a larger, but also a more diverse, dataset, the use of data inputs that can be standardized and avoidance of clinical impressions/reported symptoms. These factors played an important part in increasing the benefits from this FL approach and its impact on performance, generalizability and, ultimately, the model’s usability. For a client site with a relatively small dataset, two typical approaches could be used for fitting a useful model: one is to train locally with its own data, the other is to apply a model trained on a larger dataset. For sites with small datasets, it would have been virtually impossible to build a performant deep learning model using only their local data. The finding, that these two approaches were outperformed on all three prediction tasks by the global FL model, indicates that the benefit for client sites with small datasets arising from participation in FL collaborations is substantial. This is probaby a reflection of FL’s ability to capture more diversity than local training, and to mitigate the bias present in models trained on a homogenous population. An under-represented population or age group in one hospital/region might be highly represented in another region—such as children who might be differentially affected by COVID-19, including disease manifestations in lung imaging . 46 Резултатите од валидацијата потврдија дека глобалниот модел е цврст, поддржувајќи ја нашата хипотеза дека моделите обучени од ФЛ се генерализирани низ здравствените системи. Тие обезбедуваат убедлив случај за употреба на предиктивни алгоритми во грижата за пациентите со COVID-19 и употреба на FL во креирањето на модели и тестирањето. Со учество во оваа студија, клиентите добија пристап до ЕКСАМ, за да бидат дополнително валидирани пред да ги извршат сите регулаторни одобрувања или идните воведувања во клиничката нега. Планови се во тек за валидирање на ЕКСАМ во „производствени“ поставувања на МГБ користејќи COVID-19 насочени ресурси. , како и на различни локации кои не беа дел од обуката за испит. 53 Over 200 prediction models to support decision-making in patients with COVID-19 have been published . Unlike the majority of publications focused on diagnosis of COVID-19 or prediction of mortality, we predicted oxygen requirements that have implications for patient management. We also used cases with unknown SARS-COV-2 status, and so the model could provide input to the physician ahead of receiving a result for PCR with reverse transcription (RT–PCR), making it useful for a real-life clinical setting. The model’s imaging input is used in common practice, in contrast with models that use chest computed tomography, a nonconsensual diagnostic modality. The model’s design was constrained to objective predictors, unlike many published studies that leveraged subjective clinical impressions. The data collected reflect varied incidence rates, and thus the ‘population momentum’ we encountered is more diverse. This implies that the algorithm can be useful in populations with different incidence rates. 19 Идентификацијата на пациентската кохорта и хармонизацијата на податоците не се нови прашања во истражувањето и науката за податоци , but are further complicated, when using FL, given the lack of visibility on other sites’ datasets. Improvements to clinical information systems are needed to streamline data preparation, leading to better leverage of a network of sites participating in FL. This, in conjunction with hyperparameter engineering, can allow algorithms to ‘learn’ more effectively from larger data batches and adapt model parameters to a particular site for further personalization—for example, through further fine-tuning on that site Систем кој ќе овозможи беспрекорно, блиску до реално време модел заклучување и обработка на резултатите, исто така, ќе биде од корист и ќе "затвори лакот" од обука до имплементација на модели. 54 39 Бидејќи податоците не биле централизирани, тие не се лесно достапни, со оглед на тоа, секоја иднина анализа на резултатите, надвор од она што е изведено и собрано, е ограничена. Similar to other machine learning models, EXAM is limited by the quality of the training data. Institutions interested in deploying this algorithm for clinical care need to understand potential biases in the training. For example, the labels used as ground truth in the training of the EXAM model were derived from 24- and 72-h oxygen consumption in the patient; it is assumed that oxygen delivered to the patient equates the oxygen need. However, in the early phase of the COVID-19 pandemic, many patients were provided high-flow oxygen prophylactically regardless of their oxygen need. Such clinical practice could skew the predictions made by this model. Бидејќи пристапот до нашите податоци беше ограничен, немавме доволно достапни информации за генерирање на детални статистички податоци за причините за неуспехот, пост-хок, на повеќето локации. Сепак, ги проучивме случаите на неуспех од најголемиот независен тест сајт, CDH, и успеавме да генерираме хипотези кои можеме да ги тестираме во иднина. За локациите со високи перформанси, се чини дека повеќето случаи на неуспех паѓаат во една од две категории: (1) низок квалитет на влезните податоци – на пример, недостасуваат податоци или движење артефакт во CXR; или (2) податоци надвор од дистрибуција – на пример, многу млад пациент. In future, we also intend to investigate the potential for a ‘population drift’ due to different phases of disease progression. We believe that, owing to the diversity across the 20 sites, this risk may have been mitigated. A feature that would enhance these kinds of large-scale collaboration is the ability to predict the contribution of each client site towards improving the global FL model. This will help in client site selection, and in prioritization of data acquisition and annotation efforts. The latter is especially important given the high costs and difficult logistics of these large-consortia endeavors, and it will enable these endeavors to capture diversity rather than the sheer quantity of data samples. Идни пристапи може да вклучат автоматско пребарување на хиперпараметри , neural architecture search and other automated machine learning пристапи за да се најдат оптимални параметри за обука за секој клиент сајт поефикасно. 55 56 57 Known issues of batch normalization (BN) in FL motivated us to fix our base model for image feature extraction to reduce the divergence between unbalanced client sites. Future work might explore different types of normalization techniques to allow the training of AI models in FL more effectively when client data are nonindependent and identically distributed. 58 49 Recent works on privacy attacks within the FL setting have raised concerns on data leakage during model training . Meanwhile, protection algorithms remain underexplored and constrained by multiple factors. While differential privacy algorithms , , show good protection, they may weaken the model’s performance. Encryption algorithms, such as homomorphic encryption , maintain performance but may substantially increase message size and training time. A quantifiable way to measure privacy would allow better choices for deciding the minimal privacy parameters necessary while maintaining clinically acceptable performance , , . 59 36 48 49 60 36 48 49 Following further validation, we envision deployment of the EXAM model in the ED setting as a way to evaluate risk at both the per-patient and population level, and to provide clinicians with an additional reference point when making the frequently difficult task of triaging patients. We also envision using the model as a more sensitive population-level metric to help balance resources between regions, hospitals and departments. Our hope is that similar FL efforts can break the data silos and allow for faster development of much-needed AI models in the near future. Методи Етичко одобрување All procedures were conducted in accordance with the principles for human experimentation as defined in the Declaration of Helsinki and International Conference on Harmonization Good Clinical Practice guidelines, and were approved by the relevant institutional review boards at the following validation sites: CDH, MVH, NCH and at the following training sites: MGB, Mass General Hospital (MGH), Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital (all eight of these hospitals were covered under MGB’s ethics board reference, no. 2020P002673, and informed consent was waived by the instititional review board (IRB). Similarly, participation of the remaining sites was approved by their respective relevant institutional review processes: Children’s National Hospital in Washington, DC (no. 00014310, IRB certified exempt); NIHR Cambridge Biomedical Research Centre (no. 20/SW/0140, informed consent waived); The Self-Defense Forces Central Hospital in Tokyo (no. 02-014, informed consent waived); National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration (no. 202108026 W, informed consent waived); Tri-Service General Hospital in Taiwan (no. B202105136, informed consent waived); Kyungpook National University Hospital in South Korea (no. KNUH 2020-05-022, informed consent waived); Faculty of Medicine, Chulalongkorn University in Thailand (nos. 490/63, 291/63, informed consent waived); Diagnosticos da America SA in Brazil (no. 26118819.3.0000.5505, informed consent waived); University of California, San Francisco (no. 20-30447, informed consent waived); VA San Diego (no. H200086, IRB certified exempt); University of Toronto (no. 20-0162-C, informed consent waived); National Institutes of Health in Bethesda, Maryland (no. 12-CC-0075, informed consent waived); University of Wisconsin-Madison School of Medicine and Public Health (no. 2016-0418, informed consent waived); Memorial Sloan Kettering Cancer Center in New York (no. 20-194, informed consent waived); and Mount Sinai Health System in New York (no. IRB-20-03271, informed consent waived). MI-CLAIM guidelines for reporting of clinical AI models were followed (Supplementary Note ) 2 Study setting Студијата вклучуваше податоци од 20 институции (фиг. ): MGB, MGH, Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital; Children’s National Hospital in Washington, DC; NIHR Cambridge Biomedical Research Centre; The Self-Defense Forces Central Hospital in Tokyo; National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration; Tri-Service General Hospital in Taiwan; Kyungpook National University Hospital in South Korea; Faculty of Medicine, Chulalongkorn University in Thailand; Diagnosticos da America SA in Brazil; University of California, San Francisco; VA San Diego; University of Toronto; National Institutes of Health in Bethesda, Maryland; University of Wisconsin-Madison School of Medicine and Public Health; Memorial Sloan Kettering Cancer Center in New York; and Mount Sinai Health System in New York. Institutions were recruited between March and May 2020. Dataset curation started in June 2020 and the final data cohort was added in September 2020. Between August and October 2020, 140 independent FL runs were conducted to develop the EXAM model and, by the end of October 2020, EXAM was made public on NVIDIA NGC , , Податоците од три независни локации беа користени за независна валидација: CDH, MVH и NCH, сите во Масачусетс, САД. Овие три болници имаа карактеристики на популацијата на пациентите различни од локациите за обука. 1a 61 62 63 Датотеки за собирање The 20 client sites prepared a total of 16,148 cases (both positive and negative) for the purposes of training, validation and testing of the model (Fig. ). Medical data were accessed in relation to patients who satisfied the study inclusion criteria. Client sites strived to include all COVID-positive cases from the beginning of the pandemic in December 2019 and up to the time they started local training for the EXAM study. All local training had started by 30 September 2020. The sites also included other patients in the same period with negative RT–PCR test results. Since most of the sites had more SARS-COV-2-negative than -positive patients, we limited the number of negative patients included to, at most, 95% of the total cases at each client site. 1б Еден „случај“ вклучуваше CXR и потребните влезови на податоци од медицинската евиденција на пациентот. . The distribution and patterns of CXR image intensity (pixel values) varied greatly among sites owing to a multitude of patient- and site-specific factors, such as different device manufacturers and imaging protocols, as shown in Fig. Возраста на пациентите и дистрибуцијата на ЕМР карактеристики се разликуваа во голема мера меѓу локациите, како што се очекуваше поради разликите во демографијата меѓу глобално дистрибуираните болници (Extended Data Fig. ). 1b 1 г, д 6 Patient inclusion criteria Patient inclusion criteria were: (1) patient presented to the hospital’s ED or equivalent; (2) patient had a RT–PCR test performed at any time between presentation to the ED and discharge from the hospital; (3) patient had a CXR in the ED; and (4) patient’s record had at least five of the EMR values detailed in Table , all obtained in the ED, and the relevant outcomes captured during hospitalization. Of note, The CXR, laboratory results and vitals used were the first available for capture during the visit to the ED. The model did not incorporate any CXR, laboratory results or vitals acquired after leaving the ED. 1 Model input In total, 21 EMR features were used as input to the model. The outcome (that is, ground truth) labels were assigned based on patient requirements after 24- and 72-h periods from initial admission to the ED. A detailed list of the requested EMR features and outcomes can be seen in Table . 1 Дистрибуцијата на третманот со кислород со користење на различни уреди на различни локации на клиентот е прикажана во Дизајнот на проширени податоци. , which details the device usage at admission to the ED and after 24- and 72-h periods. The difference in dataset distribution between the largest and smallest client sites can be seen in Extended Data Fig. . 7 8 Бројот на позитивни случаи на ЦОВИД-19, како што е потврдено со еден РТ-ПЦР тест добиен во секое време помеѓу доставувањето на ЕД и испитувањето од болницата, е наведено во Дополнителната табела. . Each client site was asked to randomly split its dataset into three parts: 70% for training, 10% for validation and 20% for testing. For both 24- and 72-h outcome prediction models, random splits for each of the three repeated local and FL training and evaluation experiments were independently generated. 1 EXAM model development Постои голема варијација во клиничкиот тек на пациентите кои се пренесуваат во болница со симптоми на COVID-19, а некои доживуваат брзо влошување на респираторната функција што бара различни интервенции за да се спречи или ублажи хипоксемијата. , . A critical decision made during the evaluation of a patient at the initial point of care, or in the ED, is whether the patient is likely to require more invasive or resource-limited countermeasures or interventions (such as MV or monoclonal antibodies), and should therefore receive a scarce but effective therapy, a therapy with a narrow risk–benefit ratio due to side effects or a higher level of care, such as admittance to the intensive care unit . In contrast, a patient who is at lower risk of requiring invasive oxygen therapy may be placed in a less intensive care setting such as a regular ward, or even released from the ED for continuing self-monitoring at home . EXAM was developed to help triage such patients. 62 63 64 65 Of note, the model is not approved by any regulatory agency at this time and it should be used only for research purposes. EXAM score EXAM was trained using FL; it outputs a risk score (termed EXAM score) similar to CORISK (Проширени податоци на Фиг. ) and can be used in the same way to triage patients. It corresponds to a patient’s oxygen support requirements within two windows—24 and 72 h—after initial presentation to the ED. Extended Data Fig. illustrates how CORISK and the EXAM score can be used for patient triage. 27 9a 9b Chest X-ray images were preprocessed to select the anterior position image and exclude lateral view images, and then scaled to a resolution of 224 × 224. As shown in Extended Data Fig. , the model fuses information from both EMR and CXR features (based on a modified ResNet34 with spatial attention pretrained on the CheXpert dataset) and the Deep & Cross network . To converge these different data types, a 512-dimensional feature vector was extracted from each CXR image using a pretrained ResNet34, with spatial attention, then concatenated with the EMR features as the input for the Deep & Cross network. The final output was a continuous value in the range 0–1 for both 24- and 72-h predictions, corresponding to the labels described above, as shown in Extended Data Fig. Ние ја користевме крос-ентропијата како функција за губење и „Адам“ како оптимизатор. using the NVIDIA Clara Train SDK . The average AUC for the classification tasks (≥LFO, ≥HFO/NIV or ≥MV) was calculated and used as the final evaluation metric, with normalization to zero-mean and unit variance. CXR images were preprocessed to select the correct series and exclude lateral view images, then scaled to a resolution of 224 × 224 (ref. ). 9а 66 67 68 9b 69 70 27 Карактеристики на импутирање и нормализација A MissForest algorithm се користеше за импутирање на функциите на EMR, врз основа на локалниот сет на податоци за обука. Ако функцијата на EMR беше целосно недостапна од сет на податоци на клиентски сајт, се користеше просечната вредност на таа функција, пресметана исклучиво на податоци од MGB клиентски сајтови. Потоа, функциите на EMR беа пресметени на нула просечна и единица варијанта врз основа на статистиките пресметени на податоци од MGB клиентски сајтови. 71 Детали за спојување на EMR-CXR податоци со користење на мрежата Deep & Cross За да се моделираат интеракциите на карактеристиките од податоците EMR и CXR на ниво на случај, се користи шема на длабоки карактеристики врз основа на мрежната архитектура Deep & Cross. . Binary and categorical features for the EMR inputs, as well as 512-dimensional image features in the CXR, were transformed into fused dense vectors of real values by embedding and stacking layers. The transformed dense vectors served as input to the fusion framework, which specifically employed a crossing network to enforce fusion among input from different sources. The crossing network performed explicit feature crossing within its layers, by conducting inner products between the original input feature and output from the previous layer, thus increasing the degree of interaction across features. At the same time, two individual classic deep neural networks with several stacked, fully connected feed-forward layers were trained. The final output of our framework was then derived from the concatenation of both classic and crossing networks. 68 ФЛ Детали Можеби најзастапената форма на ФЛ е имплементацијата на федеративниот просечен алгоритам како што е предложено од Мекмахан и др. , or variations thereof. This algorithm can be realized using a client-server setup where each participating site acts as a client. One can think of FL as a method aiming to minimize a global loss function by reducing a set of local loss functions, which are estimated at each site. By minimizing each client site’s local loss while also synchronizing the learned client site weights on a centralized aggregation server, one can minimize global loss without needing to access the entire dataset in a centralized location. Each client site learns locally, and shares model weight updates with a central server that aggregates contributions using secure sockets layer encryption and communication protocols. The server then sends an updated set of weights to each client site after aggregation, and sites resume training locally. The server and client site iterate back and forth until the model converges (Extended Data Fig. ) на 72 9Ц A pseudoalgorithm of FL is shown in Supplementary Note . In our experiments, we set the number of federated rounds at = 200, со една локална епоха на обука по круг at each client. The number of clients, , was up to 20 depending on the network connectivity of clients or available data for a specific targeted outcome period (24 or 72 h). The number of local training iterations, , depends on the dataset size at each client and is used to weigh each client’s contributions when aggregating the model weights in federated averaging. During the FL training task, each client site selects its best local model by tracking the model’s performance on its local validation set. At the same time, the server determines the best global model based on the average validation scores sent from each client site to the server after each FL round. After FL training finishes, the best local models and the best global model are automatically shared with all client sites and evaluated on their local test data. 1 T t K nk k Кога обуката се одвива само на локални податоци (база), го поставивме бројот на епохата на 200.Адамовиот оптимизатор беше користен и за локално обука и за ФЛ со почетна стапка на учење од 5 × 10–5 и постепено намалување на стапката на учење со фактор 0,5 по секои 40 епохи, што е важно за конвергенцијата на федеративните просеци. . Random affine transformations, including rotation, translations, shear, scaling and random intensity noise and shifts, were applied to the images for data augmentation during training. 73 Owing to the sensitivity of BN layers Кога се занимаваме со различни клиенти во не-независна и идентично дистрибуирана средина, откривме дека најдобрите перформанси на моделот се случуваат кога се одржува преттренираниот ResNet34 со просторно внимание. параметри фиксирани за време на FL обука (т.е. со користење на стапка на учење од нула за тие слоеви). мрежата Deep & Cross која ги комбинира карактеристиките на сликата со карактеристиките на EMR не содржи BN слоеви и затоа не беше погодена од проблемите со нестабилност на BN. 58 47 In this study we investigated a privacy-preserving scheme that shares only partial model updates between server and client sites. The weight updates were ranked during each iteration by magnitude of contribution, and only a certain percentage of the largest weight updates was shared with the server. To be exact, weight updates (also known as gradients) were shared only if their absolute value was above a certain percentile threshold, (в) Проширени податоци на Фиг. ), which was computed from all non-zero gradients, Δ , и може да биде различно за секој клиент in each FL round Варијации на оваа шема може да вклучуваат дополнително иселување на големи градиенти или диференцијални шеми за приватност. кои додаваат случаен бучава на градиентите, па дури и на суровите податоци, пред да се внесат во мрежата . k 5 Wk(t) k t 49 51 Statistical analysis Извршивме тест за рангирање на Wilcoxon за да го потврдиме значењето на забележаното подобрување на перформансите помеѓу локално обучениот модел и моделот FL за 24-те и 72-те часови (Слика. and Extended Data Fig. ). The null hypothesis was rejected with one-sided « 1 × 10–3 in both cases. 2 1 P Pearson’s correlation was used to assess the generalizability (robustness of the average AUC value to other client sites’ test data) of locally trained models in relation to respective local dataset size. Only a moderate correlation was observed ( = 0,43 во = 0.035, degrees of freedom (df) = 17 for the 24-h model and = 0.62, = 0.003, df = 16 for the 72-h model). This indicates that dataset size alone is not the only factor determining a model’s robustness to unseen data. r P r P To compare ROC curves from the global FL model and local models trained at different sites (Extended Data Fig. ), we bootstrapped 1,000 samples from the data and computed the resulting AUCs. We then calculated the difference between the two series and standardized using the formula = (AUC1 – AUC2)/ Каде е стандардизирана разлика, is the standard deviation of the bootstrap differences and AUC1 and AUC2 are the corresponding bootstrapped AUC series. By comparing with normal distribution, we obtained the values illustrated in Supplementary Table . The results show that the null hypothesis was rejected with very low values, indicating the statistical significance of the superiority of FL outcomes. The computation of Вредностите се изведуваат во R со библиотеката pROC . 3 D s D s D P 2 P P 74 Бидејќи моделот предвидува дискретен исход, континуиран резултат од 0 до 1, едноставна евалуација на калибрацијата како qqplot не е можно. ). We conducted one-way analysis of variation (ANOVA) tests to compare local and FL model scores among four ground truth categories (RA, LFO, HFO, MV). The -Статистички, пресметан како варијација помеѓу примерокот значи поделена со варијација во рамките на примерокот и претставувајќи го степенот на дисперзија помеѓу различните групи, се користи за квантитација на моделите. -values of five different local sites are 245.7, 253.4, 342.3, 389.8 and 634.8, while that of the FL model is 843.5. Given that larger -values mean that groups are more separable, the scores from our FL model clearly show a greater dispersion among the four ground truth categories. Furthermore, the вредноста на ANOVA тестот на ФЛ моделот е <2 × 10–16, што укажува на тоа дека резултатите за прогнозирање на ФЛ се статистички значително различни меѓу различните класи на прогнозирање. 10 F F F P Reporting Summary Дополнителни информации за дизајнот на истражувањето се достапни во linked to this article. Nature Research Reporting Summary Data availability Податоците од 20 институти кои учествуваа во оваа студија остануваат под нивна грижа. Овие податоци се користат за обука на секоја од локалните локации и не беа споделени со ниту една од другите учеснички институции или со федералниот сервер, и тие не се јавно достапни. Податоците од независните места за валидација се одржуваат од CAMCA, а пристапот може да се побара со контактирање со Q.L. Врз основа на одредување од CAMCA, преглед на споделување на податоци и модификација на IRB за истражувачки цели може да се спроведе од страна на истражувачката администрација на MGB и во согласност со MGB IRB и политика. Code availability Сите кодови и софтвер кои се користат во оваа студија се јавно достапни на NGC. За да пристапите, да се најавите како гостин или да креирате профил, внесете една од URL адресите подолу. Обучени модели, насоки за подготовка на податоци, код за обука, валидирање на тестирање на моделот, датотека за читање, упатство за инсталација и датотеки за лиценца се јавно достапни на NVIDIA NGC : на The federated learning software is available as part of the Clara Train SDK: Алтернативно, користете ја оваа команда за да го преземете моделот „wget --content-disposition -Оа clara_train_covid19_exam_ehr_xray_1.zip“. 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip Референци Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 Признанија Погледите изразени во оваа студија се оние на авторите, а не нужно на NHS, NIHR, Одделот за здравство и социјална заштита или било која од организациите поврзани со авторите. MGB им се заблагодарува на следниве поединци за нивната поддршка: J. Brink, Одделот за радиологија, Масачусетс Општа болница, Харвард Медицинска школа, Бостон, MA; M. Kalra, Одделот за радиологија, Масачусетс Општа болница, Харвард Медицинска школа, Бостон, MA; N. Neumark, Центарот за клинички податоци Наука, Масачусетс Општа Бригам, Бостон, MA; T. Schultz, Одделот за радиологија, Масачусетс Општа болница Преку Факултетот за медицина, Универзитетот Чулалонгкорн му се заблагодари на Ратчапаписек Сомпок Фондот за финансирање РА (ПО) (номер 001/63) за собирање и управување со клинички податоци и биолошки примероци поврзани со COVID-19 за Работната група за истражување, Факултетот за медицина, Универзитетот Чулалонгкорн. Центарот за биомедицински истражувања на NIHR во Кембриџ му се заблагодари на А. Прист, кој е поддржан од NIHR (Центар за биомедицински истражувања на компанијата во Кембриџ од Фондацијата за универзитетски болници во Кембриџ). Националната лабораторија на Тајванскиот универзитет MeDA и Националната администрација за здравствено осигурување https://data.ucsf.edu/covid19 Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International). Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International).
