लेखक : Ittai Dayan होल्डर आर. रॉथ Aoxiao जोंग Ahmed Harouni दयालुता ANAS Z. एबिडिन Andrew Liu Anthony Beardsworth Costa ब्रैडफोर्ड जे Wood चूंकि चूंकि Chih-Hung Wang चूना-नैन सी.के. ली Peiying Ruan Daguang Xu Dufan Wu एडी हंग फिलिप कैम्पोस किटामूरा ग्रिफिन लेसी Gustavo César de Antônio Corradi गूगल नैनो हनुमान जी Hirofumi Obinata हाय रेन जेसन सी क्रेन जेसिस Tetreault Jiahui Guan John W. Garrett Joshua D. Kaggie के बारे में जंग गिल पार्क केथ ड्रेयर Krishna Juluru क्रिस्टोफर क्रिस्टोफर Marcio Aloisio Bezerra Cavalcanti Rockenbach मैरीस जॉर्ज लिंगूरू मेजर ए. हाइडर अब्दुल्ला अब्दुल्ला निकोल रिक पाब्लो एफ. दमास्सेनो पेड्रो मारियो क्रूज़ और सिल्वा Pochuan Wang शेंग Xu Shuichi Kawano के बारे में श्रीकृष्ण सिंह युवा पार्क Thomas M. Grist एक किताब Watsamon Jantarabenjakul Weichung Wang Won Young Tak Xiang Li Xihong लिंग Young Joon Kwon Abood Quraini एंड्रयू फेंग एंड्रयू एन. प्रीस्ट बैरिस तुर्की Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Chin Lin Chiu-Ling Lai क्रिस्टोफर पी हेस कॉलिन कॉम्पस Deepeksha Bhatia के बारे में Eric K. Oermann Evan Leibovitz के बारे में Hisashi Sasaki हिटोशी मरी इस्लाम Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil नाथिया गैंगाई पीरियड्स वायरल Pierre Elnajjar सारा हिकमैन शार्मिला मेजबान शेली एल मैकलेड Sheridan Reed Stefan Gräf स्टेफनी हार्मोन Tatsuya Kodama बूढ़ा बूढ़ा टोनी मज़ूलि 5 काम करने के लिए Yothin Rakvongthai Yu Rim Lee यूहन्ग वेन Fiona J. Gilbert मोना जी फ्लोर्स लिहाजा लेखक : आईटीई डैया होल्डर आर. रॉथ Aoxiao जोंग Ahmed Harouni के बारे में दयालुता ANAS Z. एबिडिन एंड्रयू लू एंथनी Beardsworth कोस्टा ब्रैडफोर्ड जे Wood चूंकि चूंकि चिह-हंग वांग चूना-नैन सी.के. ली पेंटिंग रूआन दाऊद ने डफन वू एडी हंग फिलिप कैम्पोस किटामूरा ग्रिफिन लेसी गूस्टावो सीज़र डी एंटोनियो कोराडी गूगल नैनो हनुमान जी Hirofumi Obinata के बारे में हाय रेन जेसन सी क्रेन जेसिस Tetreault जियाहू गुआन John W. Garrett Joshua D. Kaggie के बारे में जंग गिल पार्क केथ ड्रेयर क्रिस्टीना जुलूरा क्रिस्टोफर क्रिस्टोफर Marcio Aloisio Bezerra Cavalcanti रॉकेंबैक मैरीस जॉर्ज लिंगूरू मेजर ए. हाइडर अब्दुल्ला अब्दुल्ला निकोल रिक पाब्लो एफ. दमास्सेनो पेड्रो मारियो क्रूज़ और सिल्वा Pochuan Wang शेंग Xu Shuichi Kawano के बारे में श्रीकृष्ण सिंह युवा पार्क थॉमस एम ग्रिस्ट एक किताब Watsamon Jantarabenjakul वॉंग Young Tak के बारे में सींग ली Xihong लिंग युवा जोन क्वॉन इमरान खान एंड्रयू फेंग एंड्रयू एन. प्रीस्ट बैरिस तुर्की बेंजामिन ग्लिक्सबर्ग बर्नार्डो बिज़ो किम की तलाश Carlos Tor-Díez चिया चेंग ली चिया-जंग हुसू चीनी लिंग चू-लिंग लाय क्रिस्टोफर पी हेस कॉलिन कॉम्पस Deepeksha Bhatia के बारे में Eric K. Oermann Evan Leibovitz के बारे में हिसाशी सासाकी हिटोशी मरी इस्लाम जी हा बेटा क्रिश्ना नांड केशावा मर्थी चैंपियन फू मैथ्यू रिबिरो फर्टो डे मेन्डोंसा माइक फ्रैलिक मिन किू कंग Mohammad Adil नाथिया गैंगाई पीरियड्स वायरल पीरियर एलनजायर सारा हिकमैन शार्मिला मेजबान शेली एल मैकलेड Sheridan Reed स्टीफन ग्रेफ स्टेफनी हार्मोन Tatsuya कोडामा बूढ़ा बूढ़ा टोनी मज़ूलि 5 काम करने के लिए Yothin Rakvongthai यू रीम ली यूहन्ग वेन Fiona J. गिल्बर्ट मोना जी फ्लोर्स लिहाजा अवलोकन फेडरेट सीटिंग (एफएल) डेटा डेटा को कई स्रोतों से डेटा के साथ कृत्रिम बुद्धि मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाता है, जबकि डेटा अनन्यता को बनाए रखते हुए, डेटा साझा करने के लिए कई बाधाओं को हटाते हुए. यहां हमने दुनिया भर के 20 संस्थानों से डेटा का उपयोग एक एफएल मॉडल को प्रशिक्षित करने के लिए किया, जिसे एक्सएएम (इलेक्ट्रॉनिक मेडिकल रिकॉर्ड (ईएमआर) छाती एक्स-रे एआई मॉडल) कहा जाता है, जो सीओवीआईडी-19 के साथ लक्षण रोगियों के भविष्य के ऑक्सीजन की जरूरतों की भविष्य की भविष्यवाणी करता है, महत्वपूर्ण संकेतों के इनपुट, प्रयोगशाला डेटा और छाती एक्स-रे का उपयोग करते हुए। एक्सएएम ने Main वैज्ञानिक, अकादमिक, चिकित्सा और डेटा विज्ञान समुदायों ने सीओवीडी -19 महामारी संकट का सामना करने के लिए एकजुट हो गए हैं ताकि कृत्रिम बुद्धि (एआई) में नए पैराग्राफों का तेजी से मूल्यांकन किया जा सके जो तेजी से और सुरक्षित हैं, और संभावित रूप से पारंपरिक सहयोगों के सामान्य गोपनीयता और डेटा स्वामित्व बाधाओं के बिना डेटा साझा करने और मॉडल प्रशिक्षण और परीक्षण को प्रोत्साहित करें। , स्वास्थ्य देखभाल प्रदाताओं, शोधकर्ताओं और उद्योग ने संकट द्वारा पैदा किए गए अपर्याप्त और महत्वपूर्ण नैदानिक जरूरतों को संबोधित करने के लिए अपना ध्यान केंद्रित किया है, उल्लेखनीय परिणामों के साथ , , , , , , नैदानिक परीक्षणों की भर्ती को राष्ट्रीय नियामक एजेंसियों और एक अंतरराष्ट्रीय सहयोगी आत्मा द्वारा तेजी से और सुविधा दी गई है , , डेटा विश्लेषण और एआई विषयों ने हमेशा खुले और सहयोगी दृष्टिकोणों को बढ़ावा दिया है, जैसे कि खुले स्रोत सॉफ्टवेयर, पुनरावृत्ति योग्य अनुसंधान, डेटा रजिस्ट्रेशन और सार्वजनिक रूप से उपलब्ध anonymized डेटा सेट। , . महामारी ने त्वरित रूप से डेटा सहयोगों का संचालन करने की आवश्यकता पर जोर दिया है जो तेजी से विकसित और व्यापक वैश्विक चुनौतियों के जवाब में नैदानिक और वैश्विक समुदायों को सशक्त बनाता है. डेटा साझा करने में नैतिक, नियामक और कानूनी जटिलताएं हैं जो स्वास्थ्य देखभाल डेटा की दुनिया में बड़े प्रौद्योगिकी कंपनियों के हाल के प्रवेश द्वारा उजागर की जाती हैं, और शायद थोड़ा जटिल होती हैं , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 इन प्रकार के सहयोग का एक व्यावहारिक उदाहरण एआई-आधारित एसएआरएस-सीओवी-2 नैदानिक निर्णय सहायता (सीडीएस) मॉडल पर हमारे पिछले काम है। यह सीडीएस मॉडल मास जनरल ब्रिगम (एमजीबी) में विकसित किया गया था और कई स्वास्थ्य प्रणाली के डेटा पर सत्यापित किया गया था. सीडीएस मॉडल के लिए इनपुट छाती एक्स-रे (सीएक्सआर) छवियों, महत्वपूर्ण संकेत, जनसांख्यिकीय डेटा और प्रयोगशाला मूल्यों थे जो पिछले प्रकाशनों में COVID-19 वाले रोगियों के परिणामों की भविष्यवाणी करने के लिए दिखाए गए थे , , , . CXR was selected as the imaging input because it is widely available and commonly indicated by guidelines such as those provided by ACR , the Fleischner Society WHO के राष्ट्रीय टॉरिक समाज , राष्ट्रीय स्वास्थ्य मंत्रालय COVID मैनुअल और दुनिया भर में रेडियोलॉजी समाज CDS मॉडल का आउटपुट एक स्कोर था, जिसे CORISK कहा जाता था , that corresponds to oxygen support requirements and that could aid in triaging patients by frontline clinicians , , स्वास्थ्य देखभाल प्रदाताओं को उन मॉडल को पसंद करने के लिए जाना जाता है जो उनके स्वयं के डेटा पर सत्यापित किए गए थे आज तक, अधिकांश एआई मॉडल, जिसमें उपरोक्त सीडीएस मॉडल भी शामिल है, को प्रशिक्षित और संकीर्ण डेटा पर सत्यापित किया गया है जिसे अक्सर विविधता की कमी होती है , , संभावित रूप से overfitting और कम generalalizability के परिणामस्वरूप. यह डेटा को केंद्रित किए बिना कई साइटों से विविध डेटा के साथ प्रशिक्षण द्वारा कम किया जा सकता है स्थानांतरण सीखने जैसे तरीकों का उपयोग करना , or FL. FL is a method used to train AI models on disparate data sources, without the data being transported or exposed outside their original location. While applicable to many industries, FL has recently been proposed for cross-institutional healthcare research . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 Federated learning supports the rapid launch of centrally orchestrated experiments with improved traceability of data and assessment of algorithmic changes and impact एफएल के लिए एक दृष्टिकोण, जिसे क्लाइंट-सेवर कहा जाता है, अन्य सर्वरों ("नोड्स") को एक "अनुकूलित" मॉडल भेजता है जो आंशिक प्रशिक्षण कार्यों को संचालित करते हैं, बदले में परिणाम वापस भेजते हैं ताकि उन्हें केंद्रीय (अनुकूलित) सर्वर में एकीकृत किया जा सके। . 37 36 एफएल के लिए डेटा का प्रबंधन स्थानीय रूप से बनाए रखा जाता है, गोपनीयता चिंताओं को कम करता है, केवल मॉडल वजन या ग्रेडिंट ग्राहक साइटों और संघीय सर्वर के बीच संचार किया जाता है , . FL ने हाल ही में चिकित्सा छवियां अनुप्रयोगों में पहले से ही वादा किया है , , , COVID-19 का विश्लेषण , , एक उल्लेखनीय उदाहरण SARS-COV-2 के साथ संक्रमित रोगियों में मृत्यु की भविष्यवाणी मॉडल है जो नैदानिक विशेषताओं का उपयोग करता है, हालांकि मॉड्यूलों की संख्या और पैमाने पर सीमित है . 38 39 40 41 42 43 8 44 45 46 हमने यह सिद्धांत किया कि सीडीएस मॉडल को सफलतापूर्वक गठबंधन किया जा सकता है, क्योंकि इसका उपयोग डेटा इनपुट का उपयोग किया जाता है जो नैदानिक अभ्यास में अपेक्षाकृत आम है और जो रोगी की स्थिति के ऑपरेटर-आधारित मूल्यांकन (जैसे नैदानिक प्रभाव या रिपोर्ट किए गए लक्षण) पर बहुत भरोसा नहीं करता है। इसके बजाय, प्रयोगशाला परिणाम, जीवन संकेत, एक छवि अध्ययन और एक आम तौर पर कैप्चर जनसांख्यिकीय (यानी, उम्र) का उपयोग किया गया था। इसलिए, हमने क्लाइंट-सेवर FL दृष्टिकोण का उपयोग करके विभिन्न डेटा के साथ सीडीएस मॉडल को फिर से प्रशिक्षित किया, जिसका नाम EXAM था, एक नया वैश्विक FL मॉडल विकसित करने के लिए, जो सीएक्सएक्स हमारा अनुमान था कि एक्सएएम स्थानीय मॉडल की तुलना में बेहतर प्रदर्शन करेगा और स्वास्थ्य देखभाल प्रणालियों में बेहतर सामान्य करेगा। परिणामों परीक्षा मॉडल आर्किटेक्चर EXAM मॉडल ऊपर वर्णित CDS मॉडल पर आधारित है कुल मिलाकर, मॉडल के लिए इनपुट के रूप में 20 विशेषताएं (19 ईएमआर से और एक सीएक्सआर) का उपयोग किया गया था. परिणाम (यानी, ‘आधारित सच्चाई’) लेबल को 24 और 72 घंटे की अवधि के बाद रोगी ऑक्सीजन थेरेपी के आधार पर निर्धारित किया गया था। . 27 1 The outcome labels of patients were set to 0, 0.25, 0.50 and 0.75 depending on the most intensive oxygen therapy the patient received in the prediction window. The oxygen therapy categories were, respectively, room air (RA), low-flow oxygen (LFO), high-flow oxygen (HFO)/noninvasive ventilation (NIV) or mechanical ventilation (MV). If the patient died within the prediction window, the outcome label was set to 1. This resulted in each case being assigned two labels in the range 0–1, corresponding to each of the prediction windows (that is, 24 and 72 h). ईएमआर सुविधाओं के लिए, केवल ईडी में कैप्चर किए गए पहले मूल्यों का उपयोग किया गया था और डेटा प्रीप्रोसेसिंग में deidentification, missing value imputation, and normalization to zero-mean and unit variance शामिल थे। इस प्रकार, मॉडल EMR और CXR दोनों विशेषताओं से जानकारी को एकीकृत करता है, एक 34-स्तरीय घर्षण तंत्रिका नेटवर्क (ResNet34) का उपयोग करके एक CXR और एक डीप एंड क्रॉस नेटवर्क से विशेषताओं को एकीकृत करने के लिए EMR विशेषताओं के साथ (अधिक विस्तारित विवरण के लिए, देखें ) मॉडल आउटपुट एक जोखिम स्कोर है, जिसे एक्सएएम स्कोर कहा जाता है, जो ऊपर वर्णित लेबलों के अनुरूप 24 और 72 घंटे के पूर्वानुमानों के प्रत्येक के लिए 0-1 सीमा में एक निरंतर मूल्य है। विधि मॉडल को Federate करें एक्सएक्सएएम मॉडल को 16,148 मामलों की एक समूह का उपयोग करके प्रशिक्षित किया गया था, जो इसे न केवल COVID-19 के लिए पहले एफएल मॉडल में से एक बनाता है, बल्कि नैदानिक रूप से प्रासंगिक एआई में एक बहुत बड़ा और बहुआयामी विकास परियोजना भी बनाता है। साइटों के बीच डेटा खींचने से पहले सामंजस्यित नहीं किया गया था और, वास्तविक जीवन के नैदानिक सूचना विज्ञान की परिस्थितियों को देखते हुए, डेटा इनपुट का एक सावधानीपूर्वक सामंजस्य निर्धारित नहीं किया गया था (चित्र। ). 1 ए, बी 1 सी, डी , दुनिया का नक्शा जो एक्सएएम अध्ययन में योगदान देने वाले 20 अलग-अलग ग्राहक साइटों को इंगित करता है। , प्रत्येक संस्था या साइट द्वारा योगदान किए गए मामलों की संख्या (क्लाइंट 1 सबसे अधिक मामलों का योगदान करने वाले साइट का प्रतिनिधित्व करता है)। , प्रत्येक ग्राहक साइट पर छाती एक्स-रे तीव्रता वितरण। , प्रत्येक क्लाइंट साइट पर रोगियों की उम्र, न्यूनतम और अधिकतम आयु (एस्टेरिक), औसत आयु (तीलक) और मानक विचलन (वॉरिज़ोनल बार) को दिखाते हुए। . a b c d 1 We compared locally trained models with the global FL model on each client’s test data. Training the model through FL resulted in a significant performance improvement ( « 1 × 10-3, विल्कोक्सन हस्ताक्षर-रैंक परीक्षण) 16% (जैसा कि मॉडल को संबंधित स्थानीय परीक्षण सेट पर चलाते समय औसत AUC द्वारा परिभाषित किया जाता है: 0.795 से 0.920, या 12.5 प्रतिशत अंक) (चित्र। ) इसका परिणाम 38% सामान्यता में सुधार हुआ (जैसा कि सभी परीक्षण सेट पर मॉडल को चलाते समय औसत एयूसी द्वारा परिभाषित किया गया था: 0.667 से 0.920, या 25.3 प्रतिशत अंक) 24 घंटे ऑक्सीजन उपचार की भविष्यवाणी के लिए सर्वश्रेष्ठ वैश्विक मॉडल की तुलना में केवल साइट के स्वयं के डेटा पर प्रशिक्षित मॉडल (चित्र। 72 घंटे के ऑक्सीजन उपचार के पूर्वानुमान परिणामों के लिए, सर्वश्रेष्ठ वैश्विक मॉडल प्रशिक्षण ने स्थानीय रूप से प्रशिक्षित मॉडल की तुलना में औसत प्रदर्शन में 18% में सुधार किया, जबकि वैश्विक मॉडल की सामान्यीकरण क्षमता में औसतन 34% में सुधार हुआ (अधिकृत डेटा चित्र। ). The stability of our results was validated by repeating three runs of local and FL training on different randomized data splits. P 2a 2 बी 1 , प्रत्येक ग्राहक के परीक्षण पर प्रदर्शन 24 घंटे ऑक्सीजन उपचार की भविष्यवाणी में निर्धारित किया गया है, जो केवल स्थानीय डेटा (स्थानीय) पर प्रशिक्षित मॉडल के लिए सर्वर पर उपलब्ध सर्वश्रेष्ठ वैश्विक मॉडल (एफएल) के मुकाबले है। , Generalizability (दूसरे साइटों के परीक्षण डेटा पर औसत प्रदर्शन, जैसा कि औसत AUC द्वारा प्रतिनिधित्व किया जाता है) एक ग्राहक के डेटासेट आकार (कोई मामलों) के फंक्शन के रूप में। ) और ग्राहक 14 में केवल आरए उपचार के साथ मामलों थे, इसलिए मूल्यांकन मीट्रिक (AUC के अनुसार) इन मामलों में से कोई भी लागू नहीं था ( ) क्लाइंट 14 के लिए डेटा को स्थानीय मॉडल में औसत सामान्यता की गणना से भी बाहर कर दिया गया था। a b 1 विधि स्थानीय मॉडल जिन्हें असंतुलित कोहर्ट्स (उदाहरण के लिए, ज्यादातर हल्के मामलों में COVID-19) का उपयोग करके प्रशिक्षित किया गया था, ने एफएल दृष्टिकोण से उल्लेखनीय रूप से लाभ उठाया, केवल कुछ मामलों वाले श्रेणियों के लिए पूर्वानुमान औसत AUC प्रदर्शन में एक महत्वपूर्ण सुधार के साथ। यह क्लाइंट साइट 16 (एक असंतुलित डेटासेट) पर स्पष्ट था, अधिकांश रोगियों को हल्के बीमारी की गंभीरता का अनुभव होता है और केवल कुछ गंभीर मामलों में। और विस्तारित डेटा Fig। ) और अधिक महत्वपूर्ण, स्थानीय रूप से प्रशिक्षित मॉडल की तुलना में एफएल मॉडल की सामान्यता में काफी वृद्धि हुई। 3a 2 , ROC at client site 16, with unbalanced data and mostly mild cases. , ग्राहक साइट पर स्थानीय मॉडल के ROC 12 (एक छोटा डेटासेट) का औसत ROC, बोस्टन क्षेत्र में पांच ग्राहक साइटों (1, 4, 5, 6, 8) के अनुरूप बड़े डेटासेट पर प्रशिक्षित मॉडल का ROC, और ROC 72 घंटे के ऑक्सीजन उपचार के विभिन्न सीमाओं के लिए पूर्वानुमान में सर्वश्रेष्ठ वैश्विक मॉडल का ROC एक्सएएम स्कोर (बाएं, मध्य, दाएं) के लिए। ) of the EXAM risk score are shown. Pos and neg denote the number of positive and negative cases, respectively, as defined by this range of EXAM score. a b t अपेक्षाकृत छोटे डेटा सेट के साथ क्लाइंट साइटों के मामले में, सर्वश्रेष्ठ एफएल मॉडल न केवल स्थानीय मॉडल को बेहतर प्रदर्शन किया, बल्कि संयुक्त राज्य अमेरिका के बोस्टन क्षेत्र में पांच क्लाइंट साइटों से बड़े डेटा सेट पर प्रशिक्षित लोगों को भी बेहतर प्रदर्शन किया। ). 3b वैश्विक मॉडल को 24/72 घंटे में COVID सकारात्मक और नकारात्मक दोनों रोगियों में ऑक्सीजन की जरूरतों की भविष्यवाणी में अच्छी तरह से प्रदर्शन किया गया (अधिकृत डेटा चित्र। ). 3 Validation at independent sites प्रारंभिक प्रशिक्षण के बाद, एक्सएक्सएएम को बाद में तीन स्वतंत्र सत्यापन साइटों पर परीक्षण किया गया था: कोली डिकिंसन अस्पताल (सीडीएच), मार्टा के विनीयार्ड अस्पताल (एमवीएच) और नैनटॉकेट कैटेज अस्पताल (एनसीएच), सभी मैसाचुसेट्स, संयुक्त राज्य अमेरिका में। , और सबसे बड़े डेटासेट (सीडीएच से) के लिए ROC Curves और confusion matrices Fig. में दिखाई देते हैं। . The operating point was set to discriminate between nonmechanical ventilation and mechanical ventilation (MV) treatment (or death). The FL global trained model, EXAM, achieved an average AUC of 0.944 and 0.924 for 24- and 72-h prediction tasks, respectively (Table 24 घंटे में एमवी उपचार (या मृत्यु) की भविष्यवाणी के लिए, एक्सएएम ने सीडीएच पर 0.950 की संवेदनशीलता और 0.882 की विशिष्टता प्राप्त की, और एमवीएच पर 1.000 की विशिष्टता और 0.976 की विशिष्टता। 2 4 2 , , प्रदर्शन (आरओसी) (उपचार) और भ्रम मैट्रिक्स (उपचार) एक्सएएमएफएल मॉडल के सीडीएच डेटासेट पर 24 घंटे में ऑक्सीजन की आवश्यकता का पूर्वानुमान करने के लिए ( ) and 72 h ( तीन अलग-अलग कटौती मानों के लिए ROCs ( ) of the EXAM risk score are shown. a b a b t For MV at CDH at 72 h, EXAM had a low false-negative rate of 7.1%. Representative failure cases are presented in Extended Data Fig. , जिसमें सीडीएच से दो झूठे नकारात्मक मामलों को दिखाया गया था जहां एक मामला में कई अनुपस्थित ईएमआर डेटा विशेषताएं थीं और दूसरी में एक सीएक्सआर था जिसमें एक आंदोलन आर्टेक्ट और कुछ अनुपस्थित ईएमआर विशेषताएं थीं। 4 Use of differential privacy हेल्थकेयर संस्थानों के लिए FL का उपयोग करने के लिए एक प्राथमिक प्रेरणा अपने डेटा की सुरक्षा और गोपनीयता को बनाए रखना है, साथ ही साथ डेटा अनुपालन उपायों का पालन करना है। या यहां तक कि मॉडल ग्रेडेंट्स से प्रशिक्षण छवियों का पुनर्निर्माण भी . To counter these risks, security-enhancing measures were used to mitigate risk in the event of data ‘interception’ during site-server communication . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL एक आंशिक वजन साझा करने की योजना के माध्यम से जांच , , , we showed that models can reach a comparable performance even when only 25% of weight updates are shared (Extended Data Fig. ) 47 48 49 50 50 51 52 5 बहस इस अध्ययन में साइटों की संख्या और उपयोग किए जाने वाले डेटा बिंदुओं की संख्या के संदर्भ में एक बड़े, वास्तविक स्वास्थ्य देखभाल एफएल अध्ययन शामिल है। हम मानते हैं कि यह एफएल का उपयोग स्वास्थ्य देखभाल में आवश्यक एआई मॉडल के त्वरित और सहयोगी विकास के लिए उपयोग करने की संभावना का एक शक्तिशाली सबूत प्रदान करता है। हमारे अध्ययन में चार महाद्वीपों पर कई साइटों को शामिल किया गया था और विभिन्न नियामक एजेंसियों की निगरानी के तहत, और इस प्रकार विभिन्न विनियमित बाजारों को तेजी से उपलब्ध कराने का वादा है। वैश्विक एफएल मॉडल, एक्सएक्सएएम, अधिक मजबूत साबित हुआ है और व्यक्तिगत साइटों पर किसी भी मॉडल की तुलना में बेहतर परिणाम प्राप्त किया गया है जो केवल स्थानीय डेटा पर प्रशिक्षित किया For a client site with a relatively small dataset, two typical approaches could be used for fitting a useful model: one is to train locally with its own data, the other is to apply a model trained on a larger dataset. For sites with small datasets, it would have been virtually impossible to build a performant deep learning model using only their local data. The finding, that these two approaches were outperformed on all three prediction tasks by the global FL model, indicates that the benefit for client sites with small datasets arising from participation in FL collaborations is substantial. This is probaby a reflection of FL’s ability to capture more diversity than local training, and to mitigate the bias present in models trained on a homogenous population. An under-represented population or age group in one hospital/region might be highly represented in another region—such as children who might be differentially affected by COVID-19, including disease manifestations in lung imaging . 46 The validation results confirmed that the global model is robust, supporting our hypothesis that FL-trained models are generalizable across healthcare systems. They provide a compelling case for the use of predictive algorithms in COVID-19 patient care, and the use of FL in model creation and testing. By participating in this study the client sites received access to EXAM, to be further validated ahead of pursuing any regulatory approval or future introduction into clinical care. Plans are under way to validate EXAM prospectively in ‘production’ settings at MGB leveraging COVID-19 targeted resources , as well as at different sites that were not a part of the EXAM training. 53 Over 200 prediction models to support decision-making in patients with COVID-19 have been published . अधिकांश प्रकाशनों के विपरीत, जो कोवीड-19 के निदान या मृत्यु दर की पूर्वानुमान पर ध्यान केंद्रित करते थे, हमने ऑक्सीजन की आवश्यकताओं का पूर्वानुमान किया जो रोगी प्रबंधन के लिए प्रभाव पड़ता है. हमने अज्ञात एसएआरएस-सीओवी-2 स्थिति के साथ मामलों का भी उपयोग किया, और इसलिए मॉडल को पीसीआर के परिणाम के लिए रिवर्स ट्रांसक्रिप्शन (आरटी-पीसीआर) प्राप्त करने से पहले चिकित्सक को इनपुट प्रदान कर सकता था, जिससे यह वास्तविक जीवन के नैदानिक सेटिंग के लिए उपयोगी होता है. मॉडल के इमेजिंग इनपुट का उपयोग आम अभ्यास में किया जाता है, उन मॉडलों के विपरीत जो छाती कंप्यूटर टॉमोग्राफी का उपयोग करते हैं, एक गैर 19 Patient cohort identification and data harmonization are not novel issues in research and data science , लेकिन FL का उपयोग करते समय, अन्य साइटों पर डेटा सेटों पर दृश्यता की कमी के कारण और अधिक जटिल होते हैं. नैदानिक सूचना प्रणालियों में सुधार आवश्यक हैं ताकि डेटा तैयारी को सरल बनाया जा सके, जिससे FL में भाग लेने वाले साइटों के नेटवर्क का बेहतर लेवरेज हो सके. यह, हाइपरपैरामीटर इंजीनियरिंग के साथ मिलकर, एल्गोरिथ्म को बड़े डेटा बैच से अधिक प्रभावी ढंग से 'पढ़ने' की अनुमति दे सकता है और मॉडल पैरामीटरों को एक विशिष्ट साइट के लिए और अधिक व्यक्तिगत बनाने के लिए अनुकूलित कर सकता है - उदाहरण के लिए, उस साइट पर और अधिक फिनिंग के माध्यम से . A system that would allow seamless, close-to real-time model inference and results processing would also be of benefit and would ‘close the loop’ from training to model deployment. 54 39 चूंकि डेटा केंद्रित नहीं किया गया था, इसलिए वे आसानी से सुलभ नहीं हैं. इस तथ्य को देखते हुए, परिणामों के किसी भी भविष्य का विश्लेषण, उत्पन्न और एकत्र किए गए से परे, सीमित है. Similar to other machine learning models, EXAM is limited by the quality of the training data. Institutions interested in deploying this algorithm for clinical care need to understand potential biases in the training. For example, the labels used as ground truth in the training of the EXAM model were derived from 24- and 72-h oxygen consumption in the patient; it is assumed that oxygen delivered to the patient equates the oxygen need. However, in the early phase of the COVID-19 pandemic, many patients were provided high-flow oxygen prophylactically regardless of their oxygen need. Such clinical practice could skew the predictions made by this model. Since our data access was limited, we did not have sufficient available information for the generation of detailed statistics regarding failure causes, post hoc, at most sites. However, we did study failure cases from the largest independent test site, CDH, and were able to generate hypotheses that we can test in the future. For high-performing sites, it seems that most failure cases fall into one of two categories: (1) low quality of input data—for example, missing data or motion artifact in CXR; or (2) out-of-distribution data—for example a very young patient. भविष्य में, हम बीमारी के प्रगति के विभिन्न चरणों के कारण 'संख्या ड्रिफ्ट' की संभावना की जांच करने का भी इरादा रखते हैं. हम मानते हैं कि, 20 साइटों में विविधता के कारण, इस जोखिम को कम किया जा सकता है. एक विशेषता जो इस तरह के बड़े पैमाने पर सहयोग को बढ़ावा देगी वह है कि यह वैश्विक FL मॉडल में सुधार करने के लिए प्रत्येक क्लाइंट साइट के योगदान की भविष्यवाणी करने की क्षमता। यह क्लाइंट साइट चयन में मदद करेगा, और डेटा अधिग्रहण और नोटिंग प्रयासों को प्राथमिकता देने में मदद करेगा। भविष्य के दृष्टिकोण स्वचालित हाइपरपैरामीटर खोज शामिल कर सकते हैं , neural architecture search and other automated machine learning प्रत्येक ग्राहक साइट के लिए इष्टतम प्रशिक्षण मापदंडों को अधिक कुशलता से खोजने के दृष्टिकोण। 55 56 57 FL में बैच मानकीकरण (BN) के ज्ञात मुद्दों हमें छवि विशेषता निकासी के लिए हमारे बुनियादी मॉडल को ठीक करने के लिए प्रेरित किया असंतुलित क्लाइंट साइटों के बीच विचलन को कम करने के लिए भविष्य में काम विभिन्न प्रकार की मानकीकरण तकनीकों की खोज कर सकता है ताकि क्लाइंट डेटा गैर स्वतंत्र और समान रूप से वितरित होने पर एलआई मॉडल को FL में अधिक प्रभावी ढंग से प्रशिक्षित किया जा सके। 58 49 Recent works on privacy attacks within the FL setting have raised concerns on data leakage during model training इस बीच, सुरक्षा एल्गोरिथ्म अज्ञात रहते हैं और कई कारकों से प्रतिबंधित होते हैं जबकि अलग-अलग गोपनीयता एल्गोरिथ्म , , अच्छी सुरक्षा दिखाते हैं, वे मॉडल के प्रदर्शन को कमजोर कर सकते हैं. एन्क्रिप्शन एल्गोरिथ्म, जैसे होमोमॉर्फिक एन्क्रिप्शन , maintain performance but may substantially increase message size and training time. A quantifiable way to measure privacy would allow better choices for deciding the minimal privacy parameters necessary while maintaining clinically acceptable performance , , . 59 36 48 49 60 36 48 49 आगे की सत्यापन के बाद, हम ईडी सेटिंग में एक्सएएम मॉडल का तैयारी करने की योजना बनाते हैं ताकि प्रति रोगी और आबादी स्तर पर जोखिम का मूल्यांकन किया जा सके, और चिकित्सकों को रोगियों के परीक्षण के अक्सर कठिन कार्य को करने में एक अतिरिक्त संदर्भ बिंदु प्रदान किया जा सके. हम इस मॉडल का उपयोग क्षेत्रों, अस्पतालों और विभागों के बीच संसाधनों को संतुलित करने में मदद करने के लिए एक अधिक संवेदनशील आबादी स्तर के मीट्रिक के रूप में भी योजना बनाते हैं. हम आशा करते हैं कि समान एफएल प्रयास डेटा सिलॉस को तोड़ सकते हैं और निकट भविष्य में बहुत जरूरी एआई मॉडल का तेजी से विकास करने की अनुमति देते हैं. विधि Ethics approval All procedures were conducted in accordance with the principles for human experimentation as defined in the Declaration of Helsinki and International Conference on Harmonization Good Clinical Practice guidelines, and were approved by the relevant institutional review boards at the following validation sites: CDH, MVH, NCH and at the following training sites: MGB, Mass General Hospital (MGH), Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital (all eight of these hospitals were covered under MGB’s ethics board reference, no. 2020P002673, and informed consent was waived by the instititional review board (IRB). Similarly, participation of the remaining sites was approved by their respective relevant institutional review processes: Children’s National Hospital in Washington, DC (no. 00014310, IRB certified exempt); NIHR Cambridge Biomedical Research Centre (no. 20/SW/0140, informed consent waived); The Self-Defense Forces Central Hospital in Tokyo (no. 02-014, informed consent waived); National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration (no. 202108026 W, informed consent waived); Tri-Service General Hospital in Taiwan (no. B202105136, informed consent waived); Kyungpook National University Hospital in South Korea (no. KNUH 2020-05-022, informed consent waived); Faculty of Medicine, Chulalongkorn University in Thailand (nos. 490/63, 291/63, informed consent waived); Diagnosticos da America SA in Brazil (no. 26118819.3.0000.5505, informed consent waived); University of California, San Francisco (no. 20-30447, informed consent waived); VA San Diego (no. H200086, IRB certified exempt); University of Toronto (no. 20-0162-C, informed consent waived); National Institutes of Health in Bethesda, Maryland (no. 12-CC-0075, informed consent waived); University of Wisconsin-Madison School of Medicine and Public Health (no. 2016-0418, informed consent waived); Memorial Sloan Kettering Cancer Center in New York (no. 20-194, informed consent waived); and Mount Sinai Health System in New York (no. IRB-20-03271, informed consent waived). MI-CLAIM guidelines for reporting of clinical AI models were followed (Supplementary Note ) 2 Study setting अध्ययन में 20 संस्थानों से डेटा शामिल किया गया था (चित्र। ): MGB, MGH, Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital; Children’s National Hospital in Washington, DC; NIHR Cambridge Biomedical Research Centre; The Self-Defense Forces Central Hospital in Tokyo; National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration; Tri-Service General Hospital in Taiwan; Kyungpook National University Hospital in South Korea; Faculty of Medicine, Chulalongkorn University in Thailand; Diagnosticos da America SA in Brazil; University of California, San Francisco; VA San Diego; University of Toronto; National Institutes of Health in Bethesda, Maryland; University of Wisconsin-Madison School of Medicine and Public Health; Memorial Sloan Kettering Cancer Center in New York; and Mount Sinai Health , , . Data from three independent sites were used for independent validation: CDH, MVH and NCH, all in Massachusetts, USA. These three hospitals had patient population characteristics different from the training sites. The data used for the algorithm validation consisted of patients admitted to the ED at these sites between March 2020 and February 2021, and that satisfied the same inclusion criteria of the data used to train the FL model. 1a 61 62 63 डेटा संग्रह 20 ग्राहक साइटों ने मॉडल के प्रशिक्षण, सत्यापन और परीक्षण के उद्देश्य के लिए कुल 16,148 मामलों (दोनों सकारात्मक और नकारात्मक) तैयार किए। ) अध्ययन में शामिल होने के मानदंडों को पूरा करने वाले रोगियों के संबंध में चिकित्सा डेटा का उपयोग किया गया था. क्लाइंट साइटों ने दिसंबर 2019 में पैंडेमिया की शुरुआत के बाद से और एक्सएएम अध्ययन के लिए स्थानीय प्रशिक्षण शुरू करने तक सभी COVID सकारात्मक मामलों को शामिल करने का प्रयास किया था. 30 सितंबर 2020 तक सभी स्थानीय प्रशिक्षण शुरू किए गए थे. साइटों में एक ही अवधि में अन्य रोगियों को भी शामिल किया गया था जिसमें नकारात्मक आरटी-पीसीआर परीक्षण के परिणाम थे. चूंकि अधिकांश साइटों में SARS-COV-2 नकारात्मक रोगियों की तुलना में सकारात्मक रोगियों की संख्या थी, इसलिए हमने शामिल नकारात्मक रोगियों की संख्या को प्रत्येक क्लाइंट साइट पर कुल मामलों के 95% तक सीमित किया। 1b A ‘case’ included a CXR and the requisite data inputs taken from the patient’s medical record. A breakdown of the cohort size of the dataset for each client site is shown in Fig. CXR छवि तीव्रता (पिक्सल मान) के वितरण और पैटर्न साइटों के बीच बहुत भिन्न थे, जैसे कि विभिन्न डिवाइस निर्माताओं और छवि प्रोटोकॉल जैसे रोगी और साइट विशिष्ट कारकों की एक बहुतायत के कारण। रोगी की उम्र और ईएमआर विशेषता वितरण साइटों के बीच बहुत भिन्न थे, जैसा कि वैश्विक रूप से वितरित अस्पतालों के बीच जनसांख्यिकीय अंतर के कारण उम्मीद की गई थी (अधिकृत डेटा चित्र। ) 1B 1 सी, डी 6 मरीज को शामिल करने के लिए मानदंड रोगी को शामिल करने के लिए मानदंड थे: (1) रोगी को अस्पताल के एडी या समकक्ष में प्रस्तुत किया गया था; (2) रोगी को एडी को प्रस्तुत करने और अस्पताल से निकालने के बीच किसी भी समय एक आरटी-पीसीआर परीक्षण किया गया था; (3) रोगी को एडी में CXR था; और (4) रोगी के रिकॉर्ड में तालिका में विस्तृत किए गए ईएमआर मूल्यों में से कम से कम पांच थे। , all obtained in the ED, and the relevant outcomes captured during hospitalization. Of note, The CXR, laboratory results and vitals used were the first available for capture during the visit to the ED. The model did not incorporate any CXR, laboratory results or vitals acquired after leaving the ED. 1 इनपुट मॉडल कुल मिलाकर, मॉडल के लिए इनपुट के रूप में 21 ईएमआर विशेषताओं का उपयोग किया गया था. परिणाम (यानी, जमीन सत्य) लेबल को रोगी की आवश्यकताओं के आधार पर 24 और 72 घंटे की अवधि के बाद ईएमआर में प्रारंभिक प्रवेश के बाद आवंटित किया गया था. अनुरोध किए गए ईएमआर विशेषताओं और परिणामों का विस्तृत सूची तालिका में देखा जा सकता है . 1 विभिन्न ग्राहक साइटों पर विभिन्न डिवाइसों का उपयोग करके ऑक्सीजन उपचार के वितरण को विस्तारित डेटा चित्र में दिखाया गया है। , जो डिवाइस के उपयोग को डिवाइस में प्रवेश और 24 और 72 घंटे की अवधि के बाद विस्तृत करता है डेटासेट वितरण में अंतर सबसे बड़े और सबसे छोटे क्लाइंट साइटों के बीच विस्तारित डेटा चित्र में देखा जा सकता है। . 7 8 The number of positive COVID-19 cases, as confirmed by a single RT–PCR test obtained at any time between presentation to the ED and discharge from the hospital, is listed in Supplementary Table प्रत्येक क्लाइंट साइट को अपने डेटासेट को तीन भागों में यादृच्छिक रूप से विभाजित करने के लिए कहा गया था: प्रशिक्षण के लिए 70%, सत्यापन के लिए 10% और परीक्षण के लिए 20% दोनों 24 और 72 घंटे के परिणाम पूर्वानुमान मॉडल के लिए, तीन दोहराए गए स्थानीय और एफएल प्रशिक्षण और मूल्यांकन प्रयोगों के प्रत्येक के लिए यादृच्छिक विभाजन स्वतंत्र रूप से उत्पन्न किए गए थे। 1 परीक्षा विकास मॉडल COVID-19 के लक्षणों के साथ अस्पताल में आने वाले रोगियों के नैदानिक पाठ्यक्रम में व्यापक भिन्नता है, जिनमें से कुछ श्वसन कार्य में तेजी से खराब होने का अनुभव करते हैं जो hypoxemia को रोकने या कम करने के लिए विभिन्न हस्तक्षेपों की आवश्यकता होती है , . A critical decision made during the evaluation of a patient at the initial point of care, or in the ED, is whether the patient is likely to require more invasive or resource-limited countermeasures or interventions (such as MV or monoclonal antibodies), and should therefore receive a scarce but effective therapy, a therapy with a narrow risk–benefit ratio due to side effects or a higher level of care, such as admittance to the intensive care unit इसके विपरीत, एक रोगी जो आक्रामक ऑक्सीजन चिकित्सा की आवश्यकता के कम जोखिम में है, उसे एक नियमित कक्ष जैसे कम तीव्र देखभाल सेटिंग में रखा जा सकता है, या यहां तक कि घर पर आत्म-नियंत्रण जारी रखने के लिए एडी से भी छुटकारा पाया जा सकता है। इस तरह के रोगियों की जांच करने में मदद करने के लिए EXAM विकसित किया गया था। 62 63 64 65 ध्यान दें कि मॉडल को इस समय किसी भी नियामक एजेंसी द्वारा अनुमोदित नहीं किया गया है और इसे केवल अनुसंधान उद्देश्यों के लिए उपयोग किया जाना चाहिए। EXAM score EXAM FL का उपयोग करके प्रशिक्षित किया गया था; यह CORISK के समान एक जोखिम स्कोर (उत्पादित EXAM स्कोर) का उत्पादन करता है (अधिकतम डेटा फ़ाइल। यह एक रोगी के ऑक्सीजन समर्थन आवश्यकताओं को दो खिड़कियों के भीतर - 24 और 72 घंटे - ED के लिए प्रारंभिक प्रस्तुति के बाद मेल खाता है। यह दर्शाता है कि CORISK और EXAM स्कोर का उपयोग मरीज के वर्गीकरण के लिए कैसे किया जा सकता है। 27 9a 9 बी छाती एक्स-रे छवियों को सामने की स्थिति छवि का चयन करने के लिए पूर्व-प्रसंस्करण किया गया था और पक्षी दृश्य छवियों को बाहर कर दिया गया था, और फिर 224 × 224 की रिज़ॉल्यूशन तक स्केल किया गया था। , मॉडल EMR और CXR दोनों विशेषताओं से जानकारी को एकीकृत करता है (परिवर्तन ResNet34 पर आधारित CheXpert डेटासेट पर पूर्व प्रशिक्षित) गहरी और क्रॉस नेटवर्क इन अलग-अलग डेटा प्रकारों को एकजुट करने के लिए, प्रत्येक CXR छवि से एक 512-आकार के फ़ीचर वेक्टर को पूर्व प्रशिक्षित ResNet34 का उपयोग करके, अंतरिक्ष ध्यान के साथ निकाला गया था, फिर डीप एंड क्रॉस नेटवर्क के लिए इनपुट के रूप में EMR फ़ीचर के साथ कनेक्ट किया गया था। हमने क्रॉस-एंट्रोपी को नुकसान फ़ंक्शन के रूप में और ‘एडम’ को ऑप्टिमाइज़र के रूप में इस्तेमाल किया। using the NVIDIA Clara Train SDK वर्गीकरण कार्यों के लिए औसत AUC (≥LFO, ≥HFO/NIV या ≥MV) का गणना किया गया था और अंतिम मूल्यांकन मीट्रिक्स के रूप में उपयोग किया गया था, जिसमें शून्य मध्यम और इकाइयों की भिन्नता के साथ सामान्यीकरण किया गया था। ) 9a 66 67 68 9 बी 69 70 27 विशेषता अनुदान और मानकीकरण A MissForest algorithm was used to impute EMR features, based on the local training dataset. If an EMR feature was completely missing from a client site dataset, the mean value of that feature, calculated exclusively on data from MGB client sites, was used. Then, EMR features were rescaled to zero-mean and unit variance based on statistics calculated on data from the MGB client sites. 71 डीप एंड क्रॉस नेटवर्क का उपयोग करके EMR-CXR डेटा मिश्रण के विवरण मामले के स्तर पर EMR और CXR डेटा से विशेषताओं के बातचीत को मॉडलिंग करने के लिए, एक डीप एंड क्रॉस नेटवर्क वास्तुकला के आधार पर एक गहरी विशेषता योजना का उपयोग किया गया था . ईएमआर इनपुट के लिए द्विआधारी और श्रेय विशेषताएं, साथ ही सीएक्सआर में 512 आयामी छवि विशेषताएं, एम्बेड और स्टैकिंग परतों द्वारा वास्तविक मूल्यों के संलग्न घनत्व वेक्टरों में परिवर्तित की गईं। परिवर्तित घनत्व वेक्टर फाउंडेशन फ्रेमवर्क के लिए इनपुट के रूप में कार्य करते थे, जो विशेष रूप से विभिन्न स्रोतों से इनपुट के बीच फाउंडेशन को मजबूत करने के लिए एक क्रॉसिंग नेटवर्क का उपयोग करते थे। क्रॉसिंग नेटवर्क ने अपने परतों के भीतर स्पष्ट फ़ीचर क्रॉसिंग किया, मूल इनपुट फ़ीचर और पिछले परत से आउटपुट के बीच आंतरिक उत्पादों को चलाते हुए, जिससे फ़ीचर के बीच बातचीत 68 फ्लैट विवरण Arguably the most established form of FL is implemention of the federated averaging algorithm as proposed by McMahan et al. इस एल्गोरिथ्म को एक क्लाइंट-सेवर सेटिंग का उपयोग करके पूरा किया जा सकता है जहां प्रत्येक भाग लेने वाली साइट एक क्लाइंट के रूप में कार्य करती है. किसी को एक वैश्विक नुकसान कार्य को कम करने के उद्देश्य से FL को एक विधि के रूप में सोच सकते हैं, जो प्रत्येक साइट पर अनुमानित स्थानीय नुकसान कार्यों की एक सेट को कम करने के द्वारा। प्रत्येक क्लाइंट साइट के स्थानीय नुकसान को कम करके, जबकि एक केंद्रित जोड़ने के सर्वर पर सीखने वाले क्लाइंट साइट वजनों को भी सिंक्रनाइज़ करके, किसी को एक केंद्रित स्थान पर पूरे डेटासेट तक पहुंचने की आवश्यकता के बिना वैश्विक नुकसान को कम कर सकते हैं। प्रत्येक क्लाइंट साइट स्थानीय रूप से सीखती है, और एक केंद्रीय सर्वर के साथ मॉडल वजन अद्यतन ). 72 9 सी एफएल के एक pseudoalgorithm को Supplementary Note में दिखाया गया है हमारे प्रयोगों में, हमने संघीय दौरों की संख्या को सेट किया = 200, with one local training epoch per round ग्राहकों की संख्या, ग्राहकों की संख्या, , ग्राहकों की नेटवर्क कनेक्टिविटी या एक विशिष्ट लक्षित परिणाम अवधि (24 या 72 घंटे) के लिए उपलब्ध डेटा के आधार पर 20 तक था। , प्रत्येक ग्राहक पर डेटासेट का आकार पर निर्भर करता है और संयुक्त औसत में मॉडल वजनों को जोड़ते समय प्रत्येक क्लाइंट के योगदान को वजन देने के लिए इस्तेमाल किया जाता है. एफएल प्रशिक्षण कार्य के दौरान, प्रत्येक क्लाइंट साइट अपने स्थानीय सत्यापन सेट पर मॉडल के प्रदर्शन को ट्रैक करके अपने सर्वश्रेष्ठ स्थानीय मॉडल का चयन करता है. साथ ही, सर्वर प्रत्येक क्लाइंट साइट से प्रत्येक एफएल दौर के बाद सर्वर को भेजे गए औसत सत्यापन स्कोर के आधार पर सर्वश्रेष्ठ वैश्विक मॉडल का निर्धारण करता है. एफएल प्रशिक्षण समाप्त होने के बाद, सर्वश्रेष्ठ स्थानीय मॉडल और सर्वश्रेष्ठ वैश्विक मॉडल को स्वचालित रूप से सभी क्लाइंट साइटों के साथ साझा किया जाता है और उनके स्थानीय परीक्षण डेटा पर मूल्यांकन किया जाता है. 1 T t K एनडीए k जब प्रशिक्षण केवल स्थानीय डेटा पर होता है (बिज़लाइन), तो हमने युग संख्या को 200 में सेट किया. एडम ऑप्टिमाइज़र को स्थानीय प्रशिक्षण और एफएल दोनों के लिए इस्तेमाल किया गया था, जिसमें प्रारंभिक सीखने की दर 5 × 10-5 और हर 40 युगों के बाद 0.5 के साथ चरण-दर-शैली सीखने की दर का विघटन होता है, जो संघीय औसत के एकीकरण के लिए महत्वपूर्ण है . Random affine transformations, including rotation, translations, shear, scaling and random intensity noise and shifts, were applied to the images for data augmentation during training. 73 BN परतों की संवेदनशीलता के कारण जब अलग-अलग ग्राहकों के साथ एक गैर-अधिकारिक और समान रूप से वितरित सेटिंग में संबोधित किया गया था, तो हमने पाया कि पूर्व प्रशिक्षित ResNet34 को अंतरिक्ष ध्यान से रखने पर सबसे अच्छा मॉडल प्रदर्शन हुआ। एफएल प्रशिक्षण के दौरान तय किए गए पैरामीटर (यानी, उन परतों के लिए शून्य सीखने की दर का उपयोग करते हुए)। डीप एंड क्रॉस नेटवर्क जो ईएमआर सुविधाओं के साथ छवि सुविधाओं को जोड़ता है, इसमें बीएन परतें नहीं होती हैं और इसलिए बीएन अस्थिरता समस्याओं से प्रभावित नहीं होती है। 58 47 In this study we investigated a privacy-preserving scheme that shares only partial model updates between server and client sites. The weight updates were ranked during each iteration by magnitude of contribution, and only a certain percentage of the largest weight updates was shared with the server. To be exact, weight updates (also known as gradients) were shared only if their absolute value was above a certain percentile threshold, (d) विस्तारित डेटा फ़ीग। , जो सभी गैर-शून्य ग्रेडेंट से गणना की गई थी, Δ , and could be different for each client हर फ्लैट में इस योजना के विन्यासों में बड़े ग्रेडिंट या डिफ़ेंसियल गोपनीयता योजनाओं के अतिरिक्त काटने शामिल हो सकते हैं। जो नेटवर्क में खिलाने से पहले ग्रेडिएंट, या यहां तक कि कच्चे डेटा के लिए यादृच्छिक शोर जोड़ते हैं . k 5 जीएसटी(टी) k t 49 51 सांख्यिकीय विश्लेषण हमने एक विल्कोक्सन हस्ताक्षरित रैंक परीक्षण किया ताकि 24 और 72 घंटे के समय बिंदुओं के लिए स्थानीय रूप से प्रशिक्षित मॉडल और एफएल मॉडल के बीच प्रदर्शन में देखा गया सुधार की महत्वपूर्णता की पुष्टि हो सके। और विस्तारित डेटा Fig। (Null hypothesis) को एकल पक्ष के साथ अस्वीकार कर दिया गया है। « 1 × 10-3 दोनों मामलों में। 2 1 P Pearson’s correlation was used to assess the generalizability (robustness of the average AUC value to other client sites’ test data) of locally trained models in relation to respective local dataset size. Only a moderate correlation was observed ( = 0.43 के लिए = 0.035, स्वतंत्रता डिग्री (df) = 24 घंटे मॉडल और = 0.62 के लिए = 0.003, df = 16 for the 72-h model). This indicates that dataset size alone is not the only factor determining a model’s robustness to unseen data. r P r P वैश्विक FL मॉडल और विभिन्न स्थानों पर प्रशिक्षित स्थानीय मॉडल से ROC Curves की तुलना करने के लिए (Extended Data Fig. ), हमने डेटा से 1,000 नमूने को बूटस्ट्राप किया और परिणामस्वरूप AUCs की गणना की. हमने फिर दो श्रृंखलाओं के बीच अंतर की गणना की और सूत्र का उपयोग करके मानकीकृत किया = (AUC1 – AUC2) कहां is the standardized difference, is the standard deviation of the bootstrap differences and AUC1 and AUC2 are the corresponding bootstrapped AUC series. By comparing सामान्य वितरण के साथ, हम प्राप्त करते हैं अतिरिक्त तालिका में चित्रित मूल्य परिणामों से पता चलता है कि शून्य अनुमान बहुत कम के साथ अस्वीकार किया गया था आंकड़े, जो एफएल परिणामों की उत्कृष्टता के सांख्यिकीय महत्व को इंगित करते हैं। मूल्यों को pROC पुस्तकालय के साथ R में संचालित किया गया था . 3 D s D s D P 2 P P 74 चूंकि मॉडल एक विशिष्ट परिणाम, 0 से 1 के बीच एक निरंतर स्कोर का पूर्वानुमान करता है, इसलिए एक qqplot जैसे एक सीधे कैलिब्रेशन मूल्यांकन संभव नहीं है। ) हमने स्थानीय और FL मॉडल स्कोर की तुलना करने के लिए एकल दिशा विश्लेषण का विश्लेषण (ANOVA) परीक्षण किया चार जमीन सत्य श्रेणियों (एआरए, एलएफओ, एचएफओ, एमवी) के बीच। -स्टेटिक, नमूने के बीच परिवर्तन के रूप में गणना की जाती है, नमूने के भीतर परिवर्तन से विभाजित और विभिन्न समूहों के बीच विचलन की डिग्री का प्रतिनिधित्व करता है, मॉडल की मात्रा का उपयोग किया गया था। -पाँच अलग-अलग स्थानीय साइटों के मान 245.7, 253.4, 342.3, 389.8 और 634.8 हैं, जबकि एफएल मॉडल का मान 843.5 है। -मूल्यों का मतलब है कि समूह अधिक विभाजित हैं, हमारे एफएल मॉडल से स्कोर स्पष्ट रूप से चार मूल सत्य श्रेणियों के बीच एक बड़ा विचलन दिखाते हैं। एफएल मॉडल पर ANOVA परीक्षण का मूल्य <2 × 10-16 है, जो इंगित करता है कि एफएल पूर्वानुमान स्कोर विभिन्न पूर्वानुमान वर्गों के बीच सांख्यिकीय रूप से महत्वपूर्ण हैं। 10 F F F P रिपोर्ट संक्षिप्त अनुसंधान डिजाइन के बारे में अधिक जानकारी उपलब्ध है इस लेख से जुड़े Nature Research Reporting Summary डेटा उपलब्धता इस अध्ययन में भाग लेने वाले 20 संस्थानों के डेटासेट उनकी देखभाल के अधीन रहते हैं. इन डेटा को स्थानीय साइटों में से प्रत्येक में प्रशिक्षण के लिए उपयोग किया गया था और अन्य भाग लेने वाले संस्थानों या संघीय सर्वर के साथ साझा नहीं किया गया था, और वे सार्वजनिक रूप से उपलब्ध नहीं हैं. स्वतंत्र सत्यापन साइटों से डेटा को CAMCA द्वारा बनाए रखा जाता है, और पहुंच Q.L. से संपर्क करके अनुरोध किया जा सकता है. CAMCA द्वारा निर्धारित करने के आधार पर, अनुसंधान उद्देश्यों के लिए आईआरबी का एक डेटा साझा समीक्षा और संशोधन एमजीबी अनुसंधान प्रशासन द्वारा और एमजीबी आईआरबी और नीति के अनुसार किया जा सकता है. Code availability इस अध्ययन में इस्तेमाल किए गए सभी कोड और सॉफ्टवेयर NGC पर सार्वजनिक रूप से उपलब्ध हैं. एक्सेस करने के लिए, मेहमान के रूप में लॉग इन करने के लिए या एक प्रोफ़ाइल बनाने के लिए, नीचे दिए गए URL में से एक दर्ज करें. प्रशिक्षित मॉडल, डेटा तैयार करने के दिशानिर्देश, प्रशिक्षण के लिए कोड, मॉडल की सत्यापन परीक्षण, readme फ़ाइल, स्थापना दिशानिर्देश और लाइसेंस फ़ाइल NVIDIA NGC पर सार्वजनिक रूप से उपलब्ध हैं : संघीय सीखने सॉफ्टवेयर क्लारा ट्रेन एसडीके के हिस्से के रूप में उपलब्ध है: वैकल्पिक रूप से, इस कमांड का उपयोग मॉडल "wget --content-disposition" डाउनलोड करने के लिए करें -O clara_train_covid19_exam_ehr_xray_1.zip। 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip संदर्भ Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 मान्यताएं इस अध्ययन में प्रदर्शित क्लिनिकल डेटा विभाग के माध्यम से व्यक्त किए गए विचार लेखक के हैं और जरूरी नहीं कि एनएचएस, एनआईएचआर, स्वास्थ्य और सामाजिक देखभाल विभाग या लेखकों के साथ जुड़े किसी भी संगठनों के बारे में। एमजीबी उनके समर्थन के लिए निम्नलिखित व्यक्तियों को धन्यवाद देता है: जे. ब्रंक, रेडियोलॉजी विभाग, मैसाचुसेट्स जनरल अस्पताल, हार्वर्ड मेडिकल स्कूल, बोस्टन, एमए; एम. काल्रा, रेडियोलॉजी विभाग, मैसाचुसेट्स जनरल अस्पताल, हार्वर्ड मेडिकल स्कूल, हार्वर्ड मेडिकल स्कूल, बोस्टन, एमए; एमए. Neumark, क्लिनिकल डेटा विज्ञान केंद्र, मैसाचुसेट्स जनरल ब्रैगम, बोस्टन, एमए चिकित्सा संकाय, Chulalongkorn विश्वविद्यालय द्वारा Ratchadapisek Sompoch Endowment Fund RA (PO) (No. 001/63) को अनुसंधान कार्यकारिणी, चिकित्सा संकाय, Chulalongkorn विश्वविद्यालय के लिए COVID-19 से संबंधित नैदानिक डेटा और जैविक नमूने के संग्रह और प्रबंधन के लिए धन्यवाद। NIHR Cambridge Biomedical Research Center RA (PO) को धन्यवाद, जिसे NIHR (Cambridge Biomedical Research Centre at Cambridge University Hospitals NHS Foundation Trust) द्वारा समर्थित किया जाता है। National Taiwan University MeDA Lab और MAHC और Taiwan National Health Insurance Administration को धन्यवाद। https://data.ucsf.edu/covid19 यह दस्तावेज़ CC by 4.0 Deed (Attribution 4.0 International) लाइसेंस के तहत प्रकृति में उपलब्ध है। यह दस्तावेज़ CC by 4.0 Deed (Attribution 4.0 International) लाइसेंस के तहत प्रकृति में उपलब्ध है।
