ავტორი : Ittai Dayan Holger R. Roth Aoxiao შოხა Ahmed Harouni Amilcare Gentili Anas Z. Abidin Andrew ლიუ Anthony Beardsworth Costa Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang Chun-Nan Hsu C. K. Lee Peiying Ruan Daguang Xu Dufan Wu Eddie Huang Felipe Campos Kitamura Griffin Lacey Gustavo César de Antônio Corradi Gustavo Nino Hao-Hsin Shin Hirofumi Obinata Hui Ren Jason C. Crane Jesse Tetreault Jiahui Guan John W. Garrett Joshua D. Kaggie Jung Gil Park Keith Dreyer Krishna Juluru Kristopher Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru Masoom A. Haider Meena AbdelMaseeh Nicola Rieke Pablo F. Damasceno Pedro Mario Cruz e Silva Pochuan Wang Sheng Xu Shuichi Kawano Sira Sriswasdi Soo Young Park Thomas M. Grist Varun Buch Watsamon Jantarabenjakul Weichung Wang Won Young Tak Xiang Li Xihong Lin Young Joon Kwon Abood Quraini Andrew Feng Andrew N. Priest Baris Turkbey Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Chin Lin Chiu-Ling Lai Christopher P. Hess Colin Compas Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul Pierre Elnajjar Sarah Hickman Sharmila Majumdar Shelley L. McLeod Sheridan Reed Stefan Gräf Stephanie Harmon Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li ავტორი : ITTAI DAYAN HOLGER R. ROH Aoxiao შოხა Ahmed Harouni სათაური Amilcare მეგობრული ANAS Z. ABIDIN Andrew ლიუ Anthony Beardsworth კოსტა Bradford J. WOOD სათაური Chen-Sung ტაი ჩიხ-ჰან Wang Chun-Nan შუ C. K. ლი რელიგიური Daguang შუ Dufan Wu დის Huang Felipe Campos დატვირთვა გრიფინი Lacey GUSTAVO CÉZAR DE ANTÔNIO CORRADI- ს GUSTAVO NIANO ჰო-HSIN SHIN Hirofumi აღინატა Hui Ren Jason C. კანი Jesse Tetreault სათაური Jiahui კუნძულები JOHN W. GARRET Joshua D. კგი Jung Gil პარკი Keith დრაიერი ქრისტე ქრისტე ქრისტე ქრისტე ქრისტე Marcio Aloisio Bezerra Cavalcanti Rockenbach, შპს Marius Georgi Linguraru სათაური Masoom A. ჰიდერი მეინია AbdelMaseeh NICOLA რკინი Pablo F. Damasceno Pedro Mario Cruz და Silva პოსტი Wang Sheng შუ SHUICHI KAWANO Sira Sriswasdi Soo Young პარკი Thomas M. გრისტ ბიბლია Watsamon სამზარეულო კონტაქტი Wang WON YOUNG TAK ჩინეთი Li Xihong ლინ Young Joon კონ Abood კრაინები Andrew ფენ Andrew N. Priest სათაური ბრიტანეთი Turkbey ბენამინი Glicksberg ბერანდიო ვიზო ჩინეთი Kim Seok Carlos Tor-Díez სათაური Chen-Cheng Lee სათაური ჩია-Jung Hsu ჩინეთი კუნძულები ქრისტეს P. Hess კონტაქტი Compas Deepeksha ბატია Eric K. Oermann სათაური Evan Leibovitz სათაური HISASHI SASAKI სათაური Hitoshi მორები Isaac იან Jae Ho Sohn Keshava და Krishna Nand Murthy Li-Chen ფუ იურიდიული რუკა: Ribeiro Furtado de Mendonça მინი Fralick მინი Kyu Kang მენეჯერი Natalie Gangai საწყისი პორნოგრაფიული Vateekul Pierre Elnajjar სარი Hickman Sharmila Majumdar Shelley L. McLeod-ის მეშვეობით Sheridan რედი სტატისტიკა Gräf სტეპანია Harmon Tatsuya კოდმა ტურისტული კურსი Tony Mazzulli სათაური კონტაქტი: Vitor Lima de Trabor Yothin Rakvongthai-ის შერჩევა Yu Rim ლი Yuhong სინათლის Fiona J. გლიბერი Mona G. ფერები კუნძული Li Abstract პოსტი Federated learning setting (FL) არის მონაცემთა მეთოდი, რომელიც გამოიყენება გაფართოების გაფართოების გაფართოების მონაცემების მონაცემების მონაცემების გაფართოების საშუალებით, ხოლო მონაცემების ანონიმუზიას გაგრძელება. აქ ჩვენ გამოიყენეთ მონაცემები 20 ინსტიტუტიდან მსოფლიოში, რათა ტრენინგი FL მოდელი, რომელიც გამოიყენება EXAM (Electronic Medical Record (EMR) chest X-ray AI მოდელი), რომელიც პროგნოზიას მომავალში ციკლის მოთხოვნებს სიმპტომური პაციენტებს COVID-19 გამოყენებით ინტენსიური სიმპტომები, ლაბორატორიული მონაცემები და chest X-rays. EXAM შეესაბამება საშუალო ფართობი ქვეშ curve (AUC) >0.92 მთავარი მეცნიერების, მეცნიერების, სამედიცინო და მონაცემთა მეცნიერების საზოგადოება შეესაბამება COVID-19 პანდიმური კაციას, რათა სწრაფად შეამოწმოთ ახალი პარამეტრები ხელოვნური ინტელექტურობის (AI)გან, რომლებიც სწრაფად და უსაფრთხოდ არიან, და პოტენციურად სავარაუდობს მონაცემთა გაზიარება და მოდელი ტრენინგი და ტესტირება გარეშე კონტაქტური თანამშრომლობის ჩვეულებრივი კონფიდენციალურობის და მონაცემთა მახასიათებლები. , ჯანმრთელობის მომსახურების მომწოდებლები, კვლევა და ინდუსტრია შეუზღუდავი შეუზღუდავი და მნიშვნელოვანი კლინიკური მოთხოვნებს, რომლებიც შექმნილია კლინიკური კლინიკას, შეუზღუდავი შედეგებს აძლევს. , , , , , , კლინიკური კვლევების რეიტინგი გააუმჯობესდა და დაეხმარა ეროვნული რეგულარული ორგანიზაციები და საერთაშორისო თანამშრომლობის ფსიქია. , , მონაცემთა ანალიტიკა და AI ფართობი ყოველთვის გაუმჯობესდა Open and Collaborative მიმოხილვა, აღჭურვილობა კონცეფციები, როგორიცაა Open-Source პროგრამული უზრუნველყოფა, რეპუტაციის კვლევა, მონაცემთა repositories და გაძლევთ ხელმისაწვდომია anonimized მონაცემთა კომპონენტები საზოგადოებას. , მას შემდეგ, რაც გულისხმობს, რომ კლინიკური და სამეცნიერო საზოგადოების საშუალებას გაძლევთ სწრაფად შეესაბამება სწრაფად განვითარებული და პოპულარული გლობალური პრობლემებს. მონაცემთა გაზიარება შეიცავს ეტიკური, რეგულარული და რეგულარული კომპლექსურობა, რომელიც აღწევს, და, ალბათ, ზოგიერთი რთული, დიდი ტექნოლოგიური კომპანიების უახლესი შევიდა ჯანმრთელობის მონაცემთა მსოფლიოში. , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ამ ტიპის თანამშრომლობის კონკრეტული მაგალითია ჩვენი წინა მუშაობა AI-based SARS-COV-2 კლინიკური გადაწყვეტილებების მხარდაჭერა (CDS) მოდელის შესახებ. ეს CDS მოდელი გააუმჯობესდა Mass General Brigham- ში (MGB) და მრავალფეროვანი ჯანმრთელობის სისტემების მონაცემებს შეამოწმდა. CDS მოდელის ინტენსიები იყო კუნთების X-ray (CXR) სურათები, სიცოცხლის სიმბოლოები, პოპულარული მონაცემები და ლაბორატორიული ღირებულებები, რომლებიც დასაწყისში გამოჩნდა COVID-19- ის პაციენტების შედეგების პროგნოზიას. , , , CXR აირჩიეთ იმიტომ, რომ ის ფართოდ ხელმისაწვდომია და ჩვეულებრივ განიხილება რჩევებს, როგორიცაა ACR- ის მიერ უზრუნველყოფა. Fleischner საზოგადოება WHO National Thoracic კომპანიები National Health Ministry COVID სახელმძღვანელოები და radiology კომპანიები მსოფლიოში CDS- ის მოდელის გამოცემა, რომელიც CORISK- ს იყო. , რომელიც შეესაბამება ქსელის მხარდაჭერა მოთხოვნებს და შეიძლება დაეხმაროს პაციენტებს frontline კლინიკატორებს , , ჯანმრთელობის მომსახურების მომწოდებლები ცნობილია, რომ უპირატესობა მოდელები, რომლებიც validated მათი საკუთარი მონაცემები ამჟამად, ყველაზე AI მოდელები, მათ შორის აღწერილი CDS მოდელი, უკვე სასწავლოდა და შეუზღუდავდა "კროზიული" მონაცემებით, რომლებიც ხშირად არ აქვს მრავალფეროვნება. , , პოტენციურად გამოწვევა overfitting და დაბალი გაფართოება. ეს შეიძლება შეამციროს ტრენინგი სხვადასხვა მონაცემები მრავალფეროვანი საიტები გარეშე ცენტრიზაციის მონაცემები გამოყენების მეთოდები, როგორიცაა transfer learning , ან FL. FL არის მეთოდი, რომელიც გამოიყენება AI მოდელები სხვადასხვა მონაცემთა წყაროები, გარეშე მონაცემები გადამცემა ან გამოცემა თავდაპირველად ადგილი. მიუხედავად იმისა, რომ გამოიყენება მრავალი ინდუსტრიაში, FL უკვე უახლესი დროის განმავლობაში შეიმუშავებულია საინფორმაციო ჯანმრთელობის კვლევისთვის . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 Federated Learning მხარს უჭერს სწრაფი დასაწყისში ცენტრიზებული ექსპერიმენტები გაუმჯობესებული მონაცემების გაუმჯობესება და შეფასება ალგორტიმური ცვლილებები და ეფექტი One approach to FL, called client-server, sends a ‘non-trained’ model to other servers (‘nodes’) that conduct partial training tasks, ამავე დროს გადაცემის შედეგები უკან, რათა შეესაბამება ცენტრალური (‘federated’) სერვერზე. . 37 36 Governance of data for FL is maintained locally, alleviating privacy concerns, with only model weights or gradients communicated between client sites and the federated server , FL უკვე გთავაზობთ უახლესი მოთხოვნებს სამედიცინო სურათების გამოყენებით. , , , COVID-19 ანალიზი , , მაგალითად, SARS-COV-2- ზე ინფექციონირებული პაციენტების მკვლელობის პროგნოზი მოდელი გამოიყენებს კლინიკური თვისებები, მიუხედავად იმისა, რომ მოცულობა და მოცულობა შეზღუდულია. . 38 39 40 41 42 43 8 44 45 46 ჩვენი მიზანი იყო, რომ განვითარდეს ძლიერი, გენერირებული მოდელი, რომელიც შეიძლება დაეხმაროს ტრიალებს პაციენტებს. ჩვენ ვფიქრობთ, რომ CDS მოდელი შეუძლია წარმატებით Federated, იმიტომ, რომ მას გამოიყენება მონაცემთა ინტენსიები, რომლებიც საკმაოდ პოპულარული კლინიკური პრაქტიკაში და რომლებიც არ არის ძალიან დამოკიდებულებული ოპერატორების დამოკიდებულების შეფასების პაციენტების მდგომარეობის (გალითად, კლინიკური შეზღუდვები ან გამოქვეყნებული სიმპტომები). გარდა ამისა, ლაბორატორიული შედეგები, ძირითადი სიმპტომები, სურათის კვლევა და ზოგადად მოპოვებული დომოგრაფიული (მაგ. ასაკი), გამოიყენება. ასე რომ, ჩვენ ჩვენ ვფიქრობთ, რომ EXAM- ის შესრულება უკეთესია, ვიდრე ადგილობრივი მოდელები, და უკეთესი გაცნობისა ჯანმრთელობის სისტემებში. შედეგები Exam მოდელი არქიტექტურა EXAM მოდელი ეფუძნება CDS მოდულზე, რომელიც გამოქვეყნდა ზედაპირზე საერთოდ, 20 ფუნქციები (19 EMR და ერთი CXR) გამოიყენება როგორც ინტენსიური მოდელი. შედეგები (მაგ. "გოლადის ფაქტი") ბეჭდვა დააკმაყოფილია პაციენტების ნავთობის მკურნალობის მიხედვით 24 და 72 საათის შემდეგ, რაც პირველი დატვირთვა დატვირთვა (ED). დეტალური სია მოთხოვნილი ფუნქციები და შედეგები იხილება მაგიდა. . 27 1 პაციენტების შედეგების მატჩები 0, 0,25, 0,50 და 0,75 იყო, დამოკიდებულია ყველაზე ინტენსიური ნავთობის მკურნალობა პაციენტს მიიღო პროგნოზი ფანჯარაში. ნავთობის მკურნალობა კატეგორიები იყო, შესაბამისად, კამერა საჰაერო (RA), დაბალი წნევის ნავთობის ნავთობის (LFO), მაღალი წნევის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნავთობის ნ EMR ფუნქციებისთვის მხოლოდ პირველი ღირებულებები გამოიყენება ED- ში და მონაცემთა წინასწარ დამუშავება მოიცავს deidentification, დაკარგული ღირებულება imputation და normalization to zero-mean და unit variance. For CXR images, მხოლოდ პირველი მიღებული ED- ში გამოიყენება. მას შემდეგ, რაც მოდელი შეესაბამება მონაცემები ორივე EMR და CXR ფუნქციები, გამოყენებით 34 ფართო convolutional neural ქსელის (ResNet34) ექსტრაქტი ფუნქციები CXR და Deep & Cross ქსელის შეესაბამება ფუნქციები ერთად EMR ფუნქციები (და უფრო გაფართოებული დეტალები, იხილეთ ). მოდელის გამოცემა არის რისკის სოკუმენტი, რომელიც ცნობილია როგორც EXAM სოკუმენტი, რომელიც 0-1 სფეროში მუდმივი ღირებულება თითოეული 24 და 72 საათის პროგნოზიზე, რომელიც შეესაბამება ზედაპირზე აღწერილი label. მეთოდები Federating მოდელი EXAM მოდელი ტრენინგი იყო გამოყენებით 16148 შემთხვევაში, რაც არ არის მხოლოდ პირველი FL მოდელი COVID-19 არამედ ძალიან დიდი და მრავალკინენტური განვითარების პროექტი კლინიკურად მნიშვნელოვანი AI (მაგ. ). მონაცემები საიტები არ იყო შეესაბამება ადრე ექსპლუატაცია და, იმიტომ, რეალურ ცხოვრებაში კლინიკური კომპიუტერული სიტუაციები, მკაცრი შეესაბამება მონაცემთა ინტენსიები არ იყო დამუშავებული ავტორი (მაგ. ) და 1A და B 1C და D მსოფლიო რუკა, რომელიც აჩვენებს 20 სხვადასხვა კლიენტების საიტები, რომლებიც contribute to the EXAM study. , კვლევების რაოდენობა თითოეული ინსტიტუტის ან საიტზე (კლიენტს 1 აჩვენებს საიტზე, რომელიც უზარმაზარი კვლევების რაოდენობა აჩვენებს). Chest X-ray ინტენსიის გაზიარება თითოეული კლიენტების ადგილას. , პაციენტების ასაკი თითოეული კლიენტული საიტზე, რომელიც აჩვენებს მინიმალური და მაქსიმალური ასაკი (თერკკები), საშუალო ასაკი (თერკულები) და სტანდარტული ცვლილება (თერკულები). თითოეული კლიენტული საიტზე ნიმუშების რაოდენობა აჩვენებს დამატებითი ტაბლეში . a b c d 1 ჩვენ შედარებით ადგილობრივი ტრენინგი მოდელები გლობალური FL მოდელი თითოეული კლიენტების ტესტი მონაცემები. ტრენინგი მოდელი მეშვეობით FL შეესაბამება მნიშვნელოვანი შესრულების გაუმჯობესება ( « 1 × 10–3, Wilcoxon-ის შეტყობინებული ტესტი) 16% (გითვალისწინებული საშუალო AUC, როდესაც მოდელი მუშაობს respective ადგილობრივი ტესტი კომპლექტი: 0.795 to 0.920, ან 12.5 პროცენტული პერსონალი) (მაგ. ). იგი ასევე გამოწვევა 38% გაუმჯობესება გაფართოება (დაახლებით, როგორც განკუთვნილია საშუალო AUC, როდესაც მოდელი მუშაობს ყველა ტესტი კომპლექტი: from 0.667 to 0.920, ან 25.3 პროცენტული პუნქტები) საუკეთესო გლობალური მოდელი პროგნოზი 24 საათის ნაქსოვი მკურნალობის შედარებით მოდელები სასწავლო მხოლოდ საიტზე საკუთარი მონაცემები (მაგ. ) 72 საათის ნაქსოვი მკურნალობის პროგნოზი შედეგებისთვის, საუკეთესო გლობალური მოდელის სასწავლო ეფექტურობის გაუმჯობესება დაახლოებით 18% შედარებით ადგილობრივ სასწავლო მოდელები, ხოლო გლობალური მოდელის გაუმჯობესება დაახლოებით 34% (დაწვრილებული მონაცემები Fig. ). ჩვენი შედეგების სტაბილურობა შეამოწმდა, რომ 3 ადგილობრივი და FL ტრენინგი განთავსება განსხვავებული randomized მონაცემთა splits. P 2A 2b 1 ყველა კლიენტების ტესტიში ეფექტურობა განკუთვნილია 24 საათის ნავთობის მკურნალობის პროგნოზით მოდულებს, რომლებიც მხოლოდ ადგილობრივი მონაცემებით (გონტალური) შეესაბამება საუკეთესო გლობალური მოდულთან ერთად, რომელიც ხელმისაწვდომია სერვერზე (FL). , გენერირება (მომცველი ეფექტურობა სხვა საიტების ტესტირების მონაცემების შესახებ, როგორც საშუალო AUC) კლიენტების მონაცემთა კომპლექტი ზომაზე (მომცველი არ არის) ფუნქციონირება. ლურჯი ჰორიზონტალური ხაზი განიხილავს საუკეთესო გლობალური მოდელის გენერირება. 18 კლიენტების ეფექტურობა 20 კლიენტების შესახებ გამოჩნდა, რადგან კლიენტში 12 მხოლოდ 72 საათის განმავლობაში ეფექტურობა (დაწვრილებული მონაცემები). ) და კლიენტს 14 იყო შემთხვევაში მხოლოდ RA მკურნალობა, ასე რომ შეფასების მეტრიკები (შ. AUC) არ გამოიყენება ნებისმიერ ამ შემთხვევაში ( ). მონაცემები კლიენტს 14 ასევე არ იყო შეუზღუდავი კომპიუტერის საშუალო გაფართოების ადგილობრივი მოდელები. a b 1 მეთოდები მთავარი მოდელები, რომლებიც ტრენინგიში შეესაბამებული kohorts (გალითად, ძირითადად მარტივი შემთხვევაში COVID-19) იპოვდა FL პრაქტიკაში, ძირითადად გაუმჯობესებული პროგნოზი საშუალო AUC შესრულების კატეგორიები მხოლოდ რამდენიმე შემთხვევაში. ეს იყო იმიტომ, კლიენტების საიტი 16 (ბაჟო მონაცემთა კომპლექტი), ყველაზე პაციენტები გამოცდილი მინიმალური სიჩქარით და მხოლოდ რამდენიმე სიჩქარით მოვლენები. FL მოდელი შეესაბამება მაღალი ნამდვილად პოპულარული სიჩქარით ორი პოპულარული (ხმაგი) მოვლენები და იმიტომ დაბალი ცუდი პოპულარული სიჩქარით შედარებით ადგილობრივი მოდელი, ორი გაფართოებული მონაცემთა Fig. უფრო მნიშვნელოვანია, რომ FL მოდელის გენერირება პოტენციურად გაზრდა ადგილობრივ სასწავლო მოდულზე. 3A 2 , ROC კლიენტული საიტი 16, უჯრედული მონაცემები და ძირითადად მშრალი შემთხვევაში. კლიენტების საიტის ადგილობრივი მოდელის ROC 12 (კონტაქტო მცირე მონაცემთა კომპლექტი), ძირითადი ROC მოდელები, რომლებიც დიდი მონაცემთა კომპლექტია, რომელიც შეესაბამება ბოსტონი ტერიტორიაზე (1, 4, 5, 6, 8) და ROC საუკეთესო გლობალური მოდელის პროგნოზიში 72 საათის ნაქსოვი მკურნალობის განსხვავებული სფეროებში EXAM სფეროებში (კონტაქტო ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზემოთ ზ ) of the EXAM risk score are shown. Pos and neg denote the number of positive and negative cases, respectively, as defined by this range of EXAM score. a b t In the case of client sites with relatively small datasets, the best FL model markedly outperformed not only the local model but also those trained on larger datasets from five client sites in the Boston area of the USA (Fig. ) და 3b The global model performed well in predicting oxygen needs at 24/72 h in patients both COVID positive and negative (Extended Data Fig. ). 3 კონფიგურაცია Independent Sites მას შემდეგ, რაც პირველი სასწავლო, EXAM შემდეგ ტესტირება იყო სამი დამოუკიდებელი validation ადგილებში: Cooley Dickinson Hospitals (CDH), Martha’s Vineyard Hospitals (MVH) და Nantucket Cottage Hospitals (NCH), ყველა Massachusetts, USA. მოდელი არ იყო re-trained ამ ადგილებში და იგი გამოიყენება მხოლოდ validation მიზნით. კოორტი ზომა და მოდელი მოწყობილობების შედეგები შეესაბამება Table , და ROC curves და confusion matrices ყველაზე დიდი მონაცემთა კომპლექტი (და CDH) ჩვენება Fig. ოპერაციული პოსტი განკუთვნილია არმქანიკური სინათლის და მექანიკური სინათლის (MV) მკურნალობის (ან სიკვდილის) განსხვავებით. FL- ის გლობალური ტრენინგი მოდელი, EXAM, მიიღო საშუალო AUC 0.944 და 0.924 24- ის და 72- ის პროგნოზაციის სამუშაოებისთვის. ), რომელიც გაიზარდა საშუალო შესრულების ადგილებში, რომლებიც გამოიყენება სასწავლო EXAM. პროგნოზი MV მკურნალობის (ან სიკვდილის) 24 საათის განმავლობაში, EXAM მიღებული სქესობრივი 0.950 და სქესობრივი 0.882 at CDH, და სქესობრივი 1000 სქესობრივი 0.934 at MVH. NCH არ იყო შემთხვევაში MV / სიკვდილის 24 საათის განმავლობაში. დაკავშირებით 72 საათის MV პროგნოზი, EXAM მიღებული სქესობრივი 0.929 და სქესობრივი 0.880 at CDH, სქესობრივი 1000 და სქესობრივი 0.976 at MVH და სქესობრივი 1000 და სქესობრივი 0.929 at NCH. 2 4 2 , , Performance (ROC) (top) და confusion matrices (bottom) EXAM FL მოდელის CDH მონაცემთა კომპლექტი, რათა პროგნოზი ნავთობის მოთხოვნების 24 საათის განმავლობაში ( ) and 72 h ( ). ROC ორი განსხვავებული cutoff ღირებულება ( ) of the EXAM risk score are shown. a b a b t For MV at CDH at 72 h, EXAM had a low false-negative rate of 7.1%. Representative failure cases are presented in Extended Data Fig. , showing two false-negative cases from CDH where one case had many missing EMR data features and the other had a CXR with a motion artifact and some missing EMR features. 4 Use of differential privacy ძირითადი მოტივაცია ჯანმრთელობის ინსტიტუტები გამოყენების FL არის შენარჩუნება უსაფრთხოების და კონფიდენციალურობის მათი მონაცემები, ისევე როგორც შეესაბამება მონაცემთა კონფიდენციალურობის მოთხოვნებს. ან კი ტრენინგი სურათების reconstruction მოდელი gradients themselves . To counter these risks, security-enhancing measures were used to mitigate risk in the event of data ‘interception’ during site-server communication . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL . Through investigation of a partial weight-sharing scheme , , , we showed that models can reach a comparable performance even when only 25% of weight updates are shared (Extended Data Fig. ). 47 48 49 50 50 51 52 5 Discussion This study features a large, real-world healthcare FL study in terms of number of sites and number of data points used. We believe that it provides a powerful proof-of-concept of the feasibility of using FL for fast and collaborative development of needed AI models in healthcare. Our study involved multiple sites across four continents and under the oversight of different regulatory bodies, and thus holds the promise of being provided to different regulated markets in an expedited way. The global FL model, EXAM, proved to be more robust and achieved better results at individual sites than any model trained on only local data. We believe that consistent improvement was achieved owing to a larger, but also a more diverse, dataset, the use of data inputs that can be standardized and avoidance of clinical impressions/reported symptoms. These factors played an important part in increasing the benefits from this FL approach and its impact on performance, generalizability and, ultimately, the model’s usability. For a client site with a relatively small dataset, two typical approaches could be used for fitting a useful model: one is to train locally with its own data, the other is to apply a model trained on a larger dataset. For sites with small datasets, it would have been virtually impossible to build a performant deep learning model using only their local data. The finding, that these two approaches were outperformed on all three prediction tasks by the global FL model, indicates that the benefit for client sites with small datasets arising from participation in FL collaborations is substantial. This is probaby a reflection of FL’s ability to capture more diversity than local training, and to mitigate the bias present in models trained on a homogenous population. An under-represented population or age group in one hospital/region might be highly represented in another region—such as children who might be differentially affected by COVID-19, including disease manifestations in lung imaging . 46 The validation results confirmed that the global model is robust, supporting our hypothesis that FL-trained models are generalizable across healthcare systems. They provide a compelling case for the use of predictive algorithms in COVID-19 patient care, and the use of FL in model creation and testing. By participating in this study the client sites received access to EXAM, to be further validated ahead of pursuing any regulatory approval or future introduction into clinical care. Plans are under way to validate EXAM prospectively in ‘production’ settings at MGB leveraging COVID-19 targeted resources , as well as at different sites that were not a part of the EXAM training. 53 Over 200 prediction models to support decision-making in patients with COVID-19 have been published COVID-19- ის დიაპაზონიზე ან სიკვდილის პროგნოზიზე განკუთვნილია. ჩვენ ასევე გამოიყენე შემთხვევაში, სადაც არ არის ცნობილი SARS-COV-2 სტატისტიკა, ასე რომ მოდელი შეუძლიათ გთავაზობთ სამედიცინო მიმოხილვა, სანამ მიმოხილვა PCR- ის შედეგს რეიტინგით (RT-PCR), რაც მას გამოიყენება რეალურ ცხოვრებაში კლინიკური კონფიგურაციაში. მოდელი სურათების მიმოხილვა გამოიყენება საერთო პრაქტიკაში, განსხვავებით მოდელები, რომლებიც გამოიყენებენ კუნთების კომპიუტერული ტომგოგრაფიას, რომელიც არ არის კონცენტრალური დიაპაზონის მოდელი. მოდელი დიზაინი შეზღუდულია უნიკალური პროგნოზორებით, 19 Patient cohort identification and data harmonization are not novel issues in research and data science , but are further complicated, when using FL, given the lack of visibility on other sites’ datasets. Improvements to clinical information systems are needed to streamline data preparation, leading to better leverage of a network of sites participating in FL. This, in conjunction with hyperparameter engineering, can allow algorithms to ‘learn’ more effectively from larger data batches and adapt model parameters to a particular site for further personalization—for example, through further fine-tuning on that site . A system that would allow seamless, close-to real-time model inference and results processing would also be of benefit and would ‘close the loop’ from training to model deployment. 54 39 იმიტომ, რომ მონაცემები არ იყო ცენტრიზებული, ისინი არ არის ადვილად ხელმისაწვდომი. იმის გამო, რომ, ნებისმიერი მომავალში ანალიზი შედეგები, გარდა ამისა, რაც გააკეთა და მოკლე, არის შეზღუდული. Similar to other machine learning models, EXAM is limited by the quality of the training data. Institutions interested in deploying this algorithm for clinical care need to understand potential biases in the training. For example, the labels used as ground truth in the training of the EXAM model were derived from 24- and 72-h oxygen consumption in the patient; it is assumed that oxygen delivered to the patient equates the oxygen need. However, in the early phase of the COVID-19 pandemic, many patients were provided high-flow oxygen prophylactically regardless of their oxygen need. Such clinical practice could skew the predictions made by this model. Since our data access was limited, we did not have sufficient available information for the generation of detailed statistics regarding failure causes, post hoc, at most sites. However, we did study failure cases from the largest independent test site, CDH, and were able to generate hypotheses that we can test in the future. For high-performing sites, it seems that most failure cases fall into one of two categories: (1) low quality of input data—for example, missing data or motion artifact in CXR; or (2) out-of-distribution data—for example a very young patient. In future, we also intend to investigate the potential for a ‘population drift’ due to different phases of disease progression. We believe that, owing to the diversity across the 20 sites, this risk may have been mitigated. ერთი თვისება, რომელიც გაუმჯობესებს ამ სახის ფართო ფართო თანამშრომლობას, არის შესაძლებლობა პროგნოზოთ თითოეული კლიენტების საიტის შემუშავება გლობალური FL მოდელის გაუმჯობესებლად. ეს დაგეხმარებათ კლიენტების საიტის აირჩიონ და მონაცემთა მოპოვების და შეტყობინების ეფექტების უპირატესობა. ეს არის განსაკუთრებით მნიშვნელოვანია, იმიტომ, რომ მაღალი ღირებულება და რთული ლოგისტიკა ამ ფართო კონუსტრიის ეფექტებს, და ეს საშუალებას გაძლევთ ამ ეფექტებს მოპოვოს მრავალფეროვნება, ვიდრე მონაცემთა ნიმუში. Future approaches may incorporate automated hyperparameter searching , neural architecture search და სხვა ავტომატური მანქანა კვლევები approaches to find the optimal training parameters for each client site more efficiently. 55 56 57 Known issues of batch normalization (BN) in FL motivated us to fix our base model for image feature extraction to reduce the divergence between unbalanced client sites. Future work might explore different types of normalization techniques to allow the training of AI models in FL more effectively when client data are nonindependent and identically distributed. 58 49 უახლესი სამუშაოები კონფიდენციალურობის თავმჯდომარეზე FL- ში შეხვდა შეუზღუდავი შესახებ მონაცემთა გაქირავება მოდულების სასწავლო დროს . Meanwhile, protection algorithms remain underexplored and constrained by multiple factors. While differential privacy algorithms , , show good protection, they may weaken the model’s performance. Encryption algorithms, such as homomorphic encryption კონფიდენციალურობის ზომის ზომის და ტრენინგის დროის მნიშვნელოვნად ზრდის, მაგრამ კონფიდენციალურობის ზომის ზომის ზომის და ტრენინგის დროის ზრდის. კონფიდენციალურობის ზომის ზომის ზომის ზომის და ტრენინგის დროის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის ზომის , , . 59 36 48 49 60 36 48 49 მას შემდეგ, რაც შემდგომი კონფიგურაცია, ჩვენ ვფიქრობთ, რომ EXAM მოდელი გამოიყენება ED კონფიგურაციაში, როგორც გზა, რათა შეფასოთ რისკებს ორივე პაციენტის და პოპულარული დონეზე, და აძლევს კლინიკატორებს დამატებითი ნაბიჯს, როდესაც კლინიკატორები ხშირად რთული კითხვებს პაციენტებს. ჩვენ ასევე ვფიქრობთ, რომ გამოიყენოთ მოდელი უფრო სქესობრივი პოპულარული დონეზე მეტრიკებით, რათა დააკმაყოფილოს რესურსები რეგიონებში, საჰაერო და დეპარტამენტების შორის. ჩვენ ვფიქრობთ, რომ მსგავსი FL ეფექტები შეუძლიათ მონაცემთა silos და საშუალებას გაძლევთ უფრო სწრაფად განვითარებას Methods Ethics მიმოხილვა All procedures were conducted in accordance with the principles for human experimentation as defined in the Declaration of Helsinki and International Conference on Harmonization Good Clinical Practice guidelines, and were approved by the relevant institutional review boards at the following validation sites: CDH, MVH, NCH and at the following training sites: MGB, Mass General Hospital (MGH), Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital (all eight of these hospitals were covered under MGB’s ethics board reference, no. 2020P002673, and informed consent was waived by the instititional review board (IRB). Similarly, participation of the remaining sites was approved by their respective relevant institutional review processes: Children’s National Hospital in Washington, DC (no. 00014310, IRB certified exempt); NIHR Cambridge Biomedical Research Centre (no. 20/SW/0140, informed consent waived); The Self-Defense Forces Central Hospital in Tokyo (no. 02-014, informed consent waived); National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration (no. 202108026 W, informed consent waived); Tri-Service General Hospital in Taiwan (no. B202105136, informed consent waived); Kyungpook National University Hospital in South Korea (no. KNUH 2020-05-022, informed consent waived); Faculty of Medicine, Chulalongkorn University in Thailand (nos. 490/63, 291/63, informed consent waived); Diagnosticos da America SA in Brazil (no. 26118819.3.0000.5505, informed consent waived); University of California, San Francisco (no. 20-30447, informed consent waived); VA San Diego (no. H200086, IRB certified exempt); University of Toronto (no. 20-0162-C, informed consent waived); National Institutes of Health in Bethesda, Maryland (no. 12-CC-0075, informed consent waived); University of Wisconsin-Madison School of Medicine and Public Health (no. 2016-0418, informed consent waived); Memorial Sloan Kettering Cancer Center in New York (no. 20-194, informed consent waived); and Mount Sinai Health System in New York (no. IRB-20-03271, informed consent waived). MI-CLAIM guidelines for reporting of clinical AI models were followed (Supplementary Note ) 2 სტუდენტები Setting კვლევა შეიცავს მონაცემები 20 ინსტიტუტებს (ფგ. ): MGB, MGH, Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center და Faulkner Hospital; Children’s National Hospital in Washington, DC; NIHR Cambridge Biomedical Research Centre; The Self-Defense Forces Central Hospital in Tokyo; National Taiwan University MeDA Lab და MAHC და Taiwan National Health Insurance Administration; Tri-Service General Hospital in Taiwan; Kyungpook National University Hospital in South Korea; Faculty of Medicine, Chulalongkorn University in Thailand; Diagnosticos da America SA in Brazil; University of California, San Francisco; VA San Diego; University of Toronto; National Institutes of Health in Bethesda, Maryland; University of Wisconsin-Madison School of Medicine and Public Health; Memorial Sloan Kettering Cancer Center in New York; და Mount Sinai Health , , მონაცემები სამი დამოუკიდებელი საიტები გამოიყენება დამოუკიდებელი validation: CDH, MVH და NCH, ყველა Massachusetts, USA. ეს სამი საიტები შეიცავს პაციენტების პოპულარული თვისებები განსხვავდება სასწავლო საიტები. მონაცემები გამოიყენება algorithm validation შედგება პაციენტები აღიარებული ED ამ საიტები შორის მარტი 2020 და თებერვალი 2021, და რომ შეესაბამება იგივე შეესაბამება მოთხოვნები მონაცემები გამოიყენება სასწავლო FL მოდელი. 1a 61 62 63 Data collection The 20 client sites prepared a total of 16,148 cases (both positive and negative) for the purposes of training, validation and testing of the model (Fig. ). Medical data were accessed in relation to patients who satisfied the study inclusion criteria. Client sites strived to include all COVID-positive cases from the beginning of the pandemic in December 2019 and up to the time they started local training for the EXAM study. All local training had started by 30 September 2020. The sites also included other patients in the same period with negative RT–PCR test results. Since most of the sites had more SARS-COV-2-negative than -positive patients, we limited the number of negative patients included to, at most, 95% of the total cases at each client site. 1B CXR და საჭირო მონაცემთა ინტენსიები, რომლებიც მიიღეს პაციენტის სამედიცინო დოკუმენტში. თითოეული კლიენტული საიტის მონაცემთა კომპოზიტის კოორტი ზომაის გაზიანება განიხილება Fig. . The distribution and patterns of CXR image intensity (pixel values) varied greatly among sites owing to a multitude of patient- and site-specific factors, such as different device manufacturers and imaging protocols, as shown in Fig. პაციენტების ასაკი და EMR- ის ფუნქციონირება ადგილებში ძალიან განსხვავებული იყო, როგორც გამოჩნდა, გლობალურად გაფართოებული სასტუმროების შორის განსხვავებული დომოგრაფიის გამო (Extended Data Fig. ). 1b 1C და D 6 Patient Inclusion სტრატეგიები პაციენტების მოცულობის კრეტიფიკატები იყო: (1) პაციენტს შეესაბამება სამედიცინო ED ან იგივე; (2) პაციენტს RT-PCR ტესტი გაკეთდა ნებისმიერ დროს ED-ს შეესაბამება და სამედიცინო გამოხატვა შორის; (3) პაციენტს შეესაბამება CXR in ED; და (4) პაციენტს შეესაბამება შეესაბამება შეესაბამება მინიმუმ 5 EMR ღირებულება, რომელიც დეტალურია ტაბლეში. , ყველა მიღებული ED, და დაკავშირებული შედეგები დატვირთული საავადმყოფილების დროს. შენიშვნა, CXR, ლაბორატორიული შედეგები და vitalals გამოიყენება იყო პირველი ხელმისაწვდომია დატვირთვა დროს მოგზაურობა ED. მოდელი არ შეიცავს ნებისმიერი CXR, ლაბორატორიული შედეგები ან vitalals მიღებული შემდეგ დატვირთვა ED. 1 მოდელი input In total, 21 EMR features were used as input to the model. The outcome (that is, ground truth) labels were assigned based on patient requirements after 24- and 72-h periods from initial admission to the ED. A detailed list of the requested EMR features and outcomes can be seen in Table . 1 სხვადასხვა კლიენტების საიტებზე სხვადასხვა მოწყობილობების გამოყენებით გაქირავებული ქსელის გაქირავება გამოჩნდა გაფართოებული მონაცემთა ფურცში. , რომელიც დეტალებს მოწყობილობების გამოყენებას ED- ში და 24- და 72 საათის შემდეგ. განსხვავება მონაცემთა კომპონენტების გაფართოების შორის ყველაზე დიდი და მცირე კლიენტების საიტები იხილება Extended Data Fig. . 7 8 COVID-19- ის პოპულარული შემთხვევაში რაოდენობა, რაც ერთჯერადი RT-PCR ტესტიით შეამოწმებულია ნებისმიერ დროში ED- ს მიწოდების და სასტუმროში გათავისუფლების შორის, მოიცავს დამატებითი ტაბლეში. . Each client site was asked to randomly split its dataset into three parts: 70% for training, 10% for validation and 20% for testing. For both 24- and 72-h outcome prediction models, random splits for each of the three repeated local and FL training and evaluation experiments were independently generated. 1 Exam მოდელის განვითარება There is wide variation in the clinical course of patients who present to hospital with symptoms of COVID-19, with some experiencing rapid deterioration in respiratory function requiring different interventions to prevent or mitigate hypoxemia , ძირითადი გადაწყვეტილება, რომელიც გააკეთა პერსონალი შეფასების დროს დასაწყისში, ან ED- ში, არის, თუ პერსონალი შეიძლება მოითხოვოს უფრო ინვესტიციური ან რესურსების შეუზღუდავი კონცენტრაციები ან ინვესტიციები (მაგ. MV ან monoclonal ანტიბოტები), და ამიტომ უნდა მიიღოს რთული მაგრამ ეფექტური მკურნალობა, მკურნალობა, რომელიც მოკლე რისკის-მაგეტიკის თანხა გვერდითი ეფექტების გამო, ან უფრო მაღალი დონეის მკურნალობა, როგორიცაა ინტენსიტიზაციის მოწყობილობა. . In contrast, a patient who is at lower risk of requiring invasive oxygen therapy may be placed in a less intensive care setting such as a regular ward, or even released from the ED for continuing self-monitoring at home . EXAM was developed to help triage such patients. 62 63 64 65 Of note, the model is not approved by any regulatory agency at this time and it should be used only for research purposes. ექსპერიმენტი EXAM უკვე სასწავლოლი გამოყენებით FL; იგი აწარმოებს Risk Score (თით EXAM Score) მსგავსი CORISK (Extended Data Fig. ) და შეიძლება გამოყენებულ იქნას იგივე გზა კლასიკური პაციენტებს. იგი შეესაბამება პაციენტების საწვავის მხარდაჭერა მოთხოვნებს ორი ფანჯარა - 24 და 72 საათის განმავლობაში - შემდეგ პირველი შეტყობინება ED. Extended Data Fig. განიხილება, თუ როგორ შეიძლება CORISK და EXAM scores გამოყენებულ იქნას პაციენტების სრორაციისთვის. 27 9A 9b Chest X-ray images were preprocessed to select the anterior position image and exclude lateral view images, and then scaled to a resolution of 224 × 224. As shown in Extended Data Fig. , the model fuses information from both EMR and CXR features (based on a modified ResNet34 with spatial attention pretrained on the CheXpert dataset) Deep & Cross ქსელი ამ სხვადასხვა მონაცემთა ტიპის convergence, 512-dimensional ფუნქციონირების ვიქტორი გამოჩნდა თითოეული CXR სურათის გამოყენებით წინასწარ ტრენინგი ResNet34, სფეროტური ყურადღება, შემდეგ შეკუთვნილია EMR ფუნქციონირება, როგორც input for the Deep & Cross ქსელის. საბოლოო გამოცემა იყო მუდმივი ღირებულება ზომის 0–1 ორივე 24- და 72 საათის პროგნოზები, რომელიც შეესაბამება აღწერილი label, როგორც ჩანს Extended Data Fig. . We used cross-entropy as the loss function and ‘Adam’ as the optimizer. The model was implemented in Tensorflow NVIDIA Clara Train SDK- ის გამოყენება ამითი AUC კლასიკური საქმიანობის (≥LFO, ≥HFO/NIV ან ≥MV) განკუთვნილია და გამოიყენება, როგორც საბოლოო შეფასების მეტრიკები, ნორმალურიზაციის ერთად ნედლეულის საშუალო და ერთეულების განსხვავება. CXR სურათები წინასწარ დამუშავებულია, რათა აირჩიოთ სწორი სერია და შეამციროს მხარეს ნახვა სურათები, და შემდეგ შეამციროს რეზოლუცია 224 × 224 (Ref. ) და 9A 66 67 68 9b 69 70 27 კონფიგურაცია და სტანდარტიზაცია A MissForest algorithm EMR- ის ფუნქციონების გამოხატვა ადგილობრივი სასწავლო მონაცემთა კომპლექტი მიხედვით. თუ EMR- ის ფუნქციონები კლიენტული საიტის მონაცემთა კომპლექტიდან მთლიანად არ არსებობს, ის ფუნქციონების საშუალო ღირებულება, რომელიც მხოლოდ MGB კლიენტული საიტის მონაცემებს გამოხატულია, გამოიყენება. შემდეგ, EMR- ის ფუნქციონები განკუთვნილია ნედლეული საშუალო და ერთეულების განსხვავება MGB კლიენტული საიტის მონაცემების მიხედვით. 71 EMR-CXR მონაცემთა შეერთების დეტალები Deep & Cross ქსელის გამოყენებით To model the interactions of features from EMR and CXR data at the case level, a deep-feature scheme was used based on a Deep & Cross network architecture . Binary and categorical features for the EMR inputs, as well as 512-dimensional image features in the CXR, were transformed into fused dense vectors of real values by embedding and stacking layers. The transformed dense vectors served as input to the fusion framework, which specifically employed a crossing network to enforce fusion among input from different sources. The crossing network performed explicit feature crossing within its layers, by conducting inner products between the original input feature and output from the previous layer, thus increasing the degree of interaction across features. At the same time, two individual classic deep neural networks with several stacked, fully connected feed-forward layers were trained. The final output of our framework was then derived from the concatenation of both classic and crossing networks. 68 FL დეტალები რა თქმა უნდა, ყველაზე პოპულარული ფორმა FL- ის განახლება Federated Mediating algorithm როგორც McMahan et al. ამ ალგორტიმი შეიძლება განახლდეს კლიენტების სერვერზე კონფიდენციალურობის გამოყენებით, სადაც თითოეული პარტნიორული საიტი კლიენტების სახით მუშაობს. ვფიქრობთ, რომ FL არის მეთოდი, რომელიც მიზნით გლობალური დაკარგულების ფუნქციონირების შეზღუდვის მიზნით იღებს ადგილობრივი დაკარგულების ფუნქციებს, რომლებიც თითოეული საიტიში შეფასებულია. თითოეული კლიენტების საიტის ადგილობრივი დაკარგულების შეზღუდვა, ხოლო კლიენტების საიტის სინქრონიზაცია სინქრონიზაცია სინქრონიზებული კლიენტების საიტის სინქრონიზაციის სერვერზე, კლიენტებს შეუძლია გლობალური დაკარგულების შეზღუდვის მიზნით ). 72 9c ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ფოლადის ჩვენი ექსპერიმენტში, ჩვენ დააყენებთ Federated Rounds = 200, with one local training epoch per round კლიენტების რაოდენობა, კლიენტების რაოდენობა, , დაახლოებით 20, დამოკიდებულია ქსელის კავშირი კლიენტების ან ხელმისაწვდომი მონაცემები კონკრეტული მიზნით შედეგების დროის (24 ან 72 საათის განმავლობაში). , depends on the dataset size at each client და გამოიყენება თითოეული კლიენტების შეფასების შეზღუდვისთვის, როდესაც მოდელი წონა შეესაბამება federated averages. დროს FL სასწავლო სამუშაო, თითოეული კლიენტული საიტი აირჩიებს საუკეთესო ადგილობრივი მოდელი მასშტაბით მოდელი შესრულების ადგილობრივი validation კომპლექტი. ამავე დროს, სერვერზე აირჩიებს საუკეთესო გლობალური მოდელი საფუძველზე საშუალო validation წონის გადაცემა თითოეული კლიენტული საიტი სერვერზე შემდეგ თითოეული FL კურსი. შემდეგ FL სასწავლო დასრულდება, საუკეთესო ადგილობრივი მოდელი და საუკეთესო გლობალური მოდელი ავტომატურად გაზიარება ყველა კლიენტული საიტი და შეფასება მათი ადგილობრივი ტესტი მონაცემები. 1 T t K ნომერი k When training on local data only (the baseline), we set the epoch number to 200. The Adam optimizer was used for both local training and FL with an initial learning rate of 5 × 10–5 and a stepwise learning rate decay with a factor 0.5 after every 40 epochs, which is important for the convergence of federated averaging random affine transformations, მათ შორის rotation, translations, shear, scaling და random intensity ხმა და ცვლილებები, გამოიყენება სურათებს მონაცემების გაზრდის დროს სასწავლო. 73 იმიტომ, რომ BN layers სქესობრივი როდესაც განსხვავებული კლიენტებს უარყოფითი და იგივე განთავსებული გარემოში შეხვდა, ჩვენ აღმოაჩინეს, რომ საუკეთესო მოდელის შესრულება ხდება, როდესაც წინასწარ ტრენინგი ResNet34- ს ს ს სართული ყურადღებაა. ფოლადის ტრენინგის დროს შეზღუდული პარამეტრები (მაგ. ამ ფოლადის შეზღუდული სწავლის სიჩქარით). Deep & Cross ქსელი, რომელიც შეიცავს სურათის ფუნქციებს EMR ფუნქციებს, არ შეიცავს BN ფუნქციებს და ასე რომ, BN- ის უჯრედის პრობლემები არ შეხვდა. 58 47 ამ კვლევში ჩვენ შეამოწმეთ კონფიდენციალურობის შენარჩუნების სისტემას, რომელიც მხოლოდ ნაწილური მოდელი განახლებებს სერვერზე და კლიენტების საიტის შორის გაუზიარებს. წონის განახლებები თითოეული განახლებების დროს შეესაბამება დააკმაყოფილება და მხოლოდ ზოგიერთი პროცენტი ყველაზე დიდი წონის განახლებების გაუზიარება სერვერზე. ზუსტად, წონის განახლებები (დაწვრილებით, gradients) გაუზიარება მხოლოდ იმ შემთხვევაში, თუ მათი უპირატესობრივი ღირებულება აღემატება ზოგიერთი პანტასლის სარეცხი, (შ) გაფართოებული მონაცემები Fig. ), რომელიც დააკმაყოფილია ყველა არა Zero gradients, Δ და შეიძლება იყოს განსხვავებული თითოეული მომხმარებლისთვის თითოეული FL რუკა . Variations of this scheme could include additional clipping of large gradients or differential privacy schemes რომ დაამატოთ ნარკოტიკული ნარკოტიკების gradients, ან მაშინაც კი ნარკოტიკული მონაცემები, სანამ გადაცემა ქსელის . k 5 ნომერი (t) k t 49 51 სტატისტიკური ანალიზი Wilcoxon- ის რეგისტრაციის ტესტი გაკეთდა, რათა დააკმაყოფილოს პოტენციური შესრულების გაუმჯობესების მნიშვნელობა ადგილობრივ სასწავლო მოდელი და FL მოდელი შორის 24 და 72 საათის დროს (გ. გაფართოებული მონაცემთა Fig. Null ჰოპეტაზს ერთ-ერთი მხრივ უარყოფა « 1 × 10–3 ორივე შემთხვევაში. 2 1 P Pearson’s correlation was used to assess the generalizability (robustness of the average AUC value to other client sites’ test data) of locally trained models in relation to respective local dataset size. Only a moderate correlation was observed ( = 0.43, = 0.035, თავისუფლების დონეები (df) = 17 24-თანი მოდელი და 0 0 62 = 0.003, df = 16 72-h მოდელისთვის). ეს აჩვენებს, რომ მონაცემთა კომპლექტი ზომა მხოლოდ არ არის ერთ-ერთი ფაქტორი, რომელიც აირჩიებს მოდელის მდგრადიას უახლესი მონაცემებისთვის. r P r P To compare ROC curves from the global FL model and local models trained at different sites (Extended Data Fig. ), ჩვენ bootstrapped 1,000 ნიმუშები მონაცემების და დააკმაყოფილოს შედეგად AUCs. ჩვენ შემდეგ დააკმაყოფილოს განსხვავება ორი სერია და სტანდარტებული გამოყენებით ფორმულა = (AUC1 – AUC2)/ სადაც is the standardized difference, ეს არის სტანდარტული ცვლილება bootstrap განსხვავებები და AUC1 და AUC2 არის შესაბამისი bootstrapped AUC სერია. როგორც ჩვეულებრივი გადაზიდვა, ჩვენ მიიღებთ values illustrated in Supplementary Table . The results show that the null hypothesis was rejected with very low values, indicating the statistical significance of the superiority of FL outcomes. The computation of values was conducted in R with the pROC library . 3 D s D s D P 2 P P 74 იმიტომ, რომ მოდელი პროგნოზით diskreet შედეგს, 0-დან 1-ზე მუდმივი სიზუსტით, საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ საკმაოდ ). We conducted one-way analysis of variation (ANOVA) tests to compare local and FL model scores among four ground truth categories (RA, LFO, HFO, MV). The -statistic, calculated as the variation between the sample means divided by variation within the samples and representing the degree of dispersion among different groups, was used to quantify the models. Our results show that the -values of five different local sites are 245.7, 253.4, 342.3, 389.8 and 634.8, while that of the FL model is 843.5. Given that larger - ვალდებულებები ნიშნავს, რომ ჯგუფიები უფრო განსხვავებული არიან, ჩვენი FL მოდელი სავარაუდოდ გთავაზობთ უფრო დიდი dispersion შორის ოთხი ground truth კატეგორიები. value of the ANOVA test on the FL model is <2 × 10–16, indicating that the FL prediction scores are statistically significantly different among the different prediction classes. 10 F F F P შეტყობინება დამატებითი ინფორმაცია კვლევის დიზაინი ხელმისაწვდომია დაკავშირებული ამ სტატიაში. Nature Research Reporting Summary Data availability ეს მონაცემები გამოიყენება სასწავლო თითოეული ადგილას და არ გაუზიაროს ნებისმიერი სხვა მონაწილეობის ინსტიტუტების ან federated სერვერზე, და ისინი არ არის პოპულარულად ხელმისაწვდომი. მონაცემები Independent Validation Sites მინახავს CAMCA, და ხელმისაწვდომობა შეიძლება მოითხოვდეს კონტაქტი Q.L. საფუძველზე განკუთვნილია CAMCA, მონაცემების გაზიარება მიმოხილვა და განახლება IRB კვლევის მიზნით შეიძლება გაკეთდეს MGB კვლევის მენეჯმენტი და შესაბამისად MGB IRB და პოლიტიკა. კოდი ხელმისაწვდომობა ყველა კოდი და პროგრამული უზრუნველყოფა, რომელიც გამოიყენება ამ სტრუქტურაში, ოფიციალურად ხელმისაწვდომია NGC- ში. მიიღეთ ხელმისაწვდომობა, ჩაწერეთ სასტუმროში ან შექმნათ პროფილი, დააწკაპუნეთ ქვემოთ ერთ-ერთი URL- ში. სასწავლო მოდელები, მონაცემების შექმნის რჩევები, კოდები სასწავლოთვის, მოდელი ტესტირება, readme ფაილი, ინსტალაციის რჩევები და ლიცენზიის ფაილი ოფიციალურად ხელმისაწვდომია NVIDIA NGC- ში : : : The federated learning software is available as part of the Clara Train SDK: . Alternatively, use this command to download the model “wget --content-disposition -O clara_train_covid19_exam_ehr_xray_1.zip”. 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip რეიტინგები Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 აღიარება The views expressed in this study are those of the authors and not necessarily those of the NHS, the NIHR, the Department of Health and Social Care or any of the organizations associated with the authors. MGB thank the following individuals for their support: J. Brink, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; M. Kalra, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; N. Neumark, Center for Clinical Data Science, Massachusetts General Brigham, Boston, MA; T. Schultz, Department of Radiology, Massachusetts General Hospital, Boston, MA; N. Guo, Center for Advanced Medical Computing and Analysis, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; J. K. Cramer, Director, QTIM lab at the Athinoula A. Martinos Center for Biomedical Imaging at MGH; S. Pomerantz, Department of Radiology, Massachusetts General Hospital, Harvard Medical School, Boston, MA; G. Boland, Department of Radiology, Brigham and Women’s Hospital, Harvard Medical School, Boston, MA; W. Mayo-Smith, Department of Radiology, Brigham and Women’s Hospital, Harvard Medical School, Boston, MA. UCSF thank P. B. Storey, J. Chan and J. Block for implementing the UCSF FL client infrastructure, and W. Tellis for providing the source imaging repository for this work. The UCSF EMR and clinical notes for this study were accessed via the COVID-19 Research Data Mart, . The Faculty of Medicine, Chulalongkorn University thank the Ratchadapisek Sompoch Endowment Fund RA (PO) (no. 001/63) for the collection and management of COVID‐19-related clinical data and biological specimens for the Research Task Force, Faculty of Medicine, Chulalongkorn University. NIHR Cambridge Biomedical Research Centre thank A. Priest, who is supported by the NIHR (Cambridge Biomedical Research Centre at the Cambridge University Hospitals NHS Foundation Trust). National Taiwan University MeDA Lab and the MAHC and Taiwan National Health Insurance Administration thank the MOST Joint Research Center for AI technology, the All Vista Healthcare National Health Insurance Administration, Taiwan, the Ministry of Science and Technology, Taiwan and the National Center for Theoretical Sciences Mathematics Division. National Institutes of Health (NIH) acknowledge that the NIH Medical Research Scholars Program is a public–private partnership supported jointly by the NIH and by generous contributions to the Foundation for the NIH from the Doris Duke Charitable Foundation, the American Association for Dental Research, the Colgate-Palmolive Company, Genentech, alumni of student research programs and other individual supporters via contributions to the Foundation for the NIH. https://data.ucsf.edu/covid19 ამ სტატიაში ხელმისაწვდომია CC by 4.0 Deed (Attribution 4.0 International) ლიცენზია. ეს ქაღალდი არის CC by 4.0 Deed (Attribution 4.0 International) ლიცენზია. ხელმისაწვდომია ბუნება
