Tác giả : Ittai Dayan Holger R. Roth Aoxiao Zhong Ahmed Harouni Amilcare Gentili Ông Anas Z. Abidin Andrew Liu Diễn viên Anthony Beardsworth Costa Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang Chun-Nan Hsu Ông C. K. Lee Peiying Ruan Nguyễn Trọng Xu Dufan Wu Eddie Huang Felipe Campos Kitamura Griffin Lacey Tác giả Gustavo César de Antônio Corradi Gustavo Nino Nguyễn Hùng Shin Hirofumi Obinata Hui Ren Jason C. Crane Jesse Tetreault Jiahui Guan John W. Garrett Tác giả Joshua D. Kaggie Công viên Jung Gil Keith Dreyer Krishna Juluru Christoph Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru Tác giả Masoom A. Haider Meena AbdelMaseeh Nicole Rieke Pablo F. Damasceno Pedro Mario Cruz e Silva Chung Vương Sheng Xu Trang chủ » Shuichi Kawano Lời bài hát: Sir Sriswasdi Công viên Soo Young Ông Thomas M. Grist Varun Buch Watsamon Jantarabenjakul Weichung Wang Won Young Tak Xiang Li Xihong Lin Young Joon Kwon Abood Quraini Ông Andrew Feng Andrew N. Priest Baris Turkbey Ông Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Ông Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Trung Quốc Lin Chiu-Ling Lai Christopher P. Hess Colin Compas Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul Pierre Elnajjar Sarah Hickman Sharmila Majumdar Shelley L. McLeod Sheridan Reed Stefan Gräf Stephanie Harmon Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li Tác giả : Lời bài hát Ittai Dayan Đạo diễn Holger R. Roth Aoxiao Zhong Ông Ahmed Harouni Amilcare Dễ thương Ông Anas Z. Abidin Andrew Liu Diễn viên Anthony Beardsworth Costa Diễn viên Bradford J. Wood Chien-Sung Tsai Chih-Hung Vương Chun-Nan Hsu Ông C. K. Lee Lời bài hát Peiying Ruan Nguyễn Trọng Xu Dufan Wu Eddie Huang Đạo diễn Felipe Campos Kitamura Đạo diễn Griffin Lacey Tác giả Gustavo César de Antônio Corradi Gustavo Nino Nguyễn Hùng Shin Lời bài hát: Hirofumi Obinata Hui Ren Tác giả: Jason C. Crane Đạo diễn: Jesse Tetreault Đạo diễn Jiahui Guan Ông John W. Garrett Tác giả Joshua D. Kaggie Công viên Jung Gil Đạo diễn Keith Dreyer Krishna Juluru Đánh giá Christoph Kersten Tác giả: Marcio Aloisio Bezerra Cavalcanti Rockenbach Đạo diễn: Marius George Linguraru Tác giả Masoom A. Haider Thảo luận:AbdelMaseeh Nicole Rieke Ông Pablo F. Damasceno Pedro Mario Cruz và Silva Chung Vương Sheng Xu Trang chủ » Shuichi Kawano Lời bài hát: Sir Sriswasdi Công viên Soo Young Ông Thomas M. Grist Sách Varun Ăn trưa Ăn trưa Lãnh đạo Wang Lời bài hát: Young Tak Tiểu Li Lời bài hát: Xihong Lin Trẻ Joon Kwon Lời bài hát: Quraini Ông Andrew Feng Đạo diễn Andrew N. Priest Thảo luận:Baris Turkbey Ông Benjamin Glicksberg Ông Bernardo Bizzo Lời bài hát Seok Kim Ông Carlos Tor-Díez Thành viên: Chia-Cheng Lee Chia-Jung Hsu Trung Quốc Lin Lời bài hát: Chiu Ling Lai Tác giả: Christopher P. Hess Lời bài hát: Colin Compas Deepeksha Bhatia Đạo diễn Eric K. Oermann Đạo diễn Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Cậu bé Jae Ho Lời bài hát Krishna Nand Keshava Murthy Lời bài hát: Li-Chen Fu Nhà hàng gần Ribeiro Furtado de Mendonça bởi Mike Fralick Lời bài hát Min Kyu Kang Ông Adil Nữ diễn viên Natalie Gangai Lời bài hát: Peerapon Vateekul Ông Pierre Elnajjar bởi Sarah Hickman Charmila Majumdar Tác giả Shelley L. McLeod Tác giả: Sheridan Reed Ông Stefan Gräf Nữ diễn viên Stephanie Harmon Tatsuya Kodama Thụy Điển bởi Tony Mazzulli Vitor Lima của công việc Yothin Rakvongthai Diễn viên: Yu Rim Lee Yuhong Wen Diễn viên: Fiona J. Gilbert Mona G. Hoa Lời bài hát: Li Abstracts Federated learning setting (FL) là một phương pháp dữ liệu được sử dụng để đào tạo các mô hình trí tuệ nhân tạo với dữ liệu từ nhiều nguồn trong khi duy trì tính ẩn danh dữ liệu, do đó loại bỏ nhiều rào cản đối với việc chia sẻ dữ liệu. Ở đây chúng tôi đã sử dụng dữ liệu từ 20 viện trên toàn thế giới để đào tạo một mô hình FL, được gọi là EXAM (Electronic Medical Record (EMR) chest X-ray AI mô hình), dự đoán nhu cầu oxy trong tương lai của bệnh nhân triệu chứng với COVID-19 bằng cách sử dụng đầu vào của các dấu hiệu quan trọng, dữ liệu phòng thí nghiệm và tia X-ray ngực. EXAM đạt được một khu vực trung bình dưới đường cong (AUC) > 0,92 để dự đoán kết quả ở 24 và 72 giờ từ thời điểm trình bày ban đầu đến phòng cấp cứu, và nó chính Các cộng đồng khoa học, học thuật, y tế và khoa học dữ liệu đã cùng nhau đối mặt với cuộc khủng hoảng đại dịch COVID-19 để nhanh chóng đánh giá các mô hình mới trong trí tuệ nhân tạo (AI) nhanh chóng và an toàn, và có khả năng khuyến khích chia sẻ dữ liệu và đào tạo mô hình và thử nghiệm mà không có những rào cản riêng tư và quyền sở hữu dữ liệu thông thường của các hợp tác thông thường. , Các nhà cung cấp dịch vụ y tế, các nhà nghiên cứu và ngành công nghiệp đã tập trung vào việc giải quyết các nhu cầu lâm sàng không được đáp ứng và quan trọng được tạo ra bởi cuộc khủng hoảng, với kết quả đáng chú ý. , , , , , , Việc tuyển dụng các thử nghiệm lâm sàng đã được đẩy nhanh và tạo điều kiện cho các cơ quan quản lý quốc gia và tinh thần hợp tác quốc tế. , , Các ngành phân tích dữ liệu và AI luôn thúc đẩy các phương pháp tiếp cận cởi mở và cộng tác, bao gồm các khái niệm như phần mềm nguồn mở, nghiên cứu có thể tái tạo, kho dữ liệu và làm cho các bộ dữ liệu ẩn danh có sẵn công khai. , Đại dịch đã nhấn mạnh sự cần thiết phải nhanh chóng tiến hành hợp tác dữ liệu trao quyền cho cộng đồng lâm sàng và khoa học khi đáp ứng những thách thức toàn cầu đang phát triển nhanh chóng và lan rộng. chia sẻ dữ liệu có những phức tạp về đạo đức, quy định và pháp lý được nhấn mạnh, và có lẽ hơi phức tạp, bởi sự gia nhập gần đây của các công ty công nghệ lớn vào thế giới dữ liệu chăm sóc sức khỏe. , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Một ví dụ cụ thể về các loại hợp tác này là công việc trước đây của chúng tôi về mô hình hỗ trợ quyết định lâm sàng SARS-COV-2 dựa trên AI. Mô hình CDS này đã được phát triển tại Mass General Brigham (MGB) và đã được xác nhận trên dữ liệu của nhiều hệ thống y tế. Các đầu vào cho mô hình CDS là hình ảnh X-quang ngực (CXR), dấu hiệu quan trọng, dữ liệu nhân khẩu học và giá trị phòng thí nghiệm đã được chứng minh trong các ấn phẩm trước đó để dự đoán kết quả của bệnh nhân bị COVID-19 , , , CXR đã được chọn làm đầu vào hình ảnh vì nó có sẵn rộng rãi và thường được chỉ ra bởi các hướng dẫn như những hướng dẫn được cung cấp bởi ACR Hiệp hội Fleischner của WHO Các xã hội thoracic quốc gia , Bộ Y tế quốc gia COVID hướng dẫn và Xạ trị xã hội trên toàn thế giới Kết quả của mô hình CDS là một điểm số, được gọi là CORISK , tương ứng với các yêu cầu hỗ trợ oxy và có thể giúp trong việc sàng lọc bệnh nhân bởi các bác sĩ lâm sàng hàng đầu , , Các nhà cung cấp dịch vụ y tế đã được biết là thích các mô hình đã được xác nhận trên dữ liệu của riêng họ. Cho đến nay, hầu hết các mô hình AI, bao gồm cả mô hình CDS được đề cập ở trên, đã được đào tạo và xác nhận trên dữ liệu “hẹp” thường thiếu sự đa dạng. , , có khả năng dẫn đến quá tải và khả năng tổng quát thấp hơn. điều này có thể được giảm bớt bằng cách đào tạo dữ liệu đa dạng từ nhiều trang web mà không cần tập trung dữ liệu Sử dụng các phương pháp như transfer learning , FL là một phương pháp được sử dụng để đào tạo các mô hình AI trên các nguồn dữ liệu khác nhau, mà không cần dữ liệu được vận chuyển hoặc phơi bày bên ngoài vị trí ban đầu của chúng. . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 Federated Learning hỗ trợ khởi động nhanh chóng các thí nghiệm được tổ chức tập trung với khả năng theo dõi dữ liệu được cải thiện và đánh giá các thay đổi và tác động của thuật toán Một cách tiếp cận với FL, được gọi là client-server, gửi một mô hình "không được huấn luyện" đến các máy chủ khác ("nodes") thực hiện các nhiệm vụ đào tạo một phần, lần lượt gửi các kết quả trở lại để được sáp nhập vào máy chủ trung tâm ("federated"). . 37 36 Quản trị dữ liệu cho FL được duy trì tại địa phương, giảm bớt các mối quan tâm về quyền riêng tư, chỉ có trọng lượng mô hình hoặc độ dốc được truyền đạt giữa các trang web khách hàng và máy chủ liên bang , FL đã thể hiện sự hứa hẹn trong các ứng dụng hình ảnh y tế gần đây , , , Phân tích COVID-19 , , Một ví dụ đáng chú ý là mô hình dự đoán tử vong ở bệnh nhân bị nhiễm SARS-COV-2 sử dụng các đặc điểm lâm sàng, mặc dù hạn chế về số lượng phương thức và quy mô. . 38 39 40 41 42 43 8 44 45 46 Mục tiêu của chúng tôi là phát triển một mô hình mạnh mẽ, tổng quát có thể hỗ trợ trong trialing bệnh nhân. Chúng tôi giả thuyết rằng mô hình CDS có thể được liên kết thành công, do việc sử dụng các đầu vào dữ liệu tương đối phổ biến trong thực tiễn lâm sàng và không phụ thuộc rất nhiều vào các đánh giá phụ thuộc vào nhà khai thác của bệnh nhân (như ấn tượng lâm sàng hoặc báo cáo triệu chứng). Thay vào đó, kết quả phòng thí nghiệm, dấu hiệu quan trọng, một nghiên cứu hình ảnh và một dữ liệu dân số (tức là tuổi tác) được sử dụng. Do đó, chúng tôi đã đào tạo lại mô hình CDS với dữ liệu đa dạng bằng cách sử dụng phương pháp tiếp cận FL client-server để phát triển một mô hình FL toàn cầu mới, được gọi là EXAM, sử dụng các tính năng CXR và EMR như đầu vào Giả thuyết của chúng tôi là EXAM sẽ hoạt động tốt hơn so với các mô hình địa phương và sẽ tổng quát tốt hơn trên các hệ thống chăm sóc sức khỏe. Kết quả Kiến trúc mẫu EXAM Mô hình EXAM dựa trên mô hình CDS đã đề cập ở trên Tổng cộng, 20 tính năng (19 từ EMR và một CXR) đã được sử dụng làm đầu vào cho mô hình. Các nhãn kết quả (tức là 'sự thật trên mặt đất') đã được gán dựa trên liệu pháp oxy của bệnh nhân sau 24 và 72 giờ kể từ khi nhập cảnh ban đầu vào phòng cấp cứu (ED). Một danh sách chi tiết các tính năng và kết quả được yêu cầu có thể được xem trong Bảng . 27 1 Các nhãn kết quả của bệnh nhân được đặt ở mức 0, 0,25, 0,50 và 0,75 tùy thuộc vào liệu pháp oxy cường độ cao nhất mà bệnh nhân nhận được trong cửa sổ dự đoán. Các loại liệu pháp oxy là, tương ứng, không khí phòng (RA), oxy lưu lượng thấp (LFO), oxy lưu lượng cao (HFO)/thời tiết không xâm lấn (NIV) hoặc thông gió cơ học (MV). Nếu bệnh nhân chết trong cửa sổ dự đoán, nhãn kết quả được đặt ở mức 1. Điều này dẫn đến mỗi trường hợp được gán hai nhãn trong phạm vi 0-1 tương ứng với mỗi cửa sổ dự đoán (tức là 24 và 72 giờ). Đối với các tính năng EMR, chỉ có các giá trị đầu tiên được thu thập trong ED được sử dụng và xử lý trước dữ liệu bao gồm vô nhận dạng, tính toán giá trị thiếu và bình thường hóa đến trung bình không và sự khác biệt đơn vị. Do đó, mô hình kết hợp thông tin từ cả hai tính năng EMR và CXR, sử dụng một mạng thần kinh xoắn ốc 34 lớp (ResNet34) để trích xuất các tính năng từ một CXR và một mạng Deep & Cross để kết hợp các tính năng cùng với các tính năng EMR (để biết thêm chi tiết, xem Kết quả mô hình là một điểm rủi ro, được gọi là điểm EXAM, đó là một giá trị liên tục trong phạm vi 0-1 cho mỗi dự đoán 24 và 72 giờ tương ứng với các nhãn được mô tả ở trên. Phương pháp Liên bang mô hình Mô hình EXAM đã được đào tạo bằng cách sử dụng một nhóm 16.148 trường hợp, làm cho nó không chỉ trong số các mô hình FL đầu tiên cho COVID-19 mà còn là một dự án phát triển đa lục địa rất lớn trong AI có liên quan lâm sàng (Hình. Dữ liệu giữa các trang web đã không được phối hợp trước khi khai thác và, trong bối cảnh thực tế máy tính lâm sàng cuộc sống, một sự phối hợp chi tiết của các đầu vào dữ liệu đã không được thực hiện bởi các tác giả (Hình. ) 1a, b 1c,d , Bản đồ thế giới cho thấy 20 trang web khách hàng khác nhau đóng góp cho nghiên cứu EXAM. , Số trường hợp được đóng góp bởi mỗi tổ chức hoặc trang web (client 1 đại diện cho trang web đóng góp số trường hợp lớn nhất). , Phân phối cường độ X-quang ngực tại mỗi vị trí khách hàng. , Tuổi của bệnh nhân tại mỗi vị trí khách hàng, hiển thị độ tuổi tối thiểu và tối đa (các sao), tuổi trung bình (các tam giác) và độ lệch tiêu chuẩn (các thanh ngang). . a b c d 1 Chúng tôi đã so sánh các mô hình được đào tạo tại địa phương với mô hình FL toàn cầu trên dữ liệu thử nghiệm của mỗi khách hàng. 1 × 10–3, bài kiểm tra chữ ký của Wilcoxon) của 16% (theo định nghĩa của AUC trung bình khi chạy mô hình trên các bộ thử nghiệm địa phương tương ứng: từ 0,795 đến 0,920, hoặc 12,5 điểm phần trăm) (Hình. Nó cũng dẫn đến sự cải thiện tổng quát 38% (theo định nghĩa của AUC trung bình khi chạy mô hình trên tất cả các bộ thử nghiệm: từ 0,667 đến 0,920, hoặc 25,3 điểm phần trăm) của mô hình toàn cầu tốt nhất để dự đoán điều trị oxy 24 giờ so với các mô hình chỉ được đào tạo trên dữ liệu của trang web (Hình. Đối với kết quả dự đoán của 72 giờ điều trị oxy, đào tạo mô hình toàn cầu tốt nhất dẫn đến cải thiện hiệu suất trung bình 18% so với các mô hình được đào tạo tại địa phương, trong khi khả năng phổ biến của mô hình toàn cầu được cải thiện trung bình 34% (Hình dữ liệu mở rộng. Sự ổn định của kết quả của chúng tôi đã được xác nhận bằng cách lặp lại ba bài tập đào tạo địa phương và FL trên các phân chia dữ liệu ngẫu nhiên khác nhau. P 2a 2B 1 , Hiệu suất trên mỗi thử nghiệm của khách hàng được đặt trong dự đoán xử lý oxy 24 giờ cho các mô hình được đào tạo trên dữ liệu địa phương (Local) so với mô hình toàn cầu tốt nhất có sẵn trên máy chủ (FL (xem tốt nhất). , Tính tổng quát (tính hiệu suất trung bình trên dữ liệu thử nghiệm của các trang web khác, được thể hiện bằng AUC trung bình) như một chức năng của kích thước tập dữ liệu của khách hàng (không trường hợp). đường ngang màu xanh lá cây biểu thị hiệu suất tổng quát của mô hình toàn cầu tốt nhất. hiệu suất cho 18 trong số 20 khách hàng được hiển thị, bởi vì khách hàng 12 chỉ có kết quả cho 72 giờ oxy (Hình dữ liệu mở rộng. ) và khách hàng 14 chỉ có trường hợp với điều trị RA, do đó số liệu đánh giá (từ AUC) không áp dụng cho bất kỳ trường hợp nào trong số này ( Dữ liệu cho client 14 cũng đã bị loại khỏi tính toán tổng quát trung bình trong các mô hình cục bộ. a b 1 Phương pháp Các mô hình địa phương được đào tạo bằng cách sử dụng các nhóm không cân bằng (ví dụ, hầu hết các trường hợp nhẹ của COVID-19) được hưởng lợi đáng kể từ cách tiếp cận FL, với sự cải thiện đáng kể trong hiệu suất AUC trung bình dự đoán cho các loại chỉ có một vài trường hợp. Điều này đã được hiển thị ở vị trí khách hàng 16 (một tập dữ liệu không cân bằng), với hầu hết các bệnh nhân trải qua mức độ nghiêm trọng của bệnh nhẹ và chỉ với một vài trường hợp nghiêm trọng. mô hình FL đạt được tỷ lệ thực-tích cực cao hơn cho hai trường hợp tích cực (nghiêm trọng) và tỷ lệ giả-tích cực thấp hơn đáng kể so với mô hình địa phương, cả hai được hiển thị trong các mảng đặc điểm hoạt động của người nhận (ROC) và các ma trận nhầm lẫn (Hình. Mở rộng dữ liệu Fig. Quan trọng hơn, khả năng phổ biến của mô hình FL đã tăng đáng kể so với mô hình được đào tạo tại địa phương. 3a 2 , ROC tại client site 16, với dữ liệu không cân bằng và hầu hết các trường hợp nhẹ. ROC của mô hình địa phương tại địa điểm khách hàng 12 (một tập dữ liệu nhỏ), ROC trung bình của các mô hình được đào tạo trên các tập dữ liệu lớn hơn tương ứng với năm địa điểm khách hàng ở khu vực Boston (1, 4, 5, 6, 8) và ROC của mô hình toàn cầu tốt nhất trong dự đoán xử lý oxy 72 giờ cho các ngưỡng khác nhau của điểm EXAM (trái, trung tâm, phải). ROC trung bình được tính dựa trên năm mô hình được đào tạo tại địa phương trong khi khu vực màu xám chỉ ra sự lệch tiêu chuẩn của ROC. ROC cho ba giá trị cắt khác nhau ( Pos và neg biểu thị số trường hợp tích cực và tiêu cực, tương ứng, như được xác định bởi phạm vi này của điểm EXAM. a b t Trong trường hợp của các trang web khách hàng với các tập dữ liệu tương đối nhỏ, mô hình FL tốt nhất đã vượt trội không chỉ mô hình địa phương mà còn các mô hình được đào tạo trên các tập dữ liệu lớn hơn từ năm trang web khách hàng ở khu vực Boston của Hoa Kỳ (Hình. ) 3B Mô hình toàn cầu đã thực hiện tốt trong việc dự đoán nhu cầu oxy 24/72 giờ ở cả bệnh nhân COVID dương và âm (Dữ liệu mở rộng Hình. ) 3 Xác nhận trên các trang web độc lập Sau khi được đào tạo ban đầu, EXAM sau đó đã được thử nghiệm tại ba địa điểm xác nhận độc lập: Bệnh viện Cooley Dickinson (CDH), Bệnh viện Martha's Vineyard (MVH) và Bệnh viện Nantucket Cottage (NCH), tất cả ở Massachusetts, Hoa Kỳ. , và các đường cong ROC và ma trận nhầm lẫn cho tập dữ liệu lớn nhất (từ CDH) được hiển thị trong Hình. Điểm hoạt động được thiết lập để phân biệt giữa thông gió không cơ học và điều trị (hoặc chết) thông gió cơ học (MV). Mô hình FL toàn cầu được đào tạo, EXAM, đạt được AUC trung bình là 0,944 và 0,924 cho các nhiệm vụ dự đoán 24 và 72 giờ, tương ứng (Bảng). Đối với dự đoán điều trị MV (hoặc tử vong) lúc 24 giờ, EXAM đạt được độ nhạy của 0.950 và độ cụ thể của 0.882 tại CDH, và độ nhạy của 1.000 độ cụ thể của 0.934 tại MVH. NCH không có bất kỳ trường hợp nào với MV / tử vong vào 24 giờ. liên quan đến 72 giờ dự đoán MV, EXAM đạt độ nhạy của 0.929 và độ cụ thể của 0.880 tại CDH, độ nhạy của 1.000 và độ cụ thể của 0.976 tại MVH và độ nhạy của 1.000 và độ cụ thể của 0.929 tại NCH. 2 4 2 , , Hiệu suất (ROC) (trên) và ma trận nhầm lẫn (bên dưới) của mô hình EXAM FL trên bộ dữ liệu CDH để dự đoán nhu cầu oxy trong 24 giờ ( (trước 24 giờ) (Thuyết điểm: 3 điểm khác nhau về giá trị cắt giảm) ) của điểm số rủi ro kiểm tra được hiển thị. a b a b t Đối với MV tại CDH lúc 72 giờ, EXAM có tỷ lệ sai tiêu cực thấp là 7,1%. trường hợp thất bại đại diện được trình bày trong Hình dữ liệu mở rộng. , cho thấy hai trường hợp sai tiêu cực từ CDH, nơi một trường hợp có nhiều tính năng dữ liệu EMR bị thiếu và trường hợp kia có một CXR với một hiện vật chuyển động và một số tính năng EMR bị thiếu. 4 Sử dụng sự riêng tư khác biệt Một động lực chính cho các tổ chức chăm sóc sức khỏe để sử dụng FL là bảo vệ sự an toàn và riêng tư của dữ liệu của họ, cũng như tuân thủ các biện pháp tuân thủ dữ liệu. hoặc thậm chí là việc tái tạo các hình ảnh đào tạo từ bản thân gradients mô hình Để chống lại những rủi ro này, các biện pháp tăng cường bảo mật đã được sử dụng để giảm thiểu rủi ro trong trường hợp dữ liệu bị "chặn" trong quá trình giao tiếp site-server. . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL Thông qua việc điều tra một chương trình chia trọng lượng một phần , , , chúng tôi đã chỉ ra rằng các mô hình có thể đạt được hiệu suất tương đương ngay cả khi chỉ có 25% bản cập nhật trọng lượng được chia sẻ (Dữ liệu mở rộng Hình. ) 47 48 49 50 50 51 52 5 thảo luận Nghiên cứu này bao gồm một nghiên cứu FL lớn, thực tế về chăm sóc sức khỏe về số lượng trang web và số điểm dữ liệu được sử dụng. Chúng tôi tin rằng nó cung cấp một bằng chứng mạnh mẽ về khả năng sử dụng FL để phát triển nhanh chóng và hợp tác các mô hình AI cần thiết trong chăm sóc sức khỏe. Nghiên cứu của chúng tôi liên quan đến nhiều trang web trên bốn châu lục và dưới sự giám sát của các cơ quan quản lý khác nhau, và do đó giữ lời hứa được cung cấp cho các thị trường được quản lý khác nhau một cách nhanh chóng. Mô hình FL toàn cầu, EXAM, đã chứng minh là mạnh mẽ hơn và đạt được kết quả tốt hơn tại các trang web cá nhân hơn bất kỳ mô hình nào được đào tạo trên dữ liệu địa phương duy nhất. Chúng tôi tin rằng sự cải thiện nhất quán đã đạt được do một bộ dữ liệu lớn hơn, nhưng cũng đa dạng hơn Đối với một trang web khách hàng có tập dữ liệu tương đối nhỏ, hai cách tiếp cận điển hình có thể được sử dụng để kết hợp một mô hình hữu ích: một là đào tạo tại địa phương với dữ liệu của riêng mình, một là áp dụng một mô hình được đào tạo trên một tập dữ liệu lớn hơn. Đối với các trang web có tập dữ liệu nhỏ, nó sẽ thực sự là không thể để xây dựng một mô hình học tập sâu hiệu quả chỉ sử dụng dữ liệu địa phương của họ. Việc phát hiện, rằng hai cách tiếp cận này đã được vượt trội trên cả ba nhiệm vụ dự đoán của mô hình FL toàn cầu, cho thấy rằng lợi ích cho các trang web khách hàng với tập dữ liệu nhỏ phát sinh từ sự tham gia vào các hợp tác FL là đáng kể. Điều này có thể là một sự phản ánh của khả năng của FL để nắm bắt sự đa dạng hơn so với đào tạo địa phương, và để giảm . 46 Kết quả xác nhận rằng mô hình toàn cầu là mạnh mẽ, hỗ trợ giả thuyết của chúng tôi rằng các mô hình được đào tạo FL có thể được phổ biến trên các hệ thống chăm sóc sức khỏe. Chúng cung cấp một trường hợp thuyết phục cho việc sử dụng các thuật toán dự đoán trong chăm sóc bệnh nhân COVID-19, và sử dụng FL trong việc tạo ra mô hình và thử nghiệm. Bằng cách tham gia vào nghiên cứu này, các trang web khách hàng đã nhận được quyền truy cập vào EXAM, để được xác nhận thêm trước khi theo đuổi bất kỳ sự chấp thuận quy định hoặc giới thiệu trong tương lai vào chăm sóc lâm sàng. , cũng như tại các địa điểm khác nhau không phải là một phần của đào tạo EXAM. 53 Hơn 200 mô hình dự đoán để hỗ trợ ra quyết định ở bệnh nhân mắc COVID-19 đã được công bố. Không giống như hầu hết các ấn phẩm tập trung vào chẩn đoán COVID-19 hoặc dự đoán tỷ lệ tử vong, chúng tôi dự đoán nhu cầu oxy có ý nghĩa đối với quản lý bệnh nhân. Chúng tôi cũng sử dụng các trường hợp có tình trạng SARS-COV-2 chưa biết, và do đó mô hình có thể cung cấp thông tin cho bác sĩ trước khi nhận được kết quả cho PCR với bản sao chép ngược (RT-PCR), làm cho nó hữu ích cho một môi trường lâm sàng thực tế. Thông tin đầu vào hình ảnh của mô hình được sử dụng trong thực tế phổ biến, trái ngược với các mô hình sử dụng tomography tính toán ngực, một phương thức chẩn đoán không đồng thuận. Thiết kế của mô hình bị hạn chế bởi các dự đoán khách quan, không giống như nhiều nghiên cứu được công bố sử dụng ấn tượng lâm sàng chủ quan. Dữ liệu thu thập 19 Xác định nhóm bệnh nhân và hài hòa dữ liệu không phải là vấn đề mới trong nghiên cứu và khoa học dữ liệu , nhưng phức tạp hơn nữa, khi sử dụng FL, do thiếu khả năng hiển thị trên các bộ dữ liệu của các trang web khác. Cải thiện các hệ thống thông tin lâm sàng là cần thiết để hợp lý hóa việc chuẩn bị dữ liệu, dẫn đến đòn bẩy tốt hơn của một mạng lưới các trang web tham gia FL. Điều này, kết hợp với kỹ thuật siêu tham số, có thể cho phép các thuật toán để "học" hiệu quả hơn từ các lô dữ liệu lớn hơn và thích ứng các thông số mô hình cho một trang web cụ thể để cá nhân hóa hơn nữa - ví dụ, thông qua thêm tinh chỉnh trên trang web đó Một hệ thống cho phép kết luận mô hình liền mạch, gần thời gian thực và xử lý kết quả cũng sẽ có lợi và sẽ "đóng vòng" từ đào tạo đến triển khai mô hình. 54 39 Bởi vì dữ liệu không được tập trung, chúng không dễ dàng truy cập, vì vậy bất kỳ phân tích nào trong tương lai về kết quả, ngoài những gì đã được rút ra và thu thập, đều bị giới hạn. Tương tự như các mô hình học máy khác, EXAM bị giới hạn bởi chất lượng dữ liệu đào tạo. Các tổ chức quan tâm đến việc triển khai thuật toán này cho chăm sóc lâm sàng cần phải hiểu các định kiến tiềm năng trong đào tạo. Ví dụ, các nhãn được sử dụng như là sự thật trên mặt đất trong đào tạo mô hình EXAM được lấy từ tiêu thụ oxy 24 và 72 giờ ở bệnh nhân; người ta cho rằng oxy được cung cấp cho bệnh nhân tương đương với nhu cầu oxy. Tuy nhiên, trong giai đoạn đầu của đại dịch COVID-19, nhiều bệnh nhân được cung cấp oxy lưu lượng cao một cách phòng ngừa bất kể nhu cầu oxy của họ. thực hành lâm sàng như vậy có thể làm sai lệch các dự đoán được thực hiện bởi mô hình này. Tuy nhiên, chúng tôi đã nghiên cứu các trường hợp thất bại từ trang web thử nghiệm độc lập lớn nhất, CDH, và có thể tạo ra các giả thuyết mà chúng tôi có thể kiểm tra trong tương lai. Đối với các trang web có hiệu suất cao, có vẻ như hầu hết các trường hợp thất bại rơi vào một trong hai loại: (1) dữ liệu đầu vào chất lượng thấp - ví dụ, dữ liệu thiếu hoặc hiện vật chuyển động trong CXR; hoặc (2) dữ liệu ngoài phân phối - ví dụ, một bệnh nhân rất trẻ. Trong tương lai, chúng tôi cũng có ý định điều tra tiềm năng cho một “chuyển biến dân số” do các giai đoạn khác nhau của tiến triển bệnh. chúng tôi tin rằng, do sự đa dạng trên 20 địa điểm, nguy cơ này có thể đã được giảm bớt. Một tính năng sẽ tăng cường các loại hợp tác quy mô lớn này là khả năng dự đoán sự đóng góp của mỗi trang web khách hàng để cải thiện mô hình FL toàn cầu. Điều này sẽ giúp trong việc lựa chọn trang web khách hàng, và trong việc ưu tiên các nỗ lực thu thập dữ liệu và ghi chú. điều này đặc biệt quan trọng với chi phí cao và hậu cần khó khăn của các nỗ lực của các tập đoàn lớn, và nó sẽ cho phép các nỗ lực này để nắm bắt sự đa dạng chứ không phải là số lượng thu thập dữ liệu. Các phương pháp tiếp cận trong tương lai có thể kết hợp tìm kiếm siêu tham số tự động Tìm kiếm kiến trúc thần kinh và các chương trình học máy tự động khác cách tiếp cận để tìm các thông số đào tạo tối ưu cho mỗi trang web khách hàng hiệu quả hơn. 55 56 57 Các vấn đề được biết đến về tiêu chuẩn hóa lô (BN) trong FL thúc đẩy chúng tôi sửa đổi mô hình cơ bản của chúng tôi cho việc khai thác tính năng hình ảnh Công việc trong tương lai có thể khám phá các loại kỹ thuật chuẩn hóa khác nhau để cho phép đào tạo các mô hình AI trong FL hiệu quả hơn khi dữ liệu khách hàng không độc lập và phân phối giống hệt nhau. 58 49 Các công việc gần đây về các cuộc tấn công bảo mật trong thiết lập FL đã làm dấy lên mối quan tâm về rò rỉ dữ liệu trong quá trình đào tạo mô hình Trong khi đó, các thuật toán bảo vệ vẫn chưa được khám phá và bị hạn chế bởi nhiều yếu tố. , , hiển thị bảo vệ tốt, chúng có thể làm suy yếu hiệu suất của mô hình. thuật toán mã hóa, chẳng hạn như mã hóa đồng hình Một cách định lượng để đo lường sự riêng tư sẽ cho phép lựa chọn tốt hơn để quyết định các thông số bảo mật tối thiểu cần thiết trong khi duy trì hiệu suất được chấp nhận lâm sàng , , . 59 36 48 49 60 36 48 49 Sau khi xác nhận thêm, chúng tôi dự định triển khai mô hình EXAM trong thiết lập ED như một cách để đánh giá rủi ro ở cả cấp độ mỗi bệnh nhân và dân số, và để cung cấp cho các bác sĩ lâm sàng với một điểm tham chiếu bổ sung khi thực hiện nhiệm vụ khó khăn thường xuyên của sàng lọc bệnh nhân. chúng tôi cũng dự định sử dụng mô hình này như một thước đo cấp độ dân số nhạy cảm hơn để giúp cân bằng các nguồn lực giữa các khu vực, bệnh viện và bộ phận. hy vọng của chúng tôi là những nỗ lực FL tương tự có thể phá vỡ các silos dữ liệu và cho phép phát triển nhanh hơn các mô hình AI rất cần thiết trong tương lai gần. Methods Đạo đức phê duyệt Tất cả các thủ tục được thông báo của Trung tâm Y tế Đại học Toronto đã được tiến hành theo các nguyên tắc về sự đồng ý của hệ thống thông tin về sức khỏe con người như được định nghĩa trong Tuyên bố Helsinki và Hội nghị quốc tế về sự hài hòa các hướng dẫn về thực hành y tế lâm sàng tốt, và đã được phê duyệt bởi các hội đồng kiểm tra tổ chức có liên quan tại các trang web xác nhận sau: CDH, MVH, NCH và tại các trang web đào tạo sau: MGB, Bệnh viện tổng quát (MGH), Bệnh viện Brigham và Phụ nữ, Bệnh viện Newton-Wellesley, Trung tâm Y tế North Shore San và Bệnh viện New Faulkner (tất cả tám trong số các bệnh viện này đều được bao gồm theo sự đồng ý của hội đồng đạo đức của MGB, số 2020P002673, và sự đồng ý được thông báo Các hướng dẫn của MI-CLAIM về báo cáo các mô hình AI lâm sàng đã được tuân thủ (Thông tin bổ sung) ) 2 Nghiên cứu Setting Nghiên cứu bao gồm dữ liệu từ 20 tổ chức (Hình. ): Bệnh viện MGB, MGH, Bệnh viện Brigham và Phụ nữ, Bệnh viện Newton-Wellesley, Trung tâm Y tế North Shore và Bệnh viện Faulkner; Bệnh viện Quốc gia Trẻ em ở Washington, DC; Trung tâm nghiên cứu y sinh học Cambridge của NIHR; Bệnh viện Trung tâm Lực lượng Tự vệ ở Tokyo; Phòng thí nghiệm MeDA của Đại học Quốc gia Đài Loan và MAHC và Cơ quan Bảo hiểm Y tế Quốc gia Đài Loan; Bệnh viện Thống kê ở Đài Loan; Bệnh viện Đại học Quốc gia Kyungpook ở Hàn Quốc; Khoa Y tế, Đại học Chulalongkorn ở Thái Lan; Hệ thống Y tế Mount Sinai ở New York; Các tổ chức được tuyển dụng giữa Đại học California, San Francisco; VA San Diego; Đại học Toronto; Viện Y tế Quốc gia tại Bethesda, Mar , , Dữ liệu từ ba trang web độc lập được sử dụng để xác nhận độc lập: CDH, MVH và NCH, tất cả ở Massachusetts, Hoa Kỳ. Ba bệnh viện này có đặc điểm dân số bệnh nhân khác với các trang web đào tạo.Dữ liệu được sử dụng cho xác nhận thuật toán bao gồm các bệnh nhân được nhận ED tại các trang web này giữa tháng 3 năm 2020 và tháng 2 năm 2021, và đáp ứng các tiêu chí bao gồm tương tự như dữ liệu được sử dụng để đào tạo mô hình FL. 1a 61 62 63 Thu thập dữ liệu 20 trang web khách hàng đã chuẩn bị tổng cộng 16.148 trường hợp (cả tích cực và tiêu cực) cho mục đích đào tạo, xác nhận và thử nghiệm mô hình (Hình. Dữ liệu y tế đã được truy cập liên quan đến những bệnh nhân đáp ứng các tiêu chí tham gia nghiên cứu. Các trang web khách hàng đã nỗ lực bao gồm tất cả các trường hợp dương tính với COVID kể từ khi bắt đầu đại dịch vào tháng 12 năm 2019 và cho đến khi họ bắt đầu đào tạo địa phương cho nghiên cứu EXAM. Tất cả các trang web đào tạo địa phương đã bắt đầu vào ngày 30 tháng 9 năm 2020. Các trang web cũng bao gồm các bệnh nhân khác trong cùng kỳ với kết quả xét nghiệm RT-PCR âm tính. Vì hầu hết các trang web có nhiều bệnh nhân dương tính với SARS-COV-2 hơn là dương tính với SARS-COV-2, chúng tôi đã hạn chế số lượng bệnh nhân âm tính được bao gồm, tối đa là 95% tổng số trường hợp tại mỗi trang web khách hàng. 1B Một trường hợp bao gồm một CXR và các đầu vào dữ liệu cần thiết lấy từ hồ sơ y tế của bệnh nhân. Sự phân phối và mô hình của cường độ hình ảnh CXR (giá trị pixel) thay đổi rất nhiều giữa các trang web do một loạt các yếu tố cụ thể của bệnh nhân và trang web, chẳng hạn như các nhà sản xuất thiết bị khác nhau và các giao thức hình ảnh, như được hiển thị trong hình. Tuổi của bệnh nhân và phân phối đặc điểm EMR khác nhau rất nhiều giữa các địa điểm, như dự kiến do nhân khẩu học khác nhau giữa các bệnh viện phân tán trên toàn cầu (Dữ liệu mở rộng Hình. ) 1B 1c,d 6 Tiêu chí bao gồm bệnh nhân Các tiêu chí bao gồm bệnh nhân là: (1) bệnh nhân được trình bày cho bệnh viện ED hoặc tương đương; (2) bệnh nhân đã có một xét nghiệm RT-PCR được thực hiện bất cứ lúc nào giữa việc trình bày cho ED và thoát khỏi bệnh viện; (3) bệnh nhân có CXR trong ED; và (4) hồ sơ của bệnh nhân có ít nhất năm giá trị EMR chi tiết trong Bảng. , tất cả thu được trong ED, và kết quả có liên quan thu được trong quá trình nhập viện. lưu ý, CXR, kết quả phòng thí nghiệm và vitals được sử dụng là những người đầu tiên có sẵn để thu thập trong chuyến thăm ED. Mô hình không bao gồm bất kỳ CXR, kết quả phòng thí nghiệm hoặc vitals thu được sau khi rời khỏi ED. 1 Mô hình input Tổng cộng, 21 tính năng EMR đã được sử dụng làm đầu vào cho mô hình. các nhãn kết quả (tức là, thực tế trên mặt đất) đã được gán dựa trên yêu cầu của bệnh nhân sau 24 và 72 giờ kể từ khi nhập học ban đầu vào ED. Một danh sách chi tiết các tính năng và kết quả EMR được yêu cầu có thể được xem trong Bảng . 1 Phân phối xử lý oxy bằng cách sử dụng các thiết bị khác nhau tại các địa điểm khách hàng khác nhau được hiển thị trong Bảng dữ liệu mở rộng. , trong đó chi tiết việc sử dụng thiết bị khi nhập ED và sau thời gian 24 và 72 giờ. sự khác biệt trong phân phối tập dữ liệu giữa các trang khách lớn nhất và nhỏ nhất có thể được nhìn thấy trong Bảng dữ liệu mở rộng. . 7 8 Số trường hợp COVID-19 dương tính, được xác nhận bằng một xét nghiệm RT-PCR duy nhất thu được bất cứ lúc nào giữa khi trình bày cho ED và thoát khỏi bệnh viện, được liệt kê trong Bảng bổ sung Mỗi trang web khách hàng được yêu cầu ngẫu nhiên chia bộ dữ liệu của mình thành ba phần: 70% cho đào tạo, 10% cho xác nhận và 20% cho thử nghiệm. Đối với cả hai mô hình dự đoán kết quả 24 và 72 giờ, chia ngẫu nhiên cho mỗi trong ba thí nghiệm đào tạo và đánh giá FL và địa phương lặp đi lặp lại được tạo ra độc lập. 1 Kiểm tra mô hình phát triển Có sự thay đổi rộng rãi trong quá trình lâm sàng của những bệnh nhân nhập viện với các triệu chứng của COVID-19, với một số trải qua sự suy giảm nhanh chóng trong chức năng hô hấp đòi hỏi các can thiệp khác nhau để ngăn ngừa hoặc giảm bớt suy giảm , Một quyết định quan trọng được đưa ra trong quá trình đánh giá một bệnh nhân tại điểm điều trị ban đầu, hoặc trong ED, là liệu bệnh nhân có khả năng cần các biện pháp đối phó hoặc can thiệp xâm lấn hơn hoặc có nguồn lực hạn chế (như MV hoặc kháng thể monoclonal), và do đó nên nhận được liệu pháp hiếm nhưng hiệu quả, liệu pháp có tỷ lệ rủi ro-lợi ích hẹp do tác dụng phụ hoặc mức độ chăm sóc cao hơn, chẳng hạn như nhập viện chăm sóc chuyên sâu. Ngược lại, một bệnh nhân có nguy cơ thấp hơn đòi hỏi liệu pháp oxy xâm lấn có thể được đặt trong một môi trường chăm sóc ít cường độ như phòng thường xuyên, hoặc thậm chí được giải phóng khỏi ED để tiếp tục tự giám sát ở nhà. EXAM được phát triển để giúp phân loại các bệnh nhân như vậy. 62 63 64 65 Lưu ý rằng mô hình này không được phê duyệt bởi bất kỳ cơ quan quản lý nào tại thời điểm này và nó chỉ nên được sử dụng cho mục đích nghiên cứu. Kỳ thi Score EXAM được đào tạo bằng cách sử dụng FL; nó đưa ra một điểm số rủi ro (được gọi là điểm số EXAM) tương tự như CORISK (Dữ liệu mở rộng Fig. Nó tương ứng với yêu cầu hỗ trợ oxy của bệnh nhân trong hai cửa sổ - 24 và 72 giờ - sau khi trình bày ban đầu với ED. minh họa cách CORISK và điểm EXAM có thể được sử dụng cho phân loại bệnh nhân. 27 9a 9b Hình ảnh X-quang ngực được xử lý trước để chọn hình ảnh vị trí phía trước và loại trừ hình ảnh nhìn bên, và sau đó được mở rộng đến độ phân giải 224 × 224. , mô hình kết hợp thông tin từ cả hai tính năng EMR và CXR (dựa trên một ResNet34 sửa đổi với sự chú ý không gian Pre-trained trên bộ dữ liệu CheXpert) Mạng lưới Deep & Cross Để hội tụ các loại dữ liệu khác nhau này, một vector tính năng 512-dimensional đã được trích xuất từ mỗi hình ảnh CXR bằng cách sử dụng một ResNet34 được đào tạo trước, với sự chú ý không gian, sau đó được kết hợp với các tính năng EMR như là đầu vào cho mạng Deep & Cross. Chúng tôi đã sử dụng cross-entropy làm chức năng mất mát và “Adam” làm tối ưu hóa. Sử dụng NVIDIA Clara Train SDK AUC trung bình cho các nhiệm vụ phân loại (≥LFO, ≥HFO/NIV hoặc ≥MV) đã được tính toán và sử dụng như thước đo đánh giá cuối cùng, với bình thường hóa đến 0 trung bình và độ lệch đơn vị. hình ảnh CXR đã được xử lý trước để chọn chuỗi chính xác và loại trừ hình ảnh xem bên, sau đó mở rộng đến độ phân giải 224 × 224 (ref. ) 9a 66 67 68 9b 69 70 27 Chức năng imputation and normalization Lời bài hát: MissForest Algoritm được sử dụng để bắt buộc các tính năng EMR, dựa trên tập dữ liệu đào tạo địa phương.Nếu một tính năng EMR hoàn toàn bị thiếu trong tập dữ liệu trang web khách hàng, giá trị trung bình của tính năng đó, được tính toán độc quyền trên dữ liệu từ các trang web khách hàng MGB, đã được sử dụng.Sau đó, các tính năng EMR đã được quy mô lại thành không trung bình và sự khác biệt đơn vị dựa trên thống kê được tính toán trên dữ liệu từ các trang web khách hàng MGB. 71 Chi tiết về hợp nhất dữ liệu EMR-CXR bằng cách sử dụng mạng Deep & Cross Để mô hình tương tác của các tính năng từ dữ liệu EMR và CXR ở cấp trường hợp, một sơ đồ tính năng sâu được sử dụng dựa trên kiến trúc mạng Deep & Cross Các tính năng nhị phân và phân loại cho các đầu vào EMR, cũng như các tính năng hình ảnh 512 chiều trong CXR, đã được chuyển đổi thành các vector mật độ hợp nhất của các giá trị thực bằng cách nhúng và xếp lớp. Các vector mật độ được chuyển đổi phục vụ như là đầu vào cho khuôn khổ hợp nhất, trong đó cụ thể sử dụng một mạng lưới chéo để thực thi hợp nhất giữa các đầu vào từ các nguồn khác nhau. Mạng lưới chéo thực hiện việc chéo tính năng rõ ràng bên trong các lớp của nó, bằng cách dẫn các sản phẩm bên trong giữa tính năng đầu vào ban đầu và đầu ra từ lớp trước, do đó làm tăng mức độ tương tác giữa các tính năng. Đồng thời, hai mạng thần kinh sâu cổ điển riêng lẻ với một số lớp chéo đầy đủ được kết nối. 68 FL chi tiết Có lẽ hình thức được thiết lập nhất của FL là việc thực hiện thuật toán trung bình liên bang như được đề xuất bởi McMahan et al. , hoặc biến thể của nó. Thuật toán này có thể được thực hiện bằng cách sử dụng thiết lập client-server nơi mỗi trang web tham gia hoạt động như một khách hàng. Người ta có thể nghĩ về FL như một phương pháp nhằm giảm thiểu một chức năng mất toàn cầu bằng cách giảm một tập hợp các chức năng mất địa phương, được ước tính tại mỗi trang web. Bằng cách giảm thiểu tổn thất địa phương của mỗi trang web khách hàng trong khi đồng bộ hóa trọng lượng trang web khách hàng được học trên một máy chủ tập hợp tập trung, người ta có thể giảm thiểu tổn thất toàn cầu mà không cần truy cập toàn bộ tập hợp dữ liệu ở một vị trí tập trung. Mỗi trang web khách hàng học địa phương và chia sẻ các bản cập nhật trọng lượng mô hình với một máy chủ trung tâm tổng hợp các đóng góp bằng cách sử dụng các giao thức mã hóa lớp socket an toàn và truyền thông. ) 72 9c Một thuật toán giả của FL được hiển thị trong Ghi chú bổ sung Trong các thí nghiệm của chúng tôi, chúng tôi đặt số vòng liên bang vào = 200, với một thời gian đào tạo địa phương mỗi vòng Số lượng khách hàng, số lượng khách hàng, , lên đến 20 tùy thuộc vào kết nối mạng của khách hàng hoặc dữ liệu có sẵn cho một khoảng thời gian kết quả mục tiêu cụ thể (24 hoặc 72 giờ). , phụ thuộc vào kích thước tập dữ liệu tại mỗi khách hàng và được sử dụng để cân nhắc các đóng góp của mỗi khách hàng khi tổng hợp trọng lượng mô hình theo trung bình liên bang. Trong nhiệm vụ đào tạo FL, mỗi trang web khách hàng chọn mô hình địa phương tốt nhất của mình bằng cách theo dõi hiệu suất của mô hình trên bộ xác nhận địa phương của nó. Đồng thời, máy chủ xác định mô hình toàn cầu tốt nhất dựa trên điểm xác nhận trung bình được gửi từ mỗi trang web khách hàng đến máy chủ sau mỗi vòng FL. Sau khi kết thúc đào tạo FL, các mô hình địa phương tốt nhất và mô hình toàn cầu tốt nhất được tự động chia sẻ với tất cả các trang web khách hàng và đánh giá trên dữ liệu thử nghiệm địa phương của họ. 1 T t K nk k Khi đào tạo trên dữ liệu địa phương chỉ (dòng cơ sở), chúng tôi đặt số epoch là 200. optimizer Adam được sử dụng cho cả đào tạo địa phương và FL với tỷ lệ học tập ban đầu là 5 × 10–5 và tỷ lệ học tập dần dần suy giảm với một yếu tố 0.5 sau mỗi 40 epoch, điều này rất quan trọng đối với sự hội tụ của trung bình liên bang. Chuyển đổi liên kết ngẫu nhiên, bao gồm xoay, dịch, cắt, mở rộng và tiếng ồn và thay đổi cường độ ngẫu nhiên, đã được áp dụng cho hình ảnh để tăng cường dữ liệu trong quá trình đào tạo. 73 Do tính nhạy cảm của các lớp BN khi đối phó với các khách hàng khác nhau trong một môi trường không độc lập và phân phối giống hệt nhau, chúng tôi thấy hiệu suất mô hình tốt nhất xảy ra khi giữ ResNet34 được đào tạo trước với sự chú ý không gian Các thông số được cố định trong quá trình đào tạo FL (tức là sử dụng tỷ lệ học tập bằng không cho các lớp đó). Mạng Deep & Cross kết hợp các tính năng hình ảnh với các tính năng EMR không chứa các lớp BN và do đó không bị ảnh hưởng bởi các vấn đề bất ổn BN. 58 47 Trong nghiên cứu này, chúng tôi đã điều tra một chương trình bảo vệ quyền riêng tư chỉ chia sẻ các bản cập nhật mô hình một phần giữa máy chủ và các trang web khách hàng. Các bản cập nhật trọng lượng được xếp hạng trong mỗi lần lặp lại theo quy mô đóng góp, và chỉ có một tỷ lệ phần trăm nhất định của bản cập nhật trọng lượng lớn nhất được chia sẻ với máy chủ. c) Dữ liệu mở rộng (Extended Data Fig. ), được tính từ tất cả các gradient không phải là zero, Δ , và có thể khác nhau cho mỗi khách hàng Trong mỗi vòng FL Các biến thể của chương trình này có thể bao gồm việc cắt thêm các gradient lớn hoặc các chương trình riêng tư khác biệt. Thêm tiếng ồn ngẫu nhiên vào gradient, hoặc thậm chí là dữ liệu thô, trước khi đưa vào mạng . k 5 Đô thị (t) k t 49 51 phân tích thống kê Chúng tôi đã tiến hành một bài kiểm tra xếp hạng chữ ký của Wilcoxon để xác nhận tầm quan trọng của sự cải thiện hiệu suất quan sát giữa mô hình được huấn luyện tại địa phương và mô hình FL cho các điểm thời gian 24 và 72 giờ (Hình. Mở rộng dữ liệu Fig. Giả thuyết null đã bị bác bỏ một cách đơn phương. 1 × 10–3 trong cả hai trường hợp. 2 1 P Các nhà nghiên cứu đã sử dụng phương pháp Pearson correlation để đánh giá khả năng tổng quát (sự mạnh mẽ của giá trị AUC trung bình đối với dữ liệu thử nghiệm của các trang web khách hàng khác) của các mô hình được đào tạo tại địa phương liên quan đến kích thước tập dữ liệu địa phương tương ứng. = 0,43 người = 0.035, độ tự do (df) = 17 cho mô hình 24 giờ và = 0,62 người = 0,003, df = 16 cho mô hình 72h).Điều này chỉ ra rằng chỉ có kích thước tập dữ liệu không phải là yếu tố duy nhất xác định độ bền của một mô hình đối với dữ liệu vô hình. r P r P Để so sánh các đường cong ROC từ mô hình FL toàn cầu và các mô hình địa phương được đào tạo tại các địa điểm khác nhau (Hình dữ liệu mở rộng. ), chúng tôi khởi động 1.000 mẫu từ dữ liệu và tính toán AUC kết quả. sau đó chúng tôi tính toán sự khác biệt giữa hai loạt và chuẩn hóa sử dụng công thức = (AUC1 – AUC2) hoặc Nơi nào là sự khác biệt tiêu chuẩn, là độ lệch chuẩn của sự khác biệt bootstrap và AUC1 và AUC2 là chuỗi AUC bootstrapped tương ứng. Với sự phân phối bình thường, chúng tôi đã có được Các giá trị minh họa trong Bảng bổ sung Kết quả cho thấy giả thuyết null bị từ chối với mức rất thấp. các giá trị, chỉ ra tầm quan trọng thống kê của sự vượt trội của kết quả FL. các giá trị được thực hiện trong R với thư viện pROC . 3 D s D s D P 2 P P 74 Vì mô hình dự đoán một kết quả kín đáo, một điểm liên tục từ 0 đến 1, một đánh giá hiệu chuẩn đơn giản như qqplot là không thể. Chúng tôi đã tiến hành phân tích một chiều của biến thể (ANOVA) thử nghiệm để so sánh điểm số mô hình địa phương và FL giữa bốn loại thực tế trên mặt đất (RA, LFO, HFO, MV). - thống kê, được tính là sự thay đổi giữa các phương tiện mẫu được chia bằng sự thay đổi trong các mẫu và đại diện cho mức độ phân tán giữa các nhóm khác nhau, được sử dụng để định lượng các mô hình. - giá trị của năm địa điểm địa phương khác nhau là 245.7, 253.4, 342.3, 389.8 và 634.8, trong khi giá trị của mô hình FL là 843.5. - giá trị có nghĩa là các nhóm có thể tách rời hơn, điểm số từ mô hình FL của chúng tôi rõ ràng cho thấy sự phân tán lớn hơn giữa bốn loại chân lý cơ bản. giá trị của bài kiểm tra ANOVA trên mô hình FL là <2 × 10–16, cho thấy điểm dự đoán FL khác nhau về mặt thống kê đáng kể giữa các lớp dự đoán khác nhau. 10 F F F P Báo cáo tóm tắt Thông tin thêm về thiết kế nghiên cứu có sẵn trong liên kết với bài viết này. Báo cáo nghiên cứu tự nhiên Dữ liệu Availability Bộ dữ liệu từ 20 viện tham gia nghiên cứu này vẫn nằm dưới sự giám sát của họ.Dữ liệu này đã được sử dụng để đào tạo tại mỗi địa điểm địa phương và không được chia sẻ với bất kỳ tổ chức tham gia nào khác hoặc với máy chủ liên bang, và chúng không có sẵn công khai.Dữ liệu từ các trang web xác nhận độc lập được duy trì bởi CAMCA, và quyền truy cập có thể được yêu cầu bằng cách liên hệ với Q.L. Dựa trên quyết định của CAMCA, một đánh giá chia sẻ dữ liệu và sửa đổi IRB cho mục đích nghiên cứu có thể được thực hiện bởi chính quyền nghiên cứu của MGB và phù hợp với MGB IRB và chính sách. Code có sẵn Tất cả các mã và phần mềm được sử dụng trong nghiên cứu này đều có sẵn công khai tại NGC. Để truy cập, đăng nhập với tư cách khách hoặc tạo hồ sơ, hãy nhập một trong các URL dưới đây. Các mô hình được đào tạo, hướng dẫn chuẩn bị dữ liệu, mã đào tạo, kiểm tra xác thực mô hình, tập tin readme, hướng dẫn cài đặt và tệp giấy phép có sẵn công khai tại NVIDIA NGC : Phần mềm học tập liên bang có sẵn như một phần của Clara Train SDK: Ngoài ra, hãy sử dụng lệnh này để tải xuống mô hình "wget --content-disposition" -O clara_train_covid19_exam_ehr_xray_1.zip”. 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip References Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 Công nhận Các quan điểm được bày tỏ trong nghiên cứu này là của các tác giả và không nhất thiết là của NHS, NIHR, Bộ Y tế và Chăm sóc Xã hội hoặc bất kỳ tổ chức nào liên quan đến các tác giả. MGB cảm ơn các cá nhân sau đây vì sự hỗ trợ của họ: J. Brink, Khoa Xạ trị, Bệnh viện Tổng Massachusetts, Trường Y Harvard, Boston, MA; M. Kalra, Khoa Xạ trị, Bệnh viện Tổng Massachusetts, Trường Y tế Harvard, Boston, MA; N. Neumark, Trung tâm Khoa học Dữ liệu lâm sàng, Massachusetts General Brigham, Boston, MA; T. Schultz, Trung tâm Hình ảnh Sinh học tại Bệnh viện Tổng Massachusetts, Boston, MA; N. Guo, Trung tâm Máy tính Y tế tiên tiến và Phân tích, Khoa Xạ trị, Bệnh viện Tổng Massachusetts, Trường Y tế Harvard Thông qua Khoa Y, Đại học Chulalongkorn cảm ơn Quỹ Tài trợ Ratchadapisek Sompoch RA (PO) (no. 001/63) về việc thu thập và quản lý dữ liệu lâm sàng và mẫu sinh học liên quan đến COVID-19 cho Nhóm nghiên cứu, Khoa Y, Đại học Chulalongkorn. Trung tâm nghiên cứu y tế sinh học NIHR Cambridge cảm ơn A. Priest, người được hỗ trợ bởi NIHR (Trung tâm nghiên cứu y tế sinh học của Công ty Cambridge tại Quỹ Bệnh viện Đại học Cambridge NHS Trust). Phòng thí nghiệm MeDA của Đại học Quốc gia Đài Loan và MAHC và Chính quyền Bảo hiểm Y tế Quốc gia Đài Loan cảm ơn Trung tâm nghiên cứu chung MOST về công nghệ AI, Cơ quan Bảo hiểm Y tế Quốc gia All Vista, Đài Loan, Bộ Khoa học và Công https://data.ucsf.edu/covid19 Bài viết này có sẵn trong tự nhiên theo giấy phép CC by 4.0 Deed (Attribution 4.0 International). Bài viết này có sẵn trong tự nhiên theo giấy phép CC by 4.0 Deed (Attribution 4.0 International).
