著者: Ittai Dayan Holger R. Roth Aoxiao ジョン Ahmed Harouni Amilcare Gentili Anas Z. Abidin アンドリュー・リウ Anthony Beardsworth Costa Bradford J. Wood Chien-Sung Tsai Chih-Hung Wang Chun-Nan Hsu C・K・リー Peiying Ruan Daguang Xu Dufan Wu エディ・フアン Felipe Campos Kitamura Griffin Lacey Gustavo César de Antônio Corradi Gustavo Nino Hao-Hsin Shin Hirofumi Obinata ハイ・レン Jason C. Crane Jesse Tetreault Jiahui Guan John W. Garrett Joshua D. Kaggie ジュング・ギル・パーク Keith Dreyer Krishna Juluru Kristopher Kersten Marcio Aloisio Bezerra Cavalcanti Rockenbach Marius George Linguraru Masoom A. Haider Meena AbdelMaseeh Nicola Rieke Pablo F. Damasceno Pedro Mario Cruz e Silva Pochuan Wang Sheng Xu Shuichi Kawano Sira Sriswasdi Soo Young Park Thomas M. Grist Varun Buch Watsamon Jantarabenjakul Weichung Wang WON YOUNG TAK シアン・リー ジョン・リン Young Joon Kwon Abood Quraini Andrew Feng Andrew N. Priest Baris Turkbey Benjamin Glicksberg Bernardo Bizzo Byung Seok Kim Carlos Tor-Díez Chia-Cheng Lee Chia-Jung Hsu Chin Lin Chiu-Ling Lai Christopher P. Hess Colin Compas Deepeksha Bhatia Eric K. Oermann Evan Leibovitz Hisashi Sasaki Hitoshi Mori Isaac Yang Jae Ho Sohn Krishna Nand Keshava Murthy Li-Chen Fu Matheus Ribeiro Furtado de Mendonça Mike Fralick Min Kyu Kang Mohammad Adil Natalie Gangai Peerapon Vateekul Pierre Elnajjar Sarah Hickman Sharmila Majumdar Shelley L. McLeod Sheridan Reed Stefan Gräf Stephanie Harmon Tatsuya Kodama Thanyawee Puthanakit Tony Mazzulli Vitor Lima de Lavor Yothin Rakvongthai Yu Rim Lee Yuhong Wen Fiona J. Gilbert Mona G. Flores Quanzheng Li 著者: イタヤダヤ ホルガー・R・ロス Aoxiao ジョン アフマド・ハロウニ 優しさ 優しさ アナス・Z・アビディン アンドリュー・リウ アンソニー・ベアーズワース・コスタ ブラッドフォード・J・ウッド チャン・サング・ツァイ チョン・ホン・ワン チャン・ナン・スー C・K・リー ペイジングルーアン ダガン・チュー デュファンWu エディ・フアン フェリペ・キャンポス・キタムラ グリフィン・レイシー グスタヴォ・セサル・デ・アントニオ・コルラディ グスタフ・ニーノ ハオ・ヒン・シン Hirofumi Obinata ハイ・レン ジェイソン・C・クレーン ジェシー・テトレオ Jiahui グアン ジョン・W・ガレット ジョシュア・D・カギ ジュング・ギル・パーク キース・ドライヤー クリシュナ・ジュラルー クリストファー・カーストン Marcio Aloisio Bezerra Cavalcanti ロッケンバッハ マリウス・ジョージ・リンガルー マゾム・A・ハイダー ミーナ・アブデルマセエ ニコラ・リッキー パブロ・F・ダマスチェーノ ペドロ・マリオ・クルーズ・エ・シルバ ポチュアン・ウォン シャン・スー SHUICHI KAVANO シラ・スリスワッディ ソー・ヤング・パーク トーマス・M・グリスト ヴァルヌ書 ウォッサムランチ ウォン・ウォン WON YOUNG TAK シアン・リー ジョン・リン ジョーン・クワン Young Joon Kwon クルアーン クルアーン アンドリュー・フェン アンドリュー・N・プリスト バリス・ターキビー ベンジャミン・グリックスバーグ バーナルド・ビッツォ キム キム キム カルロス・トール・ディエス チア・チェン・リー チア・ジュング・HSU チン・リン チュー・リング・ライ クリストファー・P・ヘス コリン・コンパス Deepeksha Bhatia エリック・K・オーマン エヴァン・レイボヴィッツ ヒサシ・ササキ ヒトシ・モリ アイザック・ヤン ジェイ・ホ・息子 クリシュナ・ナンド・ケシャワ・マーシー チョン・フー マテウス・リベイロ・フォルタド・デ・メンドンツァ マイク・フラリック ミン・キュー・カン ムハンマド・アドル ナタリー・ガンガイ ワタクシのピアノ ピエール・エルナイヤル サラ・ヒックマン シャルミラ・マジャムダー シェリー・L・マクレッド シェリダン・リード スティーブン・グレフ ステファニー・ハーモン タツウア・コダマ トニー・マズルリ ヴィトル・リマ・デ・ワーク YOTHIN RAKVONGTHAI ユ・リム・リー ヨハン・ウィン フィオナ・J・ギルバート モナ・G・フローレス リリリリリリ 抽象 連合学習(FL)データは、複数の情報源からのデータを使用して人工知能モデルを訓練するために使用される方法で、データの匿名性を維持し、データ共有に多くの障壁を除去します。ここでは、世界中の20の研究所からのデータを使用して、EXAM(電子医学記録(EMR)胸部X線AIモデル)と呼ばれるFLモデルを訓練し、COVID-19の症状のある患者の将来の酸素需要を予測し、すべての参加サイトで測定された平均AUCの16%の向上と、特定のサイトで訓練されたモデルと比較して、38%の臨床一般化の平均増加を試みました。 メイン 科学、学術、医学、データサイエンスのコミュニティは、COVID-19大流行の危機に直面して、迅速かつ安全な人工知能(AI)の新しいパラダイムを迅速に評価し、従来のコラボレーションの従来のプライバシーおよびデータ所有制限なしでデータ共有やモデルトレーニングおよびテストを促進する可能性があります。 , 保健サービスプロバイダー、研究者、業界は、危機によって生み出された未満の重要な臨床ニーズに対処することに焦点を当て、驚くべき結果をもたらしました。 , , , , , , . Clinical trial recruitment has been expedited and facilitated by national regulatory bodies and an international cooperative spirit , , データ分析とAIの分野は、常にオープンソースソフトウェア、再生可能な研究、データレポジトリ、匿名化されたデータセットを公開するなどの概念を採用するオープン・コラボレーション・アプローチを促進してきました。 , パンデミックは、急速に臨床および科学コミュニティに力を与えるデータコラボレーションを実施する必要性を強調し、急速に進化し、広範囲に広がる世界的な課題に対応する。 , , . 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 これらの種類の協力の具体的な例は、AIベースのSARS-COV-2臨床意思決定支援(CDS)モデルに関する私たちの以前の研究です。このCDSモデルはMass General Brigham(MGB)で開発され、複数の医療システムのデータで検証されました。CDSモデルへの入力は胸部X線(CXR)画像、重要な兆候、人口データ、および以前の出版物でCOVID-19患者の結果を予測するために示された実験室値でした。 , , , CXRは、ACRが提供するようなガイドラインによって広く利用可能であり、一般的に示されているため、画像入力として選択されました。 「Fleischner Society」 , the WHO ナショナルToracic Societies 全国保健省COVIDハンドブックと世界中の放射線学会 CDSモデルの出力は、CORISKと呼ばれるスコアでした。 酸素支援要件に対応し、最前線の臨床医による患者の試験に役立つ可能性がある。 , , 保健サービスプロバイダーは、独自のデータで検証されたモデルを好むことが知られています。 これまでに、前述のCDSモデルを含むほとんどのAIモデルは、しばしば多様性が欠けている「狭い」データで訓練され、検証されています。 , これは、複数のサイトからさまざまなデータを訓練することによって、データの集中化なしに軽減することができる。 using methods such as transfer learning , FLは、異なるデータソースでAIモデルを訓練するために使用される方法であり、データは元の場所の外に輸送または曝露されない。 . 18 19 20 21 22 23 24 25 26 27 28 29 30 27 31 32 33 34 35 36 連合学習は、データの追跡性の向上とアルゴリズムの変化と影響の評価を含む、中心的にオーケストラ化された実験の迅速な開始をサポートします。 クライアントサーバーと呼ばれるFLへの一つのアプローチは、部分的なトレーニングタスクを実行する他のサーバー(「ノード」)に「訓練されていない」モデルを送信し、その結果を中央(「連邦」)サーバーに合併させるために戻します。 . 37 36 FLのデータの管理はローカルに維持され、プライバシーの懸念を軽減し、クライアントサイトと連邦サーバー間でモデル重量またはグレディエントのみが通信されます。 , FLは、最近の医療イメージングアプリケーションですでに約束を示しています。 , , , COVID-19の分析 , , 注目すべき例は、SARS-COV-2に感染した患者における死亡率予測モデルであり、このモデルは臨床的特徴を用いるが、方法の数と規模の面で限られている。 . 38 39 40 41 42 43 8 44 45 46 CDSモデルは、臨床実践において比較的一般的なデータ入力を使用し、患者様の状態(臨床印象や報告された症状など)のオペレーター依存の評価に大きく依存しないデータ入力を使用することにより、実験室の結果、重要な兆候、イメージング研究、および一般的に収集された人口統計(すなわち年齢)を使用することができるという理論を提起しました。 したがって、我々はクライアントサーバーFLアプローチを使用してさまざまなデータを含むCDSモデルを再訓練して、新しいグローバルFLモデルを開発し、入力としてCXRとEMR機能を用いたEXAMを開発しました。 FLを活用することで、参加機関はデータを中央リポジトリに転送する必要はありませんが、むしろ Our hypothesis was that EXAM would perform better than local models and would generalize better across healthcare systems. 結果 EXAMモデルアーキテクチャ EXAMモデルは、上記のCDSモデルに基づいています。 結果(すなわち「地上の真実」)のラベルは、患者の酸素療法に基づいて、24時間と72時間の期間を経て緊急部門(ED)への初期入院から割り当てられました。 . 27 1 予測ウィンドウで患者が受けた最も強力な酸素療法に応じて、患者の結果ラベルは0、0、25、0.50、0.75に設定された。予測ウィンドウで患者が死亡した場合、結果ラベルは1に設定された。 EMR 機能では、ED でキャプチャされた最初の値のみが使用され、データのプレプロセッサには、デイデンティフィクション、欠けている値の割り当て、ゼロメディアおよび単位変数への正常化が含まれていました。 したがって、モデルは、EMRおよびCXR機能の両方から情報を統合し、34レイアウトコンヴュレーションニューラルネットワーク(ResNet34)を使用して、CXRおよびDeep & Crossネットワークから機能を抽出し、EMR機能と共に機能を結合します(詳細については、参照)。 ) モデル出力は、EXAMスコアと呼ばれるリスクスコアであり、上記のラベルに対応する24時間および72時間の予測のそれぞれのための0−1範囲の連続値です。 方法 モデルを連邦化 EXAMモデルは16148例のコホートを使用して訓練され、COVID-19の最初のFLモデルだけでなく、臨床的に関連するAIの非常に大規模で多大陸的な開発プロジェクト(図)にもなりました。 )サイト間のデータは抽出前に調和されず、実際の臨床コンピュータ学の状況を考慮して、データ入力の詳細な調和は著者によって実施されませんでした(図)。 ( ) 1A、B 1C、D , World map indicating the 20 different client sites contributing to the EXAM study. , 各機関またはサイトによって貢献されたケースの数(クライアント1は、最も多くのケースを貢献したサイトを表します)。 各クライアントサイトにおける胸部X線強度分布。 , 各クライアントサイトにおける患者の年齢、最小および最大年齢(星座)、平均年齢(三角形)および標準偏差(水平線)を示す。 . a b c d 1 試験結果は、各試験結果に基づき、各試験結果に基づき、各試験結果に基づく試験結果を示した。 « 1 × 10-3 ウィルコクソン署名ランクテスト) 16% (各ローカルテストセットでモデルを実行する際の平均AUCによって定義される: 0.795 から 0.920,または 12.5 パーセントポイント) ( 図。 ) また、38%の一般化可能性の改善(すべてのテストセットでモデルを実行する際に平均AUCによって定義される: 0.667 から 0.920、または 25.3 パーセントポイント)は、24 時間の酸素処理を予測するための最高のグローバルモデルに比べて、サイトの独自のデータにのみ訓練されたモデルに比べました。 )72時間の酸素処理の予測結果については、最良のグローバルモデルトレーニングは、現地でトレーニングされたモデルと比較して平均18%のパフォーマンス向上をもたらし、グローバルモデルの一般化性は平均34%向上しました(拡張データ図。 ) 私たちの結果の安定性は、異なるランダム化データ分割で3回のローカルおよびFLトレーニングを繰り返すことによって検証されました。 P 2A 2B 1 , 各クライアントのテストのパフォーマンスは、ローカルデータのみで訓練されたモデルの24時間酸素処理の予測に設定され、サーバー上で利用可能な最高のグローバルモデルの予測に比べて(FL(ベストを参照))。 , 一般化性(他のサイトのテストデータの平均パフォーマンス、平均AUCで表される)は、クライアントのデータセットサイズ(ケースなし)の関数です。グリーンホリゾンラインは、最高のグローバルモデルの一般化パフォーマンスを表します。 )およびクライアント14は、RA治療のみのケースを持っていたので、評価メトリクス(AUC)はこれらのケースのいずれにも適用されなかった( クライアント14のデータは、ローカルモデルにおける平均一般化の計算から除外された。 a b 1 方法 非均衡コホート(例えば、ほとんどが軽度のCOVID-19のケース)を使用して訓練されたローカルモデルは、FLアプローチから顕著に恩恵を受け、わずか数例のカテゴリのための予測平均AUCパフォーマンスが大幅に改善されました。これはクライアントサイト16(不均衡なデータセット)で明らかであり、ほとんどの患者は病気の重症度が軽く、重症例がわずかである。 拡張データフィグ さらに重要なことに、FLモデルの一般化は、現地で訓練されたモデルよりも大幅に増加した。 3A 2 , ROC at client site 16, with unbalanced data and mostly mild cases. クライアントサイト16でROC、不均衡なデータと、ほとんどが軽度のケース。 , ROC of the local model at client site 12 (a small dataset), mean ROC of models trained on larger datasets corresponding to the five client sites in the Boston area (1, 4, 5, 6, 8) and ROC of the best global model in prediction of 72-h oxygen treatment for different thresholds of EXAM score (left, middle, right). The mean ROC is calculated based on five locally trained models while the gray area denotes the ROC standard deviation. ROCs for three different cutoff values ( Pos と neg は、この範囲で定義された正確なケースと負のケースの数を表します。 a b t 比較的小さなデータセットを持つクライアントサイトの場合、最良のFLモデルは、ローカルモデルだけでなく、米国ボストン地域の5つのクライアントサイトからより大きなデータセットで訓練されたモデルも著しく上回りました。 ). 3B The global model performed well in predicting oxygen needs at 24/72 h in patients both COVID positive and negative (Extended Data Fig. ( ) 3 Validation at independent sites Following initial training, EXAM was subsequently tested at three independent validation sites: Cooley Dickinson Hospital (CDH), Martha’s Vineyard Hospital (MVH) and Nantucket Cottage Hospital (NCH), all in Massachusetts, USA. The model was not retrained at these sites and it was used only for validation purposes. The cohort size and model inference results are summarized in Table , and the ROC curves and confusion matrices for the largest dataset (from CDH) are shown in Fig. 最大のデータセット(CDH)のためのROC曲線と混乱マトリックスは、図に示されています。 . The operating point was set to discriminate between nonmechanical ventilation and mechanical ventilation (MV) treatment (or death). The FL global trained model, EXAM, achieved an average AUC of 0.944 and 0.924 for 24- and 72-h prediction tasks, respectively (Table ), which exceeded the average performance among sites used in training EXAM. For prediction of MV treatment (or death) at 24 h, EXAM achieved a sensitivity of 0.950 and specificity of 0.882 at CDH, and a sensitivity of 1.000 specificity of 0.934 at MVH. NCH did not have any cases with MV/death at 24 h. In regard to 72-h MV prediction, EXAM achieved a sensitivity of 0.929 and specificity of 0.880 at CDH, sensitivity of 1.000 and specificity of 0.976 at MVH and sensitivity of 1.000 and specificity of 0.929 at NCH. 2 4 2 , トップページ > オリジナルタイトル > オリジナルタイトル > オリジナルタイトル > オリジナルタイトル > オリジナルタイトルタイトルタイトル ) and 72 h ( 3つの異なるカット値のためのROCs( 試験のリスクスコアが表示されます。 a b a b t For MV at CDH at 72 h, EXAM had a low false-negative rate of 7.1%. Representative failure cases are presented in Extended Data Fig. CDH の 2 つの偽否定例を示し、1 つのケースには、欠けている EMR データ機能が多く、もう 1 つのケースには、動きのアーティファクトと欠けている EMR 機能のある CXR がありました。 4 Use of differential privacy A primary motivation for healthcare institutes to use FL is to preserve the security and privacy of their data, as well as adherence to data compliance measures. For FL, there remains the potential risk of model ‘inversion’ or even the reconstruction of training images from the model gradients themselves これらのリスクに対処するために、セキュリティを強化する措置が、サイトサーバー通信中にデータが「キャプチャ」される場合のリスクを軽減するために使用されました。 . We experimented with techniques to avoid interception of FL data, and added a security feature that we believe could encourage more institutions to use FL. We thus validated previous findings showing that partial weight sharing, and other differential privacy techniques, can successfully be applied in FL . Through investigation of a partial weight-sharing scheme , , , we showed that models can reach a comparable performance even when only 25% of weight updates are shared (Extended Data Fig. ). 47 48 49 50 50 51 52 5 Discussion この研究は、サイト数とデータポイント数に関して、広範囲にわたる現実的な医療FL研究を提供するものであると信じています。この研究は、医療における必要なAIモデルの迅速かつ協力的な開発のためにFLを使用する可能性の強力な実証概念を提供していると信じています。私たちの研究は、4大陸にわたる複数のサイトを含み、異なる規制機関の監督下にあり、さまざまな規制された市場に迅速に提供されることを約束しています。グローバルFLモデル、EXAMは、個々のサイトでより強力で、現地データのみで訓練されたモデルよりも優れた結果を達成しました。我々は、より大きなデータセット、標準化可能なデータ入力の使用、および臨床印象/報告された症状の回避により、一貫した改善 比較的小さなデータセットを持つクライアントサイトでは、有用なモデルを組み合わせるための2つの典型的なアプローチが使用可能である:一つは、自分のデータでローカルにトレーニングすること、もう一つは、より大きなデータセットでトレーニングされたモデルを適用することです。小規模なデータセットを持つサイトでは、ローカルデータのみを使用してパフォーマンスの深い学習モデルを構築することはほぼ不可能でした。これらの2つのアプローチがグローバルFLモデルによって3つの予測タスクで優れているという発見は、FLコラボレーションに参加することから生じる小規模なデータセットを持つクライアントサイトの利点が実質的であることを示しています。これは、現地トレーニングよりも多様性をキャプチャするFLの能力の . 46 The validation results confirmed that the global model is robust, supporting our hypothesis that FL-trained models are generalizable across healthcare systems. They provide a compelling case for the use of predictive algorithms in COVID-19 patient care, and the use of FL in model creation and testing. By participating in this study the client sites received access to EXAM, to be further validated ahead of pursuing any regulatory approval or future introduction into clinical care. Plans are under way to validate EXAM prospectively in ‘production’ settings at MGB leveraging COVID-19 targeted resources , as well as at different sites that were not a part of the EXAM training. 53 COVID-19患者における意思決定を支援する200以上の予測モデルが発表されました。 . Unlike the majority of publications focused on diagnosis of COVID-19 or prediction of mortality, we predicted oxygen requirements that have implications for patient management. We also used cases with unknown SARS-COV-2 status, and so the model could provide input to the physician ahead of receiving a result for PCR with reverse transcription (RT–PCR), making it useful for a real-life clinical setting. The model’s imaging input is used in common practice, in contrast with models that use chest computed tomography, a nonconsensual diagnostic modality. The model’s design was constrained to objective predictors, unlike many published studies that leveraged subjective clinical impressions. The data collected reflect varied incidence rates, and thus the ‘population momentum’ we encountered is more diverse. This implies that the algorithm can be useful in populations with different incidence rates. 19 患者コホートの識別とデータの調和は、研究とデータサイエンスにおける新しい課題ではありません。 , but are further complicated, when using FL, given the lack of visibility on other sites’ datasets. Improvements to clinical information systems are needed to streamline data preparation, leading to better leverage of a network of sites participating in FL. This, in conjunction with hyperparameter engineering, can allow algorithms to ‘learn’ more effectively from larger data batches and adapt model parameters to a particular site for further personalization—for example, through further fine-tuning on that site . A system that would allow seamless, close-to real-time model inference and results processing would also be of benefit and would ‘close the loop’ from training to model deployment. 54 39 データは集中化されていないため、容易にアクセスできないので、結果の将来の分析は、引き出され、収集されたもの以外では限られています。 他の機械学習モデルと同様に、EXAMはトレーニングデータの品質によって制限されています。臨床ケアのためのこのアルゴリズムを展開することに興味のある機関は、トレーニングにおける潜在的な偏見を理解する必要があります。例えば、EXAMモデルのトレーニングに用いられる地上真理として使用されたラベルは、患者の24時間と72時間の酸素消費量に由来し、患者に供給される酸素は酸素需要に等しいと仮定されています。 データへのアクセスが制限されたため、ほとんどのサイトで失敗原因に関する詳細な統計を生成するのに十分な情報がありませんでしたが、最大の独立テストサイトであるCDHから失敗例を研究し、将来テストできる仮説を生成することができました。 将来、我々はまた、病気の進行の異なる段階による「人口流出」の可能性を調査する予定である。我々は、20の場所の多様性により、このリスクが軽減された可能性があると信じている。 A feature that would enhance these kinds of large-scale collaboration is the ability to predict the contribution of each client site towards improving the global FL model. This will help in client site selection, and in prioritization of data acquisition and annotation efforts. The latter is especially important given the high costs and difficult logistics of these large-consortia endeavors, and it will enable these endeavors to capture diversity rather than the sheer quantity of data samples. 将来のアプローチは、自動化されたハイパーパラメータ検索を組み込む可能性があります。 ニューラルアーキテクチャ検索 and other automated machine learning approaches to find the optimal training parameters for each client site more efficiently. 55 56 57 Known issues of batch normalization (BN) in FL motivated us to fix our base model for image feature extraction 将来の仕事では、クライアントデータが非独立で同一に分布している場合、FLにおけるAIモデルのトレーニングをより効果的に可能にするために、異なるタイプの標準化技術を探求する可能性があります。 58 49 Recent works on privacy attacks within the FL setting have raised concerns on data leakage during model training . Meanwhile, protection algorithms remain underexplored and constrained by multiple factors. While differential privacy algorithms , , show good protection, they may weaken the model’s performance. Encryption algorithms, such as homomorphic encryption , maintain performance but may substantially increase message size and training time. A quantifiable way to measure privacy would allow better choices for deciding the minimal privacy parameters necessary while maintaining clinically acceptable performance , , . 59 36 48 49 60 36 48 49 Following further validation, we envision deployment of the EXAM model in the ED setting as a way to evaluate risk at both the per-patient and population level, and to provide clinicians with an additional reference point when making the frequently difficult task of triaging patients. We also envision using the model as a more sensitive population-level metric to help balance resources between regions, hospitals and departments. Our hope is that similar FL efforts can break the data silos and allow for faster development of much-needed AI models in the near future. Methods Ethics approval All procedures were conducted in accordance with the principles for human experimentation as defined in the Declaration of Helsinki and International Conference on Harmonization Good Clinical Practice guidelines, and were approved by the relevant institutional review boards at the following validation sites: CDH, MVH, NCH and at the following training sites: MGB, Mass General Hospital (MGH), Brigham and Women’s Hospital, Newton-Wellesley Hospital, North Shore Medical Center and Faulkner Hospital (all eight of these hospitals were covered under MGB’s ethics board reference, no. 2020P002673, and informed consent was waived by the instititional review board (IRB). Similarly, participation of the remaining sites was approved by their respective relevant institutional review processes: Children’s National Hospital in Washington, DC (no. 00014310, IRB certified exempt); NIHR Cambridge Biomedical Research Centre (no. 20/SW/0140, informed consent waived); The Self-Defense Forces Central Hospital in Tokyo (no. 02-014, informed consent waived); National Taiwan University MeDA Lab and MAHC and Taiwan National Health Insurance Administration (no. 202108026 W, informed consent waived); Tri-Service General Hospital in Taiwan (no. B202105136, informed consent waived); Kyungpook National University Hospital in South Korea (no. KNUH 2020-05-022, informed consent waived); Faculty of Medicine, Chulalongkorn University in Thailand (nos. 490/63, 291/63, informed consent waived); Diagnosticos da America SA in Brazil (no. 26118819.3.0000.5505, informed consent waived); University of California, San Francisco (no. 20-30447, informed consent waived); VA San Diego (no. H200086, IRB certified exempt); University of Toronto (no. 20-0162-C, informed consent waived); National Institutes of Health in Bethesda, Maryland (no. 12-CC-0075, informed consent waived); University of Wisconsin-Madison School of Medicine and Public Health (no. 2016-0418, informed consent waived); Memorial Sloan Kettering Cancer Center in New York (no. 20-194, informed consent waived); and Mount Sinai Health System in New York (no. IRB-20-03271, informed consent waived). MI-CLAIM guidelines for reporting of clinical AI models were followed (Supplementary Note ) 2 スタジオ setting The study included data from 20 institutions (Fig. ):MGB、MGH、Brigam and Women's Hospital、Newton-Wellesley Hospital、North Shore Medical CenterおよびFaulkner Hospital;ワシントンDCの子ども国立病院;NIHR Cambridge Biomedical Research Centre;Tokyoの自衛隊中央病院;National Taiwan University MeDA LabおよびMAHCとTaiwan National Health Insurance Administration;Tri-Service General Hospital in Taiwan;Kyungpook National University Hospital in South Korea;Faculty of Medicine, Chulalongkorn University in Thailand;Diagnosticos da America SA in Brazil;University of California, San Francisco; VA San Diego;University of Toronto;National Institutes of Health in Bethesda, Maryland;University of Wisconsin-Madison School of Medicine and Public Health;Memorial Sloan Ketter , , 3つの独立したサイトからのデータは、独立した検証のために使用されました:CDH、MVH、NCH、すべて、マサチューセッツ、米国. これらの3つの病院は、トレーニングサイトとは異なる患者群の特徴を持っていました.アルゴリズム検証に使用されたデータは、2020年3月から2021年2月の間にこれらのサイトでEDに登録された患者で構成され、FLモデルをトレーニングするために使用されたデータと同じ包括基準を満たしました。 1a 61 62 63 データ収集 The 20 client sites prepared a total of 16,148 cases (both positive and negative) for the purposes of training, validation and testing of the model (Fig. ). Medical data were accessed in relation to patients who satisfied the study inclusion criteria. Client sites strived to include all COVID-positive cases from the beginning of the pandemic in December 2019 and up to the time they started local training for the EXAM study. All local training had started by 30 September 2020. The sites also included other patients in the same period with negative RT–PCR test results. Since most of the sites had more SARS-COV-2-negative than -positive patients, we limited the number of negative patients included to, at most, 95% of the total cases at each client site. 1b 一つの「ケース」には、CXRと患者の医療記録から取られた必要なデータ入力が含まれていた。 CXR画像強度(ピクセル値)の分布とパターンは、異なるデバイスメーカーやイメージングプロトコルなどの多数の患者およびサイト特有の要因により、サイト間で大きく異なりました。 . Patient age and EMR feature distribution varied greatly among sites, as expected owing to the differing demographics between globally distributed hospitals (Extended Data Fig. ). 1B 1C、D 6 Patient inclusion criteria Patient inclusion criteria were: (1) patient presented to the hospital’s ED or equivalent; (2) patient had a RT–PCR test performed at any time between presentation to the ED and discharge from the hospital; (3) patient had a CXR in the ED; and (4) patient’s record had at least five of the EMR values detailed in Table 注: CXR、実験室の結果、および使用された生命体は、EDへの訪問中に捕獲するために最初に利用可能であった。 1 入力モデル In total, 21 EMR features were used as input to the model. The outcome (that is, ground truth) labels were assigned based on patient requirements after 24- and 72-h periods from initial admission to the ED. A detailed list of the requested EMR features and outcomes can be seen in Table . 1 The distribution of oxygen treatment using different devices at different client sites is shown in Extended Data Fig. デバイスの使用状況を ED への入力時および 24 時間および 72 時間の期間の後で詳細に説明します。 . 7 8 COVID-19陽性症例の数は、EDへの提出と病院からの排出の間のいつでも得られた単一のRT-PCR検査で確認されたとおり、補足表に記載されています。 各クライアントサイトは、トレーニングのための70%、検証のための10%、テストのための20%の3つの部分にランダムにデータセットを分割するように求められました。 1 EXAM model development COVID-19の症状を有する病院に現れる患者の臨床コースは幅広く異なり、呼吸器機能の急速な悪化を経験する者の中には、低血圧を予防または緩和するために異なる介入が必要である。 , . A critical decision made during the evaluation of a patient at the initial point of care, or in the ED, is whether the patient is likely to require more invasive or resource-limited countermeasures or interventions (such as MV or monoclonal antibodies), and should therefore receive a scarce but effective therapy, a therapy with a narrow risk–benefit ratio due to side effects or a higher level of care, such as admittance to the intensive care unit 対照的に、侵入的酸素療法を必要とするリスクが低い患者は、通常の診療所などのより少ない集中的なケア環境に置かれ、または自宅で継続的な自己監視のためにEDから解放される可能性があります。 EXAMは、このような患者を診断するのに役立つために開発されました。 62 63 64 65 Of note, the model is not approved by any regulatory agency at this time and it should be used only for research purposes. EXAM score EXAMはFLを使用して訓練され、CORISKに似たリスクスコア(EXAMスコア)を出す。 (拡張データ) ) and can be used in the same way to triage patients. It corresponds to a patient’s oxygen support requirements within two windows—24 and 72 h—after initial presentation to the ED. Extended Data Fig. CORISKとEXAMスコアが患者の分類にどのように使用されるかを示しています。 27 9A 9b Chest X-ray images were preprocessed to select the anterior position image and exclude lateral view images, and then scaled to a resolution of 224 × 224. As shown in Extended Data Fig. , モデルは、EMRとCXRの両方の機能からの情報を統合します(スペースフォーカスフォーカスで修正されたResNet34に基づいて)。 CheXpert データセットでプレトレーニング) Deep & Cross ネットワーク . To converge these different data types, a 512-dimensional feature vector was extracted from each CXR image using a pretrained ResNet34, with spatial attention, then concatenated with the EMR features as the input for the Deep & Cross network. The final output was a continuous value in the range 0–1 for both 24- and 72-h predictions, corresponding to the labels described above, as shown in Extended Data Fig. 損失機能としてのクロスエントロピーと、最適化者としての「アダム」を使用しました。 「NVIDIA Clara Train SDK」 . The average AUC for the classification tasks (≥LFO, ≥HFO/NIV or ≥MV) was calculated and used as the final evaluation metric, with normalization to zero-mean and unit variance. CXR images were preprocessed to select the correct series and exclude lateral view images, then scaled to a resolution of 224 × 224 (ref. ). 9A 66 67 68 9b 69 70 27 imputation and normalization 標準化 MissForestアルゴリズム was used to impute EMR features, based on the local training dataset. If an EMR feature was completely missing from a client site dataset, the mean value of that feature, calculated exclusively on data from MGB client sites, was used. Then, EMR features were rescaled to zero-mean and unit variance based on statistics calculated on data from the MGB client sites. 71 ディープ&クロスネットワークを使用したEMR-CXRデータ合併の詳細 To model the interactions of features from EMR and CXR data at the case level, a deep-feature scheme was used based on a Deep & Cross network architecture . Binary and categorical features for the EMR inputs, as well as 512-dimensional image features in the CXR, were transformed into fused dense vectors of real values by embedding and stacking layers. The transformed dense vectors served as input to the fusion framework, which specifically employed a crossing network to enforce fusion among input from different sources. The crossing network performed explicit feature crossing within its layers, by conducting inner products between the original input feature and output from the previous layer, thus increasing the degree of interaction across features. At the same time, two individual classic deep neural networks with several stacked, fully connected feed-forward layers were trained. The final output of our framework was then derived from the concatenation of both classic and crossing networks. 68 FL 詳細 Arguably the most established form of FL is implemention of the federated averaging algorithm as proposed by McMahan et al. , or variations thereof. This algorithm can be realized using a client-server setup where each participating site acts as a client. One can think of FL as a method aiming to minimize a global loss function by reducing a set of local loss functions, which are estimated at each site. By minimizing each client site’s local loss while also synchronizing the learned client site weights on a centralized aggregation server, one can minimize global loss without needing to access the entire dataset in a centralized location. Each client site learns locally, and shares model weight updates with a central server that aggregates contributions using secure sockets layer encryption and communication protocols. The server then sends an updated set of weights to each client site after aggregation, and sites resume training locally. The server and client site iterate back and forth until the model converges (Extended Data Fig. ( ) 72 9c A pseudoalgorithm of FL is shown in Supplementary Note 私たちの実験では、連邦ラウンドの数を設定しました。 = 200, with one local training epoch per round at each client. The number of clients, , は、クライアントのネットワーク接続性または特定のターゲット結果期間(24 時間または 72 時間)で利用可能なデータに応じて最大 20 件まででした。 , depends on the dataset size at each client FL トレーニング タスクでは、各クライアントサイトは、現地の認証セットでモデルのパフォーマンスを追跡することによって、各クライアントサイトが最良のローカルモデルを選択します。同時に、サーバーは、各クライアントサイトから各 FL ラウンド後にサーバーに送信された平均認証スコアに基づいて、最良のグローバルモデルを決定します。 1 T t K nk k アダムの最適化器は、ローカルトレーニングとFLの両方に使用され、最初の学習率は5×10−5であり、40の時代ごとに段階的な学習率崩壊は、40の時代ごとに0.5です。 ローテーション、翻訳、シアリング、スケーリング、ランダム強度のノイズおよびシフトを含むランダムアフィン変換は、トレーニング中にデータ拡張のために画像に適用されました。 73 BNレイヤーの敏感性により 異なるクライアントを非独立的で同一に分散した環境で扱うとき、プレトレーニングされたResNet34を空間的注意で保つことによってモデルの最高のパフォーマンスが発生したことがわかった。 FLトレーニング中に固定されたパラメータ(すなわち、これらのレイヤーの学習率をゼロにする) 画像機能とEMR機能を組み合わせたディープ&クロスネットワークにはBNレイヤーが含まれていないため、BN不安定性の問題には影響されなかった。 58 47 この研究では、サーバーとクライアントのサイト間で部分的なモデルアップデートのみを共有するプライバシー保存システムを調査しました。 重量アップデートは、それぞれのイーテレーション中に貢献の大きさによってランク付けされ、最大の重量アップデートの一定のパーセントのみがサーバーと共有されました。 (Extended Data Fig. ) )は、すべての非ゼログレディエントから計算された、 Δ それぞれのクライアントにとって異なるかもしれません。 in each FL round このスケジュールの変数には、大きなグレディエントまたは差異的なプライバシーのスケジュールの追加のカットが含まれる可能性があります。 ネットワークに供給する前に、グレディエントに、あるいは原始データに、ランダムな騒音を追加する。 . k 5 ワイ(T) k t 49 51 Statistical analysis 我々は、現地訓練モデルとFLモデルの間で24時間と72時間の時点で観察されたパフォーマンス向上の重要性を確認するために、Wilcoxonの署名ランクテストを実施しました(図。 拡張データフィグ ). The null hypothesis was rejected with one-sided « 1×10−3 両方で。 2 1 P ピアソン・コラレーション(Pearson’s correlation)は、現地のデータセットのサイズに関連して現地で訓練されたモデルの一般化性(他のクライアントサイトのテストデータに対する平均AUC値の強度)を評価するために使用されました。 = 0.43 です。 = 0.035, 自由度 (df) = 17 for the 24-h model and 0 0 62 = 0.003, df = 16 for the 72-h model). This indicates that dataset size alone is not the only factor determining a model's robustness to invisible data. これは、データセットのサイズだけがモデルの目に見えないデータに対する強度を決定する唯一の要因ではないことを示しています。 r P r P To compare ROC curves from the global FL model and local models trained at different sites (Extended Data Fig. ), we bootstrapped 1,000 samples from the data and computed the resulting AUCs. We then calculated the difference between the two series and standardized using the formula = (AUC1 – AUC2)/ どこ is the standardized difference, is the standard deviation of the bootstrap differences and AUC1 and AUC2 are the corresponding bootstrapped AUC series. By comparing 普通の分布で、私たちは、 追加表で示す値 結果は、ゼロ仮説が非常に低い値で拒否されたことを示しています。 数値は、FL結果の優位性の統計的意義を示す。 値は、pROC ライブラリで R で実行されました。 . 3 D s D s D P 2 P P 74 Since the model predicts a discrete outcome, a continuous score from 0 to 1, a straightforward calibration evaluation such as a qqplot is not possible. Hence, for a quantified estimate of calibration we quantified discrimination (Extended Data Fig. )我々は、4つの地上真理カテゴリ(RA、LFO、HFO、MV)の間のローカルおよびFLモデルスコアを比較するために、変異の単方向分析(ANOVA)テストを実施しました。 -statistic, calculated as the variation between the sample means divided by variation within the samples and representing the degree of dispersion among different groups, was used to quantify the models. Our results show that the -values of five different local sites are 245.7, 253.4, 342.3, 389.8 and 634.8, while that of the FL model is 843.5. Given that larger 値は、グループがより分離可能であることを意味し、私たちのFLモデルのスコアは、4つの基本的な真理カテゴリ間でより大きな分散を明確に示しています。 value of the ANOVA test on the FL model is <2 × 10–16, indicating that the FL prediction scores are statistically significantly different among the different prediction classes. 10 F F F P 報告概要 研究デザインに関する詳細な情報は、 linked to this article. 自然研究報告の概要 データ可用性 この研究に参加した20の研究所のデータセットは、それぞれの地元のサイトでトレーニングに使用され、他の参加機関や連合サーバーと共有されず、公開されていません。独立した検証サイトからのデータはCAMCAによって維持され、アクセスはQ.Lに連絡することによって要求されます。CAMCAの決定に基づき、研究目的のためのIRBのデータ共有レビューと修正はMGB研究管理とMGB IRBおよびポリシーに従って行うことができます。 コード可用性 All code and software used in this study are publicly available at NGC. To access, log in as a guest or create a profile then enter one of the URLs below. The trained models, data preparation guidelines, code for training, validating testing of the model, readme file, installation guideline and license files are publicly available at NVIDIA NGC : : 連合学習ソフトウェアは、Clara Train SDKの一部として利用できます。 . Alternatively, use this command to download the model “wget --content-disposition ☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆ 61 https://ngc.nvidia.com/catalog/models/nvidia:med:clara_train_covid19_exam_ehr_xray https://ngc.nvidia.com/catalog/containers/nvidia:clara-train-sdk https://api.ngc.nvidia.com/v2/models/nvidia/med/clara_train_covid19_exam_ehr_xray/versions/1/zip 参照 Budd, J. et al. Digital technologies in the public-health response to COVID-19. , 1183–1192 (2020). Nat. Med. 26 Moorthy, V., Henao Restrepo, A. M., Preziosi, M.-P. & Swaminathan, S. Data sharing for novel coronavirus (COVID-19). , 150 (2020). Bull. World Health Organ. 98 Chen, Q., Allot, A. & Lu, Z. Keep up with the latest coronavirus research. , 193 (2020). Nature 579 Fabbri, F., Bhatia, A., Mayer, A., Schlotter, B. & Kaiser, J. BCG IT spend pulse: how COVID-19 is shifting tech priorities. (2020). https://www.bcg.com/publications/2020/how-covid-19-is-shifting-big-it-spend Candelon, F., Reichert, T., Duranton, S., di Carlo, R. C. & De Bondt, M. The rise of the AI-powered company in the postcrisis world. (2020). https://www.bcg.com/en-gb/publications/2020/business-applications-artificial-intelligence-post-covid Chao, H. et al. Integrative analysis for COVID-19 patient outcome prediction. , 101844 (2021). Med. Image Anal. 67 Zhu, X. et al. Joint prediction and time estimation of COVID-19 developing severe symptoms using chest CT scan. , 101824 (2021). Med. Image Anal. 67 Yang, D. et al. Federated semi-supervised learning for Covid region segmentation in chest ct using multi-national data from China, Italy, Japan. , 101992 (2021). Med. Image Anal. 70 Minaee, S., Kafieh, R., Sonka, M., Yazdani, S. & Jamalipour Soufi, G. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. , 101794 (2020). Med. Image Anal. 65 COVID-19 Studies from the World Health Organization Database. (2020). https://clinicaltrials.gov/ct2/who_table ACTIV. (2020). https://www.nih.gov/research-training/medical-research-initiatives/activ Coronavirus Treatment Acceleration Program (CTAP). US Food and Drug Administration (2020). https://www.fda.gov/drugs/coronavirus-covid-19-drugs/coronavirus-treatment-acceleration-program-ctap Gleeson, P., Davison, A. P., Silver, R. A. & Ascoli, G. A. A commitment to open source in neuroscience. , 964–965 (2017). Neuron 96 Piwowar, H. et al. The state of OA: a large-scale analysis of the prevalence and impact of open access articles. , e4375 (2018). PeerJ. 6 European Society of Radiology (ESR). What the radiologist should know about artificial intelligence – an ESR white paper. , 44 (2019). Insights Imaging 10 Pesapane, F., Codari, M. & Sardanelli, F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. , 35 (2018). Eur. Radiol. Exp. 2 Price, W. N. 2nd & Cohen, I. G. Privacy in the age of medical big data. , 37–43 (2019). Nat. Med. 25 Liang, W. et al. Development and validation of a clinical risk score to predict the occurrence of critical illness in hospitalized patients with COVID-19. , 1081–1089 (2020). JAMA Intern. Med. 180 Wynants, L. et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. , m1328 (2020). Brit. Med. J. 369 Zhang, L. et al. D-dimer levels on admission to predict in-hospital mortality in patients with Covid-19. , 1324–1329 (2020). J. Thromb. Haemost. 18 Sands, K. E. et al. Patient characteristics and admitting vital signs associated with coronavirus disease 2019 (COVID-19)-related mortality among patients admitted with noncritical illness. (2020). https://doi.org/10.1017/ice.2020.461 American College of Radiology. CR recommendations for the use of chest radiography and computed tomography (CT) for suspected COVID-19 infection. (2020). https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection Rubin, G. D. et al. The role of chest imaging in patient management during the COVID-19 pandemic: a multinational consensus statement from the Fleischner Society. , 172–180 (2020). Radiology 296 World Health Organization. Use of chest imaging in COVID-19. (2020). https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid-19 Jamil, S. et al. Diagnosis and management of COVID-19 disease. , 10 (2020). Am. J. Respir. Crit. Care Med. 201 Redmond, C. E., Nicolaou, S., Berger, F. H., Sheikh, A. M. & Patlas, M. N. Emergency radiology during the COVID-19 pandemic: The Canadian Association of Radiologists Recommendations for Practice. , 425–430 (2020). Can. Assoc. Radiologists J. 71 Buch, V. et al. Development and validation of a deep learning model for prediction of severe outcomes in suspected COVID-19 Infection. Preprint at (2021). https://arxiv.org/abs/2103.11269 Lyons, C. & Callaghan, M. The use of high-flow nasal oxygen in COVID-19. , 843–847 (2020). Anaesthesia 75 Whittle, J. S., Pavlov, I., Sacchetti, A. D., Atwood, C. & Rosenberg, M. S. Respiratory support for adult patients with COVID-19. , 95–101 (2020). J. Am. Coll. Emerg. Physicians Open 1 Ai, J., Li, Y., Zhou, X. & Zhang, W. COVID-19: treating and managing severe cases. , 370–371 (2020). Cell Res. 30 Esteva, A. et al. A guide to deep learning in healthcare. , 24–29 (2019). Nat. Med. 25 Cahan, E. M., Hernandez-Boussard, T., Thadaney-Israni, S. & Rubin, D. L. Putting the data before the algorithm in big data addressing personalized healthcare. , 78 (2019). NPJ Digit. Med. 2 Thrall, J. H. et al. Artificial intelligence and machine learning in radiology: opportunities, challenges, pitfalls, and criteria for success. , 504–508 (2018). J. Am. Coll. Radiol. 15 Shilo, S., Rossman, H. & Segal, E. Axes of a revolution: challenges and promises of big data in healthcare. , 29–38 (2020). Nat. Med. 26 Gao, Y. & Cui, Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality. , 5131 (2020). Nat. Commun. 11 Rieke, N. et al. The future of digital health with federated learning. , 119 (2020). NPJ Dig. Med. 3 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. 10 Ma, C. et al. On safeguarding privacy and security in the framework of federated learning. , 242–248 (2020). IEEE Netw. 34 Brisimi, T. S. et al. Federated learning of predictive models from federated Electronic Health Records. , 59–67 (2018). Int. J. Med. Inform. 112 Roth, H. R. et al. Federated learning for breast density classification: a real-world implementation. In , (eds. Albarqouni, S. et al.) Vol. 12,444, 181–191 (Springer International Publishing, 2020). Proc. Second MICCAI Workshop, DART 2020 and First MICCAI Workshop, DCL 2020 Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning Sheller, M. J. et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. , 12598 (2020). Sci. Rep. 10 Remedios, S. W., Butman, J. A., Landman, B. A. & Pham, D. L. in (eds Remedios, S. W. et al.) (Springer, 2020). Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers Xu, Y. et al. A collaborative online AI engine for CT-based COVID-19 diagnosis. Preprint at (2020). https://www.medrxiv.org/content/10.1101/2020.05.10.20096073v2 Raisaro, J. L. et al. SCOR: A secure international informatics infrastructure to investigate COVID-19. , 1721–1726 (2020). J. Am. Med. Inform. Assoc. 27 Vaid, A. et al. Federated learning of electronic health records to improve mortality prediction in hospitalized patients with COVID-19: machine learning approach. , e24207 (2021). JMIR Med. Inform. 9 Nino, G. et al. Pediatric lung imaging features of COVID-19: a systematic review and meta-analysis. , 252–263 (2021). Pediatr. Pulmonol. 56 Fredrikson, M., Jha, S. & Ristenpart, T. Model inversion attacks that exploit confidence information and basic countermeasures. In 1322–1333, (2015). Proc. 22nd ACM SIGSAC Conference on Computer and Communications Security https://doi.org/10.1145/2810103.2813677 Zhu, L., Liu, Z. & Han, S. in (eds Wallach, H. et al.) 14774–14784 (Curran Associates, Inc., 2019). Advances in Neural Information Processing Systems 32 Kaissis, G. A., Makowski, M. R., Rückert, D. & Braren, R. F. Secure, privacy-preserving and federated machine learning in medical imaging. , 305–311 (2020). Nat. Mach. Intell. 2 Li, W. et al. in 133–141 (Springer, 2019). Privacy-Preserving Federated Brain Tumour Segmentation Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In (2015). Proc. 53rd Annual Allerton Conference on Communication, Control, and Computing (Allerton) https://doi.org/10.1109/allerton.2015.7447103 Li, X. et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results. , 101765 (2020). Med. Image Anal. 65 Estiri, H. et al. Predicting COVID-19 mortality with electronic medical records. , 15 (2021). NPJ Dig. Med. 4 Jiang, G. et al. Harmonization of detailed clinical models with clinical study data standards. , 65–74 (2015). Methods Inf. Med. 54 Yang, D. et al. in . (2019). Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation https://doi.org/10.1007/978-3-030-32245-8_1 Elsken, T., Metzen, J. H. & Hutter, F. Neural architecture search: a survey. , 1–21 (2019). J. Mach. Learning Res. 20 Yao, Q. et al. Taking human out of learning applications: a survey on automated machine learning. Preprint at (2019). https://arxiv.org/abs/1810.13306 Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In , PMLR , 448–456 (2015). Proc. 32nd International Conf. Machine Learning 37 Kaufman, S., Rosset, S. & Perlich, C. Leakage in data mining: formulation, detection, and avoidance. In , 556–563 (2011). Proc. 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Zhang, C. et al. BatchCrypt: efficient homomorphic encryption for cross-silo federated learning. In , 493–506 (2020). Proc. 2020 USENIX Annual Technical Conference, ATC 2020 . (2020). Nvidia NGC Catalog: COVID-19 Related Models https://ngc.nvidia.com/catalog/models?orderBy=scoreDESC&pageNumber=0&query=covid&quickFilter=models&filters Marini, J. J. & Gattinoni, L. Management of COVID-19 respiratory distress. , 2329–2330 (2020). JAMA 323 Cook, T. M. et al. Consensus guidelines for managing the airway in patients with COVID-19: Guidelines from the Difficult Airway Society, the Association of Anaesthetists the Intensive Care Society, the Faculty of Intensive Care Medicine and the Royal College of Anaesthetist. , 785–799 (2020). Anaesthesia 75 Galloway, J. B. et al. A clinical risk score to identify patients with COVID-19 at high risk of critical care admission or death: an observational cohort study. , 282–288 (2020). J. Infect. 81 Kilaru, A. S. et al. Return hospital admissions among 1419 COVID-19 patients discharged from five U.S. emergency departments. , 1039–1042 (2020). Acad. Emerg. Med. 27 He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In (2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://doi.org/10.1109/cvpr.2016.90 Irvin, J. et al. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. , 590–597 (2019). Proc. AAAI Conf. Artif. Intell. 33 Wang, R., Fu, B., Fu, G. & Wang, M. Deep & Cross network for Ad Click predictions. In Article no. 12 (2017). Proc. ADKDD’17 Abadi, M. et al. TensorFlow: asystem for large-scale machine learning. In , USENIX Association 265–283 (2016). 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16) . (2020). NVIDIA Clara Imaging https://developer.nvidia.com/clara-medical-imaging Stekhoven, D. J. & Bühlmann, P. MissForest–non-parametric missing value imputation for mixed-type data. , 112–118 (2012). Bioinformatics 28 McMahan, H., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. (2017). http://proceedings.mlr.press/v54/mcmahan17a.html Hsieh, K., Phanishayee, A., Mutlu, O. & Gibbons, P. B. The non-IID data quagmire of decentralized machine learning. In PMLR 119 (2020). Proc. 37th International Conf. Machine Learning Robin, X. et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. , 77 (2011). BMC Bioinformatics 12 認定 この研究で表明された顧客データ部門の見解は、この研究の著者であり、必ずしもNHS、NIHR、ヘルスケア部門、社会福祉部門または著者に関連する組織のいずれかを含むものとします。MGBは、以下の人々への支援に感謝します: J. Brink、放射線学部、マサチューセッツ総合病院、ハーバード医学部、ボストン、MA; M. Kalra、放射線学部、マサチューセッツ総合病院、ハーバード医学部門、ボストン、MA; N. Neumark、クリニックデータ科学センター、マサチューセッツ総合ブリガム、ボストン、MA; T. Schultz、マサチューセッツ総合病院 医学部を通じて、チュラロングコーン大学は、Ratchadapisek Sompoch Endowment Fund RA(PO)(No. 001/63)に、COVID-19関連の臨床データと生物サンプルの収集と管理について、研究タスクフォース、医学部、チュラロングコーン大学に感謝します。NIHRケンブリッジ生物医学研究センターは、NIHR(ケンブリッジ大学病院NHS財団のケンブリッジ生物医学研究センター)が支援しているA.プリストに感謝します。National Taiwan University MeDA LabとMAHCと台湾国立健康保険局は、AI技術のMOST共同研究センター、All Vista Healthcare National Health Insurance Administration、台湾、科学省と技術省、台湾理論科学研究センターのNational https://data.ucsf.edu/covid19 この論文は、CC by 4.0 Deed (Attribution 4.0 International) ライセンスの下で自然に利用できます。 この紙は under CC by 4.0 Deed (Attribution 4.0 International) license. 自然に利用可能
