Autè yo: Nicola Rieke Jonny Hancox Wenqi Li Fausto Milletarì Holger R. Roth Shadi Albarqouni Spyridon Bakas Mathieu N. Galtier Bennett A. Landman Klaus Maier-Hein Sébastien Ourselin Micah Sheller Ronald M. Summers Andrew Trask Daguang Xu Maximilian Baust M. Jorge Cardoso Autè yo: Nicole Rieke nan Jonny Hankox nan Li nan Faust Milletè Holger R. Roth nan Pwensipal Albarqouni Pwodwi pou Telefòn Mathieu N. Galtier nan Bennett A. Landman nan Pwodwi pou Telefòn Sébastien Ourselin nan Micah Sheller nan Ronald M. Summers nan Règleman Pwodwi pou Maksimilyen Baust Pwofesè Jorge Cardoso Abstraksyon Done-driven Machine Learning (ML) te vini kòm yon apwòch pwomèt pou bati modèl estatistik egzak ak robust soti nan done medikal, ki se kolekte nan volim gwo pa sistèm swen swen sante modèn. Done-driven medikal egziste pa eksplore plen pa ML sitou paske li sitiye nan silos done ak pwoteksyon pwoteksyon restriksyon aksè nan done sa yo. Sepandan, san yo pa aksè nan done ase, ML pral anpeche soti nan rive nan tout potansyèl li yo ak, finalman, soti nan fè tranzisyon ki soti nan rechèch nan pratik klinik. Papye sa a konsidere faktè kle kontribye nan pwoblèm sa a, eksplore ki jan federated aprantisaj (FL) ka bay yon solisyon pou lavni nan sante dijital ak rele defi yo ak konsèy ki bezwen re Introduction nan Rechèch sou entèlijans atifisyèl (AI), ak espesyalman avanse nan aprantisaj machin (ML) ak aprantisaj fondamantal (DL) te mennen nan inovasyon disruptif nan radioloji, patoloji, genomik ak lòt jaden yo. Modèl DL modèn prezante milyon de paramèt ki bezwen aprann soti nan yon seri de done ki koresponn granmoun pou reyalize presizyon nan klas klinik, pandan y ap san danje, ewo, ewo ak jeneralize byen nan done invisible , , , . 1 2 3 4 5 Pou egzanp, fòmasyon nan yon detektè tumè ki baze sou AI mande pou yon baz done gwo ki enkli tout spektrum an nan posib anatomi, patoloji, ak kalite done enprime. Done tankou sa a se difisil jwenn, paske done sante se trè sensitif ak itilize li yo estrikti Malgre ke anonimize done ka apeprè limitasyon sa yo, li se kounye a byen konprann ke retire metadata tankou non pasyan oswa dat ki te fèt se souvan pa ase pou pwoteje prive Li se, pou egzanp, posib rekonstriksyon nan figi a nan yon pasyan soti nan tomografi òdinatè (CT) oswa imaj rezonans mayetik (MRI) done Yon lòt rezon pou ke pataje done se pa sistematik nan swen sante se ke kolekte, kouri, ak kenbe yon seri done bon jan kalite segondè pran tan, efò, ak koute. Kòm yon rezilta, sa yo seri done ka gen yon valè biznis enpòtan, ki fè li mwens chans ke yo pral pataje libète. Anplis de sa, kolekteur done souvan kenbe yon kontwòl bon sou done yo ke yo te kolekte. 6 7 8 Federasyon nan aprantisaj (FL) , , se yon paradigm aprantisaj ki ap eseye rezoud pwoblèm nan gouvènman done ak prive pa fòmasyon algorithms kolaborativman san yo pa echanj done yo menm. Originally devlope pou domèn diferan, tankou mobil ak gadjèt itilize ka , li te dènyèman genyen traction pou aplikasyon pou swen sante , , , , , , , . FL pèmèt jwenn konesans kolaboratifman, pou egzanp, nan fòm yon modèl konsans, san yo pa deplase done pasyan soti nan firewalls nan enstitisyon yo kote yo rete. Anplis de sa, pwosesis la ML rive lokalman nan chak enstitisyon ki patisipe ak sèlman karakteristik modèl (pwa, paramèt, gradients) yo transfere jan yo montre nan Figi. Rechèch ki sot pase yo te montre ke modèl fòmasyon pa FL ka jwenn nivo pèfòmans konparab ak moun fòmasyon sou baz done ki sitiye santralman ak siperyè pase modèl ki sèlman wè done enstitisyonèl izolasyon , . 9 10 11 12 13 14 15 16 17 18 19 20 1 16 17 FL agrégation sèvè – yon pwosesis travay tipik FL nan ki yon federasyon nan nodes fòmasyon resevwa modèl la mondyal, reenvoye modèl yo partikilè fòmasyon nan yon sèvè santral intermittently pou agrégation ak Lè sa a, kontinye fòmasyon sou modèl la konsensus ke sèvè a retire. FL peer-to-peer-formulasyon altènatif nan FL nan ki chak node fòmasyon echanj modèl partikilè fòmasyon li yo ak kèk oswa tout nan pafè li yo ak chak fè agregasyon pwòp li yo. Santralize fòmasyon – yon kouri travay jeneral ki pa FL fòmasyon nan ki sit yo jwenn done donasyon done yo nan yon Lake Done santral soti nan ki yo ak lòt moun yo kapab ekstrè done pou fòmasyon lokal, otanp. a b c Yon implemantasyon siksè nan FL ka se konsa gen yon potansyèl enpòtan pou pèmèt medikaman presizyon nan yon mas, ki mennen nan modèl ki pwodwi desizyon imedyatman, optimman reflete fizioloji a nan yon moun, ak se sensitif a maladi rare pandan y ap respekte kwasans gouvènman ak prive. Sepandan, FL toujou mande pou konsèy teknik rigid yo asire ke algorithm la se pwosesis optimum san yo pa kompromèt sekirite a oswa prive a nan pasyan an. Sepandan, li gen potansyèl pou depase limitasyon yo nan apwòch ki mande pou yon sèl pwason de done santral. Nou vizyon yon tan kap dirije pou sante dijital ak ak ak sa a dokimantè perspektif, nou pataje konsans nou ak objektif la nan bay konteks ak detay pou kominote a sou benefis yo ak enpak nan FL pou aplikasyon medikal (sektè "Done-done medikaman mande pou efò federasyon"), osi byen ke yo rele konsèp ki kle ak repitasyon nan implementation FL pou sante dijital (sektè "Technical Considerations"). Done-done medikaman mande pou efò federasyon ML ak espesyalman DL se vin apwòch la de facto nan dekouvri konesans nan anpil endistri, men siksè implemantasyon aplikasyon ki baze sou done mande pou seri gwo ak divès done. Sepandan, seri done medikal yo difisil jwenn (subsekisyon "Done depann"). FL rezoud pwoblèm sa a pa pèmèt aprantisaj kolaboratif san yo pa santralize done (subsekisyon "Pwofesyon nan efò federatif") ak te deja jwenn wout la nan aplikasyon pou sante dijital (subsekisyon "Fasilite FL kounye a pou sante dijital"). Sa a nouvo paradigm aprantisaj mande pou konsidere nan, men tou ofri benefis, nan, divès stakeholders sante (sekisyon "Impakt sou stakeholders"). Depann sou done Pwosesis ki baze sou done depann sou done ki reyèlman reprezante distribisyon an done ki anba a nan pwoblèm la. Malgre ke sa a se yon kondisyon byen li te ye, algorithms state-of-the-art yo anjeneral evalye sou seri a done koure atansyon, souvan soti nan sèlman yon kèk sous. Sa a ka prezante bias kote demografik (pou egzanp, jèn, laj) oswa echilib la teknik (pou egzanp, pwotokòl achizisyon, manifakti ekipman) distorsion prediksyon yo ak afekte adisyonèlman ak presizyon pou kèk gwoup oswa sit. Sepandan, yo ka capture relasyon subtile ant modèl maladi, sosyo-ekonomik ak faktè jèn, osi byen ke ka konplèks ak rare, li enpòtan yo ekspoze yon modèl Potansyèl la pou gwo baz done pou fòmasyon AI te lanse anpil inisyativ ki ap chèche pou konbine done ki sòti nan plizyè enstitisyon. Sa a done se souvan akomode nan sa yo rele Data Lakes. Sa yo te bati ak objektif yo sèvi ak valè a komèsyal nan done, pou egzanp, IBM a Merge Healthcare achitekti , oswa kòm yon resous pou kwasans ekonomik ak pwogrè syantifik, pou egzanp, NHS Scotland a National Safe Haven Sèvi ak Frans Data Hub , ak Health Data Rechèch UK . 21 22 23 24 Premye, men ti, inisyativ yo gen ladan Human Connectome a UK Biobank Kòmantè a nan Cancer Imaging Archive (TCIA) Nouvo CXR8 NIH DeepLesion nan Atlas nan Genòm Kansè (TCGA) Inisyativ la Neuroimajinasyon nan Maladi Alzheimer (ADNI) , osi byen ke retounen medikal gwo Kòm yon Camelyon Challenge Pwomnad entènasyonal multimodal Brain Tumor Segmentation (BraTS) , , oswa Segmentasyon Medikal Decathlon Piblik medikal done se anjeneral travay- oswa maladi-spesifik ak souvan lage ak diferan degre nan restriksyon lisans, pafwa limite eksplwatasyon li yo. 25 26 27 28 29 30 31 32 33 34 35 36 37 Centralize oswa libere done, sepandan, prezante pa sèlman règleman, etik ak legal pwoblèm, ki gen rapò ak prive ak pwoteksyon done, men tou teknik yo. Anonymize, kontwole aksè ak transfere sekirite done swen swen sante se yon travay ki pa trivial, ak pafwa pa posib. Anonim done soti nan dosye sante elektwonik ka parèt san danje ak GDPR / PHI konpatib, men jis kèk eleman done ka pèmèt re-identifikasyon pasyan an. Epitou sa a aplike nan done genomik ak imaj medikal fè yo tankou inik kòm yon odyo Se poutèt sa, si pwosesis la anonimize destrike fidèlite a nan done a, ki ka fè li inutil, re-identifikasyon pasyan oswa lekòl enfòmasyon pa ka eksepsyonèlman. Aksè Gate pou itilizatè ki apwouve se souvan pwopoze kòm yon solisyon presumab nan pwoblèm sa a. Sepandan, anplis de limitasyon nan disponiblite done a, sa a se sèlman pratik pou ka kote konsansyon ki te bay pa pwopriyete pa pwopriyete pa pwopriyete, paske retire done ki soti nan moun ki ta ka te gen aksè nan done a se pratikman inefikasib. 7 38 Promise nan efò Federasyon Pwomèt la nan FL se senp - rezoud pwoteksyon prive ak pwoblèm gouvènman done pa pèmèt ML soti nan done ki pa co-located. Nan yon anviwònman FL, chak kontwole done pa sèlman defini pwosesis gouvènman pwòp li yo ak politik pwoteksyon ki gen rapò, men tou kontwole aksè nan done ak gen kapasite pou retire li. Sa a gen ladan tou de fòmasyon ak faz la validasyon. Nan fason sa a, FL ka kreye nouvo opòtinite, pou egzanp, pa pèmèt gwo-scale, enstitisyon validasyon, oswa pa pèmèt rechèch nouvo sou maladi rare, kote pousantaj la nan incidans yo ki ba ak estrikti done nan chak enstitisyon se ti. Manje modèl la nan done yo ak Kòm montre nan Fig. , yon FL workflow ka realize ak diferan topologies ak plan òdinatè. De ki pi komen pou aplikasyon pou swen swen sante se atravè yon sèvè agrégation , , Peer to peer apwopriye , . Nan tout ka, FL implisitman ofri yon sèten degre nan prive, paske patisipan FL pa janm dirèkteman aksè nan done soti nan lòt enstitisyon ak sèlman resevwa paramèt modèl ki yo agrege sou plizyè patisipan. Nan yon FL travay flux ak sèvè agrege, enstitisyon yo patisipan ka menm rete san yo pa konnen pou youn ak lòt. Sepandan, li te montre ke modèl yo pwòp yo ka, anba kèk kondisyon, memorize enfòmasyon , , , Se poutèt sa, mekanis tankou diferans prive , oswa aprantisaj soti nan done enkripsyon yo te pwopoze pou amelyore pwoteksyon an plis nan yon anviwònman FL (cf. seksyon an "Technical Considerations"). An jeneral, potansyèl nan FL pou aplikasyon pou swen swen sante te ankouraje enterè nan kominote a ak teknik FL se yon zòn nan kwasans nan rechèch , . 2 16 17 18 15 39 40 41 42 43 44 45 46 12 20 FL topologies—arhitektura kominikasyon nan yon federasyon. Santralize: sèvè a agrégation koordine iterasyon fòmasyon yo ak kolekte, agrégate ak distribye modèl yo nan ak soti nan Nodes fòmasyon (Hub & Spoke). Decentralized: chak node fòmasyon se konekte nan youn oswa plis pafè yo ak agrega se sou chak node nan paralèl. Hierarchique: rezo federasyon ka konpoze nan plizyè sous-federasyon, ki ka konpoze soti nan yon konbinezon de Peer-to-Peer ak Aggregation Server federasyon ( )). FL plan òdinatè — trajectory nan yon modèl atravè plizyè patnè. Sequential fòmasyon / aprantisaj transfè siklik. sèvè Aggregation, Peer nan peer. a b c d e f g Actual FL efò pou sante dijital Kòm FL se yon paradigm aprantisaj jeneral ki retire kondisyon an nan agrime done pou devlopman modèl AI, jaden an aplikasyon nan FL kouvri tout AI pou swen swen swen sante. Pa bay yon opòtinite pou retire plis varyabilite done ak analize pasyan atravè diferan demografik, FL ka pèmèt inovasyon disruptif pou tan kap vini an, men se tou ap itilize kounye a. Nan kontèks la nan dosye sante elektwonik (EHR), pou egzanp, FL ede reprezante ak jwenn pasyan klinikman menm jan an , , osi byen ke prezante hospitalizations akòz evènman cardiaque , mortalité ak ICU rete tan . Aplikabilite ak avantaj nan FL yo te tou demontre nan jaden an nan imajizasyon medikal, pou segman an tout sèvo nan MRI , osi byen ke segmentasyon tumè sèvo , dènye, teknik la te itilize pou fMRI klasifikasyon yo jwenn biomarkè fiable ki gen rapò ak maladi ak suggere kòm yon apwòch pwomèt nan konte a COVID-19 . 13 47 14 19 15 16 17 18 48 Li vle di ke efò FL mande akòz definisyon an nan jaden, objektif ak teknoloji ki itilize ki, paske li se toujou nouvo, ka difisil definisyon. Nan kontexte sa a, inisyativ yo gwo-scale jodi a reyèlman se pyonye yo nan estanda nan manm pou sekirite, ewo ak inovasyon kolaborasyon nan aplikasyon pou swen sante. Yo gen ladan konsòtirasyon ki vle avanse rechèch, tankou pwojè a Trustworthy Federated Data Analytics (TFDA) ak platfòm yo Imaging Joint nan Konsòsyon Alman kansè , ki pèmèt rechèch desantralize atravè enstitisyon rechèch medikal imaj. Yon lòt egzanp se yon kolaborasyon rechèch entènasyonal ki itilize FL pou devlope modèl AI pou evalyasyon nan mamogram . Etid la te montre ke modèl yo FL-genere pèfòmans pase moun ki fòmasyon sou done yo nan yon enstiti sèl ak yo te plis jeneralize, se konsa yo toujou pèfòmans bon sou done yo nan lòt enstiti. Sepandan, FL se pa limite sèlman nan anviwònman akademik. Akademik 49 50 51 Pa konekte enstitisyon swen sante, ki pa limite nan sant rechèch, FL ka gen dirèkteman Impact. Pwojè a nan HealthChain ki nan kontinyèl , pou egzanp, objektif yo devlope ak deplase yon Framework FL atravè kat hospitalis nan Lafrans. Solisyon sa a kreye modèl komen ki ka prezante repons tretman pou kansè mam ak malenoma pasyan. Li ede onkolojik yo detèmine tretman ki pi efikas pou chak pasyan soti nan slides histoloji yo oswa imaj dermoscopy yo. Yon lòt gwo efò se inisyativ la Federated Tumor Segmentation (FeTS) , ki se yon federasyon entènasyonal nan 30 enstitisyon swen swen sante angaje lè l sèvi avèk yon framework open-source FL ak yon interface itilizatè grafik. Objektif la se amelyore deteksyon granmoun granmoun, ki gen ladan sèvo glioma, tumè mwatye, tumè jè ak lezyon ògàn nan plizyè pasyan myeloma. Klinik 52 53 Yon lòt zòn nan enpak se nan rechèch ak tradiksyon. FL pèmèt rechèch kolaboratif pou, menm konpetitè, konpayi. Nan konte sa a, youn nan inisyativ yo pi gwo se pwojè a Melloddy Li se yon pwojè ki objektif deplwaye multi-task FL atravè set done yo nan 10 konpayi pharmaceutique. Pa fòme yon modèl prediktif komen, ki enpòtan ki jan konpoze chimik mete nan pwoteyin, patnè yo vle optimize pwosesis la dekouvri dwòg san yo pa revele done yo trè valè nan kay la. Endistriyèl 54 Efè sou stakeholders FL konsiste de yon chanjman paradigm soti nan lak done santralize ak li enpòtan yo konprann enpak li sou diferan stakeholders nan yon ekosistèm FL. Klinik Klinik yo anjeneral ekspoze nan yon sous-group nan popilasyon an ki baze sou kote yo ak anviwònman demografik, ki ka lakòz presizyon biwo sou probabilite a nan sèten maladi oswa koneksyon yo. Pa itilize sistèm ki baze sou ML, pou egzanp, kòm yon dezyèm lektè, yo ka ogmante eksperyans pwòp yo ak konesans ekspè nan lòt enstitisyon, asire yon konsistans nan dyagnostik pa ka jwenn jodi a. Pandan ke sa a aplike nan sistèm ki baze sou ML an jeneralman, sistèm fòme nan yon fason federatif yo potansyèlman kapab pwodui desizyon menm mwens biwo ak sensibilite pi wo nan ka rare paske yo te pwobableman ekspoze nan yon distribisyon done pi konplè. Sepandan, sa a mande Pacient Pacient yo anjeneral trete lokalman. Etablisman FL nan yon skala mondyal ta ka asire bon jan kalite a nan desizyon klinik nenpòt ki kote tretman. An patikilye, pasyan ki mande pou atansyon medikal nan zòn distans ta ka benefisye de menm bon jan kalite a ML-asiste dyagnostik ki disponib nan hospitalis ak yon gwo kantite ka. Se menm bagay la valab pou maladi rare, oswa jeyografikman rare, ki yo ka gen konsekans pi milti si pi vit ak plis dyagnostik ka fè. FL tou ka diminye obstak la pou vin yon donatè done, paske pasyan yo ka asire ke done yo rete ak enstitisyon yo pwòp yo ak aksè done ka revoke. Hospitalizasyon ak pratik Hospitalis ak pratik yo ka rete nan kontwòl plen ak posesyon nan done pasyan yo ak traceability konplè nan aksè done, limite risk pou itilizasyon mal pa twazyèm moun. Sepandan, sa a pral mande envestisman nan enfrastrikti òdinatè on-premise oswa pwovizyon sèvis prive-nwa ak adhesion nan estanda ak fòma done sinoptik pou modil ML ka fòmasyon ak evalye san danje. Nimewo a nan kapasite òdinatè nesesè depann natirèlman sou si yon sit se sèlman patisipe nan evalyasyon ak tès efò oswa tou nan fòmasyon efò. Menm relatif ti enstitisyon ka patisipe epi yo pral toujou benefisye de modèl kolektiv yo kreye. Rechèchè ak AI devlopè Rechèchè yo ak devlopè AI yo ka benefisye de aksè nan yon koleksyon potansyèlman gwo nan done reyèl, ki pral asire efè nan laboratwa rechèch ti ak start-up. Se poutèt sa, resous yo ka direksyon pou solisyon nan bezwen klinik ak pwoblèm teknik ki gen rapò ak anviwònman ki pa depann sou anbalaj limit nan done louvri. An menm tan, li pral nesesè fè rechèch sou estrateji algorithmic pou fòmasyon federated, egzanp, ki jan yo konbine modèl oswa ajou efikasman, ki jan yo dwe robust pou distribisyon chanjman. , , FL ki baze sou devlopman implique tou ke rechèchè a oswa devlopè a AI pa ka rechèch oswa vizyèlize tout done ki sou ki modèl la se fòme, pou egzanp, li se pa posib yo gade nan yon ka erè endividyèl yo konprann poukisa modèl la kounye a pèfòmans mal sou li. 11 12 20 Pwodwi pou Sante Pwofesyonèl swen swen sante nan anpil peyi yo afekte pa chanjman an kontinyèl paradigm soti nan volim ki baze sou, sa vle di, frè pou sèvis ki baze sou, nan swen swen sante ki baze sou valè, ki se nan chemen an byen konekte ak etablisman siksè nan medikaman presizyon. Sa a se pa sou pwomosyon tretman pi chè endividyèlman, men sou reyalize rezilta pi bonè pi bonè pi bonè nan yon tretman plis konsantre, ak sa a diminye pri a. FL gen potansyèl pou ogmante egzakite ak robustite nan swen sante AI, pandan y ap diminye pri yo ak amelyore rezilta pasyan, ak se konsa kapab enpòtan pou medikaman presizyon. Pwodwi manifakti yo nan lojisyèl ak lojisyèl swen sante ka benefisye de FL tou, paske konbine aprantisaj soti nan anpil aparèy ak aplikasyon, san yo pa revele enfòmasyon espesifik pasyan, ka fasilite validasyon kontinyèl oswa amelyorasyon nan sistèm ML ki baze sou yo. Sepandan, realizasyon yon kapasite sa a ka mande amelyorasyon enpòtan nan òdinatè lokal, depo done, kapasite rezo ak lojisyèl ki gen rapò. Konsèy teknik FL se pwobableman pi byen li te ye soti nan travay la nan Konečnỳ et al. , men plizyè lòt definisyon yo te ofri nan literati , , , Yon FL workflow (Fig. ) ka realize atravè diferan topoloji ak plan òdinatè (Fig. ), men objektif la rete menm, sa vle di, konbine konesans aprann soti nan done ki pa co-located. Nan seksyon sa a, nou pral diskite plis detay sou sa FL se, osi byen ke soulye defi prensipal yo ak konsèp teknik ki rive lè aplike FL nan sante dijital. 55 9 11 12 20 1 2 Defini nan aprantisaj Federasyon FL se yon paradigm aprantisaj nan ki plizyè pati fòmasyon kolaborativman san yo pa bezwen echanj oswa santralize seri done. Yon formulasyon jeneral nan FL li tankou sa a: Let denote yon fonksyon pèdi mondyal ki te jwenn atravè yon konbinezon peze nan lokal pèdi, konvèti soti nan done prive , ki rezide nan pati yo endividyèlman patisipe ak pa janm pataje ant yo: K XK nan Ki kote > 0 reprezante coefficients pwa respektiv yo. Wouj Nan pratik la, chak patisipan tipikman jwenn ak rafine yon modèl konsensus mondyal pa fè kèk ronde nan optimizasyon lokalman ak anvan pataje ajou, tou dirèkteman oswa atravè yon serveur paramèt. Pandan ke plis ronde nan fòmasyon lokal yo te fè, pi piti se garanti ke pwosesis la jeneral se minimize (Eq. ) , Pwosesis aktyèl pou agregasyon paramèt depann sou topoloji rezo a, kòm nodes ka segrege nan sous-rezo a akòz restriksyon jeyografik oswa legal. ). Aggregation strategies can rely on a single aggregating node (hub and spokes models), or on multiple nodes without any centralisation. An example is peer-to-peer FL, where connections exist between all or a subset of the participants and model updates are shared only between directly connected sites , , pandan y ap yon egzanp nan santralize FL agrégation se bay nan Algoritm 1. Remake ke estrateji agrégation pa nesesèman mande enfòmasyon sou ajou modèl plen; kliyan ka chwazi yo pataje sèlman yon sousèt nan paramèt modèl la pou benefis nan diminye kominikasyon sou tèt, asire pi bon pwoteksyon prive or to produce multi-task learning algorithms having only part of their parameters learned in a federated manner. 1 9 12 2 15 56 10 Yon anviwònman konbine ki pèmèt plizyè sistèm fòmasyon ka desantèlman resous òdinatè (dat ak sèvè) soti nan Kòm yo montre nan Fig. Sistèm sa a defini trajectory a nan yon modèl atravè plizyè patnè, yo dwe fòmasyon ak evalye sou seri done espesifik. compute plan 2 Repons ak repons Malgre avantaj yo nan FL, li pa rezoud tout pwoblèm ki inik nan aprantisaj sou done medikal. Yon fòmasyon modèl siksè toujou depann sou faktè tankou bon jan kalite done, bias ak estanda . pwoblèm sa yo dwe rezoud pou tou de efò aprantisaj federasyon ak non-federasyon nan metòd ki apwopriye, tankou konsepsyon etid atansyon, pwotokòl komen pou aksepte done, rapò estrikti ak metòd ki sofistike pou detekte bias ak estratifikasyon kach. Nan anba a, nou touche aspè kle nan FL ki se espesyalman enpòtan lè yo aplike nan sante dijital ak bezwen yo dwe konsidere lè etabli FL. Pou detay teknik ak diskisyon enpòtan, nou referans lektè a nan sondaj ki sot pase , , . 2 11 12 20 Heterogeneity nan done Done medikal se espesyalman divès - pa sèlman paske nan divès kalite modalit, dimensionalite ak karakteristik an jeneral, men menm nan yon pwotokòl espesifik akòz faktè tankou diferans nan achte, mak nan aparèy medikal la oswa demografik lokal. FL ka ede rezoud sèten sous nan bias nan potansyèlman ogmante divèsite nan sous done, men distribisyon done inhomogène prezante yon repitasyon pou FL algorithms ak estrateji, kòm anpil yo asume yon done endividyèlman ak identikman distribiye (IID) atravè patisipan yo. Anjeneral, estrateji tankou yo apwopriye pou rezoud nan kondisyon sa yo , , , nan yon pati batre objektif la menm nan estrateji aprantisaj kolaboratif. Rezilta dènye, sepandan, indike ke fòmasyon FL se toujou posib , menm si done medikal se pa uniformman distribye atravè enstitisyon yo , oswa gen ladan yon bias lokal Rechèch ki rezoud pwoblèm sa a gen ladan, pou egzanp, , Part-data-chanjman estrateji ak FL ak domèn-adaptasyon Yon lòt repitasyon se ke heterogeneity nan done ka mennen nan yon situasyon nan ki solisyon an optimum mondyal ka pa optime pou yon patisipan endividyèl lokal. Defini a nan optimum fòmasyon modèl ta dwe, se poutèt sa, konsidere pa tout patisipan anvan fòmasyon. Pwodwi 9 9 57 58 59 16 17 51 Pwodwi pou 57 58 18 Pwoteksyon ak sekirite Done swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen sèn swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen Pwoteksyon vs pèfòmans: Li enpòtan yo note ke FL pa rezoud tout pwoblèm pwoteksyon potansyèl ak - menm jan ak ML algorithms an jeneral - pral toujou pote kèk risk. teknik pwoteksyon pwoteksyon pou FL ofri nivo pwoteksyon ki depase modèl ML ki disponib komèsyalman kounye a Sepandan, gen yon kompromis sou pèfòmans ak teknik sa yo ka afekte, pou egzanp, presizyon an nan modèl final la Anplis de sa, teknik pwovens ak / oswa done aksidan ka itilize pou kompromèt yon modèl ki te anvan konsidere kòm ki ba-risik. 12 10 Level of trust: Broadly speaking, participating parties can enter two types of FL collaboration: -pou konsòti FL nan ki tout pati yo konsidere konfyans ak yo te obligatwa pa yon akò kolaborasyon egzekitif, nou ka elimine anpil nan motivasyon yo pi mal, tankou eseye delibere pou ekstrè enfòmasyon sensibl oswa pou delibere corrompre modèl la. Sa a diminye bezwen an pou kontre-mwa sofistike, ki rive tounen nan prensip yo nan rechèch kolaboratif estanda. Konfyans —Pou sistèm FL ki opere nan gwosè pi gwo, li ta ka pa pratik etabli yon akò kolaboratif egzekitif. Gen kèk kliyan ka delibere eseye degrade pèfòmans, diminye sistèm la oswa ekstrè enfòmasyon soti nan lòt pati. Se poutèt sa, estrateji sekirite yo pral mande pou diminye risk sa yo tankou, enkripsyon avanse nan soumisyon modèl, autentifikasyon an sekirite nan tout pati, traceability nan aksyon, konfyans diferan, sistèm verifikasyon, integrite egzèsis, konfyans modèl ak pwoteksyon anvan atak avanse. pa konfyans Lekti enfòmasyon: Pa definisyon, sistèm FL evite pataje done swen sante ant enstitisyon ki patisipe. Sepandan, enfòmasyon pataje ka toujou indirectly ekspoze done prive ki itilize pou fòmasyon lokal, egzanp, pa modèl inversion soti nan modèl ajou, gradients yo menm oswa atak adversaryal , FL se diferan de fòmasyon tradisyonèl nan jaden an ke pwosesis la fòmasyon se ekspoze nan plizyè pati, ak sa a ogmante risk pou lekòl atravè reverse-engineering si oponè yo ka observe chanjman modèl pandan tan an, observe ajou modèl espesifik (ki se, ajou yon sèl enstitisyon), oswa manipile modèl la (pou egzanp, induce memorisasyon adisyonèl pa lòt moun atravè gradient-ascent-style atak). Devlope kontra-mase, tankou limite granularite a nan ajou ak ajoute odyo , ak asire konfyans diferan ase , ka nesesè ak toujou se yon jaden aktif nan rechèch . 60 61 62 63 16 18 44 12 Traceability ak Responsablite As per all safety-critical applications, the reproducibility of a system is important for FL in healthcare. In contrast to centralised training, FL requires multi-party computations in environments that exhibit considerable variety in terms of hardware, software and networks. Traceability of all system assets including data access history, training configurations, and hyperparameter tuning throughout the training processes is thus mandatory. In particular in non-trusted federations, traceability and accountability processes require execution integrity. After the training process reaches the mutually agreed model optimality criteria, it may also be helpful to measure the amount of contribution from each participant, such as computational resources consumed, quality of the data used for local training, etc. These measurements could then be used to determine relevant compensation, and establish a revenue model among the participants Yon implikasyon nan FL se ke rechèchè yo pa kapab rechèch done sou ki modèl yo ap fòme yo fè sens nan rezilta inattend. Anplis de sa, pran metòd estatistik nan done fòmasyon yo kòm yon pati nan pwogrè travay devlopman modèl la pral bezwen yo apwouve pa pati kolaborasyon yo kòm yo pa vire prive. Malgre ke chak sit pral gen aksè nan done a grès pwòp li yo, federasyon yo ka deside bay yon kalite fasilite wè sekirite nan entèrnod yo satisfè bezwen sa a oswa ka bay yon lòt fason pou ogmante eksplike ak entèrpretablite nan modèl la mondyal. 64 Architecture nan sistèm Dapre kouri FL gwo-scale nan mitan aparèy konsomatè tankou McMahan et al. , patisipan enstitisyon swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen swen 9 Administrasyon nan yon federasyon sa a ka realize nan diferan fason. Nan situasyon ki mande pou pwoteksyon done ki pi estrikti ant pati yo, fòmasyon ka opere atravè yon kalite sistèm "onèt broker", nan ki yon twazyèm pati konfyans ap travay kòm entèmedyè a ak fasilite aksè nan done yo. Konfigirasyon sa a mande pou yon entite otantik kontwole sistèm an jeneral, ki ta ka pa toujou vle, paske li ka gen ladan koute adisyonèl ak viscosity pwosesis. Sepandan, li gen avantaj ke mekanis yo presizyon enteryè ka abstrai soti nan kliyan yo, fè sistèm la plis agile ak pi senp pou ajou. Nan yon sistèm peer-to-peer chak sit interaksyon dirèkteman ak kèk oswa tout lòt patisipan yo. Nan lòt men, pa Konklisyon ML, ak espesyalman DL, te mennen nan yon varyete inovasyon nan jaden an nan swen swen sante dijital. Kòm tout metòd ML benefisye anpil soti nan kapasite pou aksè nan done ki apwopriye distribisyon an reyèl mondyal, FL se yon apwopriye apwòch pou jwenn pwisan, presizyon, sekirite, robust ak imedyat modèl. Pa pèmèt plizyè pati fòmasyon kolaboratif san yo pa bezwen echanj oswa santralize jenerasyon done, FL netwaye pwoblèm ki gen rapò ak eksepsyon nan done medikal sensitif. Kòm yon rezilta, li ka louvri nouvo rechèch ak biznis fason ak gen potansyèl pou amelyore swen pasyan atravè lemond. Sepandan, deja jodi a, FL gen yon enpak sou prèske tout stakeholders Malgre sa a, nou reyèlman kwè ke enpak potansyèl li sou medikaman presizyon ak finalman amelyore swen medikal se trè pwomèt. 12 Rapòte rezime plis enfòmasyon sou konsepsyon rechèch disponib nan Lyen nan atik sa a. Nature Rechèch Rapò Rezilta Referans LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436 (2015). Nature 521 Wang, F., Casalino, L. P. & Khullar, D. Deep learning in medicine—promise, progress, and challenges. , 293–294 (2019). JAMA Intern. Med. 179 Chartrand, G. et al. Deep learning: a primer for radiologists. , 2113–2131 (2017). Radiographics 37 De Fauw, J. et al. Clinically applicable deep learning for diagnosis and referral in retinal disease. , 1342 (2018). Nat. Med. 24 Sun, C., Shrivastava, A., Singh, S. & Gupta, A. Revisiting unreasonable effectiveness of data in deep learning era. In , 843–852 ( , 2017). Proceedings of the IEEE international conference on computer vision IEEE Van Panhuis, W. G. et al. A systematic review of barriers to data sharing in public health. , 1144 (2014). BMC Public Health 14 Rocher, L., Hendrickx, J. M. & De Montjoye, Y.-A. Estimating the success of re-identifications in incomplete datasets using generative models. , 1–9 (2019). Nat. Commun. 10 Schwarz, C. G. et al. Identification of anonymous mri research participants with face-recognition software. , 1684–1686 (2019). N. Engl. J. Med. 381 McMahan, B., Moore, E., Ramage, D., Hampson, S. & y Arcas, B. A. Communication-efficient learning of deep networks from decentralized data. In , 1273–1282. (2017). Artificial Intelligence and Statistics https://scholar.google.de/scholar?hl=de&as_sdt=0%2C5&q=Communicationefficient+learning+of+deep+networks+from+decentralized+data&btnG= Li, T., Sahu, A. K., Talwalkar, A. & Smith, V. Federated learning: Challenges, methods, and future directions. , 50–60 (IEEE, 2020). IEEE Signal Processing Magazine 37 Yang, Q., Liu, Y., Chen, T. & Tong, Y. Federated machine learning: concept and applications. , 12 (2019). ACM Trans. Intell. Syst. Technol. (TIST) 10 Kairouz, P. et al. Advances and open problems in federated learning. (2019). arXiv preprint arXiv:1912.04977 Lee, J. et al. Privacy-preserving patient similarity learning in a federated environment: development and analysis. , e20 (2018). JMIR Med. Inform. 6 Brisimi, T. S. et al. Federated learning of predictive models from federated electronic health records. , 59–67 (2018). Int. J. Med. Inform. 112 Roy, A. G., Siddiqui, S., Pölsterl, S., Navab, N. & Wachinger, C. Braintorrent: a peer-to-peer environment for decentralized federated learning. (2019). arXiv preprint arXiv:1905.06731 Li, W. et al. Privacy-preserving federated brain tumour segmentation. In , 133–141 (Springer, 2019). International Workshop on Machine Learning in Medical Imaging Sheller, M. J., Reina, G. A., Edwards, B., Martin, J. & Bakas, S. Multi-institutional deep learning modeling without sharing patient data: a feasibility study on brain tumor segmentation. In , 92–104 (Springer, 2018). International MICCAI Brainlesion Workshop Li, X. et al. Multi-site fmri analysis using privacy-preserving federated learning and domain adaptation: abide results. (2020). arXiv preprint arXiv:2001.05647 Huang, L. et al. Patient clustering improves efficiency of federated machine learning to predict mortality and hospital stay time using distributed electronic medical records. , 103291 (2019). J. Biomed. Inform. 99 Xu, J. & Wang, F. Federated learning for healthcare informatics. (2019). arXiv preprint arXiv:1911.06270 Roy, A. & Banerjee, A. Ibm’s merge healthcare acquisitio . (2015) (Accessed 10 February 2020). n https://www.reuters.com/article/us-merge-healthcare-m-a-ibm/ibm-to-buy-merge-healthcare-in-1-billion-deal-idUSKCN0QB1ML20150806 Nhs scotland’s national safe haven. (2015) (Accessed 10 February 2020). https://www.gov.scot/publications/charter-safe-havens-scotland-handling-unconsented-data-national-health-service-patient-records-support-research-statistics/pages/4/ Cuggia, M. & Combes, S. The french health data hub and the german medical informatics initiatives: Two national projects to promote data sharing in healthcare. , 195–202 (2019). Yearbook Med. Informat. 28 Health Data Research UK. (Health Data Research UK, 2020) (Accessed 10 Feb 2020). https://www.hdruk.ac.uk/ Sporns, O., Tononi, G. & Kötter, R. The human connectome: a structural description of the human brain. . , e42, (2005). PLoS Comput. Biol 1 https://doi.org/10.1371/journal.pcbi.0010042 Sudlow, C. et al. Uk biobank: an open access resource for identifying the causes of a wide range of complex diseases of middle and old age. . , e1001779. (2015). PLoS Med 12 https://doi.org/10.1371/journal.pmed.1001779 Clark, K. et al. The cancer imaging archive (tcia): maintaining and operating a public information repository. , 1045–1057 (2013). J. Digit. Imaging. 26 Wang, X. et al. Chestx-ray8: Hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. In , 2097–2106 ( , 2017). Proceedings of the IEEE conference on computer vision and pattern recognition IEEE Yan, K., Wang, X., Lu, L. & Summers, R. M. Deeplesion: automated mining of large-scale lesion annotations and universal lesion detection with deep learning. , 036501 (2018). J Med. Imaging. 5 Tomczak, K., Czerwińska, P. & Wiznerowicz, M. The cancer genome atlas (tcga): an immeasurable source of knowledge. , A68 (2015). Contemp. Oncol. 19 Jack Jr., C. R. et al. The alzheimer’s disease neuroimaging initiative (adni): Mri methods. , 685–691 (2008). J. Magn. Reson. Imaging 27 . (2020) (Accessed 24 July 2020). Grand Challenge-a Platform for End-to-end Development of Machine Learning Solutions in Biomedical Imaging https://grand-challenge.org/ Litjens, G. et al. 1399 h&e-stained sentinel lymph node sections of breast cancer patients: the camelyon dataset. , giy065 (2018). GigaScience 7 Menze, B. H. et al. The multimodal brain tumor image segmentation benchmark (brats). , 1993–2024 (2014). IEEE Trans. Med. Imaging 34 Bakas, S. et al. Identifying the best machine learning algorithms for brain tumor segmentation, progression assessment, and overall survival prediction in the brats challenge. (2018). arXiv preprint arXiv:1811.02629 Bakas, S. et al. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features. , 170117 (2017). Sci. Data 4 Simpson, A. L. et al. A large annotated medical image dataset for the development and evaluation of segmentation algorithms. (2019). arXiv preprint arXiv:1902.09063 Yeh, F.-C. et al. Quantifying differences and similarities in whole-brain white matter architecture using local connectome fingerprints. , e1005203 (2016). PLoS Comput. Biol. 12 Chang, K. et al. Distributed deep learning networks among institutions for medical imaging. , 945–954 (2018). J. Am. Med. Inform. Assoc. 25 Shokri, R., Stronati, M., Song, C. & Shmatikov, V. Membership inference attacks against machine learning models. In , 3-18 (IEEE, 2017). 2017 IEEE Symposium on Security and Privacy (SP) Sablayrolles, A., Douze, M., Ollivier, Y., Schmid, C. & Jégou, H. White-box vs black-box: Bayes optimal strategies for membership inference. In Chaudhuri, K. & Salakhutdinov, R. (eds) , 5558–5567. (PMLR, 2019). Proceedings of the 36th International Conference on Machine Learning, {ICML} 97 http://proceedings.mlr.press/v97/sablayrolles19a.html Zhang, C., Bengio, S., Hardt, M., Recht, B. & Vinyals, O. Understanding deep learning requires rethinking generalization. In , (OpenReview.net, 2017). 5th International Conference on Learning Representations, {ICLR}. https://openreview.net/forum?id=Sy8gdB9xx Carlini, N., Liu, C., Erlingsson, Ú., Kos, J. & Song, D. The secret sharer: evaluating and testing unintended memorization in neural networks. In Heninger, N. & Traynor, P. (eds) { } ({ } , 267–284. ({USENIX} Association, Santa Clara, CA, USA, 2019). 28th USENIX Security Symposium USENIX Security 19 https://www.usenix.org/conference/usenixsecurity19/presentation/carlini Abadi, M. et al. Deep learning with differential privacy. In , 308–318 (ACM, 2016). Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security Shokri, R. & Shmatikov, V. Privacy-preserving deep learning. In , 1310–1321 (ACM, 2015). Proceedings of the 22nd ACM SIGSAC conference on computer and communications security Langlotz, C. P. et al. A roadmap for foundational research on artificial intelligence in medical imaging: from the 2018 nih/rsna/acr/the academy workshop. , 781–791 (2019). Radiology 291 Kim, Y., Sun, J., Yu, H. & Jiang, X. Federated Tensor Factorization for Computational Phenotyping. In . 887–895. (ACM, Halifax, NS, Canada, 2017). Proceedings of the 23rd {ACM} {SIGKDD} International Conference on Knowledge Discoveryand Data Mining https://doi.org/10.1145/3097983.3098118 He, C., Annavaram, M. & Avestimehr, S. Fednas: Federated deep learning via neural architecture search. (2020). https://sites.google.com/view/cvpr20-nas/ Trustworthy federated data analytics (tfda). (2020) (Accessed 28 May 2020). https://tfda.hmsp.center/ Joint Imaging Platform (Jip). (2020) (Accessed 28 May 2020). https://jip.dktk.dkfz.de/jiphomepage/ Medical institutions collaborate to improve mammogram assessment ai. (2020) (Accessed 28 May 2020). https://blogs.nvidia.com/blog/2020/04/15/federated-learning-mammogram-assessment/ Healthchain consortium. (2020) (Accessed 28 May 2020). https://www.substra.ai/en/healthchain-project The federated tumor segmentation (fets) initiative. (2020) (Accessed 28 May 2020). https://www.fets.ai Machine learning ledger orchestration for drug discovery. (2020). Accessed 28 May 2020. https://cordis.europa.eu/project/id/831472 Konečny`, J., McMahan, H. B., Ramage, D. & Richtárik, P. Federated optimization: Distributed machine learning for on-device intelligence. (2016). arXiv preprint arXiv:1610.02527 Lalitha, A., Kilinc, O. C., Javidi, T. & Koushanfar, F. Peer-to-peer federated learning on graphs. (2019). arXiv preprint arXiv:1901.11173 Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A. & Smith, V. Federated optimization in heterogeneous networks. (2018). arXiv preprint arXiv:1812.06127 Zhao, Y. et al. Federated learning with non-iid data. (2018). arxivabs/1806.00582 Li, X., Huang, K., Yang, W., Wang, S. & Zhang, Z. On the convergence of fedavg on non-IID data. (2020). https://openreview.net/forum?id=HJxNAnVtDS Wu, B. et al. P3sgd: patient privacy preserving SGD for regularizing deep CNNs in pathological image classification. In (pp. 2099–2108) (2019). Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Zhu, L., Liu, Z. & Han, S. Deep leakage from gradients. In Wallach, H. M. et al. (eds) , 14747–14756. (2019). Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems http://papers.nips.cc/paper/9617-deep-leakage-from-gradients Wang, Z. et al. Beyond inferring class representatives: user-level privacy leakage from federated learning. In 2512–2520. (IEEE, Paris, France, 2019). 2019 {IEEE} Conferenceon Computer Communications, {INFOCOM} https://doi.org/10.1109/INFOCOM.2019.8737416 Hitaj, B., Ateniese, G. & Perez-Cruz, F. Deep models under the gan: information leakage from collaborative deep learning. In , CCS’17, 603–618 (Association for Computing Machinery, New York, NY, USA, 2017). Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security Ghorbani, A. & Zou, J. Data shapley: Equitable valuation of data for machine learning. In (pp. 2242-2251) (2019). International Conference on Machine Learning rekonesans travay sa a te sipòte pa UK Rechèch ak Innovation London Medikal Imaging & Artificial Intelligence Centre pou Value-Based Healthcare, pa Wellcome / EPSRC Centre for Medical Engineering (WT203148/Z/16/Z), pa Wellcome Flagship Programme (WT213038/Z/18/Z), pa Intramural Rechèch Programme nan National Institutes of Health (NIH) Clinical Center, pa National Cancer Institute nan NIH a ak nominasyon nimewo U01CA242871, pa National Institute of Neurological Disorders and Stroke nan NIH a ak nominasyon nominasyon R01NS042645, osi byen ke pa Helmholtz Initiative ak Networking Fond (projè "Trustworthy Federated Data Analytics") ak PRIME pwogram nan German Academic Exchange Service (DAAD) ak Papye sa a se disponib nan natirèl anba lisans CC by 4.0 Deed (Attribution 4.0 entènasyonal). Papye sa a se disponib nan natirèl anba lisans CC by 4.0 Deed (Attribution 4.0 entènasyonal).
