Autorët : Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang Autorët : Shkëndija Zhang Hanë Le të Xhaxha Liu J. J. Gjergj Gjergji Aleksandër Kozlov Yutao ai Shenjiang Zhang Jeanette Hellgren Kotaleski në Prishtinë Yonghong Tian Stili i grilës Kur të Shkëndija Huang abstraktë Modelet biofizikisht të detajuara multi-divizionare janë mjete të fuqishme për të eksploruar parimet kompjuterike të trurit dhe gjithashtu shërbejnë si një kornizë teorike për të gjeneruar algoritme për sistemet e inteligjencës artificiale (AI). megjithatë, kostoja e shtrenjtë kompjuterike kufizon rëndë aplikacionet në të dy fushat e neuroshkencës dhe AI. Pengesa kryesore gjatë simulimit të modeleve të detajuara të divizionit është aftësia e një simulatori për të zgjidhur sisteme të mëdha të ekuacioneve lineare. Endriti Hierarkikë metodën cheduling (DHS) për të përshpejtuar dukshëm një proces të tillë. Ne teorikisht provojmë se zbatimi i DHS është kompjuterikisht optimal dhe i saktë. Kjo metodë e bazuar në GPU kryen me 2-3 urdhra madhësie më të lartë se ajo e metodës klasike seriale Hines në platformën konvencionale CPU. Ne ndërtojmë një kornizë DeepDendrite, e cila integron metodën DHS dhe motorin kompjuterik GPU të simulatorit NEURON dhe demonstrojnë aplikimet e DeepDendrite në detyrat e neuroshkencës. Ne hetojmë se si modelet hapësinore të hyrjeve të shpinë ndikojnë në excitabilitetin neuronal në një model të detajuar të neuroneve të piramidës njerëzore me 25,000 D H S Hyrje Dekodimi i parimeve të kodimit dhe llogaritjes së neuroneve është thelbësor për neuroshkencën. Truri i gjitarëve përbëhet nga më shumë se mijëra lloje të ndryshme të neuroneve me vetitë unike morfologjike dhe biofizike. Në vitet e fundit, inteligjenca artificiale moderne (AI) ka përdorur këtë parim dhe ka zhvilluar mjete të fuqishme, të tilla si rrjetet artificiale neurale (ANN). Megjithatë, përveç llogaritjeve gjithëpërfshirëse në nivelin e një neuroni të vetëm, dhomat subcellular, të tilla si dendritet neuronale, gjithashtu mund të kryejnë operacione jo-lineare si njësi të pavarura llogaritëse. , , , , Për më tepër, shtyllat dendritike, nxjerrje të vogla që i mbulojnë dendritët në neuronet e shtyllës, mund të ndarë sinjalet sinaptike, duke i lejuar ata të ndahen nga dendritet e tyre prindërore ex vivo dhe in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulimet duke përdorur neurone biologjikisht të detajuara ofrojnë një kornizë teorike për lidhjen e detajeve biologjike me parimet kompjuterike. , na lejon të modelojmë neuronet me morfologji dendritike realiste, konduktivitetin jonik të brendshëm dhe hyrjet sinaptike ekstrinsike. , e cila modelon pronat e membranës biofizike të dendritëve si kabllo pasive, duke siguruar një përshkrim matematikor të mënyrës se si sinjalet elektronike pushtojnë dhe përhapen nëpër proceset komplekse neuronale. Duke përfshirë teorinë e kabllove me mekanizma aktivë biofizikë të tilla si kanalet jonike, rrymat sinaptikë excitator dhe inhibitor, etj., një model i detajuar multi-compartment mund të arrijë llogaritjet neuronale qelizore dhe subcellular përtej kufizimeve eksperimentale , . 12 13 12 4 7 Përveç ndikimit të saj të thellë në neuroscience, modelet biologjikisht të detajuara të neuroneve kohët e fundit janë përdorur për të kapërcyer hendekun midis detajeve strukturore neuronale dhe biofizike dhe AI. Teknika mbizotëruese në fushën moderne të AI është ANN-të e përbërë nga neuronet e pikës, një analogji e rrjeteve neuronale biologjike. , truri i njeriut ende tejkalon ANN-të në fusha që përfshijnë mjedise më dinamike dhe të zhurmshme , Studimet e fundit teorike sugjerojnë se integrimi dendrik është vendimtar në gjenerimin e algoritmeve efikase të mësimit që potencialisht tejkalojnë backprop në përpunimin paralel të informacionit. , , Për më tepër, një model i vetëm i detajuar i shumë ndarjeve mund të mësojë llogaritjet jo-lineare në nivelin e rrjetit për neuronet e pikës duke rregulluar vetëm forcën sinaptike. , Kjo tregon potencialin e plotë të modeleve të detajuara në ndërtimin e sistemeve më të fuqishme të inteligjencës artificiale të ngjashme me trurin, prandaj është prioritet i lartë zgjerimi i paradigmave në inteligjencën artificiale të ngjashme me trurin nga modelet e vetme të detajuara të neuroneve në rrjetet e detajuara biologjike në shkallë të gjerë. 14 15 16 17 18 19 20 21 22 Një sfidë e gjatë e qasjes së simulimit të detajuar qëndron në koston e saj jashtëzakonisht të lartë kompjuterike, e cila ka kufizuar rëndë aplikimin e saj në neuroscience dhe AI. , , Për të përmirësuar efikasitetin, metoda klasike Hines zvogëlon kompleksitetin e kohës për zgjidhjen e ekuacioneve nga O(n3) në O(n), e cila është aplikuar gjerësisht si algoritmi kryesor në simulatorët popullorë si NEURON. dhe gjenezës Megjithatë, kjo metodë përdor një qasje serike për të përpunuar secilën dhomë në mënyrë sekuenciale.Kur një simulim përfshin dendritë të shumëfishta të detajuar biophysically me spines dendritic, matrica ekuacion linear (“Hines Matrix”) shkallë përkatësisht me një numër në rritje të dendrites ose spines (Fig. ), duke e bërë metodën Hines jo më praktike, pasi ajo paraqet një barrë shumë të rëndë për të gjithë simulimin. 12 23 24 25 26 1e Një model piramidal i neuroneve të shtresës 5 të rindërtuar dhe formula matematike e përdorur me modelet e detajuara të neuroneve. Fluksi i punës kur simulimi numerik i modeleve të detajuara të neuroneve. Faza e zgjidhjes së ekuacionit është pengesa e shisheve në simulim. Një shembull i ekuacioneve lineare në simulim. Varësia e të dhënave të metodës Hines kur zgjidh ekuacionet lineare në të Madhësia e matricës Hines shkallë me kompleksitetin e modelit.Numri i sistemit ekuacioneve lineare për t'u zgjidhur përjeton një rritje të konsiderueshme kur modelet janë duke u rritur më të hollësishme. Kostoja kompjuterike (hapet e marra në fazën e zgjidhjes së ekuacionit) e metodës serike Hines në lloje të ndryshme të modeleve neuronale. Ilustrim i metodave të ndryshme të zgjidhjes. Pjesët e ndryshme të një neuroni i caktohen njësive të shumëfishta të përpunimit në metoda paralele (mbi, në të djathtë), të treguara me ngjyra të ndryshme. Kostoja kompjuterike e tre metodave në kur zgjidhni ekuacionet e një modeli piramidal me shkopinj. Koha e drejtimit e metodave të ndryshme në zgjidhjen e ekuacioneve për 500 modele piramidale me spirale. Koha e drejtimit tregon konsumin e kohës së simulimit 1 s (zgjidhja e ekuacionit 40,000 herë me një hap kohore prej 0.025 ms). p-Hines metodë paralele në CoreNEURON (në GPU), metodë paralele me bazë degë (në GPU), DHS metodë hierarkike planifikimi Dendritik (në GPU). a b c d c e f g h g i Gjatë dekadave të fundit, është arritur një përparim i madh në përshpejtimin e metodës Hines duke përdorur metoda paralele në nivel qelizor, e cila mundëson paralelizimin e llogaritjes së pjesëve të ndryshme në çdo qelizë. , , , , , Megjithatë, metodat aktuale paralele në nivel qelizor shpesh nuk kanë një strategji efikase paralelizimi ose nuk kanë saktësi të mjaftueshme numerike në krahasim me metodën origjinale Hines. 27 28 29 30 31 32 Këtu, ne zhvillojmë një mjet tërësisht automatik, numerikisht të saktë dhe të optimizuar të simulimit që mund të përshpejtojë ndjeshëm efikasitetin e llogaritjes dhe të zvogëlojë koston e llogaritjes. Përveç kësaj, ky mjet i simulimit mund të adoptohet pa probleme për krijimin dhe testimin e rrjeteve neurale me detaje biologjike për aplikimet e mësimit automatik dhe AI. Kritike, ne formulojmë llogaritjen paralele të metodës Hines si një problem programimi matematikor dhe gjenerojmë një metodë Dendritic Hierarchical Scheduling (DHS) bazuar në optimizimin kombinator Teoria e kompjuterëve paralelë Ne demonstrojmë se algoritmi ynë siguron planifikim optimal pa ndonjë humbje të saktësisë. Për më tepër, ne kemi optimizuar DHS për çipin GPU më të avancuar aktualisht duke shfrytëzuar hierarkinë e kujtesës GPU dhe mekanizmat e qasjes së kujtesës. ) krahasuar me simulator klasik NEURON duke ruajtur saktësinë e njëjtë. 33 34 1 25 Për të mundësuar simulime të detajuara dendritike për përdorim në AI, ne më pas krijojmë kornizën DeepDendrite duke integruar platformën CoreNEURON (një motor kompjuterik i optimizuar për NEURON) të integruar me DHS. si motor simulimi dhe dy module ndihmëse (moduli I/O dhe moduli i të mësuarit) që mbështesin algoritmet e të mësuarit dendrik gjatë simulimeve. DeepDendrite punon në platformën hardware GPU, duke mbështetur si detyrat e rregullta të simulimit në neuroscience dhe detyrat e të mësuarit në AI. 35 Së fundi, por jo më pak, ne gjithashtu prezantojmë disa aplikacione duke përdorur DeepDendrite, duke synuar disa sfida kritike në neuroscience dhe AI: (1) Ne demonstrojmë se si modelet hapësinore të hyrjeve dendritike të shpinës ndikojnë në aktivitetet neuronale me neurone që përmbajnë shpinës në të gjithë pemët dendritike (modele të plotë-shpinës). DeepDendrite na mundëson të eksplorojmë llogaritjen neuronale në një model të simuluar të neuroneve piramidale njerëzore me ~25,000 shpinës dendritike. (2) Në diskutim ne gjithashtu e konsiderojmë potencialin e DeepDendrite në kontekstin e AI, në veçanti, në krijimin e ANN-ve me neurone piramidale njerëzore morfologjikisht të detajuara. I gjithë kodi burimor për DeepDendrite, modelet e plotë të shtyllës dhe modeli i detajuar i rrjetit dendritik janë në dispozicion publikisht në internet (shih Kodin e Disponueshmërisë). korniza jonë e mësimit me burim të hapur mund të integrohet lehtësisht me rregulla të tjera të mësimit dendritik, të tilla si rregullat e mësimit për dendritet jo-lineare (plotësisht aktive) Plasticizmi sinaptik i varur nga shpërthimi , dhe të mësojnë me parashikimin spike Në përgjithësi, studimi ynë ofron një grup të plotë të mjeteve që kanë potencialin për të ndryshuar ekosistemin aktual të komunitetit të neuroshkencave kompjuterike.Me shfrytëzimin e fuqisë së kompjuterizimit GPU, ne parashikojmë se këto mjete do të lehtësojnë eksplorimet në nivel sistemik të parimeve kompjuterike të strukturave të vogla të trurit, si dhe promovimin e ndërveprimit midis neuroshkencës dhe AI moderne. 21 20 36 Rezultatet Metoda e planifikimit hierarkik dendrik (DHS) Llogaritja e rrymave jonike dhe zgjidhja e ekuacioneve lineare janë dy faza kritike kur simulohen neuronet e detajuara biofizikisht, të cilat janë të kohës dhe paraqesin ngarkesa të rënda kompjuterike. Si pasojë, zgjidhja e ekuacioneve lineare bëhet pika e mbetur për procesin e paralelizimit (Fig. ) të 37 1a – f Për të adresuar këtë pengesë, janë zhvilluar metoda paralele në nivel qelizor, të cilat përshpejtojnë llogaritjen e qelizave të vetme duke “shpërndarë” një qelizë të vetme në disa dhoma që mund të llogariten paralelisht. , , Megjithatë, metodat e tilla mbështeten shumë në njohuritë e mëparshme për të gjeneruar strategji praktike se si të ndahet një neuron i vetëm në dhoma (Fig. • Figura shtesë. Prandaj, ajo bëhet më pak efikase për neuronet me morfologji asimetrike, p.sh., neuronet piramidale dhe neuronet Purkinje. 27 28 38 1g e 1 Ne synojmë të zhvillojmë një metodë paralele më efikase dhe të saktë për simulimin e rrjeteve neurale biologjikisht të detajuara. Së pari, ne përcaktojmë kriteret për saktësinë e një metode paralele në nivel qelizor. , ne propozojmë tre kushte për të siguruar që një metodë paralele do të japë zgjidhje identike si metoda e llogaritjes serike Hines sipas varësisë së të dhënave në metodën Hines (shih Metodat). Pastaj për të vlerësuar teorikisht kohën e drejtimit, dmth, efikasitetin, të metodave të llogaritjes serike dhe paralele, ne prezantojmë dhe formulojmë konceptin e kostos llogaritëse si numri i hapave që një metodë merr në zgjidhjen e ekuacioneve (shih Metodat). 34 Bazuar në saktësinë e simulimit dhe koston e llogaritjes, ne formulojmë problemin e paralelizimit si një problem programimi matematikor (shih Metodat). Në terma të thjeshtë, ne shohim një neuron të vetëm si një pemë me shumë nyje (pjesë). paralele, ne mund të llogarisim në maksimum Ne duhet të sigurohemi që një nyje të llogaritet vetëm nëse të gjitha nyjet e saj të fëmijëve janë përpunuar; qëllimi ynë është të gjejmë një strategji me numrin minimal të hapave për të gjithë procedurën. k k Për të gjeneruar një ndarje optimale, ne propozojmë një metodë të quajtur Dendritic Hierarchical Scheduling (DHS) (prova teorike është paraqitur në metodat). Metoda DHS përfshin dy hapa: analizimin e topologjisë dendritike dhe gjetjen e ndarjes më të mirë: (1) Duke dhënë një model të detajuar, ne së pari marrim pemën përkatëse të varësisë dhe llogarisim thellësinë e çdo nyje (thellësia e një nyje është numri i nyjeve të paraardhësve të saj) në pemë (Fig. (2) Pas analizës së topologjisë, ne kërkojmë kandidatët dhe zgjedhim më së shumti nodet më të thella kandidate (një nod është një kandidat vetëm nëse të gjitha nodet e fëmijëve të tij janë përpunuar).Kjo procedurë përsëritet derisa të gjitha nodet janë përpunuar (Fig. ) të 2a 2B dhe C k 2D Procesi i punës: DHS kandidati më i thellë nodes çdo iterim. Ilustrim i llogaritjes së thellësisë së nyjeve të një modeli të ndarjes. modeli konvertohet së pari në një strukturë pemë, pastaj thellësia e secilit nyje llogaritet. Ngjyrat tregojnë vlera të ndryshme të thellësisë. Analiza e topologjisë në modele të ndryshme neuronale. Gjashtë neurone me morfologji të ndryshme janë treguar këtu. Për çdo model, soma është zgjedhur si rrënjë e pemës në mënyrë që thellësia e nodit rritet nga soma (0) në dendritet distale. Ilustrimi i kryerjes së DHS në modelin në me katër fije. Kandidatët: nodet që mund të përpunohen. Kandidatët e përzgjedhur: nodet që zgjidhen nga DHS, d.m.th. Kandidatët më të thellë: nodet e përpunuara: nodet që janë përpunuar më parë. Strategjia e paralelizimit e fituar nga DHS pas procesit në DHS redukton hapat e përpunimit të nodeve serike nga 14 në 5 duke shpërndarë nyjet në fije të shumta. Kostoja relative, d.m.th. përqindja e kostos së llogaritjes së DHS në atë të metodës seriale Hines, kur aplikohet DHS me numra të ndryshëm të fijeve në lloje të ndryshme të modeleve. a k b c d b k e d f Merrni një model të thjeshtuar me 15 dhoma si shembull, duke përdorur metodën e llogaritjes serike Hines, ajo merr 14 hapa për të përpunuar të gjitha nyjet, ndërsa duke përdorur DHS me katër njësitë paralele mund të ndajë nyjet e saj në pesë nënseta (Fig. Për shkak se nyjet në të njëjtin nënset mund të përpunohen paralelisht, nevojiten vetëm pesë hapa për të përpunuar të gjitha nyjet duke përdorur DHS (Fig. ) të 2D 2e Tjetra, ne aplikojmë metodën DHS në gjashtë modele përfaqësuese të neuroneve të detajuara (zgjedhur nga ModelDB ) me numra të ndryshëm të thread (Fig. ): duke përfshirë neuronet piramidale kortikale dhe hipokampale , , Cerebellar Purkinje Neuronët Neuronet e projektimit striatal (SPN) ), dhe qelizat mitrale të llambës olfactory , duke mbuluar neuronet kryesore kryesore në zonat sensorike, kortikale dhe subkortikale. Ne pastaj matëm koston kompjuterike. Kostoja relative kompjuterike këtu përcaktohet nga përqindja e kostos kompjuterike të DHS në atë të metodës serike Hines. Kostoja kompjuterike, dmth numri i hapave të marra në zgjidhjen e ekuacioneve, bie në mënyrë dramatike me rritjen e numrit të fijeve. Për shembull, me 16 fije, kostoja kompjuterike e DHS është 7%-10% në krahasim me metodën serike Hines. Intriguese, metoda DHS arrin kufijtë më të ulët të kostos kompjuterike të tyre për neuronet e paraqitura kur jepet 16 ose edhe 8 fije paralele (Figura. ), duke sugjeruar shtimin e më shumë fushave nuk përmirëson performancën më tej për shkak të varësive midis ndarjeve. 39 2f 40 41 42 43 44 45 2f Së bashku, ne gjenerojmë një metodë DHS që mundëson analizën e automatizuar të topologjisë dendritike dhe ndarjen optimale për llogaritjen paralele. Vlen të theksohet se DHS gjeneron ndarjen optimale para se të fillojë simulimi dhe nuk nevojitet llogaritje shtesë për të zgjidhur ekuacionet. Shpejtësimi i DHS nga GPU Memory Boosting DHS llogarit çdo neuron me fusha të shumëfishta, të cilat konsumojnë një sasi të madhe të fushave kur drejtimin e simulimeve të rrjetit nervor. Graphics Processing Units (GPUs) përbëhen nga njësitë masive të përpunimit (p.sh., procesorët streaming, SPs, Fig. Për kompjuterin paralel Në teori, shumë SPs në GPU duhet të mbështesin simulimin efikas për rrjetet neurale në shkallë të gjerë (Fig. Megjithatë, ne kemi vërejtur vazhdimisht se efikasiteti i DHS u zvogëlua ndjeshëm kur madhësia e rrjetit u rrit, e cila mund të rezultojë nga ruajtja e shpërndarë e të dhënave ose qasja shtesë e kujtesës e shkaktuar nga ngarkimi dhe shkrimi i rezultateve të ndërmjetme (Fig. në të majtë). 3a, b të 46 3C 3D Arkitektura GPU dhe hierarkinë e kujtesës së saj. Çdo GPU përmban njësi masive të përpunimit (procesorët e rrymës). Llojet e ndryshme të kujtesës kanë kalim të ndryshëm. Architecture of Streaming Multiprocessors (SMs). Çdo SM përmban shumë procesorë të transmetimit, regjistra dhe cache L1. Aplikimi DHS në dy neurone, secili me katër fije.Gjatë simulimit, secili fije ekzekuton në një procesor rrjedhë. Strategjia e optimizimit të kujtesës në GPU. paneli i sipërm, caktimi i fijeve dhe ruajtja e të dhënave të DHS, para (me të majtë) dhe pas (me të djathtë) përforcimit të kujtesës. Procesorët dërgojnë një kërkesë të të dhënave për të ngarkuar të dhënat për çdo fije nga kujtesa globale.Pa rritjen e kujtesës (e majtë), nevojiten shtatë transaksione për të ngarkuar të gjitha të dhënat e kërkesës dhe disa transaksione shtesë për rezultate të ndërmjetme.Me rritjen e kujtesës (e djathtë), nevojiten vetëm dy transaksione për të ngarkuar të gjitha të dhënat e kërkesës, regjistrat përdoren për rezultate të ndërmjetme, të cilat përmirësojnë më tej prodhimin e kujtesës. Koha e drejtimit të DHS (32 fije në çdo qelizë) me dhe pa përforcimin e kujtesës në modelet e piramidës me shtresë të shumëfishtë 5. Përshpejtimi i përforcimit të kujtesës në modelet e piramidës me shtresë të shumëfishtë 5 me spirale. a b c d d e f Ne e zgjidhim këtë problem duke rritur kujtesën e GPU-së, një metodë për të rritur transmetimin e kujtesës duke përdorur hierarkinë e kujtesës së GPU-së dhe mekanizmin e qasjes.Bazuar në mekanizmin e ngarkimit të kujtesës të GPU-së, fije të njëpasnjëshme të ngarkimit të të dhënave të rregulluara dhe të ruajtura në mënyrë të rradhës çojnë në një transmetim të lartë të kujtesës në krahasim me aksesin e të dhënave të ruajtura nga shpërndarja, gjë që zvogëlon transmetimin e kujtesës. , Për të arritur një përhapje të lartë, së pari i rregullojmë urdhërat kompjuterike të nyjeve dhe riorganizojmë telat sipas numrit të nyjeve në to. Pastaj permutojmë ruajtjen e të dhënave në kujtesën globale, në përputhje me urdhrat kompjuterike, d.m.th. nyjet që përpunohen në të njëjtin hap ruhen në mënyrë të rradhës në kujtesën globale. Për më tepër, ne përdorim regjistret GPU për të ruajtur rezultatet e ndërmjetme, duke forcuar më tej përhapjen e kujtesës.Shembulli tregon se përforcimi i kujtesës merr vetëm dy transaksione të kujtesës për të ngarkuar tetë të dhëna kërkese (Fig. Për më tepër, eksperimentet në numrat e shumëfishtë të neuroneve piramidale me spines dhe modelet tipike të neuroneve (Fig. • Figura shtesë. ) tregojnë se rritja e kujtesës arrin një përshpejtim 1.2-3.8 herë në krahasim me DHS naive. 46 47 3D 3 e, f 2 Për të testuar në mënyrë gjithëpërfshirëse performancën e DHS me përforcimin e kujtesës GPU, ne zgjedhim gjashtë modele tipike të neuroneve dhe vlerësojmë kohën e drejtimit të zgjidhjes së ekuacioneve të kabllove në numrat masivë të secilit model (Fig. Ne shqyrtuam DHS me katër fije (DHS-4) dhe gjashtëmbëdhjetë fije (DHS-16) për secilin neuron, respektivisht. krahasuar me metodën GPU në CoreNEURON, DHS-4 dhe DHS-16 mund të përshpejtojë rreth 5 dhe 15 herë, respektivisht (Fig. Për më tepër, në krahasim me metodën konvencionale seriale Hines në NEURON duke punuar me një single-thread të CPU, DHS përshpejton simulimin me 2-3 urdhra të madhësisë (Figura shtesë. ), duke ruajtur saktësinë identike numerike në prani të spines të dendura (Figs Supplementary. dhe ), dendritë aktive (Fig. ) dhe strategjitë e ndryshme të segmentimit (Fig. ) të 4 4a 3 4 8 7 7 Koha e drejtimit e zgjidhjes së ekuacioneve për një simulim 1 s në GPU (dt = 0.025 ms, 40,000 iterime në total). CoreNEURON: metoda paralele e përdorur në CoreNEURON; DHS-4: DHS me katër fije për çdo neuron; DHS-16: DHS me 16 fije për çdo neuron. të Vizualizimi i ndarjes nga DHS-4 dhe DHS-16, çdo ngjyrë tregon një fije të vetme. a b c DHS krijon ndarjen optimale specifike për llojin e qelizës Për të fituar njohuri në mekanizmin e punës së metodës DHS, ne vizualizuam procesin e ndarjes duke hartuar hapësirat në çdo fije (çdo ngjyrë paraqet një fije të vetme në figurë. Vizualizimi tregon se një fije e vetme shpesh kalon midis degëve të ndryshme (Fig. Interesant, DHS gjeneron ndarjet e rregulluara në neuronet morfologjikisht simetrike të tilla si neuroni i projektimit striatal (SPN) dhe qeliza mitrale (Fig. Përkundrazi, ajo gjeneron ndarje të fragmenteve të neuroneve morfologjikisht asimetrike si neuronet piramidale dhe qeliza Purkinje (Fig. ), duke treguar se DHS ndan pemën neurale në shkallën e ndarjes individuale (p.sh., nod i pemës) në vend të shkallës së degëve. 4B dhe C 4B dhe C 4B dhe C 4B dhe C Në përmbledhje, DHS dhe përforcimi i kujtesës gjenerojnë një zgjidhje optimale teorikisht të provuar për zgjidhjen e ekuacioneve lineare në paralel me efikasitet të paprecedent. Duke përdorur këtë parim, ne kemi ndërtuar platformën e qasjes së hapur DeepDendrite, e cila mund të përdoret nga neuroshkencëtarët për të zbatuar modele pa ndonjë njohuri specifike të programimit GPU. Më poshtë, ne demonstrojmë se si mund të përdorim DeepDendrite në detyrat e neuroshkencës. Ne gjithashtu diskutojmë potencialin e kornizës DeepDendrite për detyrat e lidhura me AI në seksionin e diskutimeve. DHS mundëson modelimin e nivelit të shpinë Meqenëse shtyllat dendritike marrin shumicën e hyrjes eksituese në neuronet piramidale kortikale dhe hipokampale, neuronet e projektimit striatal, etj., morfologjitë dhe plasticiteti i tyre janë vendimtarë për rregullimin e eksitueshmërisë neuronale , , , , Megjithatë, spiralet janë shumë të vogla (~ 1 μm gjatësi) për t'u matur drejtpërdrejt eksperimentalisht në lidhje me proceset e varura nga tensioni. 10 48 49 50 51 Ne mund të modelojmë një shpinë të vetme me dy dhoma: kokën e shpinë ku ndodhen sinapset dhe qafën e shpinë që lidh kokën e shpinë me dendritet. Teoria parashikon se qafë shumë e hollë e shtyllës kurrizore (0.1-0.5 um në diametër) izolon elektronikisht kokën e shtyllës kurrizore nga dendriti i saj prindëror, duke ndarë kështu sinjalet e gjeneruara në kokën e shtyllës kurrizore. Megjithatë, modeli i detajuar me spirale plotësisht të shpërndara në dendritë (“modeli i plotë i kurrizit”) është kompjuterikisht shumë i shtrenjtë. Një zgjidhje e zakonshme kompromisuese është të modifikohet kapaciteti dhe rezistenca e membranës me një Faktorët spinaq , instead of modeling all spines explicitly. Here, the faktori i shtyllës kurrizore synon të afrojë efektin e shtyllës kurrizore në pronat biofizike të membranës qelizore . 52 53 F 54 F 54 Frymëzuar nga puna e mëparshme e Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) dhe spike probabilitetit (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5B dhe C 5d 5d 5D Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in Ngjyrat e kurbës së tensionit korrespondojnë me , scale bar: 20 ms, 20 mV. Tensionet e koduara me ngjyra gjatë simulimit në at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in Zhurma e sfondit është e lidhur. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d Në platformën DeepDendrite, të dy modelet me shpinë të plotë dhe pak shpinë arritën një përshpejtim 8 herë krahasuar me CoreNEURON në platformën GPU dhe një përshpejtim 100 herë krahasuar me NEURON serik në platformën CPU (Fig. ; Supplementary Table ) duke mbajtur rezultatet identike të simulimit (Figps shtesë. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Me optimizimin e mëtejshëm, metodat e bazuara në GPU arrijnë efikasitet shumë më të lartë në simulimin e rrjetit. megjithatë, llogaritja brenda qelizave është ende serial në metodat në nivelin e rrjetit, kështu që ata ende nuk mund të merren me problemin kur "matrica Hines" e secilës qelizë shkallë të madhe. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , Këto strategji paralelizimi me grurë të hollë mund të marrin efikasitet më të lartë, por nuk kanë saktësi numerike të mjaftueshme si në metodën origjinale Hines. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Spinat dendritike janë mikrostrukturat më të bollshme në tru për neuronet e projektimit në kortik, hipokamp, cerebellum dhe ganglia bazale. Ndërsa spinat marrin shumicën e hyrjeve excitatory në sistemin nervor qendror, sinjalet elektrike të gjeneruara nga spinat janë forca kryesore për aktivitetet neuronale në shkallë të gjerë në para-cerebrain dhe cerebellum. , Struktura e shtyllës kurrizore, me një kokë të zgjeruar të shtyllës kurrizore dhe një qafë shumë të hollë të shtyllës kurrizore, çon në një impedancë të lartë të hyrjes në kokën e shtyllës kurrizore, e cila mund të jetë deri në 500 MΩ, duke kombinuar të dhënat eksperimentale dhe qasjen e detajuar të modelimit të dhomës. , Për shkak të një impedance të tillë të lartë të hyrjes, një hyrje e vetme sinaptike mund të nxisë një EPSP "gigant" (~ 20 mV) në nivelin e shpinë-kokës , , duke rritur kështu rrymat NMDA dhe rrymat e kanaleve jonike në shpinë . However, in the classic single detailed compartment models, all spines are replaced by the Koeficienti i modifikimit të gjeometrisë së kabllove dendritike . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 Nga ana tjetër, ndarja elektrike e kurrizit shoqërohet gjithmonë nga ndarja biokimike. , , , duke rezultuar në një rritje drastike të brendshme [Ca2+], brenda shtyllës kurrizore dhe një kaskadë e proceseve molekulare që përfshijnë plasticitetin sinaptik të rëndësishëm për të mësuarit dhe kujtesën. , , , Ndryshimet e tilla të varura nga përvoja në morfologjinë e shtyllës kurrizore, të quajtura edhe “plasticizëm strukturor”, janë vërejtur gjerësisht në kortexin vizual. , Korteksit somatosensorik , Motorët Cortex Hipokampët , dhe ganglia bazale Megjithatë, për shkak të kostove kompjuterike, pothuajse të gjitha modelet e detajuara të rrjetit shfrytëzojnë qasjen "F-faktor" për të zëvendësuar spines aktuale, dhe kështu nuk janë në gjendje të eksplorojnë funksionet e shtyllës kurrizore në nivelin e sistemit. Duke përfituar nga korniza jonë dhe platforma GPU, ne mund të drejtojmë disa mijëra modele të detajuara të neuroneve, secila me dhjetëra mijëra spines në një GPU të vetme, duke ruajtur ~100 herë më shpejt se metoda tradicionale serial në një CPU të vetme (Fig. Prandaj, kjo na lejon të eksplorojmë plasticitetin strukturor në modelet e qarqeve në shkallë të gjerë në rajone të ndryshme të trurit. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Një tjetër çështje kritike është se si të lidhen dendritet me funksionet e trurit në nivelin e sistemeve / rrjetit.Ka qenë e vendosur mirë se dendritet mund të kryejnë llogaritje gjithëpërfshirëse në hyrjet sinaptike për shkak të kanaleve të pasuruar jonike dhe pronave lokale të membranës biofizike , , Për shembull, neuronet piramidale kortikale mund të kryejnë integrimin sinaptik sublinear në dendritin proksimal, por gradualisht kalojnë në integrimin supralinear në dendritin distal. Për më tepër, dendritet distale mund të prodhojnë ngjarje rigjeneruese të tilla si pikat dendritike të natriumit, pikat e kalciumit dhe pikat NMDA/plateau potencialet. , Ngjarje të tilla dendritike janë vërejtur gjerësisht në minj ose edhe neuroneve kortikale njerëzore in vitro, e cila mund të ofrojë operacione të ndryshme logjike , Funksionet e gatshme , Kohët e fundit, regjistrimet in vivo në minj të zgjuar ose në sjellje ofrojnë dëshmi të forta se potencialet dendritike janë vendimtare për selektivitetin e orientimit në kortikun vizual. , integrimi sensor-motor në sistemin whisker , , dhe navigimi hapësinor në rajonin e hipokampit CA1 . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 Për të përcaktuar lidhjen shkakësore midis dendritëve dhe modeleve të sjelljes së kafshëve (duke përfshirë edhe njerëzit), modelet e qarqeve neurale të detajuara në shkallë të gjerë janë një mjet i fuqishëm kompjuterik për të realizuar këtë mision. Megjithatë, drejtimi i një modeli të qarqeve të detajuara në shkallë të gjerë të 10,000-100,000 neuroneve në përgjithësi kërkon fuqinë kompjuterike të superkompjuterëve. Është akoma më sfiduese të optimizosh modele të tilla për të dhënat in vivo, pasi ka nevojë për simulime iterative të modeleve. , , Për më tepër, duke përdorur kornizën tonë, një kartë e vetme GPU si Tesla A100 mund të mbështesë lehtësisht funksionimin e modeleve të detajuara të qarqeve deri në 10,000 neurone, duke siguruar kështu plane efikase dhe të përballueshme për laboratorët e zakonshëm për të zhvilluar dhe optimizuar modelet e tyre të hollësishme në shkallë të gjerë. 86 87 88 Puna e kohëve të fundit në zbulimin e rolit dendritik në mësimin specifik të detyrave ka arritur rezultate të jashtëzakonshme në dy drejtime, domethënë zgjidhja e detyrave sfiduese të tilla si grupi i të dhënave të klasifikimit të imazhit ImageNet me rrjetet e thjeshtuara dendritike. , and exploring full learning potentials on more realistic neuron , Megjithatë, ekziston një kompromis midis madhësisë së modelit dhe detajit biologjik, pasi rritja e shkallës së rrjetit shpesh sakrifikohet për kompleksitetin në nivel neuronal. , , Për më tepër, modelet më të detajuara të neuroneve janë më pak matematikisht të trajtueshme dhe kompjuterikisht të shtrenjta. . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Kjo rrjet tregoi aftësi efikase trajnimi në detyrat e klasifikimit të imazhit, duke arritur rreth 25 herë përshpejtim në krahasim me trajnimin në një platformë tradicionale të bazuar në CPU (Fig. Tabela shtesë ) të 6a, b 6f 1 Ilustrimi i Rrjetit të Qelizave Piramidale të Njeriut (HPC-Net) për klasifikimin e imazheve. Imazhet shndërrohen në trenat e pikave dhe ushqehen në modelin e rrjetit. Mësimi shkakton sinjale gabimi të përhapura nga soma në dendritë. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Krahasimi i HPC-Net para dhe pas trajnimit. majtas, vizualizimi i përgjigjeve të fshehura të neuroneve në një hyrje të veçantë para (top) dhe pas (bottom) trajnimit. djathtas, peshat e fshehura të shtresës (nga hyrja në shtresën e fshehur) shpërndarja para (top) dhe pas (bottom) trajnimit. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 3D dhe E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulimi me DHS Korenë Përshkrimi i kodit ( ) uses the NEURON Ne zbatojmë metodën tonë Dendritic Hierarchical Scheduling (DHS) në mjedisin CoreNEURON duke modifikuar kodin burimor të saj. Të gjitha modelet që mund të imitohen në GPU me CoreNEURON mund të imitohen gjithashtu me DHS duke ekzekutuar komandën e mëposhtme: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e kohë --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , ne gjejmë se varësia e të dhënave të saj mund të formulohet si një strukturë pemë, ku nyjet në pemë përfaqësojnë dhomat e modelit të detajuar të neuroneve. Në procesin e triangularizimit, vlera e çdo nyje varet nga nyjet e fëmijëve të saj. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Bazuar në varësinë e të dhënave të metodës së llogaritjes serike Hines, ne propozojmë tre kushte për të siguruar që një metodë paralele do të japë zgjidhje identike si metoda e llogaritjes serike Hines: (1) Morfologjia e pemës dhe vlerat fillestare të të gjitha nyjeve janë identike me ato në metodën e llogaritjes serike Hines; (2) Në fazën e triangularizimit, një nyje mund të përpunohet nëse dhe vetëm nëse të gjitha nyjet e fëmijëve të saj janë tashmë të përpunuara; (3) Në fazën e zëvendësimit mbrapa, një nyje mund të përpunohet vetëm nëse nyja e saj prindërore është tashmë e përpunuar. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set të into nënshtrimit, përkatësisht = { , , ... } where the size of each subset | | ≤ Për shembull, më së shumti nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: të → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set Në të vërtetë, here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 të Vn Vi të V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Me një pemë = të të } and a positive integer Ku të është node-set dhe është set edge. Define partition ( ) = të të , ... Në të vërtetë, Qëndrimi ≤ 1 ≤ ≤ n, where | Shfaq numrin kardinale të nën-setit , d.m.th. numri i nyjeve në dhe për çdo nyje ∈ , all its children nodes { Shqiptarët Të rinjtë ( )} must in a previous subset , ku 1 ≤ < Qëllimi ynë është të gjejmë një ndarje optimale ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 të Vn Vi të k i Vi të Vi të Vi v Vi të c c v Vj j i P * V P* V Here subset consists of all nodes that will be computed at -th step (Fig. Kështu që, Qëndrimi ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { Shqiptarët ∈children( )} must in a previous subset , ku 1 ≤ < ” indicates that node mund të përpunohen vetëm nëse të gjitha nyjet e saj të fëmijëve janë të përpunuara. Vi i 2e Vi të k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( Për të gjitha nodes ∈ Pastaj, dy hapat e mëposhtëm do të ekzekutohen në mënyrë iterative derisa çdo nyje të ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set Një nyje është një kandidat vetëm nëse të gjitha nyjet e saj të fëmijëve janë përpunuar ose nuk ka asnjë nyje të fëmijëve. | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from dhe i shtoni në subset Etiketoni këto nyje si nyje të përpunuara (Fig. ). After filling in subset , shkoni në hapin (1) për të plotësuar nëntokën e ardhshme . d v v V v V Q Q k Q V * i k Q Vi 2d Vi Vi+1 Prova e saktësisë për DHS Pas aplikimit të DHS në një pemë neurale = të të }, we get a partition ( ) = të , , … }, | Qëndrimi ≤ , 1 ≤ ≤ të Node në të njëjtin subset will be computed in parallel, taking Ne pastaj demonstrojmë se riorganizimi i llogaritjes në DHS do të rezultojë në një rezultat identike me metodën serial Hines. T V E P V V1 V2 Vn Vi të k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) është marrë nga pema e dhënë neurale . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset dy . As shown in the implementation of DHS, all nodes in subset janë zgjedhur nga grupi i kandidatëve dhe një nyje mund të vendoset në Vetëm në qoftë se fëmija i tij është i rritur, atëherë ai do të jetë i rritur. are in { të , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in janë në , , ... , kështu që nodes prindërore të nodes në are in { të , ... }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi të Q Q Vi të V1 V2 të V1 të Vn V1 Vi v1 të V2 të Vi-1 Vi të 1 + 1 Për +2 Vn Prova optimale për DHS Ideja e provës është se nëse ekziston një zgjidhje tjetër optimale, ajo mund të transformohet në zgjidhjen tonë DHS pa rritur numrin e hapave që kërkon algoritmi, duke treguar kështu se zgjidhja DHS është optimale. Për secilën pjesë në ( DHS lëviz (numri i fije) nyjet më të thella nga grupi i kandidatëve përkatës dy Nëse numri i kornizave në është më i vogël se Për të lëvizur të gjitha nodes nga dy . To simplify, we introduce , indicating the depth sum of më të thellë në Të gjitha nënshkrimet në ( ) satisfy the max-depth criteria (Supplementary Fig. Ne pastaj provojmë se zgjedhja e nyjeve më të thella në çdo iterim bën që an optimal partition. If there exists an optimal partition = { , , … } që përmbajnë nënset që nuk plotësojnë kriteret e thellësisë maksimale, ne mund të modifikojmë nënsetet në ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( b) mbeten të njëjta pas ndryshimit. Vi të P V k Qi Vi të Qi k Qi Vi të në k Qi P V 6a P(V) të P * (V) V * 1 V*2 v * s P * V Q P * V Without any loss of generalization, we start from the first subset nuk i plotëson kriteret, d.m.th. ka dy raste të mundshme që do të bëjnë nuk i plotësojnë kriteret e thellësisë maksimale: (1) Shkëndija » and there exist some valid nodes in Kjo nuk është vënë në ; (2) | | = Nudo në Nuk janë të deepest nodes in . V * i V * i V * i k Qi V*i V * i k V*i k Qi Për rastin (1), sepse disa nyje kandidate nuk janë vënë në , këto nyje duhet të jenë në nënsetet e mëvonshme. Shqiptarët , ne mund të lëvizim nyjet përkatëse nga nënsetet e mëvonshme në e cila nuk do të rrisë numrin e nënkomponentëve dhe do të bëjë satisfy the criteria (Supplementary Fig. , top). For case (2), | Gjirokastër = , këto nyje më të thella që nuk janë zhvendosur nga grupi kandidat Në duhet të përfshihen në nënsetet e mëvonshme (Fig. Këto nyje më të thella mund të zhvendosen nga nëntokët e mëvonshëm në through the following method. Assume that after filling , është zgjedhur dhe një nga -th deepest nodes Është ende në Kështu do të vendoset në një pjesë të mëvonshme (Në > të Ne lëvizim së pari from to + Ndryshimi i nënshkrimit + Për shembull, nëse + Qëndrimi ≤ and none of the nodes in + të është prind i node , stop modifying the latter subsets. Otherwise, modify + të as follows (Supplementary Fig. (Nëse node prindërore e Është në + të , move this parent node to + Përndryshe lëvizni nyjen me thellësi minimale nga + dy + të Pas përshtatjes Ndryshimet e mëposhtme + të + , ... with the same strategy. Finally, move nga dy . V * i V * i < k V * i V * i 6B V * i k Qi V * i 6B V * i V * i v k v’ Qi v’ V * J j i v V * i V*i 1 V * i 1 V * i 1 k V*i 1 v V*i 1 6C v V*i 1 V * i 2 V * i 1 V * i 2 V * i V*i 1 V*i 2 Përgjigje: J1 v’ V*j V * i Me strategjinë e modifikimit të përshkruar më sipër, ne mund të zëvendësojmë të gjitha nyjet e sheshtë në Me të Node më e thellë në dhe mbani numrin e nënseteve, dmth. ( Ne mund të modifikojmë nyjet me të njëjtën strategji për të gjitha nënset në ( të cilat nuk përmbajnë nyjet më të thella. në fund, të gjitha ∈ ( ) mund të plotësojë kriteret e thellësisë maksimale, dhe ( (Nuk ndryshon pas modifikimit. V * i k Qi P * V P * V V * i P * V P * V Në përfundim, DHS gjeneron një ndarje ( dhe të gjitha nënçmimet ∈ ( ) plotësojnë kushtet e thellësisë maksimale: . për çdo ndarje tjetër optimale ( ) ne mund të modifikojmë nënsetet e saj për të bërë strukturën e saj të njëjtë si ( ), d.m.th., secili nënset përbëhet nga nyjet më të thella në grupin e kandidatit, dhe mbajë ( ) të njëjtën gjë pas modifikimit. kështu, ndarja ( ) marrë nga DHS është një nga ndarjet optimale. P V Vi të P V P * V P V P * V | P V Implementimi i GPU dhe përforcimi i kujtesës Për të arritur transmetim të lartë të kujtesës, GPU përdor hierarkinë e kujtesës së (1) kujtesës globale, (2) cache, (3) regjistrit, ku kujtesa globale ka kapacitet të madh, por transmetim të ulët, ndërsa regjistrat kanë kapacitet të ulët, por transmetim të lartë. GPU përdor SIMT (Single-Instruction, Multiple-Thread) arkitekturë. Warps janë njësitë themelore të planifikimit në GPU (një warp është një grup i 32 telave paralele). Një warp ekzekuton të njëjtën komandë me të dhëna të ndryshme për tela të ndryshme Rregullimi i saktë i nyjeve është thelbësor për këtë grumbullim të llogaritjes në varps, për të siguruar që DHS merr rezultate identike si metoda seriale Hines. Kur zbatojmë DHS në GPU, ne së pari grupojmë të gjitha qelizat në varps të shumta bazuar në morfologjitë e tyre. Qelizat me morfologji të ngjashme janë të grupuara në të njëjtën varp. Ne pastaj aplikojmë DHS në të gjithë neuronet, duke caktuar ndarjet e secilit neuron në fusha të shumëfishta. Për shkak se neuronet janë të grupuara në varps, fiset për të njëjtin neuron janë në të njëjtën varp. Prandaj, sinkronizimi i brendshëm në varps mban rendin e llogaritjes në përputhje me varësinë e të dh 46 Kur një varp ngarkon të dhënat e para-rregulluara dhe të ruajtura rrjedhimisht nga kujtesa globale, ajo mund të përdorë plotësisht cache-in, gjë që çon në kalimin e lartë të kujtesës, ndërsa qasja në të dhënat e ruajtura në shkëputje do të zvogëlojë kalimin e kujtesës. Pas ndarjes së ndarjeve dhe riorganizimit të fushave, ne permutojmë të dhënat në kujtesën globale për ta bërë atë në përputhje me urdhrat e llogaritjes në mënyrë që varpët të mund të ngarkojnë të dhënat e ruajtura rrjedhimisht kur ekzekutojnë programin. Modelet biofizike të shpinës së plotë dhe të shpinës së vogël We used the published human pyramidal neuron Kapaciteti i membranës m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, dhe rezistiviteti aksial a = 261.97 Ω cm. Në këtë model, të gjitha dendritet janë modeluar si kabllo pasive ndërsa somat ishin aktive. l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV K = -102 mV respektivisht. të gjithë këta parametra specifikë u vendosën në të njëjtën mënyrë si në modelin e Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a Për shembull, në mënyrë të ngjashme me modelin e dendritit, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Dendësia e shtyllës kurrizore u vendos në 1.3 μm-1, dhe çdo qelizë përmbante 24994 spines në dendrites 60 μm larg nga soma. 51 Morfologjitë dhe mekanizmat biofizikë të shtyllave ishin të njëjta në modelet me pak shtyllë dhe plot shtyllë. neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic hyrje Ne hetuam excitabilitetin neuronal për të dy hyrjet e shpërndara dhe të grumbulluara sinaptik. Të gjitha sinapset e aktivizuara ishin të lidhura me terminalin e kokës kurrizore. Për hyrjet e shpërndara, të gjitha sinapset e aktivizuara ishin të shpërndara rastësisht në të gjitha dendritet. Për hyrjet e grumbulluara, çdo grumbull përbëhej nga 20 sinapse të aktivizuara që ishin të shpërndara në mënyrë të barabartë në një dhomë të vetme të zgjedhur rastësisht. Të gjitha sinapset u aktivizuan njëkohësisht gjatë simulimit. AMPA-bazuar dhe NMDA-bazuar rrymat sinaptikë janë simuluar si në punën e Eyal et al. AMPA konduktiviteti është modeluar si një funksion të dyfishtë eksponenciale dhe NMDA konduktiviteti si një funksion të dyfishtë eksponenciale tensioni-dependent. ngritje dhe shkatërrimi janë vendosur në 0.3 dhe 1.8 ms. Për modelin NMDA, ngritje dhe shkëputja u vendosën në 8.019 dhe 34.9884 ms, respektivisht. τ τ τ τ Zhurma e sfondit Ne lidhëm zhurmën e sfondit në secilën qelizë për të simuluar një mjedis më realist. modelet e zhurmës u zbuluan si trenat e pikave të Poisson me një normë konstante prej 1.0 Hz. Çdo model filloi në fillimi = 10 ms dhe zgjati deri në fund të simulimit. Ne gjenerojmë 400 trena të zhurmës për secilën qelizë dhe i lidhim ato me sinapset e zgjedhura rastësisht. , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Eksplorimi i excitabilitetit neuronal Ne hetuam probabilitetin e pikës kur shumë sinapse u aktivizuan në të njëjtën kohë. Për hyrjet e shpërndara, ne testuam 14 raste, nga 0 deri në 240 hyrje të aktivizuara. Për hyrjet e grumbulluara, ne testuam 9 raste në total, duke aktivizuar nga 0 deri në 12 grumbullime respektivisht. Çdo grumbull përbëhej nga 20 sinapse. Për çdo rast në të dy hyrjet e shpërndara dhe të grumbulluara, ne llogaritëm probabilitetin e pikës me 50 mostra të rastësishme. probabiliteti i pikës u përcaktua si raport i numrit të neuroneve të lëshuara me numrin e përgjithshëm të mostrave. Të gjitha 1150 mostrat u simuluan njëkohësisht në platformën tonë DeepDendrite, duke zvogëlu Zbatimi i detyrave të AI me platformën DeepDendrite Simulatorët konvencionalë të detajuar të neuroneve nuk kanë dy funksionalitete të rëndësishme për detyrat moderne të AI: (1) duke kryer alternativisht simulime dhe përditësime të peshës pa ri-inicializim të rëndë dhe (2) duke përpunuar në të njëjtën kohë mostra të shumë stimujve në një mënyrë batch-like. DeepDendrite përbëhet nga tre module (Fig. ): (1) një modul I/O; (2) një modul simulimi i bazuar në DHS; (3) një modul mësimi. Kur trajnohet një model i detajuar biophysically për të kryer detyra të mësimit, përdoruesit së pari përcaktojnë rregullin e mësimit, pastaj ushqejnë të gjitha mostrat e trajnimit në modelin e detajuar për të mësuar. Në çdo hap gjatë trajnimit, moduli I/O zgjedh një stimul specifik dhe sinjalin e tij mësues (nëse është e nevojshme) nga të gjitha mostrat e trajnimit dhe lidh stimulimin me modelin e rrjetit. Pastaj, moduli i simulimit i bazuar në DHS fillon modelin dhe fillon simulimin. Pas simulimit, moduli i mësimit përditëson të gjitha peshat sinaptike sipas ndryshimit midis përgjigjeve të modelit dhe sin 5 Modeli i HPC-Net Klasifikimi i imazhit është një detyrë tipike në fushën e AI. Në këtë detyrë, një model duhet të mësojë të njohë përmbajtjen në një imazh të dhënë dhe të nxjerrë etiketën përkatëse. Këtu ne paraqesim HPC-Net, një rrjet i përbërë nga modele të detajuara të neuroneve piramidale njerëzore që mund të mësojnë të kryejnë detyra të klasifikimit të imazhit duke përdorur platformën DeepDendrite. HPC-Net ka tre shtresa, dmth, një shtresë hyrëse, një shtresë të fshehur, dhe një shtresë të daljes. Neuronet në shtresën e hyrjes marrin trena të konvertuara nga imazhet si hyrja e tyre. Neuronet e shtresës së fshehur marrin prodhimin e neuroneve të shtresës hyrëse dhe japin përgjigje ndaj neuroneve në shtresën e daljes. Përgjigjet e neuroneve të shtresës së daljes merren si prodhimi përfundimtar i HPC-Net. Neuronet midis shtresave fqinje janë plotësisht të lidhura. Për çdo stimulim i imazhit, së pari konvertojmë çdo pixel të normalizuar në një tren homogjen të pikës. ) në imazh, treni i përshtatshëm spike ka një interval të vazhdueshëm interspike Të gjitha ( ) (in ms) which is determined by the pixel value ( (siç tregohet në KQZ) ) të x, dhe τ x, y p x, dhe 1 Në eksperimentin tonë, simulimi për çdo stimul zgjati 50 ms. Të gjitha trenat e pikave filluan në 9 + ISI ms dhe zgjati deri në fund të simulimit. Pastaj ne i lidhëm të gjitha trenat spike në neuronet e shtresës së hyrjes në një mënyrë një-në-një. Është dhënë nga τ T0 të where është tensioni post-sinaptik, potenciali i kthimit syn = 1 mV, konduktiviteti maksimal sinaptik max = 0.05 μS, dhe koha konstante • 0.5 ms v E g τ Neuronet në shtresën e hyrjes u modeluan me një model pasiv me një ndarje të vetme. m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, rezistenca aksionale a = 100 Ω cm, potencialin e kthimit të hapësirës pasive L = 0 mV c r r E Shtresa e fshehur përmban një grup të modeleve të neuroneve piramidale njerëzore, duke marrë tensionet somatike të neuroneve të shtresës së hyrjes. , dhe të gjitha neuronet u modeluan me kabllo pasive. kapaciteti specifik i membranës m = 1.5 μF cm-2, rezistenca e membranës m = 48,300 Ω cm2, rezistenca aksionale a = 261.97 Ω cm, dhe potencialin e kthimit të të gjitha kabllove pasive l = 0 mV. Neuronet e hyrjes mund të bëjnë lidhje të shumta me vende të zgjedhura rastësisht në dendritet e neuroneve të fshehura. Synapse e të Neuroni i hyrjes në neuron Përgjigje: Përgjigja është e përcaktuar në qartësi ( ), where është udhëheqja sinaptike, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the Neurologji në kohë . 51 c r r E k i j 4 Gjakova Qyteti i t Neuronet në shtresën e prodhimit gjithashtu u modeluan me një model pasiv me një ndarje të vetme, dhe çdo neuron i fshehur bëri vetëm një lidhje sinaptike me çdo neuron të prodhimit. ). 4 Klasifikimi i imazheve me HPC-Net Për çdo stimuj të imazhit të hyrjes, ne së pari normalizuam të gjitha vlerat e pikselëve në 0.0-1.0. Pastaj ne konvertuam pikselët e normalizuar në trenat e pikut dhe i lidhëm ato me neuronet e hyrjes. Ku të Është probabiliteti i -th klasë parashikuar nga HPC-Net, është tensioni mesatar somatik nga 20 ms në 50 ms e Neuroni i prodhimit, dhe Klasa me probabilitetin maksimal të parashikuar është rezultati përfundimtar i klasifikimit.Në këtë letër, ne kemi ndërtuar HPC-Net me 784 neurone hyrëse, 64 neurone të fshehura dhe 10 neurone të daljes. 6 Pi i i C Rregullat e plasticitetit sinaptik për HPC-Net Frymëzuar nga puna e mëparshme Për shembull, ne përdorim një rregull të mësimit të bazuar në gradient për të trajnuar rrjetin tonë HPC-Net për të kryer detyrën e klasifikimit të imazhit. , ku është probabiliteti i parashikuar për klasën të tregon klasën aktuale të cilës i përket imazhi i stimujve, = 1 nëse imazhi i hyrjes i përket klasës dhe 0 nëse jo. 36 7 Pi i Yin Yin i Yin Kur trajnim HPC-Net, ne llogarisim përditësimin për peshë (Pesha sinaptike e Sinapsi që lidh neuronet Neuronët Pas simulimit të çdo stimuli i imazhi, is updated as shown in Eq. ( ) në : Qyteti k i j Qyteti 8 Këtu është shkalla e mësimit, është vlera e përditësimit në kohë të të janë tensionet somatike të neuroneve dhe respektivisht , Është e Rrjedha sinaptike e aktivizuar nga neuroni Neuronë të e drejtimit të saj sinaptik, është rezistenca e transferimit midis Ndarja e lidhur e neuroneve Neuronë Dendriti në neuron në soma, s = 30 ms Në të njëjtën kohë, në të njëjtën periudhë mund të përfshihen edhe të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave ( Për shembull, në rastin e shkarkimit të të dhënave, të dhënat e të dhënave do të përcaktohen në mënyrë të barabartë me të dhënat e të dhënave të të dhënave ( ) të t Vj vi i j Ijakë k i j Gjakova rijk k i j j t t 10 11 Meqenëse të gjitha neuronet e daljes janë të vetme, të barabarta me rezistencën e hyrjes së ndarjes përkatëse, rezistencat e transferimit dhe të hyrjes llogariten nga NEURON. Trajnimi mini-batch është një metodë tipike në mësimin e thellë për arritjen e saktësisë më të lartë të parashikimit dhe përshpejtimin e konvergencës. DeepDendrite gjithashtu mbështet trajnimin mini-batch. Batch, ne bëjmë kopje batch e HPC-Net. Gjatë trajnimit, çdo kopje ushqehet me një mostër të ndryshme të trajnimit nga batch. DeepDendrite së pari llogarit përditësimin e peshës për secilën kopje veçmas. Pasi të gjitha kopjet në batch aktuale të trajnimit janë bërë, përditësimi mesatar i peshës llogaritet dhe peshat në të gjitha kopjet përditësohen me të njëjtën sasi. N N Rezistencë ndaj sulmeve kundërshtare me HPC-Net Për të demonstruar qëndrueshmërinë e HPC-Net, ne testuam saktësinë e parashikimit të saj në mostrat e kundërshtarëve dhe e krahasuam atë me një ANN analog (një me të njëjtën strukturë 784-64-10 dhe aktivizimin e ReLU, për krahasim të drejtë në HPC-Net tonë çdo neuron hyrës bëri vetëm një lidhje sinaptike me çdo neuron të fshehur). Ne së pari stërvitëm HPC-Net dhe ANN me grupin origjinal të trajnimit (imazhet origjinale të pastra). Pastaj shtuam zhurmë kundërshtare në grupin e testimit dhe matëm saktësinë e tyre të parashikimit në grupin e testit të zhurmshëm. , për të gjeneruar zhurmë kundërshtare me metodën FGSM ANN u stërvit me PyTorch , dhe HPC-Net u trajnua me DeepDendrite tonë. Për drejtësi, ne krijuam zhurmë kundërshtare në një model rrjeti shumë të ndryshëm, një ResNet 20 shtresë Niveli i zhurmës shkoi nga 0.02 në 0.2.Ne eksperimentuam me dy grupe të dhënash tipike, MNIST dhe modës-MNIST Rezultatet tregojnë se saktësia e parashikimit të HPC-Net është 19% dhe 16.72% më e lartë se ajo e ANN analoge, respektivisht. 98 99 93 100 101 95 96 Raporti i përmbledhjes Informacione të mëtejshme në lidhje me projektin e kërkimit janë në dispozicion në Lidhur me këtë artikull. Raporti i Portfolios së Raportit të Natyrës Disponueshmëria e të dhënave Të dhënat që mbështesin gjetjet e këtij studimi janë në dispozicion brenda letrës, informacioneve shtesë dhe skedarëve të të dhënave burimore të ofruara me këtë letër. – are available at Dataset MNIST është i disponueshëm publikisht në Dataset Fashion-MNIST është i disponueshëm publikisht në të janë dhënë me këtë letër. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Burimi i të dhënave Kodi i disponueshmërisë Kodi burimor i DeepDendrite, si dhe modelet dhe kodin e përdorur për të riprodhuar Figs. – Në këtë studim janë në dispozicion . 3 6 https://github.com/pkuzyc/DeepDendrite Referencë McCulloch, W. S. & Pitts, W. Një llogaritje logjike e ideve që janë të pranishme në aktivitetin nervor. LeCun, Y., Bengio, Y. & Hinton, G. Mësimi i thellë. Nature 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Aritmetika e përmbledhjes sinaptike nën prag në një qelizë piramidale model CA1. Londër, M. & Häusser, M. Llogaritja dendritike. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Fusha e vetme dendritike si një njësi funksionale themelore në sistemin nervor. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integrimi dendrik: 60 vjet progresi. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. Ndriçimi i funksionit dendritik me modele kompjuterike. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Spines dendritike si njësitë themelore funksionale të integrimit neuronal. natyra 375, 682-684 (1995). Engert, F. & Bonhoeffer, T. Ndryshimet dendritike të shtyllës kurrizore të lidhura me plasticitetin sinaptik afatgjatë hipokampal. natyra 399, 66-70 (1999). Yuste, R. Spines dendritike dhe qarqet e shpërndara. Neuron 71, 772–781 (2011). Yuste, R. Pjesëmarrja elektrike në shtyllat dendritike. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Rrafshimi i pemëve dendritike dhe rezistiviteti i membranës së motoneuroneve. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. Studimi kompjuterik i një shpinë dendritike excitable. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Zotërimi i lojës së ecjes me rrjetet neurale të thella dhe kërkimin e pemëve. Nature 529, 484–489 (2016). Silver, D. et al. Një algoritëm i përgjithshëm i mësimit të forcimit që zotëron shahun, shoghin dhe kalon nëpër vetë-lojë. McCloskey, M. & Cohen, N. J. Ndërhyrja katastrofike në rrjetet lidhëse: problemi i të mësuarit sekuencial. Frëngjisht, R. M. Harresa katastrofike në rrjetet lidhëse. Tendencat Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse shpërthimet optimizojnë transmetimin e informacionit në një kod neuronal multiplexed. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Microcircuits dendritic kortikale përafërsisht algoritmin backpropagation. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Plasticizmi sinaptik i varur nga Burst mund të koordinojë të mësuarit në qarqet hierarkike. Bicknell, B. A. & Häusser, M. Një rregull e të mësuarit sinaptik për shfrytëzimin e llogaritjes jo-lineare dendritike. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: një neuron model që mëson për të zgjidhur detyrat e klasifikimit nëpërmjet dendritic nonlinearities, plasticity strukturore, dhe rënie gradient. Hodgkin, A. L. & Huxley, A. F. Një përshkrim kuantitativ i rrymës membranore dhe aplikimi i saj për drejtimin dhe eksitim në nerv. Rall, W. Teoria e pronave fiziologjike të dendritit. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Mjedisi i simulimit të neuroneve. kompjuter nervor 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. në Librin e Zanafillës: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17-27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Ndarja e neuroneve në simulimet e rrjetit paralel të lidhura me kompjuterin mundëson shkallëzimin e kohës së ekzekutimit me dy herë më shumë procesorë. Hines, M. L., Markram, H. & Schürmann, F. Simulimi plotësisht i nënkuptuar paralel i neuroneve të vetme. Ben-Shalom, R., Liberman, G. & Korngreen, A. Përshpejtimi i modelimit të pjesëve në një njësi të përpunimit grafik. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Simulimi efikas numerik i modeleve të neuroneve me strukturë hapësinore në njësitë e përpunimit të grafikës. në Proc. 2016 Konferenca Ndërkombëtare mbi Përpunimin e Informacionit Neural (eds Hirose894Akiraet al.) 279-285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Solver efikas pemë për matricat hines në GPU. Preprint në https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teoria e optimizimit të kombinuar dhe algoritmet 6 edn (Springer, 2018). Gebali, F. Algoritmet dhe kompjuterat paralele (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Një motor i optimizuar kompjuterik për simulatorin NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Mësimi nga parashikimi dendritik i spiking somatik. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizimi i modeleve të kanaleve jonike duke përdorur një algoritëm paralel gjenetik në procesorët grafikë. Mascagni, M. Një algoritëm paralelizimi për zgjidhjet kompjuterike për modelet e neuroneve kabllore me degë arbitrare.J. Neurosci. McDougal, R. A. et al. Njëzet vjet modelDB dhe më tej: ndërtimin e mjeteve thelbësore të modelimit për të ardhmen e neuroscience. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektivisht bllokon përmbledhjen e kohës së hyrjeve disistale të pashkronizuara në neuronet piramidale CA1. Hemond, P. et al. Klasa të ndryshme të qelizave piramidale tregojnë modele të përjashtuara nga njëra-tjetra në zonën hipokampale CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modelet e qelizave piramidale të shtresës neocortical 5b që kapin një gamë të gjerë të pronave aktive dendritike dhe perisomatike. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Përpunimi i potencialit të veprimit në një model të detajuar të qelizave purkinje zbulon një rol kritik për ndarjen aksonale. Lindroos, R. et al. Neuromodulimi i ganglionit bazal në shkallë të shumta të kohës dhe strukturore-simulimet e MSN-ve të rrugës së drejtpërdrejtë hetojnë fillimin e shpejtë të efekteve dopaminergjike dhe parashikojnë rolin e Kv4.2. Migliore, M. et al. Grumbullimet sinaptike funksionojnë si operatorë të erës në llambën e aromës.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. Udhëzues i programimit CUDA C++. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Guide për praktikat më të mira. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Amplifikimi sinaptik nga shtyllat dendritike përmirëson bashkëpunimin e hyrjes. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization e inhibimit GABAergic nga shtyllat dendritike. Shkencë 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Plasticizmi i qafës kurrizore rregullon ndarjen e sinapseve. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neuronet piramidale kortikale njerëzore: nga shtyllat në majat nëpërmjet modeleve. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Funksioni i shpinave dendritike: pajisje që shërbejnë biokimike në vend të ndarjes elektrike.J. Neurosci. 13, 413-422 (1993). Koch, C. Spines Dendritic. në Biophysics of Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Ndikimi i aktivitetit paralel të sfondit të fibrave në vetitë kabllore të qelizave cerebellare purkinje. Hines, M. Llogaritja efikase e ekuacioneve nervore të degëve. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Mbrojtja biologjikisht e frymëzuar e rrjeteve të thella nga sulmet kundërshtare. Preprint në https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simulimi në shkallë të gjerë duke përdorur gjenezën paralele. në Librin e gjenezës: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Simulimet paralele të rrjetit me NEURON. Lytton, W. W. et al. Neuroteknologjitë e simulimit për kërkimin e avancuar të trurit: paralelizimi i rrjeteve të mëdha në NEURON. Valero-Lara, P. et al. cuHinesBatch: Zgjidhja e sistemeve të shumëfishta Hines në projektin e trurit të njeriut të GPU-ve. në Proc. 2017 Konferenca Ndërkombëtare mbi Shkencën Kompjuterike 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Një bibliotekë morfologjikisht e detajuar e simulimit të rrjetit nervor për arkitekturat moderne të llogaritjes me performancë të lartë. në Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: përshpejtimin multi-divizion, biophysically detajuar simulimet neurone në GPUs. J. Neurosci. Rempe, M. J. & Chopp, D. L. Një algoritëm parashikues-korrektor për ekuacionet reagim-difuzion të lidhura me aktivitetin nervor në strukturat e degës. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Një zgjidhje tejzanor për simulimin e indeve neurale në shkallë të gjerë. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Regjistrime të synuara të tensionit intracelular nga spines dendritike duke përdorur nanopipettes të veshura me pika kuantike. Nat. Nanotechnol. 12, 335-342 (2017). Palmer, L. M. & Stuart, G. J. Ndryshimet e mundshme të membranës në shtyllat dendritike gjatë potencialit të veprimit dhe hyrjes sinaptik. Nishiyama, J. & Yasuda, R. Llogaritja biokimike për plasticitetin strukturor të shtyllës kurrizore. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Ndryshimet morfologjike në shtyllat dendritike të lidhura me plasticitetin sinaptik afatgjatë. Holtmaat, A. & Svoboda, K. Plasticizmi strukturor sinaptik i varur nga përvoja në trurin e gjitarëve. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Plasticizmi strukturor në mësim: rregullimi dhe funksionet. Keck, T. et al. Ristrukturimi masiv i qarqeve neurale gjatë riorganizimit funksional të korteksit vizual të rritur. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Përvoja lë një gjurmë të qëndrueshme strukturore në qarqet kortikale. Trachtenberg, J. T. et al. Imazhi afatgjatë in vivo i plasticitetit sinaptik të varur nga përvoja në kortikun e rritur. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dinamika aksonale e neuroneve excitatory dhe inhibitor në kortex somatosensory. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Formimi i shpejtë dhe stabilizimi selektiv i sinapseve për kujtime motorike të qëndrueshme. natyra 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Përmirësimi i të mësuarit motorik duke rritur stabilitetin e shtyllave dendritike të reja të formuar në kortikun motorik. Neuron 109, 3298-3311 (2021). Branco, T. & Häusser, M. Gradientët e integrimit sinaptik në dendritet e qelizave piramidale kortikale të vetme. Neuron 69, 885-892 (2011). Major, G., Larkum, M. E. & Schiller, J. Active properties of neocortical pyramidal neuron dendrites. , 1–24 (2013). Annu. Rev. Neurosci. 36 Gidon, A. et al. Potencialet e veprimit dendritik dhe llogaritja në shtresën njerëzore 2/3 të neuroneve kortikale. Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Frymëzimi i frymëmarrjes sinaptik formon majat NMDA, duke ndikuar në përpunimin lokal dendritik dhe pronat globale I / O të neuroneve kortikale. Du, K. et al. Inhibimi specifik i llojit të qelizave të potencialit dendritik në neuronet e projektimit të shtyllës striatale. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Pikat dendritike përmirësojnë selektivitetin e stimujve në neuronet kortikale in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Integrimi jo-linear dendritik i hyrjes sensorike dhe motorike gjatë një detyre të ndjenjave aktive. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Dendritet aktive kortikale modulojnë perceptimin. Shkenca 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Rekonstruksioni dhe simulimi i microcircuitry neocortical. Qelizë 163, 456-492 (2015). Billeh, Y. N. et al. Integrimi sistematik i të dhënave strukturore dhe funksionale në modelet e shumëfishtë të kortexit primar vizual të miut. Neuron 106, 388–403 (2020). Hjorth, J. et al. Microcircuits e striatum në silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Në drejtim të mësimit të thellë me dendritë të ndarë. elife 6, e22901 (2017). Iyer, A. et al. Shmangia e katastrofave: dendritët aktivë mundësojnë mësimin me shumë detyra në mjedise dinamike. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. A mundet një neuron i vetëm të zgjidhë probleme interesante të mësimit automatik nëpërmjet llogaritjeve të njëpasnjëshme në pemën e tij dendritike? Bird, A. D., Jedlicka, P. & Cuntz, H. Normalizimi dendrik përmirëson mësimin në rrjetet artificiale neurale të lidhura rrallë. Goodfellow, I. J., Shlens, J. & Szegedy, C. Shpjegimi dhe shfrytëzimi i shembujve kundërshtarë. në Konferencën e 3-të Ndërkombëtare mbi Përfaqësimet e Mësimit (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferueshmëria në mësimin e makinës: nga fenomenet në sulmet e kutisë së zezë duke përdorur mostrat e kundërshtarëve. Preprint në https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Mësimi i bazuar në gradient zbatohet për njohjen e dokumenteve. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: një grup i ri i të dhënave të imazheve për referencimin e algoritmeve të mësimit të makinës. Preprint në http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Vlerësimi i shkallëzueshmërisë së algoritmeve dhe arkitekturave të mësimit të thellë të motivuar biologjikisht. në Përparimet në Sistemet e Përpunimit të Informacionit Neural 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: Një kuti mjetesh Python për të krahasuar qëndrueshmërinë e modeleve të mësimit automatik. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: sulme të shpejta kundërshtare për të krahasuar qëndrueshmërinë e modeleve të mësimit automatik në PyTorch, TensorFlow, dhe JAX. Paszke, A. et al. PyTorch: Një stil i domosdoshëm, bibliotekë e mësimit të thellë me performancë të lartë. në përparimet në sistemet e përpunimit të informacionit neuronal 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Mësimi i thellë i mbetur për njohjen e imazheve. në Proc. 2016 Konferenca IEEE mbi Vizionin Kompjuterik dhe njohjen e modelit (CVPR) 770-778 (IEEE, 2016). Njoftime Autorët e Këshillit falënderojnë sinqerisht Dr. Rita Zhang, Daochen Shi dhe anëtarët e NVIDIA për mbështetjen e vlefshme teknike të kompjuterizimit GPU. Kjo punë u mbështet nga Programi Kombëtar i Kërkimeve dhe Zhvillimit të Fuqive të Kinës (Nr. 2020AAA0130400) për K.D. dhe T.H., Fondacioni Kombëtar i Shkencave Natyrore të Kinës (Nr. 6182588102) për T.H., Këshilli Kombëtar i Kërkimeve dhe Zhvillimit të Kinës (Nr. 2022ZD01163005) për L.M., Programi i Kërkimeve dhe Zhvillimit të Fuqive të Provincës Guangdong (Nr. 2018B030338001) për T Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International). Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International).
