Autorët : Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang Autorët : Shkëndija Zhang Hanë Le të Xhaxha Liu J. J. Gjergj Gjergji Aleksandër Kozlov Yutao ai Shenjiang Zhang Jeanette Hellgren Kotaleski në Prishtinë Yonghong Tian Stili i grilës Kur të Shkëndija Huang abstraktë Modelet biofizikisht të detajuara multi-divizionare janë mjete të fuqishme për të eksploruar parimet kompjuterike të trurit dhe gjithashtu shërbejnë si një kornizë teorike për të gjeneruar algoritme për sistemet e inteligjencës artificiale (AI). megjithatë, kostoja e shtrenjtë kompjuterike kufizon rëndë aplikacionet në të dy fushat e neuroshkencës dhe AI. Pengesa kryesore gjatë simulimit të modeleve të detajuara të divizionit është aftësia e një simulatori për të zgjidhur sisteme të mëdha të ekuacioneve lineare. Endriti Hierarkikë metodën cheduling (DHS) për të përshpejtuar dukshëm një proces të tillë. Ne teorikisht provojmë se zbatimi i DHS është kompjuterikisht optimal dhe i saktë. Kjo metodë e bazuar në GPU kryen me 2-3 urdhra madhësie më të lartë se ajo e metodës klasike seriale Hines në platformën konvencionale CPU. Ne ndërtojmë një kornizë DeepDendrite, e cila integron metodën DHS dhe motorin kompjuterik GPU të simulatorit NEURON dhe demonstrojnë aplikimet e DeepDendrite në detyrat e neuroshkencës. Ne hetojmë se si modelet hapësinore të hyrjeve të shpinë ndikojnë në excitabilitetin neuronal në një model të detajuar të neuroneve të piramidës njerëzore me 25,000 D H S Hyrje Dekodimi i parimeve të kodimit dhe llogaritjes së neuroneve është thelbësor për neuroshkencën. Truri i gjitarëve përbëhet nga më shumë se mijëra lloje të ndryshme të neuroneve me vetitë unike morfologjike dhe biofizike. Në vitet e fundit, inteligjenca artificiale moderne (AI) ka përdorur këtë parim dhe ka zhvilluar mjete të fuqishme, të tilla si rrjetet artificiale neurale (ANN). Megjithatë, përveç llogaritjeve gjithëpërfshirëse në nivelin e një neuroni të vetëm, dhomat subcellular, të tilla si dendritet neuronale, gjithashtu mund të kryejnë operacione jo-lineare si njësi të pavarura llogaritëse. , , , , Për më tepër, shtyllat dendritike, nxjerrje të vogla që i mbulojnë dendritët në neuronet e shtyllës, mund të ndarë sinjalet sinaptike, duke i lejuar ata të ndahen nga dendritet e tyre prindërore ex vivo dhe in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulimet duke përdorur neurone biologjikisht të detajuara ofrojnë një kornizë teorike për lidhjen e detajeve biologjike me parimet kompjuterike. , na lejon të modelojmë neuronet me morfologji dendritike realiste, konduktivitetin jonik të brendshëm dhe hyrjet sinaptike ekstrinsike. , e cila modelon pronat e membranës biofizike të dendritëve si kabllo pasive, duke siguruar një përshkrim matematikor të mënyrës se si sinjalet elektronike pushtojnë dhe përhapen nëpër proceset komplekse neuronale. Duke përfshirë teorinë e kabllove me mekanizma aktivë biofizikë të tilla si kanalet jonike, rrymat sinaptikë excitator dhe inhibitor, etj., një model i detajuar multi-compartment mund të arrijë llogaritjet neuronale qelizore dhe subcellular përtej kufizimeve eksperimentale , . 12 13 12 4 7 Përveç ndikimit të saj të thellë në neuroscience, modelet biologjikisht të detajuara të neuroneve kohët e fundit janë përdorur për të kapërcyer hendekun midis detajeve strukturore neuronale dhe biofizike dhe AI. Teknika mbizotëruese në fushën moderne të AI është ANN-të e përbërë nga neuronet e pikës, një analogji e rrjeteve neuronale biologjike. , truri i njeriut ende tejkalon ANN-të në fusha që përfshijnë mjedise më dinamike dhe të zhurmshme , Studimet e fundit teorike sugjerojnë se integrimi dendrik është vendimtar në gjenerimin e algoritmeve efikase të mësimit që potencialisht tejkalojnë backprop në përpunimin paralel të informacionit. , , Për më tepër, një model i vetëm i detajuar i shumë ndarjeve mund të mësojë llogaritjet jo-lineare në nivelin e rrjetit për neuronet e pikës duke rregulluar vetëm forcën sinaptike. , Kjo tregon potencialin e plotë të modeleve të detajuara në ndërtimin e sistemeve më të fuqishme të inteligjencës artificiale të ngjashme me trurin, prandaj është prioritet i lartë zgjerimi i paradigmave në inteligjencën artificiale të ngjashme me trurin nga modelet e vetme të detajuara të neuroneve në rrjetet e detajuara biologjike në shkallë të gjerë. 14 15 16 17 18 19 20 21 22 Një sfidë e gjatë e qasjes së simulimit të detajuar qëndron në koston e saj jashtëzakonisht të lartë kompjuterike, e cila ka kufizuar rëndë aplikimin e saj në neuroscience dhe AI. , , Për të përmirësuar efikasitetin, metoda klasike Hines zvogëlon kompleksitetin e kohës për zgjidhjen e ekuacioneve nga O(n3) në O(n), e cila është aplikuar gjerësisht si algoritmi kryesor në simulatorët popullorë si NEURON. dhe gjenezës Megjithatë, kjo metodë përdor një qasje serike për të përpunuar secilën dhomë në mënyrë sekuenciale.Kur një simulim përfshin dendritë të shumëfishta të detajuar biophysically me spines dendritic, matrica ekuacion linear (“Hines Matrix”) shkallë përkatësisht me një numër në rritje të dendrites ose spines (Fig. ), duke e bërë metodën Hines jo më praktike, pasi ajo paraqet një barrë shumë të rëndë për të gjithë simulimin. 12 23 24 25 26 1e Një model piramidal i neuroneve të shtresës 5 të rindërtuar dhe formula matematike e përdorur me modelet e detajuara të neuroneve. Fluksi i punës kur simulimi numerik i modeleve të detajuara të neuroneve. Faza e zgjidhjes së ekuacionit është pengesa e shisheve në simulim. Një shembull i ekuacioneve lineare në simulim. Varësia e të dhënave të metodës Hines kur zgjidh ekuacionet lineare në të Madhësia e matricës Hines shkallë me kompleksitetin e modelit.Numri i sistemit ekuacioneve lineare për t'u zgjidhur përjeton një rritje të konsiderueshme kur modelet janë duke u rritur më të hollësishme. Kostoja kompjuterike (hapet e marra në fazën e zgjidhjes së ekuacionit) e metodës serike Hines në lloje të ndryshme të modeleve neuronale. Ilustrim i metodave të ndryshme të zgjidhjes. Pjesët e ndryshme të një neuroni i caktohen njësive të shumëfishta të përpunimit në metoda paralele (mbi, në të djathtë), të treguara me ngjyra të ndryshme. Kostoja kompjuterike e tre metodave në kur zgjidhni ekuacionet e një modeli piramidal me shkopinj. Koha e drejtimit e metodave të ndryshme në zgjidhjen e ekuacioneve për 500 modele piramidale me spirale. Koha e drejtimit tregon konsumin e kohës së simulimit 1 s (zgjidhja e ekuacionit 40,000 herë me një hap kohore prej 0.025 ms). p-Hines metodë paralele në CoreNEURON (në GPU), metodë paralele me bazë degë (në GPU), DHS metodë hierarkike planifikimi Dendritik (në GPU). a b c d c e f g h g i Gjatë dekadave të fundit, është arritur një përparim i madh në përshpejtimin e metodës Hines duke përdorur metoda paralele në nivel qelizor, e cila mundëson paralelizimin e llogaritjes së pjesëve të ndryshme në çdo qelizë. , , , , , Megjithatë, metodat aktuale paralele në nivel qelizor shpesh nuk kanë një strategji efikase paralelizimi ose nuk kanë saktësi të mjaftueshme numerike në krahasim me metodën origjinale Hines. 27 28 29 30 31 32 Këtu, ne zhvillojmë një mjet tërësisht automatik, numerikisht të saktë dhe të optimizuar të simulimit që mund të përshpejtojë ndjeshëm efikasitetin e llogaritjes dhe të zvogëlojë koston e llogaritjes. Përveç kësaj, ky mjet i simulimit mund të adoptohet pa probleme për krijimin dhe testimin e rrjeteve neurale me detaje biologjike për aplikimet e mësimit automatik dhe AI. Kritike, ne formulojmë llogaritjen paralele të metodës Hines si një problem programimi matematikor dhe gjenerojmë një metodë Dendritic Hierarchical Scheduling (DHS) bazuar në optimizimin kombinator Teoria e kompjuterëve paralelë Ne demonstrojmë se algoritmi ynë siguron planifikim optimal pa ndonjë humbje të saktësisë. Për më tepër, ne kemi optimizuar DHS për çipin GPU më të avancuar aktualisht duke shfrytëzuar hierarkinë e kujtesës GPU dhe mekanizmat e qasjes së kujtesës. ) krahasuar me simulator klasik NEURON duke ruajtur saktësinë e njëjtë. 33 34 1 25 Për të mundësuar simulime të detajuara dendritike për përdorim në AI, ne më pas krijojmë kornizën DeepDendrite duke integruar platformën CoreNEURON (një motor kompjuterik i optimizuar për NEURON) të integruar me DHS. si motor simulimi dhe dy module ndihmëse (moduli I/O dhe moduli i të mësuarit) që mbështesin algoritmet e të mësuarit dendrik gjatë simulimeve. DeepDendrite punon në platformën hardware GPU, duke mbështetur si detyrat e rregullta të simulimit në neuroscience dhe detyrat e të mësuarit në AI. 35 Së fundi, por jo më pak, ne gjithashtu prezantojmë disa aplikacione duke përdorur DeepDendrite, duke synuar disa sfida kritike në neuroscience dhe AI: (1) Ne demonstrojmë se si modelet hapësinore të hyrjeve dendritike të shpinës ndikojnë në aktivitetet neuronale me neurone që përmbajnë shpinës në të gjithë pemët dendritike (modele të plotë-shpinës). DeepDendrite na mundëson të eksplorojmë llogaritjen neuronale në një model të simuluar të neuroneve piramidale njerëzore me ~25,000 shpinës dendritike. (2) Në diskutim ne gjithashtu e konsiderojmë potencialin e DeepDendrite në kontekstin e AI, në veçanti, në krijimin e ANN-ve me neurone piramidale njerëzore morfologjikisht të detajuara. I gjithë kodi burimor për DeepDendrite, modelet e plotë të shtyllës dhe modeli i detajuar i rrjetit dendritik janë në dispozicion publikisht në internet (shih Kodin e Disponueshmërisë). korniza jonë e mësimit me burim të hapur mund të integrohet lehtësisht me rregulla të tjera të mësimit dendritik, të tilla si rregullat e mësimit për dendritet jo-lineare (plotësisht aktive) Plasticizmi sinaptik i varur nga shpërthimi , dhe të mësojnë me parashikimin spike Në përgjithësi, studimi ynë ofron një grup të plotë të mjeteve që kanë potencialin për të ndryshuar ekosistemin aktual të komunitetit të neuroshkencave kompjuterike.Me shfrytëzimin e fuqisë së kompjuterizimit GPU, ne parashikojmë se këto mjete do të lehtësojnë eksplorimet në nivel sistemik të parimeve kompjuterike të strukturave të vogla të trurit, si dhe promovimin e ndërveprimit midis neuroshkencës dhe AI moderne. 21 20 36 Rezultatet Metoda e planifikimit hierarkik dendrik (DHS) Llogaritja e rrymave jonike dhe zgjidhja e ekuacioneve lineare janë dy faza kritike kur simulohen neuronet e detajuara biofizikisht, të cilat janë të kohës dhe paraqesin ngarkesa të rënda kompjuterike. Si pasojë, zgjidhja e ekuacioneve lineare bëhet pika e mbetur për procesin e paralelizimit (Fig. ) të 37 1a – f Për të adresuar këtë pengesë, janë zhvilluar metoda paralele në nivel qelizor, të cilat përshpejtojnë llogaritjen e qelizave të vetme duke “shpërndarë” një qelizë të vetme në disa dhoma që mund të llogariten paralelisht. , , Megjithatë, metodat e tilla mbështeten shumë në njohuritë e mëparshme për të gjeneruar strategji praktike se si të ndahet një neuron i vetëm në dhoma (Fig. • Figura shtesë. Prandaj, ajo bëhet më pak efikase për neuronet me morfologji asimetrike, p.sh., neuronet piramidale dhe neuronet Purkinje. 27 28 38 1g e 1 Ne synojmë të zhvillojmë një metodë paralele më efikase dhe të saktë për simulimin e rrjeteve neurale biologjikisht të detajuara. Së pari, ne përcaktojmë kriteret për saktësinë e një metode paralele në nivel qelizor. , ne propozojmë tre kushte për të siguruar që një metodë paralele do të japë zgjidhje identike si metoda e llogaritjes serike Hines sipas varësisë së të dhënave në metodën Hines (shih Metodat). Pastaj për të vlerësuar teorikisht kohën e drejtimit, dmth, efikasitetin, të metodave të llogaritjes serike dhe paralele, ne prezantojmë dhe formulojmë konceptin e kostos llogaritëse si numri i hapave që një metodë merr në zgjidhjen e ekuacioneve (shih Metodat). 34 Bazuar në saktësinë e simulimit dhe koston e llogaritjes, ne formulojmë problemin e paralelizimit si një problem programimi matematikor (shih Metodat). Në terma të thjeshtë, ne shohim një neuron të vetëm si një pemë me shumë nyje (pjesë). paralele, ne mund të llogarisim në maksimum Ne duhet të sigurohemi që një nyje të llogaritet vetëm nëse të gjitha nyjet e saj të fëmijëve janë përpunuar; qëllimi ynë është të gjejmë një strategji me numrin minimal të hapave për të gjithë procedurën. k k Për të gjeneruar një ndarje optimale, ne propozojmë një metodë të quajtur Dendritic Hierarchical Scheduling (DHS) (prova teorike është paraqitur në metodat). Metoda DHS përfshin dy hapa: analizimin e topologjisë dendritike dhe gjetjen e ndarjes më të mirë: (1) Duke dhënë një model të detajuar, ne së pari marrim pemën përkatëse të varësisë dhe llogarisim thellësinë e çdo nyje (thellësia e një nyje është numri i nyjeve të paraardhësve të saj) në pemë (Fig. (2) Pas analizës së topologjisë, ne kërkojmë kandidatët dhe zgjedhim më së shumti nodet më të thella kandidate (një nod është një kandidat vetëm nëse të gjitha nodet e fëmijëve të tij janë përpunuar).Kjo procedurë përsëritet derisa të gjitha nodet janë përpunuar (Fig. ) të 2a 2B dhe C k 2D Procesi i punës: DHS kandidati më i thellë nodes çdo iterim. Ilustrim i llogaritjes së thellësisë së nyjeve të një modeli të ndarjes. modeli konvertohet së pari në një strukturë pemë, pastaj thellësia e secilit nyje llogaritet. Ngjyrat tregojnë vlera të ndryshme të thellësisë. Analiza e topologjisë në modele të ndryshme neuronale. Gjashtë neurone me morfologji të ndryshme janë treguar këtu. Për çdo model, soma është zgjedhur si rrënjë e pemës në mënyrë që thellësia e nodit rritet nga soma (0) në dendritet distale. Ilustrimi i kryerjes së DHS në modelin në me katër fije. Kandidatët: nodet që mund të përpunohen. Kandidatët e përzgjedhur: nodet që zgjidhen nga DHS, d.m.th. Kandidatët më të thellë: nodet e përpunuara: nodet që janë përpunuar më parë. Strategjia e paralelizimit e fituar nga DHS pas procesit në DHS redukton hapat e përpunimit të nodeve serike nga 14 në 5 duke shpërndarë nyjet në fije të shumta. Kostoja relative, d.m.th. përqindja e kostos së llogaritjes së DHS në atë të metodës seriale Hines, kur aplikohet DHS me numra të ndryshëm të fijeve në lloje të ndryshme të modeleve. a k b c d b k e d f Merrni një model të thjeshtuar me 15 dhoma si shembull, duke përdorur metodën e llogaritjes serike Hines, ajo merr 14 hapa për të përpunuar të gjitha nyjet, ndërsa duke përdorur DHS me katër njësitë paralele mund të ndajë nyjet e saj në pesë nënseta (Fig. Për shkak se nyjet në të njëjtin nënset mund të përpunohen paralelisht, nevojiten vetëm pesë hapa për të përpunuar të gjitha nyjet duke përdorur DHS (Fig. ) të 2D 2e Tjetra, ne aplikojmë metodën DHS në gjashtë modele përfaqësuese të neuroneve të detajuara (zgjedhur nga ModelDB ) me numra të ndryshëm të thread (Fig. ): duke përfshirë neuronet piramidale kortikale dhe hipokampale , , Cerebellar Purkinje Neuronët Neuronet e projektimit striatal (SPN) ), dhe qelizat mitrale të llambës olfactory , duke mbuluar neuronet kryesore kryesore në zonat sensorike, kortikale dhe subkortikale. Ne pastaj matëm koston kompjuterike. Kostoja relative kompjuterike këtu përcaktohet nga përqindja e kostos kompjuterike të DHS në atë të metodës serike Hines. Kostoja kompjuterike, dmth numri i hapave të marra në zgjidhjen e ekuacioneve, bie në mënyrë dramatike me rritjen e numrit të fijeve. Për shembull, me 16 fije, kostoja kompjuterike e DHS është 7%-10% në krahasim me metodën serike Hines. Intriguese, metoda DHS arrin kufijtë më të ulët të kostos kompjuterike të tyre për neuronet e paraqitura kur jepet 16 ose edhe 8 fije paralele (Figura. ), duke sugjeruar shtimin e më shumë fushave nuk përmirëson performancën më tej për shkak të varësive midis ndarjeve. 39 2f 40 41 42 43 44 45 2f Së bashku, ne gjenerojmë një metodë DHS që mundëson analizën e automatizuar të topologjisë dendritike dhe ndarjen optimale për llogaritjen paralele. Vlen të theksohet se DHS gjeneron ndarjen optimale para se të fillojë simulimi dhe nuk nevojitet llogaritje shtesë për të zgjidhur ekuacionet. Speeding up DHS by GPU memory boosting DHS llogarit çdo neuron me fusha të shumëfishta, të cilat konsumojnë një sasi të madhe të fushave kur drejtimin e simulimeve të rrjetit nervor. Graphics Processing Units (GPUs) përbëhen nga njësitë masive të përpunimit (p.sh., procesorët streaming, SPs, Fig. Për kompjuterin paralel Në teori, shumë SPs në GPU duhet të mbështesin simulimin efikas për rrjetet neurale në shkallë të gjerë (Fig. Megjithatë, ne kemi vërejtur vazhdimisht se efikasiteti i DHS u zvogëlua ndjeshëm kur madhësia e rrjetit u rrit, e cila mund të rezultojë nga ruajtja e shpërndarë e të dhënave ose qasja shtesë e kujtesës e shkaktuar nga ngarkimi dhe shkrimi i rezultateve të ndërmjetme (Fig. në të majtë). 3a, b të 46 3C 3D Arkitektura GPU dhe hierarkinë e kujtesës së saj. Çdo GPU përmban njësi masive të përpunimit (procesorët e rrymës). Llojet e ndryshme të kujtesës kanë kalim të ndryshëm. Architecture of Streaming Multiprocessors (SMs). Çdo SM përmban shumë procesorë të transmetimit, regjistra dhe cache L1. Aplikimi DHS në dy neurone, secili me katër fije.Gjatë simulimit, secili fije ekzekuton në një procesor rrjedhë. Strategjia e optimizimit të kujtesës në GPU. paneli i sipërm, caktimi i fijeve dhe ruajtja e të dhënave të DHS, para (me të majtë) dhe pas (me të djathtë) përforcimit të kujtesës. Procesorët dërgojnë një kërkesë të të dhënave për të ngarkuar të dhënat për çdo fije nga kujtesa globale.Pa rritjen e kujtesës (e majtë), nevojiten shtatë transaksione për të ngarkuar të gjitha të dhënat e kërkesës dhe disa transaksione shtesë për rezultate të ndërmjetme.Me rritjen e kujtesës (e djathtë), nevojiten vetëm dy transaksione për të ngarkuar të gjitha të dhënat e kërkesës, regjistrat përdoren për rezultate të ndërmjetme, të cilat përmirësojnë më tej prodhimin e kujtesës. Koha e drejtimit të DHS (32 fije në çdo qelizë) me dhe pa përforcimin e kujtesës në modelet e piramidës me shtresë të shumëfishtë 5. Përshpejtimi i përforcimit të kujtesës në modelet e piramidës me shtresë të shumëfishtë 5 me spirale. a b c d d e f Ne e zgjidhim këtë problem duke rritur kujtesën e GPU-së, një metodë për të rritur transmetimin e kujtesës duke përdorur hierarkinë e kujtesës së GPU-së dhe mekanizmin e qasjes.Bazuar në mekanizmin e ngarkimit të kujtesës të GPU-së, fije të njëpasnjëshme të ngarkimit të të dhënave të rregulluara dhe të ruajtura në mënyrë të rradhës çojnë në një transmetim të lartë të kujtesës në krahasim me aksesin e të dhënave të ruajtura nga shpërndarja, gjë që zvogëlon transmetimin e kujtesës. , Për të arritur një përhapje të lartë, së pari i rregullojmë urdhërat kompjuterike të nyjeve dhe riorganizojmë telat sipas numrit të nyjeve në to. Pastaj permutojmë ruajtjen e të dhënave në kujtesën globale, në përputhje me urdhrat kompjuterike, d.m.th. nyjet që përpunohen në të njëjtin hap ruhen në mënyrë të rradhës në kujtesën globale. Për më tepër, ne përdorim regjistret GPU për të ruajtur rezultatet e ndërmjetme, duke forcuar më tej përhapjen e kujtesës.Shembulli tregon se përforcimi i kujtesës merr vetëm dy transaksione të kujtesës për të ngarkuar tetë të dhëna kërkese (Fig. Për më tepër, eksperimentet në numrat e shumëfishtë të neuroneve piramidale me spines dhe modelet tipike të neuroneve (Fig. • Figura shtesë. ) tregojnë se rritja e kujtesës arrin një përshpejtim 1.2-3.8 herë në krahasim me DHS naive. 46 47 3D 3 e, f 2 Për të testuar në mënyrë gjithëpërfshirëse performancën e DHS me përforcimin e kujtesës GPU, ne zgjedhim gjashtë modele tipike të neuroneve dhe vlerësojmë kohën e drejtimit të zgjidhjes së ekuacioneve të kabllove në numrat masivë të secilit model (Fig. Ne shqyrtuam DHS me katër fije (DHS-4) dhe gjashtëmbëdhjetë fije (DHS-16) për secilin neuron, respektivisht. krahasuar me metodën GPU në CoreNEURON, DHS-4 dhe DHS-16 mund të përshpejtojë rreth 5 dhe 15 herë, respektivisht (Fig. Për më tepër, në krahasim me metodën konvencionale seriale Hines në NEURON duke punuar me një single-thread të CPU, DHS përshpejton simulimin me 2-3 urdhra të madhësisë (Figura shtesë. ), duke ruajtur saktësinë identike numerike në prani të spines të dendura (Figs Supplementary. dhe ), dendritë aktive (Fig. ) dhe strategjitë e ndryshme të segmentimit (Fig. ) të 4 4a 3 4 8 7 7 Koha e drejtimit e zgjidhjes së ekuacioneve për një simulim 1 s në GPU (dt = 0.025 ms, 40,000 iterime në total). CoreNEURON: metoda paralele e përdorur në CoreNEURON; DHS-4: DHS me katër fije për çdo neuron; DHS-16: DHS me 16 fije për çdo neuron. të Vizualizimi i ndarjes nga DHS-4 dhe DHS-16, çdo ngjyrë tregon një fije të vetme. a b c DHS krijon ndarjen optimale specifike për llojin e qelizës Për të fituar njohuri në mekanizmin e punës së metodës DHS, ne vizualizuam procesin e ndarjes duke hartuar hapësirat në çdo fije (çdo ngjyrë paraqet një fije të vetme në figurë. Vizualizimi tregon se një fije e vetme shpesh kalon midis degëve të ndryshme (Fig. Interesant, DHS gjeneron ndarjet e rregulluara në neuronet morfologjikisht simetrike të tilla si neuroni i projektimit striatal (SPN) dhe qeliza mitrale (Fig. Përkundrazi, ajo gjeneron ndarje të fragmenteve të neuroneve morfologjikisht asimetrike si neuronet piramidale dhe qeliza Purkinje (Fig. ), duke treguar se DHS ndan pemën neurale në shkallën e ndarjes individuale (p.sh., nod i pemës) në vend të shkallës së degëve. 4B dhe C 4B dhe C 4B dhe C 4B dhe C Në përmbledhje, DHS dhe përforcimi i kujtesës gjenerojnë një zgjidhje optimale teorikisht të provuar për zgjidhjen e ekuacioneve lineare në paralel me efikasitet të paprecedent. Duke përdorur këtë parim, ne kemi ndërtuar platformën e qasjes së hapur DeepDendrite, e cila mund të përdoret nga neuroshkencëtarët për të zbatuar modele pa ndonjë njohuri specifike të programimit GPU. Më poshtë, ne demonstrojmë se si mund të përdorim DeepDendrite në detyrat e neuroshkencës. Ne gjithashtu diskutojmë potencialin e kornizës DeepDendrite për detyrat e lidhura me AI në seksionin e diskutimeve. DHS mundëson modelimin e nivelit të shpinë Meqenëse shtyllat dendritike marrin shumicën e hyrjes eksituese në neuronet piramidale kortikale dhe hipokampale, neuronet e projektimit striatal, etj., morfologjitë dhe plasticiteti i tyre janë vendimtarë për rregullimin e eksitueshmërisë neuronale , , , , Megjithatë, spiralet janë shumë të vogla (~ 1 μm gjatësi) për t'u matur drejtpërdrejt eksperimentalisht në lidhje me proceset e varura nga tensioni. 10 48 49 50 51 Ne mund të modelojmë një shpinë të vetme me dy dhoma: kokën e shpinë ku ndodhen sinapset dhe qafën e shpinë që lidh kokën e shpinë me dendritet. Teoria parashikon se qafë shumë e hollë e shtyllës kurrizore (0.1-0.5 um në diametër) izolon elektronikisht kokën e shtyllës kurrizore nga dendriti i saj prindëror, duke ndarë kështu sinjalet e gjeneruara në kokën e shtyllës kurrizore. Megjithatë, modeli i detajuar me spirale plotësisht të shpërndara në dendritë (“modeli i plotë i kurrizit”) është kompjuterikisht shumë i shtrenjtë. Një zgjidhje e zakonshme kompromisuese është të modifikohet kapaciteti dhe rezistenca e membranës me një Faktorët spinaq Në vend që të përpiqemi t’i shqyrtojmë të gjitha gjërat në mënyrë të qartë, këtu faktori i shtyllës kurrizore synon të afrojë efektin e shtyllës kurrizore në pronat biofizike të membranës qelizore . 52 53 F 54 F 54 Frymëzuar nga puna e mëparshme e Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. Këto rezultate tregojnë se metoda konvencionale F-faktor mund të nënvlerësojë ndikimin e shpinë të dendur në llogaritjet e eksitim dendritike dhe jo-linearity. 51 5a F 5a F 5b, c 5D 5D 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Tensionet somatike të regjistruara për rastet në Ngjyrat e kurbës së tensionit korrespondojnë me Bar shkallë: 20 ms, 20 mV Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in Zhurma e sfondit është e lidhur. Run time of experiments in me metoda të ndryshme simulimi. NEURON: simulator konvencional NEURON që funksionon në një bërthamë të vetme CPU. CoreNEURON: simulator CoreNEURON në një GPU të vetme. DeepDendrite: DeepDendrite në një GPU të vetme. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. Tabela shtesë ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion Në këtë punë, ne propozojmë metodën DHS për të paralelizuar llogaritjen e metodës Hines dhe ne demonstrojmë matematikisht se DHS ofron një zgjidhje optimale pa ndonjë humbje të saktësisë. Tjetra, ne zbatojmë DHS në platformën hardware GPU dhe përdorim teknikat e përforcimit të kujtesës GPU për të përmirësuar DHS (Fig. Kur simulohet një numër i madh i neuroneve me morfologji komplekse, DHS me përforcimin e kujtesës arrin një përshpejtim 15 herë (Tabela shtesë). ) në krahasim me metodën GPU të përdorur në CoreNEURON dhe deri në 1500-fish përshpejtim në krahasim me metodën seriale Hines në platformën CPU (Fig. ; Supplementary Fig. Tavolinë shtesë ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , Me metodat e nivelit të rrjetit, ne mund të simulojmë rrjete të detajuara në klasa ose superkompjuterë Në vitet e fundit, GPU është përdorur për simulim të detajuar të rrjetit.Për shkak se GPU përmban njësitë masive të llogaritjes, një fije zakonisht caktohet një qelizë në vend të një grupi qelizash. , , Me optimizimin e mëtejshëm, metodat e bazuara në GPU arrijnë efikasitet shumë më të lartë në simulimin e rrjetit. megjithatë, llogaritja brenda qelizave është ende serial në metodat në nivelin e rrjetit, kështu që ata ende nuk mund të merren me problemin kur "matrica Hines" e secilës qelizë shkallë të madhe. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Spinat dendritike janë mikrostrukturat më të bollshme në tru për neuronet e projektimit në kortik, hipokamp, cerebellum dhe ganglia bazale. Ndërsa spinat marrin shumicën e hyrjeve excitatory në sistemin nervor qendror, sinjalet elektrike të gjeneruara nga spinat janë forca kryesore për aktivitetet neuronale në shkallë të gjerë në para-cerebrain dhe cerebellum. , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , Për shkak të një impedance të tillë të lartë të hyrjes, një hyrje e vetme sinaptike mund të nxisë një EPSP "gigant" (~ 20 mV) në nivelin e shpinë-kokës , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Korteksit somatosensorik , Motorët Cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Një tjetër çështje kritike është se si të lidhen dendritet me funksionet e trurit në nivelin e sistemeve / rrjetit.Ka qenë e vendosur mirë se dendritet mund të kryejnë llogaritje gjithëpërfshirëse në hyrjet sinaptike për shkak të kanaleve të pasuruar jonike dhe pronave lokale të membranës biofizike , , Për shembull, neuronet piramidale kortikale mund të kryejnë integrimin sinaptik sublinear në dendritin proksimal, por gradualisht kalojnë në integrimin supralinear në dendritin distal. . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, e cila mund të ofrojë operacione të ndryshme logjike , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , dhe navigimi hapësinor në rajonin e hipokampit CA1 . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Puna e kohëve të fundit në zbulimin e rolit dendritik në mësimin specifik të detyrave ka arritur rezultate të jashtëzakonshme në dy drejtime, domethënë zgjidhja e detyrave sfiduese të tilla si grupi i të dhënave të klasifikimit të imazhit ImageNet me rrjetet e thjeshtuara dendritike. , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Për më tepër, modelet më të detajuara të neuroneve janë më pak matematikisht të trajtueshme dhe kompjuterikisht të shtrenjta. . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. Tabela shtesë ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Fluksi i punës i eksperimentit të sulmit të kundërshtarit të transferimit. Ne së pari gjenerojmë mostrat e kundërshtarit të testit të vendosur në një ResNet 20 shtresë. Pastaj përdorni këto mostra të kundërshtarit (imazhet e zhurmshme) për të testuar saktësinë e klasifikimit të modeleve të trajnuar me imazhe të pastra. Parashikimi i saktësisë së secilit model në mostrat kundërshtare pas trajnimit 30 epokë në MNIST (e majtë) dhe Fashion-MNIST (e djathtë) dataset. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks - ndërhyrjet e projektuara qëllimisht të dizajnuara për të mashtruar ANNs. Intriguese, një hipotezë ekzistuese sugjeron se dendritet dhe sinapset mund të mbrojnë nga lindja kundër sulmeve të tilla . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. Kjo dëshmi nënkupton se vetitë biofizike inherente të dendritëve mund të jenë thelbësore në rritjen e qëndrueshmërisë së ANN-ve kundër ndërhyrjes kundërshtare. megjithatë, është thelbësore të kryhen studime të mëtejshme për të validuar këto gjetje duke përdorur grupe të dhënash më sfiduese si ImageNet . 93 56 94 95 96 3D dhe E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( Përdorni neuronin architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu Opsionet e përdorimit janë si në tavolinë . 1 Accuracy of the simulation using cellular-level parallel computation Për të siguruar saktësinë e simulimit, së pari duhet të përcaktojmë saktësinë e një algoritmi paralel në nivel qelizor për të gjykuar nëse do të gjenerojë zgjidhje identike në krahasim me metodat e provuara të sakta seriale, si metoda Hines e përdorur në platformën e simulimit NEURON. , një algoritëm paralel do të japë një rezultat të njëjtë si algoritmi i tij serik përkatës, nëse dhe vetëm nëse rendi i procesit të të dhënave në algoritmin paralel është në përputhje me varësinë e të dhënave në metodën serike. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Bazuar në varësinë e të dhënave të metodës së llogaritjes serike Hines, ne propozojmë tre kushte për të siguruar që një metodë paralele do të japë zgjidhje identike si metoda e llogaritjes serike Hines: (1) Morfologjia e pemës dhe vlerat fillestare të të gjitha nyjeve janë identike me ato në metodën e llogaritjes serike Hines; (2) Në fazën e triangularizimit, një nyje mund të përpunohet nëse dhe vetëm nëse të gjitha nyjet e fëmijëve të saj janë tashmë të përpunuara; (3) Në fazën e zëvendësimit mbrapa, një nyje mund të përpunohet vetëm nëse nyja e saj prindërore është tashmë e përpunuar. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into nënshtrimit, përkatësisht = { të , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: të → … → , dhe nodes në të njëjtin subset can be processed in parallel. So, we define | (Madhësia e setit të Në të vërtetë, here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi të V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Me një pemë = { të Një integrale pozitive Ku të is the node-set and is the edge set. Define partition ( ) = të të , ... }, | | ≤ 1 ≤ ≤ n, ku n | indicates the cardinal number of subset , d.m.th. numri i nyjeve në , and for each node ∈ Të gjithë fëmijët e saj nodes { | ∈children( )} must in a previous subset , where 1 ≤ » . Our goal is to find an optimal partition ( Cilat janë shpenzimet kompjuterike ( )| is minimal. T V E k V E P V V1 V2 Vn Vi të k i Vi të Vi të Vi v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { Shqiptarët Të rinjtë ( duhet të jetë në një subset të mëparshëm , ku 1 ≤ » Kjo tregon se ky node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation Ne synojmë të gjejmë një mënyrë optimale për të paralelizuar llogaritjen e zgjidhjes së ekuacioneve lineare për çdo model neuronal duke zgjidhur problemin e programimit matematikor më sipër. ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ është caktuar për një nënshtetësi: (1) gjeni të gjitha nyjet e kandidatit dhe vendosni këto nyje në grupin e kandidatit . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | Qëndrimi ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset Etiketoni këto nyje si nyje të përpunuara (Fig. ). After filling in subset , shkoni në hapin (1) për të plotësuar nëntokën e ardhshme . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Prova e saktësisë për DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … Në të vërtetë, | ≤ , 1 ≤ ≤ Node në të njëjtin subset do të llogaritet në mënyrë paralele, duke marrë Ne pastaj demonstrojmë se riorganizimi i llogaritjes në DHS do të rezultojë në një rezultat identike me metodën serial Hines. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) marrë nga DHS vendos rendin e llogaritjes së të gjitha nyjeve në një pemë neurale. më poshtë ne demonstrojmë se rendin e llogaritjes të përcaktuar nga ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi të V1 V2 të Vi-1 Vn v1 të Vi v1 të V2 Vi-1 Vi Vi+1 Vi+2 Vn Prova optimale për DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Për secilën pjesë në ( DHS lëviz (numri i fije) nyjet më të thella nga grupi i kandidatëve përkatës dy Nëse numri i kornizave në është më i vogël se Për të lëvizur të gjitha nodes nga dy Për të thjeshtësuar, ne prezantojmë duke treguar thellësinë e më të thellë në Të gjitha nënshkrimet në ( ) plotësojnë kriteret e thellësisë maksimale (Fig. Ne pastaj provojmë se zgjedhja e nyjeve më të thella në çdo iterim bën që Nëse ekziston një ndarje optimale = të të , ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( (Të gjitha pjesët përbëhen nga pjesët më të thella të and the number of subsets ( | ( )|) remain the same after modification. Vi të P V k Qi Vi të Qi k Qi Vi të në k Qi P V 6a P(V) të P * (V) V * 1 V * 2 v * s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in Nuk janë të më të thellë në . V*i V*i V * i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make Përmbushja e kritereve (Fig. , top). For case (2), | Gjirokastër = , these deeper nodes that are not moved from the candidate set Në duhet të përfshihen në nënsetet e mëvonshme (Fig. , bottom). These deeper nodes can be moved from subsequent subsets to duke përdorur metodën e mëposhtme. supozoni se pas plotësimit të , is picked and one of the -th deepest nodes Është ende në , thus do të vendoset në një pjesë të mëvonshme ( > ). We first move nga dy + të Ndryshimi i nënshkrimit + as follows: if | + të | ≤ Asnjë nga këndet në + të is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + të Lëvizni këtë node prindërore në + ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … me të njëjtën strategji. më në fund, lëviz from dy . V * i V*i < k V * i V * i 6b V * i k Qi V*i 6B V*i V * i v k v’ Qi v’ V*j j i v V * i V * i 1 V*i 1 V*i 1 k V * i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 Përgjigje: J1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in Me të -th deepest node in dhe mbani numrin e nënseteve, dmth. ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) mund të plotësojë kriteret e thellësisë maksimale, dhe ( )| does not change after modifying. V*i k Qi P* V P * V V*i P * V P* V Në përfundim, DHS gjeneron një ndarje ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) të njëjtën gjë pas modifikimit. kështu, ndarja ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P* V P V P* V | P V Implementimi i GPU dhe përforcimi i kujtesës Për të arritur transmetim të lartë të kujtesës, GPU përdor hierarkinë e kujtesës së (1) kujtesës globale, (2) cache, (3) regjistrit, ku kujtesa globale ka kapacitet të madh, por transmetim të ulët, ndërsa regjistrat kanë kapacitet të ulët, por transmetim të lartë. GPU përdor SIMT (Single-Instruction, Multiple-Thread) arkitekturë. Warps janë njësitë themelore të planifikimit në GPU (një warp është një grup i 32 telave paralele). Një warp ekzekuton të njëjtën komandë me të dhëna të ndryshme për tela të ndryshme Rregullimi i saktë i nyjeve është thelbësor për këtë grumbullim të llogaritjes në varps, për të siguruar që DHS merr rezultate identike si metoda seriale Hines. Kur zbatojmë DHS në GPU, ne së pari grupojmë të gjitha qelizat në varps të shumta bazuar në morfologjitë e tyre. Qelizat me morfologji të ngjashme janë të grupuara në të njëjtën varp. Ne pastaj aplikojmë DHS në të gjithë neuronet, duke caktuar ndarjet e secilit neuron në fusha të shumëfishta. Për shkak se neuronet janë të grupuara në varps, fiset për të njëjtin neuron janë në të njëjtën varp. Prandaj, sinkronizimi i brendshëm në varps mban rendin e llogaritjes në përputhje me varësinë e të dh 46 Kur një varp ngarkon të dhënat e para-rregulluara dhe të ruajtura rrjedhimisht nga kujtesa globale, ajo mund të përdorë plotësisht cache-in, gjë që çon në kalimin e lartë të kujtesës, ndërsa qasja në të dhënat e ruajtura në shkëputje do të zvogëlojë kalimin e kujtesës. Pas ndarjes së ndarjeve dhe riorganizimit të fushave, ne permutojmë të dhënat në kujtesën globale për ta bërë atë në përputhje me urdhrat e llogaritjes në mënyrë që varpët të mund të ngarkojnë të dhënat e ruajtura rrjedhimisht kur ekzekutojnë programin. Modelet biofizike të shpinës së plotë dhe të shpinës së vogël We used the published human pyramidal neuron Kapaciteti i membranës m = 0.44 μF cm-2, rezistenca e membranës m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. Në këtë model, të gjitha dendritet janë modeluar si kabllo pasive ndërsa somat ishin aktive. l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV K = -102 mV respektivisht. të gjithë këta parametra specifikë u vendosën në të njëjtën mënyrë si në modelin e Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 Në modelin e disa shtyllave, kapaciteti i membranës dhe konduktiviteti maksimal i rrjedhjes së kabllove dendritike 60 μm larg nga soma u shumëzuan me një spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Dendësia e shtyllës kurrizore u vendos në 1.3 μm-1, dhe çdo qelizë përmbante 24994 spines në dendrites 60 μm larg nga soma. 51 Morfologjitë dhe mekanizmat biofizikë të shtyllave ishin të njëjta në modelet me pak shtyllë dhe plot shtyllë. qafë = 1.35 μm dhe diametri qafë = 0.25 μm, ndërsa gjatësia dhe diametri i kokës kurrizore ishte 0.944 μm, dmth, zona e kokës kurrizore u vendos në 2.8 μm2. = -86 mV. kapaciteti specifik i membranës, rezistenca e membranës dhe rezistiviteti axial ishin të njëjta si ato për dendritet. L D El Synaptic hyrje Ne hetuam excitabilitetin neuronal për të dy hyrjet e shpërndara dhe të grumbulluara sinaptik. Të gjitha sinapset e aktivizuara ishin të lidhura me terminalin e kokës kurrizore. Për hyrjet e shpërndara, të gjitha sinapset e aktivizuara ishin të shpërndara rastësisht në të gjitha dendritet. Për hyrjet e grumbulluara, çdo grumbull përbëhej nga 20 sinapse të aktivizuara që ishin të shpërndara në mënyrë të barabartë në një dhomë të vetme të zgjedhur rastësisht. Të gjitha sinapset u aktivizuan njëkohësisht gjatë simulimit. AMPA-bazuar dhe NMDA-bazuar rrymat sinaptikë janë simuluar si në punën e Eyal et al. AMPA konduktiviteti është modeluar si një funksion të dyfishtë eksponenciale dhe NMDA konduktiviteti si një funksion të dyfishtë eksponenciale tensioni-dependent. ngritje dhe shkatërrimi janë vendosur në 0.3 dhe 1.8 ms. Për modelin NMDA, ngritje dhe shkëputja u vendosën në 8.019 dhe 34.9884 ms, respektivisht. τ τ τ τ Zhurma e sfondit Ne lidhëm zhurmën e sfondit në secilën qelizë për të simuluar një mjedis më realist. modelet e zhurmës u zbuluan si trenat e pikave të Poisson me një normë konstante prej 1.0 Hz. Çdo model filloi në fillimi = 10 ms dhe zgjati deri në fund të simulimit. Ne gjenerojmë 400 trena të zhurmës për secilën qelizë dhe i lidhim ato me sinapset e zgjedhura rastësisht. , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability Ne hetuam probabilitetin e pikës kur shumë sinapse u aktivizuan në të njëjtën kohë. Për hyrjet e shpërndara, ne testuam 14 raste, nga 0 deri në 240 hyrje të aktivizuara. Për hyrjet e grumbulluara, ne testuam 9 raste në total, duke aktivizuar nga 0 deri në 12 grumbullime respektivisht. Çdo grumbull përbëhej nga 20 sinapse. Për çdo rast në të dy hyrjet e shpërndara dhe të grumbulluara, ne llogaritëm probabilitetin e pikës me 50 mostra të rastësishme. probabiliteti i pikës u përcaktua si raport i numrit të neuroneve të lëshuara me numrin e përgjithshëm të mostrave. Të gjitha 1150 mostrat u simuluan njëkohësisht në platformën tonë DeepDendrite, duke zvogëlu Zbatimi i detyrave të AI me platformën DeepDendrite Simulatorët konvencionalë të detajuar të neuroneve nuk kanë dy funksionalitete të rëndësishme për detyrat moderne të AI: (1) duke kryer alternativisht simulime dhe përditësime të peshës pa ri-inicializim të rëndë dhe (2) duke përpunuar në të njëjtën kohë mostra të shumë stimujve në një mënyrë batch-like. DeepDendrite përbëhet nga tre module (Fig. ): (1) një modul I/O; (2) një modul simulimi i bazuar në DHS; (3) një modul mësimi. Kur trajnohet një model i detajuar biophysically për të kryer detyra të mësimit, përdoruesit së pari përcaktojnë rregullin e mësimit, pastaj ushqejnë të gjitha mostrat e trajnimit në modelin e detajuar për të mësuar. Në çdo hap gjatë trajnimit, moduli I/O zgjedh një stimul specifik dhe sinjalin e tij mësues (nëse është e nevojshme) nga të gjitha mostrat e trajnimit dhe lidh stimulimin me modelin e rrjetit. Pastaj, moduli i simulimit i bazuar në DHS fillon modelin dhe fillon simulimin. Pas simulimit, moduli i mësimit përditëson të gjitha peshat sinaptike sipas ndryshimit midis përgjigjeve të modelit dhe sin 5 HPC-Net model Klasifikimi i imazhit është një detyrë tipike në fushën e AI. Në këtë detyrë, një model duhet të mësojë të njohë përmbajtjen në një imazh të dhënë dhe të nxjerrë etiketën përkatëse. Këtu ne paraqesim HPC-Net, një rrjet i përbërë nga modele të detajuara të neuroneve piramidale njerëzore që mund të mësojnë të kryejnë detyra të klasifikimit të imazhit duke përdorur platformën DeepDendrite. HPC-Net ka tre shtresa, dmth, një shtresë hyrëse, një shtresë të fshehur, dhe një shtresë të daljes. Neuronet në shtresën e hyrjes marrin trena të konvertuara nga imazhet si hyrja e tyre. Neuronet e shtresës së fshehur marrin prodhimin e neuroneve të shtresës hyrëse dhe japin përgjigje ndaj neuroneve në shtresën e daljes. Përgjigjet e neuroneve të shtresës së daljes merren si prodhimi përfundimtar i HPC-Net. Neuronet midis shtresave fqinje janë plotësisht të lidhura. Për çdo stimulim i imazhit, së pari konvertojmë çdo pixel të normalizuar në një tren homogjen të pikës. ) në imazh, treni i përshtatshëm spike ka një interval të vazhdueshëm interspike Të gjitha ( ) (in ms) which is determined by the pixel value ( (siç tregohet në KQZ) ) të x, dhe τ x, dhe p x, dhe 1 Në eksperimentin tonë, simulimi për çdo stimul zgjati 50 ms. Të gjitha trenat e pikave filluan në 9 + ISI ms dhe zgjati deri në fund të simulimit. Pastaj ne i lidhëm të gjitha trenat spike në neuronet e shtresës së hyrjes në një mënyrë një-në-një. Është dhënë nga τ T0 të ku është tensioni post-sinaptik, potenciali i kthimit syn = 1 mV, konduktiviteti maksimal sinaptik max = 0.05 μS, and the time constant • 0.5 ms v E g τ Neuronet në shtresën e hyrjes u modeluan me një model pasiv me një ndarje të vetme. m = 1.0 μF cm-2, rezistenca e membranës m = 104 Ω cm2, axial resistivity a = 100 Ω cm, potencialin e kthimit të hapësirës pasive L = 0 mV c r r E Shtresa e fshehur përmban një grup të modeleve të neuroneve piramidale njerëzore, duke marrë tensionet somatike të neuroneve të shtresës së hyrjes. , dhe të gjitha neuronet u modeluan me kabllo pasive. kapaciteti specifik i membranës m = 1.5 μF cm-2, rezistenca e membranës m = 48,300 Ω cm2, rezistenca aksionale a = 261.97 Ω cm, dhe potencialin e kthimit të të gjitha kabllove pasive l = 0 mV. Neuronet e hyrjes mund të bëjnë lidhje të shumta me vende të zgjedhura rastësisht në dendritet e neuroneve të fshehura. Synapse e të Neuroni i hyrjes në neuron Përgjigje: Përgjigja është e përcaktuar në qartësi ( , ku is the synaptic conductance, është pesha sinaptike, është funksioni i aktivizimit somatik i ngjashëm me ReLU, dhe është tensioni somatik i Neurologji në kohë . 51 c r r E k i j 4 gijk Qyteti i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ) të 4 Klasifikimi i imazheve me HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation Ku të is the probability of -th klasë parashikuar nga HPC-Net, është tensioni mesatar somatik nga 20 ms në 50 ms e Neuroni i prodhimit, dhe Klasa me probabilitetin maksimal të parashikuar është rezultati përfundimtar i klasifikimit.Në këtë letër, ne kemi ndërtuar HPC-Net me 784 neurone hyrëse, 64 neurone të fshehura dhe 10 neurone të daljes. 6 Pi i i C Rregullat e plasticitetit sinaptik për HPC-Net Frymëzuar nga puna e mëparshme Për shembull, ne përdorim një rregull të mësimit të bazuar në gradient për të trajnuar rrjetin tonë HPC-Net për të kryer detyrën e klasifikimit të imazhit. , ku është probabiliteti i parashikuar për klasën , tregon klasën aktuale të cilës i përket imazhi i stimujve, = 1 if input image belongs to class dhe = 0 if not. 36 7 Pi i Yin Yin i Yin Kur trajnim HPC-Net, ne llogarisim përditësimin për peshë (Pesha sinaptike e Sinapsi që lidh neuronet Neuronët Pas simulimit të çdo stimuli i imazhi, është përditësuar siç tregohet në Eq. ( ) në : Qyteti k i j Wijk 8 Këtu është shkalla e mësimit, është vlera e përditësimit në kohë të të janë tensionet somatike të neuroneve dhe respektivisht , Është e Rrjedha sinaptike e aktivizuar nga neuroni Neuronë të its synaptic conductance, është rezistenca e transferimit midis Ndarja e lidhur e neuroneve Neuronë Dendriti në neuron në soma, s = 30 ms Në të njëjtën kohë, në të njëjtën periudhë mund të përfshihen edhe të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave, të dhënat e të dhënave ( Për shembull, në rastin e shkarkimit të të dhënave, të dhënat e të dhënave do të përcaktohen në mënyrë të barabartë me të dhënat e të dhënave të të dhënave ( ) të t Vj vi i j Ijakë k i j Gjakova Mbretëria k i j j t t 10 11 Meqenëse të gjitha neuronet e daljes janë të vetme, të barabarta me rezistencën e hyrjes së ndarjes përkatëse, rezistencat e transferimit dhe të hyrjes llogariten nga NEURON. Trajnimi mini-batch është një metodë tipike në mësimin e thellë për arritjen e saktësisë më të lartë të parashikimit dhe përshpejtimin e konvergencës. DeepDendrite gjithashtu mbështet trajnimin mini-batch. Batch, ne bëjmë kopje batch e HPC-Net. Gjatë trajnimit, çdo kopje ushqehet me një mostër të ndryshme të trajnimit nga batch. DeepDendrite së pari llogarit përditësimin e peshës për secilën kopje veçmas. Pasi të gjitha kopjet në batch aktuale të trajnimit janë bërë, përditësimi mesatar i peshës llogaritet dhe peshat në të gjitha kopjet përditësohen me të njëjtën sasi. N N Rezistencë ndaj sulmeve kundërshtare me HPC-Net Për të demonstruar qëndrueshmërinë e HPC-Net, ne testuam saktësinë e parashikimit të saj në mostrat e kundërshtarëve dhe e krahasuam atë me një ANN analog (një me të njëjtën strukturë 784-64-10 dhe aktivizimin e ReLU, për krahasim të drejtë në HPC-Net tonë çdo neuron hyrës bëri vetëm një lidhje sinaptike me çdo neuron të fshehur). Ne së pari stërvitëm HPC-Net dhe ANN me grupin origjinal të trajnimit (imazhet origjinale të pastra). Pastaj shtuam zhurmë kundërshtare në grupin e testimit dhe matëm saktësinë e tyre të parashikimit në grupin e testit të zhurmshëm. , për të gjeneruar zhurmë kundërshtare me metodën FGSM ANN u stërvit me PyTorch , dhe HPC-Net u trajnua me DeepDendrite tonë. Për drejtësi, ne krijuam zhurmë kundërshtare në një model rrjeti shumë të ndryshëm, një ResNet 20 shtresë Niveli i zhurmës shkoi nga 0.02 në 0.2.Ne eksperimentuam me dy grupe të dhënash tipike, MNIST dhe modës-MNIST Rezultatet tregojnë se saktësia e parashikimit të HPC-Net është 19% dhe 16.72% më e lartë se ajo e ANN analoge, respektivisht. 98 99 93 100 101 95 96 Raporti i përmbledhjes Informacione të mëtejshme në lidhje me projektin e kërkimit janë në dispozicion në Lidhur me këtë artikull. Raporti i Portfolios së Raportit të Natyrës Disponueshmëria e të dhënave Të dhënat që mbështesin gjetjet e këtij studimi janë në dispozicion brenda letrës, informacioneve shtesë dhe skedarëve të të dhënave burimore të ofruara me këtë letër. – janë në dispozicion në Dataset MNIST është i disponueshëm publikisht në Dataset Fashion-MNIST është i disponueshëm publikisht në të janë dhënë me këtë letër. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Burimi i të dhënave Code availability Kodi burimor i DeepDendrite, si dhe modelet dhe kodin e përdorur për të riprodhuar Figs. – Në këtë studim janë në dispozicion . 3 6 https://github.com/pkuzyc/DeepDendrite Referencë McCulloch, W. S. & Pitts, W. Një llogaritje logjike e ideve që janë të pranishme në aktivitetin nervor. LeCun, Y., Bengio, Y. & Hinton, G. Mësimi i thellë. Nature 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Aritmetika e përmbledhjes sinaptike nën prag në një qelizë piramidale model CA1. Londër, M. & Häusser, M. Llogaritja dendritike. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Fusha e vetme dendritike si një njësi funksionale themelore në sistemin nervor. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integrimi dendrik: 60 vjet progresi. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. Ndriçimi i funksionit dendritik me modele kompjuterike. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Spines dendritike si njësitë themelore funksionale të integrimit neuronal. natyra 375, 682-684 (1995). Engert, F. & Bonhoeffer, T. Ndryshimet dendritike të shtyllës kurrizore të lidhura me plasticitetin sinaptik afatgjatë hipokampal. natyra 399, 66-70 (1999). Yuste, R. Spines dendritike dhe qarqet e shpërndara. Neuron 71, 772–781 (2011). Yuste, R. Pjesëmarrja elektrike në shtyllat dendritike. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Rrafshimi i pemëve dendritike dhe rezistiviteti i membranës së motoneuroneve. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. Studimi kompjuterik i një shpinë dendritike excitable. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Zotërimi i lojës së ecjes me rrjetet neurale të thella dhe kërkimin e pemëve. Nature 529, 484–489 (2016). Silver, D. et al. Një algoritëm i përgjithshëm i mësimit të forcimit që zotëron shahun, shoghin dhe kalon nëpër vetë-lojë. McCloskey, M. & Cohen, N. J. Ndërhyrja katastrofike në rrjetet lidhëse: problemi i të mësuarit sekuencial. Frëngjisht, R. M. Harresa katastrofike në rrjetet lidhëse. Tendencat Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse shpërthimet optimizojnë transmetimin e informacionit në një kod neuronal multiplexed. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Microcircuits dendritic kortikale përafërsisht algoritmin backpropagation. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Plasticizmi sinaptik i varur nga Burst mund të koordinojë të mësuarit në qarqet hierarkike. Bicknell, B. A. & Häusser, M. Një rregull e të mësuarit sinaptik për shfrytëzimin e llogaritjes jo-lineare dendritike. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: një neuron model që mëson për të zgjidhur detyrat e klasifikimit nëpërmjet dendritic nonlinearities, plasticity strukturore, dhe rënie gradient. Hodgkin, A. L. & Huxley, A. F. Një përshkrim kuantitativ i rrymës membranore dhe aplikimi i saj për drejtimin dhe eksitim në nerv. Rall, W. Teoria e pronave fiziologjike të dendritit. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Mjedisi i simulimit të neuroneve. kompjuter nervor 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. në Librin e Zanafillës: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17-27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Ndarja e neuroneve në simulimet e rrjetit paralel të lidhura me kompjuterin mundëson shkallëzimin e kohës së ekzekutimit me dy herë më shumë procesorë. Hines, M. L., Markram, H. & Schürmann, F. Simulimi plotësisht i nënkuptuar paralel i neuroneve të vetme. Ben-Shalom, R., Liberman, G. & Korngreen, A. Përshpejtimi i modelimit të pjesëve në një njësi të përpunimit grafik. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Simulimi efikas numerik i modeleve të neuroneve me strukturë hapësinore në njësitë e përpunimit të grafikës. në Proc. 2016 Konferenca Ndërkombëtare mbi Përpunimin e Informacionit Neural (eds Hirose894Akiraet al.) 279-285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Solver efikas pemë për matricat hines në GPU. Preprint në https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teoria e optimizimit të kombinuar dhe algoritmet 6 edn (Springer, 2018). Gebali, F. Algoritmet dhe kompjuterat paralele (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Një motor i optimizuar kompjuterik për simulatorin NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Mësimi nga parashikimi dendritik i spiking somatik. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizimi i modeleve të kanaleve jonike duke përdorur një algoritëm paralel gjenetik në procesorët grafikë. Mascagni, M. Një algoritëm paralelizimi për zgjidhjet kompjuterike për modelet e neuroneve kabllore me degë arbitrare.J. Neurosci. McDougal, R. A. et al. Njëzet vjet modelDB dhe më tej: ndërtimin e mjeteve thelbësore të modelimit për të ardhmen e neuroscience. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektivisht bllokon përmbledhjen e kohës së hyrjeve disistale të pashkronizuara në neuronet piramidale CA1. Hemond, P. et al. Klasa të ndryshme të qelizave piramidale tregojnë modele të përjashtuara nga njëra-tjetra në zonën hipokampale CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modelet e qelizave piramidale të shtresës neocortical 5b që kapin një gamë të gjerë të pronave aktive dendritike dhe perisomatike. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Përpunimi i potencialit të veprimit në një model të detajuar të qelizave purkinje zbulon një rol kritik për ndarjen aksonale. Lindroos, R. et al. Neuromodulimi i ganglionit bazal në shkallë të shumta të kohës dhe strukturore-simulimet e MSN-ve të rrugës së drejtpërdrejtë hetojnë fillimin e shpejtë të efekteve dopaminergjike dhe parashikojnë rolin e Kv4.2. Migliore, M. et al. Grumbullimet sinaptike funksionojnë si operatorë të erës në llambën e aromës.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. Udhëzues i programimit CUDA C++. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Guide për praktikat më të mira. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Amplifikimi sinaptik nga shtyllat dendritike përmirëson bashkëpunimin e hyrjes. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization e inhibimit GABAergic nga shtyllat dendritike. Shkencë 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Plasticizmi i qafës kurrizore rregullon ndarjen e sinapseve. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neuronet piramidale kortikale njerëzore: nga shtyllat në majat nëpërmjet modeleve. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Funksioni i shpinave dendritike: pajisje që shërbejnë biokimike në vend të ndarjes elektrike.J. Neurosci. 13, 413-422 (1993). Koch, C. Spines Dendritic. në Biophysics of Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Ndikimi i aktivitetit paralel të sfondit të fibrave në vetitë kabllore të qelizave cerebellare purkinje. Hines, M. Llogaritja efikase e ekuacioneve nervore të degëve. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Mbrojtja biologjikisht e frymëzuar e rrjeteve të thella nga sulmet kundërshtare. Preprint në https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simulimi në shkallë të gjerë duke përdorur gjenezën paralele. në Librin e gjenezës: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Simulimet paralele të rrjetit me NEURON. Lytton, W. W. et al. Neuroteknologjitë e simulimit për kërkimin e avancuar të trurit: paralelizimi i rrjeteve të mëdha në NEURON. Valero-Lara, P. et al. cuHinesBatch: Zgjidhja e sistemeve të shumëfishta Hines në projektin e trurit të njeriut të GPU-ve. në Proc. 2017 Konferenca Ndërkombëtare mbi Shkencën Kompjuterike 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Një bibliotekë morfologjikisht e detajuar e simulimit të rrjetit nervor për arkitekturat moderne të llogaritjes me performancë të lartë. në Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: përshpejtimin multi-divizion, biophysically detajuar simulimet neurone në GPUs. J. Neurosci. Rempe, M. J. & Chopp, D. L. Një algoritëm parashikues-korrektor për ekuacionet reagim-difuzion të lidhura me aktivitetin nervor në strukturat e degës. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Një zgjidhje tejzanor për simulimin e indeve neurale në shkallë të gjerë. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Regjistrime të synuara të tensionit intracelular nga spines dendritike duke përdorur nanopipettes të veshura me pika kuantike. Nat. Nanotechnol. 12, 335-342 (2017). Palmer, L. M. & Stuart, G. J. Ndryshimet e mundshme të membranës në shtyllat dendritike gjatë potencialit të veprimit dhe hyrjes sinaptik. Nishiyama, J. & Yasuda, R. Llogaritja biokimike për plasticitetin strukturor të shtyllës kurrizore. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Ndryshimet morfologjike në shtyllat dendritike të lidhura me plasticitetin sinaptik afatgjatë. Holtmaat, A. & Svoboda, K. Plasticizmi strukturor sinaptik i varur nga përvoja në trurin e gjitarëve. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Plasticizmi strukturor në mësim: rregullimi dhe funksionet. Keck, T. et al. Ristrukturimi masiv i qarqeve neurale gjatë riorganizimit funksional të korteksit vizual të rritur. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Përvoja lë një gjurmë të qëndrueshme strukturore në qarqet kortikale. Trachtenberg, J. T. et al. Imazhi afatgjatë in vivo i plasticitetit sinaptik të varur nga përvoja në kortikun e rritur. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dinamika aksonale e neuroneve excitatory dhe inhibitor në kortex somatosensory. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Formimi i shpejtë dhe stabilizimi selektiv i sinapseve për kujtime motorike të qëndrueshme. natyra 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Përmirësimi i të mësuarit motorik duke rritur stabilitetin e shtyllave dendritike të reja të formuar në kortikun motorik. Neuron 109, 3298-3311 (2021). Branco, T. & Häusser, M. Gradientët e integrimit sinaptik në dendritet e qelizave piramidale kortikale të vetme. Neuron 69, 885-892 (2011). Major, G., Larkum, M. E. & Schiller, J. Pronat aktive të neocortical piramidal neurone dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Potencialet e veprimit dendritik dhe llogaritja në shtresën njerëzore 2/3 të neuroneve kortikale. Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Frymëzimi i frymëmarrjes sinaptik formon majat NMDA, duke ndikuar në përpunimin lokal dendritik dhe pronat globale I / O të neuroneve kortikale. Du, K. et al. Inhibimi specifik i llojit të qelizave të potencialit dendritik në neuronet e projektimit të shtyllës striatale. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Pikat dendritike përmirësojnë selektivitetin e stimujve në neuronet kortikale in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Integrimi jo-linear dendritik i hyrjes sensorike dhe motorike gjatë një detyre të ndjenjave aktive. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Dendritet aktive kortikale modulojnë perceptimin. Shkenca 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Prevalenca kalciumi kalimtare në të gjithë pemën dendritike parashikon pronat e fushës së vendit. Markram, H. et al. Rekonstruksioni dhe simulimi i microcircuitry neocortical. Qelizë 163, 456-492 (2015). Billeh, Y. N. et al. Integrimi sistematik i të dhënave strukturore dhe funksionale në modelet e shumëfishtë të kortexit primar vizual të miut. Neuron 106, 388–403 (2020). Hjorth, J. et al. Microcircuits e striatum në silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Në drejtim të mësimit të thellë me dendritë të ndarë. elife 6, e22901 (2017). Iyer, A. et al. Shmangia e katastrofave: dendritët aktivë mundësojnë mësimin me shumë detyra në mjedise dinamike. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. A mundet një neuron i vetëm të zgjidhë probleme interesante të mësimit automatik nëpërmjet llogaritjeve të njëpasnjëshme në pemën e tij dendritike? Bird, A. D., Jedlicka, P. & Cuntz, H. Normalizimi dendrik përmirëson mësimin në rrjetet artificiale neurale të lidhura rrallë. Goodfellow, I. J., Shlens, J. & Szegedy, C. Shpjegimi dhe shfrytëzimi i shembujve kundërshtarë. në Konferencën e 3-të Ndërkombëtare mbi Përfaqësimet e Mësimit (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferueshmëria në mësimin e makinës: nga fenomenet në sulmet e kutisë së zezë duke përdorur mostrat e kundërshtarëve. Preprint në https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Mësimi i bazuar në gradient zbatohet për njohjen e dokumenteve. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: një grup i ri i të dhënave të imazheve për referencimin e algoritmeve të mësimit të makinës. Preprint në http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Vlerësimi i shkallëzueshmërisë së algoritmeve dhe arkitekturave të mësimit të thellë të motivuar biologjikisht. në Përparimet në Sistemet e Përpunimit të Informacionit Neural 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: Një kuti mjetesh Python për të krahasuar qëndrueshmërinë e modeleve të mësimit automatik. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: sulme të shpejta kundërshtare për të krahasuar qëndrueshmërinë e modeleve të mësimit automatik në PyTorch, TensorFlow, dhe JAX. Paszke, A. et al. PyTorch: Një stil i domosdoshëm, bibliotekë e mësimit të thellë me performancë të lartë. në përparimet në sistemet e përpunimit të informacionit neuronal 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Mësimi i thellë i mbetur për njohjen e imazheve. në Proc. 2016 Konferenca IEEE mbi Vizionin Kompjuterik dhe njohjen e modelit (CVPR) 770-778 (IEEE, 2016). Njoftime Autorët e Këshillit falënderojnë sinqerisht Dr. Rita Zhang, Daochen Shi dhe anëtarët e NVIDIA për mbështetjen e vlefshme teknike të kompjuterizimit GPU. Kjo punë u mbështet nga Programi Kombëtar i Kërkimeve dhe Zhvillimit të Fuqive të Kinës (Nr. 2020AAA0130400) për K.D. dhe T.H., Fondacioni Kombëtar i Shkencave Natyrore të Kinës (Nr. 6182588102) për T.H., Këshilli Kombëtar i Kërkimeve dhe Zhvillimit të Kinës (Nr. 2022ZD01163005) për L.M., Programi i Kërkimeve dhe Zhvillimit të Fuqive të Provincës Guangdong (Nr. 2018B030338001) për T Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International). Ky artikull është në dispozicion në natyrë nën licencën CC by 4.0 Deed (Attribution 4.0 International).
