Autorių : Yichen Zhang Gan jis Lei Ma Liūtai Liūtai J. J. Johannes Hjorth Aleksandras Kozlovas Juozas Jis Šenžianas Zhangas Jeanette Hellgren Kotaleski Yonghong Tianas Sten Grillner Kai jūs Tėvynė Huang Autorių : Žygis Zhang Gan jis Teisė Ma Liūtai Liūtai J. J. Johanesas Hjorthas Aleksandras Kozlovas Juozas Jis Šenžianas Zhangas Žanietė Hellgren Kotaleski Yonghong Tianas Stenas Grigalius Kai jūs Tėvynė Huang Abstrakcijos Biofiziniu požiūriu išsamūs daugiapakopiai modeliai yra galingi įrankiai smegenų skaičiavimo principams tyrinėti ir taip pat tarnauja kaip teorinė sistema dirbtinio intelekto (AI) sistemų algoritmams kurti. tačiau brangios skaičiavimo sąnaudos labai riboja programas tiek neurologijos, tiek AI srityse. Pagrindinis buteliukas imituojant išsamius skyrių modelius yra simuliatoriaus gebėjimas išspręsti dideles linijinių lygčių sistemas. Endometriozė Hierarchijos Cheduling (DHS) metodas žymiai pagreitina tokį procesą. Teoriškai įrodome, kad DHS įgyvendinimas yra kompiuteriniu požiūriu optimalus ir tikslus. Šis GPU pagrįstas metodas veikia 2-3 kartus didesniu greičiu nei klasikinis serijinis Hines metodas įprastoje CPU platformoje. Mes sukuriame DeepDendrite sistemą, kuri integruoja DHS metodą ir NEURON simuliatoriaus GPU skaičiavimo variklį ir demonstruoja DeepDendrite taikymą neurologijos užduotims. Mes tiriame, kaip erdviniai stuburo įvesties modeliai turi įtakos neuroniniam susijaudinimui išsamiame žmogaus piramidinio neurono modelyje su 25 000 stuburų. Be to, mes teikiame trumpą diskusiją apie Deep D H S Įvadas Neuronų kodavimo ir skaičiavimo principų iššifravimas yra būtinas neurologijai. Žinduolių smegenys susideda iš daugiau nei tūkstančių skirtingų tipų neuronų, turinčių unikalių morfologinių ir biofizinių savybių. , kuriame neuronai buvo laikomi paprastais sumavimo vienetais, vis dar plačiai taikomas neuroniniuose skaičiavimuose, ypač neuroninių tinklų analizėje. pastaraisiais metais šiuolaikinis dirbtinis intelektas (AI) panaudojo šį principą ir sukūrė galingus įrankius, tokius kaip dirbtiniai neuroniniai tinklai (ANN). Tačiau, be išsamių skaičiavimų vieno neurono lygiu, subceliuliniai skyriai, tokie kaip neuroniniai dendritai, taip pat gali atlikti netiesines operacijas kaip nepriklausomus skaičiavimo vienetus. , , , , Be to, dendrito slanksteliai, maži iškyšuliai, kurie tankiai padengia dendritus stuburo neuronuose, gali atskirti sinaptinius signalus, leidžiančius jiems būti atskirti nuo jų tėvų dendrito ex vivo ir in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simuliacijos, naudojant biologiškai išsamius neuronus, suteikia teorinę sistemą biologinių detalių susiejimui su skaičiavimo principais. , leidžia mums modeliuoti neuronus su realiomis dendritinėmis morfologijomis, vidine jonų laidumu ir išorinėmis sinaptinėmis įvesties. , kuris modeliuoja dendritų biofizines membranines savybes kaip pasyvius laidus, pateikdamas matematinį aprašymą, kaip elektroniniai signalai įsiveržia ir plinta per sudėtingus neuroninius procesus. Įtraukiant kabelių teoriją su aktyviais biofiziniais mechanizmais, tokiais kaip jonų kanalai, sužadinantys ir slopinantys sinaptiniai srovės ir tt, išsamus daugialypis modelis gali pasiekti ląstelių ir subceliulinių neuroninių skaičiavimų, viršijančių eksperimentinius apribojimus. , . 12 13 12 4 7 Be gilios įtakos neuromokslams, neseniai buvo panaudoti biologiškai išsamūs neuronų modeliai, siekiant nutraukti atotrūkį tarp neuroninių struktūrinių ir biofizinių detalių ir AI. Šiuolaikinėje AI srityje vyraujantis metodas yra ANN, sudarytas iš taško neuronų, analogų biologiniams neuroniniams tinklams. Nors ANN su "backpropagation-of-error" (backprop) algoritmu pasiekė puikių rezultatų specializuotose programose, netgi nugalėdamas geriausius žmogiškuosius profesionalus žaidėjus Go ir šachmatų žaidimuose. , , žmogaus smegenys vis dar pranoksta ANN srityse, kuriose yra dinamiškesnės ir triukšmingesnės aplinkos , Naujausi teoriniai tyrimai rodo, kad dendrito integracija yra labai svarbi kuriant efektyvius mokymosi algoritmus, kurie gali viršyti paralelinį informacijos apdorojimą. , , Be to, vienas išsamus daugiakampis modelis gali išmokti tinklo lygio netiesinius taško neuronų skaičiavimus, koreguojant tik sinaptinę jėgą. , Dėl šios priežasties labai svarbu išplėsti smegenų tipo AI paradigmas nuo vieno detalizuoto neuronų modelio iki didelio masto biologiškai detalizuotų tinklų. 14 15 16 17 18 19 20 21 22 Vienas iš ilgalaikių iššūkių, susijusių su detaliais modeliavimo metodais, yra labai didelės skaičiavimo sąnaudos, kurios labai apribojo jų taikymą neurologijos ir AI srityse. , , Siekiant pagerinti efektyvumą, klasikinis Hines metodas sumažina laiko sudėtingumą sprendžiant lygtis nuo O(n3) iki O(n), kuris buvo plačiai taikomas kaip pagrindinis algoritmas populiariuose simuliatoriuose, pvz., NEURON ir genezė Tačiau šis metodas naudoja serijinį metodą, kad kiekvieną skyrių apdorotų nuosekliai.Kai simuliacijoje dalyvauja keletas biofiziniu požiūriu išsamių dendritų su dendritiniais slanksteliais, linijinės lygties matrica („Hines Matrix“) atitinkamai skalaujama didėjančiu dendritų ar slankstelio skaičiumi (Fig. ), todėl Hines metodas nebėra praktiškas, nes jis kelia labai didelę naštą visam modeliavimui. 12 23 24 25 26 1e Rekonstruotas 5 sluoksnio piramidinis neurono modelis ir matematinė formulė, naudojama su išsamiais neuronų modeliais. Darbo srautas, kai numeriškai imituojami išsamūs neuronų modeliai. Linijinių lygčių pavyzdys simuliacijoje. Duomenų priklausomybė nuo Hines metodo sprendžiant linijines lygtis • Linijinių lygčių sistemos, kurios turi būti išspręstos, skaičius žymiai padidėja, kai modeliai auga išsamiau. Kompiuterinės sąnaudos (žingsniai, kurių imtasi lygybės sprendimo fazėje) serijinio Hines metodo skirtingų tipų neuronų modeliuose. Skirtingų sprendimo metodų iliustracija. Skirtingos neurono dalys yra priskiriamos keliems apdorojimo vienetams lygiagrečiais metodais (viduryje, dešinėje), rodomos skirtingomis spalvomis. Trijų metodų skaičiavimo kaina sprendžiant piramidinio modelio lygtis su slanksteliais. Vykdymo laikas skirtingų metodų sprendžiant 500 piramidinių modelių su slanksteliais lygtys. paleidimo laikas rodo laiko suvartojimą 1 s modeliavimo (išsprendžiant lygtį 40 000 kartų su laiko žingsnis 0,025 ms). p-Hines lygiagrečiai metodas CoreNEURON (GPU), šakos pagrįstas šakos pagrįstas lygiagrečiai metodas (GPU), DHS Dendritic hierarchinio planavimo metodas (GPU). a b c d c e f g h g i Per pastaruosius dešimtmečius buvo pasiekta didžiulė pažanga, siekiant pagreitinti Hines metodą, naudojant lygiagrečius metodus ląstelių lygiu, kuris leidžia lygiagrečiai apskaičiuoti skirtingas dalis kiekvienoje ląstelėje. , , , , , Tačiau dabartiniai ląstelių lygio lygiagretūs metodai dažnai neturi efektyvios lygiagretumo strategijos arba trūksta pakankamo skaitmeninio tikslumo, palyginti su pradiniu Hines metodu. 27 28 29 30 31 32 Čia mes sukuriame visiškai automatinį, skaitmeniniu požiūriu tikslų ir optimizuotą modeliavimo įrankį, kuris gali žymiai pagreitinti skaičiavimo efektyvumą ir sumažinti skaičiavimo sąnaudas.Be to, šis modeliavimo įrankis gali būti sklandžiai naudojamas neuroninių tinklų, turinčių biologinių detalių, sukūrimui ir bandymui mašininio mokymosi ir AI programoms. Paralelinių skaičiavimų teorija Mes įrodėme, kad mūsų algoritmas užtikrina optimalų tvarkaraštį neprarandant tikslumo. Be to, mes optimizavome DHS šiuo metu pažangiausiam GPU lustui, pasinaudojant GPU atminties hierarchija ir atminties prieigos mechanizmais. ) palyginti su klasikiniu simuliatoriumi NEURON išlaikant vienodą tikslumą. 33 34 1 25 Kad būtų galima atlikti išsamius dendritinius modeliavimus, skirtus naudoti AI, mes toliau sukuriame „DeepDendrite“ sistemą, integruodami DHS įmontuotą „CoreNEURON“ platformą (optimizuotą skaičiavimo variklį NEURON). kaip modeliavimo variklis ir du pagalbiniai moduliai (I/O modulis ir mokymosi modulis), palaikantys dendrito mokymosi algoritmus simuliacijų metu. „DeepDendrite“ veikia GPU aparatūros platformoje, palaikant tiek reguliarias simuliacijos užduotis neurologijoje, tiek mokymosi užduotis AI. 35 Paskutinis, bet ne mažiau svarbus, mes taip pat pristatome keletą programų, naudojančių „DeepDendrite“, kuriomis siekiama kelių kritinių iššūkių neurologijos ir AI srityje: (1) Mes demonstruojame, kaip dendrito stuburo įvesties erdviniai modeliai veikia neuronų veiklą su neuronais, kuriuose yra stuburo visoje dendrito medžioje (pilno stuburo modeliai). „DeepDendrite“ leidžia mums ištirti neuronų skaičiavimą imituotame žmogaus piramidinio neurono modelyje su ~25 000 dendrito stuburo. (2) Diskusijoje mes taip pat svarstome „DeepDendrite“ potencialą AI kontekste, konkrečiai kuriant ANN su morfologiškai išsamiais žmogaus piramidiniais neuronais. Visi „DeepDendrite“ šaltinio kodai, pilno stuburo modeliai ir išsamus dendrito tinklo modelis yra viešai prieinami internete (žr. Kodo prieinamumą). Burst-dependent sinaptinė plastiškumas , ir mokytis su spike prognoze Apskritai, mūsų tyrimas suteikia visą rinkinį įrankių, kurie turi potencialą pakeisti dabartinę skaičiavimo neuromokslų bendruomenės ekosistemą.Naudodamiesi GPU skaičiavimo galia, mes tikimės, kad šie įrankiai palengvins sisteminio lygio skaičiavimo principų tyrimus smegenų smulkiosiose struktūrose, taip pat skatins neuromokslų ir šiuolaikinio AI sąveiką. 21 20 36 Rezultatai Dendritinis hierarchinis planavimas (DHS) Skaičiuojant jonines sroves ir sprendžiant linijines lygtis yra du kritiniai etapai imituojant biofiziniu požiūriu išsamius neuronus, kurie yra laiko reikalaujantys ir kelia didelę skaičiavimo naštą. Laimei, kiekvieno skyriaus joninių srovių apskaičiavimas yra visiškai nepriklausomas procesas, todėl jis gali būti natūraliai lygiagretus įrenginiuose su masyviais lygiagrečiais skaičiavimo įrenginiais, tokiais kaip GPU Kaip pasekmė, linijinių lygčių sprendimas tampa likusiu buteliuke paralelizacijos procesui (Fig. ) ir 37 1a–f Siekiant įveikti šią spragą, buvo sukurti lygiagrečiai metodai ląstelių lygiu, kurie pagreitina vieno ląstelės skaičiavimą, "sudalindami" vieną ląstelę į keletą skyrių, kuriuos galima apskaičiuoti lygiagrečiai. , , Tačiau tokie metodai labai priklauso nuo išankstinių žinių, kad būtų sukurtos praktinės strategijos, kaip atskirti vieną neuroną į skyrius (Fig. Papildoma figūra. Todėl jis tampa mažiau efektyvus neuronams, turintiems asimetrinę morfologiją, pvz., piramidiniams neuronams ir Purkinje neuronams. 27 28 38 1 g 1 Mes siekiame sukurti efektyvesnį ir tikslesnį lygiagretų metodą biologiškai išsamių neuroninių tinklų modeliavimui. Pirma, mes nustatome ląstelių lygiu lygiagretų metodų tikslumo kriterijus. , siūlome tris sąlygas, užtikrinančias, kad lygiagretus metodas duotų identiškus sprendimus kaip serijinio skaičiavimo Hines metodas pagal duomenų priklausomybę pagal Hines metodą (žr. Metodai).Tada, norint teoriškai įvertinti serijinio ir lygiagretio skaičiavimo metodų veikimo laiką, t. y. efektyvumą, mes įvedame ir suformuluojame skaičiavimo sąnaudų sąvoką kaip metodų žingsnių skaičių sprendžiant lygtis (žr. Metodai). 34 Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem (see Methods). In simple terms, we view a single neuron as a tree with many nodes (compartments). For Paralelinių laidų, mes galime apskaičiuoti daugiausia Kiekviename žingsnyje mes turime užtikrinti, kad mazgas būtų apskaičiuojamas tik tuo atveju, jei buvo apdoroti visi jo vaikų mazgai; mūsų tikslas yra rasti strategiją su minimaliu žingsnių skaičiumi visai procedūrai. k k Norėdami sukurti optimalų pertvarą, siūlome metodą, vadinamą Dendritic Hierarchical Scheduling (DHS) (teorinis įrodymas pateikiamas Metoduose). DHS metodas apima du etapus: dendritinės topologijos analizę ir geriausios pertvaros nustatymą: (1) Duodant išsamų modelį, mes pirmiausia gauname atitinkamą priklausomybės medį ir apskaičiuojame kiekvieno mazgo gylį (mazgo gylis yra jo protėvių mazgų skaičius) ant medžio (Fig. 2) Po topologijos analizės ieškome kandidatų ir pasirenkame didžiausią giliausi kandidatų mazgai (mazgas yra kandidatas tik tuo atveju, jei buvo apdoroti visi jo vaikai mazgai). ) ir 2a 2b ir c k 2d DHS darbo srautas. DHS procesai Giliausias kandidato mazgas kiekvienai iteracijai. Illustration of calculating node depth of a compartmental model. The model is first converted to a tree structure then the depth of each node is computed. Colors indicate different depth values. Topologijos analizė skirtinguose neuronų modeliuose. Čia pateikiami šeši neuronai su skirtingomis morfologijomis. Kiekvienam modeliui soma parenkama kaip medžio šaknis, todėl mazgo gylis padidėja nuo somos (0) iki distalinių dendritų. Pavyzdys, kaip atlikti DHS ant modelio su keturiais siūlais. Kandidatai: mazgai, kuriuos galima apdoroti. Pasirinkti kandidatai: mazgai, kuriuos renka DHS, t. y. deepest candidates. Processed nodes: nodes that have been processed before. Paralelizacijos strategija, kurią DHS gavo po proceso DHS sumažina serijinio mazgo apdorojimo etapus nuo 14 iki 5 paskirstant mazgus į kelias vielas. Santykinės sąnaudos, t. y. DHS skaičiavimo sąnaudų santykis su serijiniu Hines metodu, kai DHS naudojamas su skirtingu siūlių skaičiumi skirtingų tipų modeliuose. a k b c d b k e d f Paimkite supaprastintą modelį su 15 skyrių kaip pavyzdį, naudojant serijinio skaičiavimo Hines metodą, reikia 14 žingsnių, kad būtų galima apdoroti visus mazgus, o naudojant DHS su keturiais lygiagrečiais vienetais galima suskirstyti savo mazgus į penkis pogrupius (Fig. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Kadangi mazgai toje pačioje pogrupyje gali būti apdorojami lygiagrečiai, reikia tik penkių žingsnių, kad visi mazgai būtų apdorojami naudojant DHS (Fig. ) ir 2d 2e Toliau mes taikome DHS metodą šešiems atstovaujamiems išsamiems neuronų modeliams (pasirinktiems iš ModelDB). ) su skirtingais virvių skaičiais (Fig. Kortikos ir hipokampo piramidiniai neuronai , , Cerebellar Purkinje neuronai Striatalinės projekcijos neuronai (SPN) ), ir kvepalų lemputės mitralinės ląstelės , apimantis pagrindinius pagrindinius neuronus jutimo, kortikos ir subkortikos srityse. Tada mes matavome skaičiavimo sąnaudas. Santykinės skaičiavimo sąnaudos čia apibrėžiamos DHS skaičiavimo sąnaudų santykiu su serijiniu Hines metodu. Skaičiavimo sąnaudos, t.y. žingsnių, kurių imtasi sprendžiant lygtis, skaičius smarkiai sumažėja didėjant siūlių skaičiui. Pavyzdžiui, su 16 siūlių, DHS skaičiavimo sąnaudos yra 7%-10% palyginti su serijiniu Hines metodu. Įdomu tai, kad DHS metodas pasiekia mažesnes pateiktų neuronų skaičiavimo sąnaudų ribas, kai suteikiamos 16 ar net 8 lygiagrečios siūlės ( ), rodo, kad pridedant daugiau siūlių nebus toliau pagerinti našumą dėl priklausomybės tarp skyrių. 39 2F 40 41 42 43 44 45 2F Kartu mes sukuriame DHS metodą, kuris leidžia automatizuotą dendritinės topologijos analizę ir optimalią pertvarą lygiagrečiams skaičiavimams. verta paminėti, kad DHS suranda optimalią pertvarą prieš pradedant modeliavimą ir nereikia jokių papildomų skaičiavimų, kad būtų išspręstos lygtys. DHS pagreitinimas GPU atminties stiprinimu DHS apskaičiuoja kiekvieną neuroną su keliais siūlais, kurie sunaudoja didžiulį kiekį siūlių, kai paleidžiami neuroninių tinklų modeliavimai. Dėl lygiagrečiųjų kompiuterių Teoriškai daugelis GPU SP turėtų palaikyti efektyvų didelio masto neuroninių tinklų modeliavimą (Fig. Tačiau mes nuosekliai pastebėjome, kad DHS efektyvumas žymiai sumažėjo, kai padidėjo tinklo dydis, kuris gali atsirasti dėl išsibarsčiusios duomenų saugojimo ar papildomos atminties prieigos, kurią sukelia tarpinių rezultatų įkėlimas ir rašymas (Fig. Iš kairės ) 3a ir b 46 3c 3d GPU architektūra ir jos atminties hierarchija. Kiekviename GPU yra didžiuliai apdorojimo vienetai (tekėjimo procesoriai). Skirtingi atminties tipai turi skirtingą pralaidumą. Streaming Multiprocessors (SM) architektūra Kiekvienoje SM yra keletas transliavimo procesorių, registrų ir L1 talpyklos. Applying DHS on two neurons, each with four threads. During simulation, each thread executes on one stream processor. Atminties optimizavimo strategija GPU viršutiniame skydelyje, DHS laidų paskirstymas ir duomenų saugojimas prieš (kairėje) ir po (dešinėje) atminties didinimo. Procesoriai siunčia duomenų užklausą, kad įkeltų duomenis už kiekvieną laidą iš pasaulinės atminties. Be atminties didinimo (kairėje), reikia septynių operacijų, kad būtų įkeliami visi užklausos duomenys, ir kai kurių papildomų operacijų tarpiniams rezultatams. DHS paleidimo laikas (32 siūlai kiekvienoje ląstelėje) su ir be atminties didinimo kelių sluoksnių 5 piramidiniais modeliais su slanksteliais. Speed up of memory boosting on multiple layer 5 pyramidal models with spines. Memory boosting brings 1.6-2 times speedup. a b c d d e f Šią problemą išsprendžiame GPU atminties stiprinimu, kuris padidina atminties pralaidumą, pasinaudojant GPU atminties hierarchija ir prieigos mechanizmu.Remiantis GPU atminties įkrovimo mechanizmu, iš eilės įkeliant suderintus ir nuosekliai saugomus duomenis, atminties pralaidumas yra didesnis, palyginti su prieiga prie išsibarsčiusių duomenų, o tai sumažina atminties pralaidumą. , Norėdami pasiekti didelį pralaidumą, pirmiausia suderinsime mazgų skaičiavimo užsakymus ir iš naujo išdėstysime siūlus pagal jų mazgų skaičių. Tada permutaujame duomenų saugojimą globalioje atmintyje, atitinkantį skaičiavimo užsakymus, t. y. mazgai, kurie yra apdorojami tame pačiame žingsnyje, yra saugomi iš eilės globalioje atmintyje. Be to, mes naudojame GPU registrus, kad išsaugotume tarpinius rezultatus, toliau stiprindami atminties pralaidumą. Be to, eksperimentai su keliais piramidinių neuronų skaičiais su slanksteliais ir tipiškais neuronų modeliais (Fig. Papildoma figūra. ) rodo, kad atminties stiprinimas pasiekia 1,2-3,8 kartų pagreitį, palyginti su naiviu DHS. 46 47 3d 3 e, f 2 Norėdami išsamiai išbandyti DHS našumą su GPU atminties stiprinimu, mes atrinkome šešis tipiškus neuronų modelius ir įvertinome kabelių lygčių sprendimo laiką didžiuliuose kiekvieno modelio skaičiuose (Fig. Mes ištyrėme DHS su keturiais siūlais (DHS-4) ir šešiolika siūlių (DHS-16) kiekvienam neuronui, atitinkamai. palyginti su GPU metodu CoreNEURON, DHS-4 ir DHS-16 gali pagreitinti maždaug 5 ir 15 kartų, atitinkamai (Fig. Be to, palyginti su įprastiniu serijiniu Hines metodu NEURON, veikiančiu su vieno laido CPU, DHS pagreitina simuliaciją 2-3 dydžio tvarka (papildomas paveikslėlis. ), išlaikant identišką skaitmeninį tikslumą esant tankiems sriegiams (papildomi figai. ir ), aktyvūs dendritai (papildomas fig. ) ir skirtingos segmentacijos strategijos (papildomas paveikslas. ) ir 4 4a 3 4 8 7 7 Važiavimo laikas sprendžiant lygtis 1 s modeliavimo GPU (dt = 0,025 ms, 40 000 iteracijų iš viso). CoreNEURON: lygiagrečiai metodas naudojamas CoreNEURON; DHS-4: DHS su keturių siūlių kiekvienam neuronui; DHS-16: DHS su 16 siūlių kiekvienam neuronui. , Visualization of the partition by DHS-4 and DHS-16, each color indicates a single thread. During computation, each thread switches among different branches. a b c DHS sukuria optimalią ląstelių tipo atskyrimą Norėdami gauti įžvalgų apie DHS metodo darbo mechanizmą, mes vizualizavome pertvarkymo procesą, perkeldami skyrius į kiekvieną siūlą (kiekviena spalva pateikia vieną siūlą paveikslėlyje. Vizualizavimas rodo, kad vienas siūlas dažnai keičiasi tarp skirtingų šakų (Fig. Įdomu tai, kad DHS sukuria suderintus pertvarus morfologiškai simetriškuose neuronuose, tokiuose kaip striatalinis projekcijos neuronas (SPN) ir Mitralinė ląstelė (Fig. ). By contrast, it generates fragmented partitions of morphologically asymmetric neurons like the pyramidal neurons and Purkinje cell (Fig. ), nurodant, kad DHS padalija neuronų medį pagal atskirą skyrių skalę (t. y. medžio mazgą), o ne šakos skalę. 4b ir c 4b ir c 4b ir c 4b ir c Apibendrinant, DHS ir atminties stiprinimas sukuria teoriškai įrodytą optimalų sprendimą linijinių lygčių sprendimui lygiagrečiai su precedento neturinčiu efektyvumu. Naudodamiesi šiuo principu sukūrėme atviros prieigos DeepDendrite platformą, kurią neurologai gali panaudoti modeliams įgyvendinti be jokių konkrečių GPU programavimo žinių. Žemiau parodome, kaip galime panaudoti DeepDendrite neurologijos užduotims. DHS leidžia modeliuoti stuburo lygį As dendritic spines receive most of the excitatory input to cortical and hippocampal pyramidal neurons, striatal projection neurons, etc., their morphologies and plasticity are crucial for regulating neuronal excitability , , , , Tačiau slanksteliai yra per maži ( ~ 1 μm ilgio), kad būtų tiesiogiai išmatuoti eksperimentiniu būdu, atsižvelgiant į įtampą priklausomus procesus. 10 48 49 50 51 Galime modeliuoti vieną stuburą su dviem skyriais: stuburo galva, kurioje yra sinapsės, ir stuburo kaklas, jungiantis stuburo galvą su dendritais. Teorija prognozuoja, kad labai plonas stuburo kaklas (0,1-0,5 μm skersmens) elektroniniu būdu izoliuoja stuburo galvą nuo jo tėvų dendrito, tokiu būdu padalijant signalus, generuojamus stuburo galvoje. Tačiau išsamus modelis su visiškai paskirstytomis dendritų slankstelėmis („pilno slankstelio modelis“) yra labai brangus skaičiavimais. Spino veiksnys , vietoj to, kad būtų aiškiai išdėstyti visi stuburai. spine factor aims at approximating the spine effect on the biophysical properties of the cell membrane . 52 53 F 54 F 54 Įkvėptas ankstesnio Eyal et al. darbo. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. • Vertė spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. Simuliuojant daugybę neuronų su sudėtingomis morfologijomis, DHS su atminties stiprinimu pasiekia 15 kartų pagreitį (papildoma lentelė). ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine Tačiau klasikiniuose vienkartiniuose detalių skyrių modeliuose visi slanksteliai pakeičiami coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Somatosenzorinė žievė , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. Todėl jis leidžia mums ištirti struktūrinį plastiškumą didelio masto grandinių modeliuose įvairiuose smegenų regionuose. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. Papildomas stalas ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Remiantis serijinio skaičiavimo Hines metodo duomenų priklausomybe, siūlome tris sąlygas, užtikrinančias, kad lygiagretus metodas duotų identiškus sprendimus kaip serijinio skaičiavimo Hines metodas: (1) medžio morfologija ir pradinės visų mazgų reikšmės yra identiškos serijinio skaičiavimo Hines metodui; (2) trikampio fazėje mazgas gali būti apdorojamas, jei ir tik jei jau apdorojami visi jo vaikai mazgai; (3) atgalinio pakeitimo fazėje mazgas gali būti apdorojamas tik tuo atveju, jei jo tėvų mazgas jau apdorojamas. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = į { , } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , t. y. mazgų skaičius , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( Kurių skaičiavimo sąnaudos ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v Vi c c v Vj j i P* V P * V Here subset sudaro visi mazgai, kurie bus skaičiuojami -th step (Fig. Taigi, kaip ir | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( turi būti ankstesniame poskyryje , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v VI c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ yra priskiriamas pogrupiui: (1) suraskite visus kandidato mazgus ir įdėkite šiuos mazgus į kandidato rinkinį . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove Giliausi mazgai iš and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Žmogus + 1 Correctness proof for DHS After applying DHS to a neural tree = { , Mes gauname suskirstymą ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into tik tuo atveju, jei visi jo vaikų mazgai buvo apdorojami. Jie yra { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset į ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi VI Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P* V Q P * V Without any loss of generalization, we start from the first subset nepatenkinti kriterijų, t. y. yra du galimi atvejai, kai not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in Tai netaikoma • 2 dalių; | = but nodes in are not the Giliausi mazgai . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to per šį metodą. daryti prielaidą, kad po užpildymo , is picked and one of the -th deepest nodes is still in , thus Jis bus įtrauktas į vėlesnį ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ Nė vienas iš šakų į + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. Jei tėvų mazgas yra is in + Šaltinis , move this parent node to + ; else move the node with minimum depth from + to + Šaltinis . After adjusting , modify subsequent subsets + , + Šaltinis , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6b V*i k Qi V*i 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V * I 1 V*i 2 V * J-1 v’ V*j V*i Su pirmiau aprašyta modifikacijos strategija galime pakeisti visus plonesnius mazgus with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V Galiausiai, DHS generuoja pertvarą ( ), and all subsets ∈ ( Maksimalus gylis: bet kokiam kitam optimaliam pertvarkymui ( ) mes galime modifikuoti savo pogrupius, kad jos struktūra būtų tokia pati kaip ( ), t.y., kiekvienas pogrupis susideda iš giliausių mazgų kandidato rinkinyje, ir išlaikyti ( ) Tą patį galima padaryti ir po pertvarkymo. ( ) obtained from DHS is one of the optimal partitions. P V VI P V P * V P V P * V | P V GPU diegimas ir atminties stiprinimas Kad būtų pasiektas didelis atminties pralaidumas, GPU naudoja atminties hierarchiją: (1) pasaulinę atmintį, (2) talpyklą, (3) registrą, kur pasaulinė atmintis turi didelę talpą, bet mažą pralaidumą, o registrai turi mažą pajėgumą, bet didelį pralaidumą. GPU naudoja SIMT (Single-Instruction, Multiple-Thread) architektūrą. Warps yra pagrindiniai grafikos vienetai GPU (warp yra 32 lygiagrečių siūlių grupė). Tinkamai suskirstyti mazgai yra būtini šiam skaičiavimui į varpus, siekiant užtikrinti, kad DHS gautų tuos pačius rezultatus kaip serijinis Hines metodas. Įgyvendinant DHS GPU, mes pirmiausia grupuojame visas ląsteles į kelias varpas, atsižvelgiant į jų morfologijas. Ląstelės su panašiomis morfologijomis yra suskirstytos į tą pačią varpą. Tada mes taikome DHS visiems neuronams, priskiriant kiekvieno neurono padalinius prie kelių siūlių. Kadangi neuronai yra suskirstyti į varpus, to paties neurono siūlai yra toje pačioje varpėje. Todėl vidinis sinchronizavimas varpose išlaiko skaičiavimo tvarką, atitinkančią serijinio H 46 Kai verpas įkrauna iš anksto suderintus ir nuosekliai saugomus duomenis iš globalios atminties, jis gali visapusiškai panaudoti talpyklą, o tai lemia didelį atminties pralaidumą, o prieiga prie dispečerių saugomų duomenų sumažintų atminties pralaidumą. Po skyrių priskyrimo ir siūlių pertvarkymo, mes perkeliame duomenis globalioje atmintyje, kad jis atitiktų skaičiavimo užsakymus, kad verpas galėtų įkelti nuosekliai saugomus duomenis, kai vykdo programą. Pilno stuburo ir nedaug stuburo biofiziniai modeliai We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67,6 mV K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter kaklas = 0,25 μm, o stuburo galvos ilgis ir skersmuo buvo 0,944 μm, t.y. stuburo galvos plotas buvo nustatytas iki 2,8 μm2. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic įvesties We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). X ir Y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261,97 Ω cm ir visų pasyvių laidų atvirkštinis potencialas l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 Gijonė Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class ir 0 jei ne. 36 7 pi i yi Yi i yi When training HPC-Net, we compute the update for weight (the synaptic weight of the Sinapse jungia neuronus to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , jo sinaptinę laidumą, Tai yra perdavimo pasipriešinimas tarp -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST Rezultatai rodo, kad HPC-Net prognozavimo tikslumas yra atitinkamai 19% ir 16,72% didesnis nei analoginio ANN. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Data availability The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – Jie yra prieinami . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. ir Pitts, W. Loginis idėjų, būdingų nervų veiklai, skaičiavimas. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436–444 (2015). Nature 521 Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 Londonas, M. & Häusser, M. Dendritinis skaičiavimas. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. The single dendritic branch as a fundamental functional unit in the nervous system. , 494–502 (2010). Curr. Opin. Neurobiol. 20 Stuart, G. J. & Spruston, N. Dendritinė integracija: 60 metų pažangos. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. ir Papoutsi, A. Dendritinės funkcijos apšvietimas skaičiavimo modeliais. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Dendritiniai slanksteliai kaip pagrindiniai funkciniai neuronų integracijos vienetai. Engert, F. & Bonhoeffer, T. Dendritic spine changes associated with hippocampal long-term synaptic plasticity. , 66–70 (1999). Nature 399 Yuste, R. Dendritiniai slanksteliai ir paskirstytosios grandinės. Neuron 71, 772–781 (2011). Yuste, R. Elektrinis padalijimas dendritiniuose stuburuose. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Dendrito medžių šakojimas ir motoneurono membranos atsparumas. Eksp. Neurol. 1, 491–527 (1959). Segev, I. ir Rall, W. Skaičiuojamasis susijaudinimo dendrito stuburo tyrimas. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. Mokymasis žaisti su giliais nervų tinklais ir medžių paieška. gamta 529, 484–489 (2016). Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. , 1140–1144 (2018). Science 362 McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 French, R. M. Catastrophic forgetting in connectionist networks. , 128–135 (1999). Trends Cogn. Sci. 3 Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. , E6329–E6338 (2018). Proc. Natl Acad. Sci. USA 115 Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Bursto priklausomas sinaptinis plastiškumas gali koordinuoti mokymąsi hierarchinėse grandinėse. Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. The gradient clusteron: a model neuron that learns to solve classification tasks via dendritic nonlinearities, structural plasticity, and gradient descent. , e1009015 (2021). PLoS Comput. Biol. 17 Hodgkin, A. L. ir Huxley, A. F. Kiekybinis membraninės srovės aprašymas ir jo taikymas nervų laidumui ir sužadinimui. Rall, W. Theory of physiological properties of dendrites. , 1071–1092 (1962). Ann. N. Y. Acad. Sci. 96 Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J. M. ir Beeman, D. knygoje Genezės: tyrinėjant realistinius neuroninius modelius su bendrosios neuroninės simuliacijos sistema (eds Bower, J. M. ir Beeman, D.) 17–27 (Springer New York, 1998). Hinesas, M. L., Eichneris, H. ir Schürmannas, F. Neurono suskirstymas skaičiavimu susietuose lygiagrečiuose tinklo modeliavimuose leidžia skaluoti paleidimo laiką su dvigubai daugiau procesorių. Hines, M. L., Markram, H. & Schürmann, F. Fully implicit parallel simulation of single neurons. , 439–448 (2008). J. Comput. Neurosci. 25 Ben-Shalom, R., Liberman, G. ir Korngreen, A. Paspartinti sklypų modeliavimą grafinio apdorojimo vienete. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Efficient numerical simulation of neuron models with spatial structure on graphics processing units. In (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Proc. 2016 International Conference on Neural Information Processing Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Efektyvus medžio sprendėjas hinų matricos GPU. Iš anksto spausdinti adresu https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. 6 edn (Springer, 2018). Combinatorial Optimization Theory and Algorithms Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. Mokymasis dendrito prognozuojant somatinį spiking. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. ir Korngreen, A. Optimizuoti jonų kanalų modelius naudojant lygiagrečius genetinius algoritmus grafiniuose procesoriuose. Mascagni, M. Paralelizuojantis algoritmas, skirtas apskaičiuoti sprendimus savavališkai šakotų kabelinių neuronų modeliams.J. Neurosci. McDougal, R. A. ir kt. Dvidešimt metų modelioDB ir už jos ribų: kuriant būtinus modeliavimo įrankius neurologijos ateičiai. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively blocks temporal summation of unsynchronized distal inputs in CA1 pyramidal neurons. , 5–13 (2004). J. Comput. Neurosci. 16 Hemond, P. et al. Distinct classes of pyramidal cells exhibit mutually exclusive firing patterns in hippocampal area CA3b. , 411–424 (2008). Hippocampus 18 Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Models of neocortical layer 5b pyramidal cells capturing a wide range of dendritic and perisomatic active Properties. , e1002107 (2011). PLoS Comput. Biol. 7 Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. ir kt. Bazinės ganglijos neuromoduliacija keliomis laiko ir struktūrinėmis skalėmis - tiesioginio kelio MSN modeliai tiria greitą dopaminerginio poveikio atsiradimą ir prognozuoja Kv4.2 vaidmenį. Migliore, M. et al. Sinaptiniai sluoksniai veikia kaip kvapo operatoriai kvapų lemputėje. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ programavimo vadovas. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Sinaptiniai stiprinimai dendritiniais slanksteliais padidina įvesties bendradarbiavimą. Gamta 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. , 759–762 (2013). Science 340 Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. , 181 (2018). Front. Cell. Neurosci. 12 Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 Koch, C. Dendritiniai slanksteliai, Kompiuterių biofizikoje (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Lygiagrečios pluošto foninės veiklos poveikis smegenų purkinje ląstelių laidų savybėms. Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. Biologiškai įkvėpta gilių tinklų apsauga nuo priešininkų atakų. Iš anksto atspausdinta adresu https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Large-Scale Simulation Using Parallel GENESIS. In (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Lygiagretūs tinklo modeliavimai su NEURON. Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In 566–575 (IEEE, 2017). Proc. 2017 International Conference on Computational Science Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. ir Wagner, J. Ultragarso sprendimas didelio masto neuroninių audinių modeliavimui. Jayant, K. ir kt. Tiksliniai intracellular įtampos įrašai iš dendritinių sriegių, naudojant kvantinius taškus dengiančius nanopipetus. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama, J. ir Yasuda, R. Biocheminis skaičiavimas dėl stuburo struktūrinio plastiškumo. Neuron 87, 63–75 (2015). Yuste, R. ir Bonhoeffer, T. Morfologiniai dendrito slankstelio pokyčiai, susiję su ilgalaikiu sinaptiniu plastiškumu. Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Patirtis palieka ilgalaikį struktūrinį pėdsaką žievės grandinėse. Trachtenberg, J. T. ir kt. Ilgalaikis in vivo vaizdavimas, susijęs su patirtiniu sinaptiniu plastiškumu suaugusiųjų žievėje. 420, 788–794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 Xu, T. et al. Greitas sinapsių susidarymas ir selektyvus stabilizavimas ilgalaikiams motoriniams prisiminimams. gamta 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Enhancing motor learning by increasing the stability of newly formed dendritic spines in the motor cortex. , 3298–3311 (2021). Neuron 109 Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. , 885–892 (2011). Neuron 69 Major, G., Larkum, M. E. & Schiller, J. Active properties of neocortical pyramidal neuron dendrites. , 1–24 (2013). Annu. Rev. Neurosci. 36 Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Laikinas sinaptinis slopinimas formuoja NMDA spikes, turinčius įtakos vietiniam dendritiniam apdorojimui ir pasaulinėms kortikinių neuronų I / O savybėms. Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritiniai spygliuočiai padidina stimulo selektyvumą kortikos neuronuose in vivo. Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. ir Larkum, M. E. Aktyvūs kortikiniai dendritai moduliuoja suvokimą. Mokslas 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. ir kt. Sistemingas struktūrinių ir funkcinių duomenų integravimas į daugiapakopį pelės pirminės regėjimo žievės modelį. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Ar vienas neuronas gali išspręsti įdomias mašininio mokymosi problemas atlikdamas nuoseklius skaičiavimus savo dendrito medyje? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritinė normalizavimas pagerina mokymąsi menkai prijungtuose dirbtiniuose neuroniniuose tinkluose. Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox natūralus: greiti priešininkų išpuoliai, siekiant palyginti mašininio mokymosi modelių tvirtumą PyTorch, TensorFlow ir JAX. Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Acknowledgements The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. Šis straipsnis yra prieinamas gamtoje pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Šis straipsnis yra prieinamas gamtoje pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją.
