Autori : Jēkabpils ZZS Gan viņš Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang Autori : Jēkabpils ZZS Gan viņš Leja Ma Lielais Liu J. J. Johans Hjorts Aleksandrs Kozlovs Yutao viņš Shenjian Čang Žanete Hellgrēna Kotaleska Yonghong Tīns Kārlis Grīnbergs Kad tu Mārtiņš Huans Abstraktā Bioloģiski detalizēti vairāku nodalījumu modeļi ir spēcīgi instrumenti, lai izpētītu smadzeņu aprēķinu principus, kā arī kalpotu kā teorētiska sistēma, lai ģenerētu algoritmus mākslīgā intelekta (AI) sistēmām. Tomēr dārgās aprēķina izmaksas nopietni ierobežo lietojumprogrammas gan neiroloģijas, gan AI jomās. Galvenais šķērslis detalizētu nodalījumu modeļu simulēšanas laikā ir simulatora spēja atrisināt lielas lineāro vienādojumu sistēmas. Endrīts Hierarhiskā Cheduling (DHS) metode, lai ievērojami paātrinātu šādu procesu. Mēs teorētiski pierādām, ka DHS īstenošana ir aprēķinu ziņā optimāla un precīza. Šī GPU balstītā metode darbojas ar 2-3 lieluma orderiem lielāku ātrumu nekā klasiskās sērijveida Hines metodes konvencionālajā CPU platformā. Mēs veidojam DeepDendrite sistēmu, kas integrē DHS metodi un NEURON simulatoru GPU datortehniku un demonstrē DeepDendrite pielietojumus neiroloģijas uzdevumos. Mēs izpētām, kā mugurkaula ieejas telpiski modeļi ietekmē neironu uzbudināmību detalizētā cilvēka piramīdas neirona modelī ar 25 000 spin. Turklāt mēs sniedzam īsu diskusiju par DeepDendrite potenci D H S Ievads Neironu kodēšanas un aprēķina principu atšifrēšana ir būtiska neiroloģijas zinātnei. Zīdītāju smadzenes sastāv no vairāk nekā tūkstošiem dažādu veidu neironiem ar unikālām morfoloģiskām un biofiziskām īpašībām. , kurā neironi tika uzskatīti par vienkāršām summēšanas vienībām, joprojām tiek plaši izmantots neironu aprēķinos, īpaši neironu tīklu analīzē.Pēdējos gados mūsdienu mākslīgais intelekts (AI) ir izmantojis šo principu un izstrādājis spēcīgus rīkus, piemēram, mākslīgos neironu tīklus (ANN). Tomēr, papildus visaptverošiem aprēķiniem vienā neirona līmenī, subcelulārie nodalījumi, piemēram, neironu dendrīti, var arī veikt nelineāras operācijas kā neatkarīgas aprēķinu vienības. , , , , Turklāt dendrītiskie spīdekļi, mazie izvirdumi, kas blīvi aptver dendrītus mugurkaula neironos, var nodalīt sinaptiskos signālus, ļaujot tos atdalīt no viņu vecāku dendrīta ex vivo un in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulācijas, izmantojot bioloģiski detalizētus neironus, nodrošina teorētisku pamatu bioloģisko detaļu saistīšanai ar aprēķinu principiem. , ļauj mums modelēt neironus ar reālistiskām dendrītiskām morfoloģijām, iekšējo jonu vadītspēju un ārējos sinaptiskos ienākumus. detalizētā daudzpartiju modeļa, t.i., dendrītu, mugurkauls ir balstīts uz klasisko kabeļu teoriju , kas modelē dendrītu bioloģiskās membrānas īpašības kā pasīvus kabeļus, sniedzot matemātisku aprakstu par to, kā elektroniskie signāli iebrūk un izplatās visā sarežģītajos neironu procesos. , . 12 13 12 4 7 Papildus tās dziļajai ietekmei uz neiroloģijas zinātni, bioloģiski detalizēti neironu modeļi nesen tika izmantoti, lai pārklātu plaisu starp neironu strukturālajām un biofiziskajām detaļām un AI. Pārsvarā esošā tehnika mūsdienu AI jomā ir ANN, kas sastāv no punktu neironiem, kas ir analogs bioloģiskajiem neironu tīkliem. Lai gan ANN ar "backpropagation-of-error" (backprop) algoritmu sasniedza ievērojamu veiktspēju specializētās lietojumprogrammās, pat pārspējot augstākos cilvēka profesionālos spēlētājus Go un šaha spēlēs , Cilvēka smadzenes joprojām pārspēj ANN jomās, kurās ir vairāk dinamiskas un trokšņainas vides. , Nesenie teorētiskie pētījumi liecina, ka dendrītiskā integrācija ir izšķiroša efektīvu mācīšanās algoritmu radīšanā, kas potenciāli pārsniedz backprop paralēlajā informācijas apstrādē. , , Turklāt viens detalizēts vairāku nodalījumu modelis var apgūt tīkla līmeņa ne-lineāros aprēķinus punkta neironiem, pielāgojot tikai sinaptisko spēku. , Tādēļ ir ļoti svarīgi paplašināt smadzeņu tipa AI paradigmas no viena detalizēta neironu modeļa līdz lielam bioloģiski detalizētam tīklam. 14 15 16 17 18 19 20 21 22 Viens no detalizētas simulācijas pieejas ilgstošajiem izaicinājumiem ir tās ārkārtīgi augstās aprēķinu izmaksas, kas ir nopietni ierobežojusi tās pielietojumu neiroloģijas un AI. , , Lai uzlabotu efektivitāti, klasiskā Hines metode samazina laika sarežģītību, lai atrisinātu vienādojumus no O(n3) līdz O(n), kas ir plaši izmantots kā pamata algoritms populāros simulatoros, piemēram, NEURON un ģenēze Tomēr šī metode izmanto sērijveida pieeju katra nodalījuma secīgai apstrādei.Kad simulācijā ir iesaistīti vairāki bioloģiski detalizēti dendrīti ar dendrīta spiniem, lineārā vienādojuma matrica (“Hines Matrix”) attiecīgi mēro ar pieaugošu dendrītu vai spinu skaitu (Fig. ), padarot Hines metodi vairs nav praktisks, jo tas rada ļoti smagu slogu uz visu simulāciju. 12 23 24 25 26 1e Rekonstruēts 5. slāņa piramīdas neironu modelis un matemātiskā formula, ko izmanto ar detalizētiem neironu modeļiem. Darba plūsma, skaitliski simulējot detalizētus neironu modeļus. Piemērs lineāriem vienādojumiem simulācijā. Hines metodes datu atkarība lineāro vienādojumu risināšanā Tātad Hines matricas izmērs svārstās ar modeļa sarežģītību. lineāro vienādojumu sistēmu skaits, kas jāatrisina, ievērojami palielinās, kad modeļi kļūst detalizētāki. Aprēķinu izmaksas (pasākumi, kas veikti vienādojuma risināšanas fāzē) pēc Hines sērijas metodes dažādos neironu modeļos. Dažādu atrisināšanas metožu ilustrācija. Dažādas neirona daļas tiek piešķirtas vairākām apstrādes vienībām paralēlās metodēs (vidū, pa labi), parādot dažādās krāsās. Sērijas metodē (pa kreisi) visi nodalījumi tiek aprēķināti ar vienu vienību. Trīs metožu izmaksu aprēķins Vienādojumu risināšana ar piramīdas modeli. Darbības laiks dažādām metodēm, lai atrisinātu vienādojumus 500 piramīdas modeļiem ar spirāles. Darbības laiks norāda laika patēriņu 1 s simulācijas (atrisina vienādojumu 40 000 reizes ar laika soli 0,025 ms). p-Hines paralēlā metode CoreNEURON (uz GPU), filiāles balstīta paralēlā metode (uz GPU), DHS Dendritic hierarhiskā plānošanas metode (uz GPU). a b c d c e f g h g i Pēdējo desmitgažu laikā ir panākts milzīgs progress, lai paātrinātu Hines metodi, izmantojot paralēlas metodes šūnu līmenī, kas ļauj paralēli aprēķināt dažādas daļas katrā šūnā. , , , , , Tomēr pašreizējās paralēlās metodes šūnu līmenī bieži vien trūkst efektīvas paralelizācijas stratēģijas vai nepietiekamas numeriskās precizitātes salīdzinājumā ar sākotnējo Hines metodi. 27 28 29 30 31 32 Šeit mēs izstrādājam pilnībā automatizētu, skaitliski precīzu un optimizētu simulācijas rīku, kas var ievērojami paātrināt aprēķinu efektivitāti un samazināt aprēķina izmaksas.Turklāt šo simulācijas rīku var viegli pieņemt, lai izveidotu un pārbaudītu neironu tīklus ar bioloģiskām detaļām mašīnu mācīšanās un AI lietojumprogrammām. Paralēlo datoru teorija Mēs demonstrējam, ka mūsu algoritms nodrošina optimālu plānošanu bez jebkāda precizitātes zuduma. turklāt mēs esam optimizējuši DHS pašlaik vismodernākajam GPU mikroshēmam, izmantojot GPU atmiņas hierarhiju un atmiņas piekļuves mehānismus. salīdzinājumā ar klasisko simulatoru NEURON Lai saglabātu vienādu precizitāti. 33 34 1 25 Lai ļautu detalizētus dendrītiskos simulācijas lietošanai AI, mēs turpmāk izveidojam DeepDendrite sistēmu, integrējot DHS iebūvēto CoreNEURON platformu (optimizētu skaitļošanas dzinēju NEURON). kā simulācijas dzinējs un divi palīgmoduli (I/O modulis un mācīšanās modulis), kas atbalsta dendrīta mācīšanās algoritmus simulāciju laikā. DeepDendrite darbojas uz GPU aparatūras platformas, kas atbalsta gan regulārus simulācijas uzdevumus neiroloģijas un mācīšanās uzdevumus AI. 35 Visbeidzot, mēs arī iepazīstinām ar vairākām lietojumprogrammām, izmantojot DeepDendrite, kas vērstas uz dažiem kritiskiem izaicinājumiem neiroloģijas un AI jomā: (1) Mēs demonstrējam, kā dendrīta mugurkaula ieejas telpiskie modeļi ietekmē neironu darbību ar neironiem, kas satur mugurkauli visā dendrīta kokos (pilna mugurkaula modeļi). DeepDendrite ļauj mums izpētīt neironu aprēķinu simulētā cilvēka piramīdas neirona modelī ar ~25 000 dendrīta mugurkaulām. (2) Diskusijā mēs arī apsveram DeepDendrite potenciālu AI kontekstā, it īpaši, radot ANN ar morfoloģiski detalizētiem cilvēka piramīdas neironiem. Viss DeepDendrite avota kods, pilna mugurkaula modeļi un detalizēts dendrīta tīkla modelis ir publiski pieejami tiešsaistē (skatīt Kods pieejamība). Sprādzienbīstama sinaptiskā plastiskums , un mācīties ar spike prognozi Kopumā mūsu pētījums nodrošina pilnīgu instrumentu kopumu, kam ir potenciāls mainīt pašreizējo aprēķinu neiroloģijas kopienas ekosistēmu.Izmantojot GPU datortehnikas spēku, mēs paredzam, ka šie instrumenti atvieglos sistēmas līmeņa izpēti par smadzeņu smalko struktūru aprēķinu principiem, kā arī veicinās neiroloģijas un mūsdienu AI mijiedarbību. 21 20 36 Rezultāti Dendritiskā hierarhiskā plānošana (DHS) Ionu strāvu aprēķināšana un lineāru vienādojumu risināšana ir divas kritiskas fāzes, simulējot biofiziski detalizētus neironus, kas ir laikietilpīgi un rada smagas aprēķina slodzes. Tā rezultātā lineāro vienādojumu atrisināšana kļūst par paliekošu paralelizācijas procesu (Fig. Tātad ) 37 1a–f Lai risinātu šo problēmu, ir izstrādātas paralēlās metodes šūnu līmenī, kas paātrina vienšūnu aprēķinu, “sadalot” vienu šūnu vairākos nodalījumos, kurus var aprēķināt paralēli. , , Tomēr šādas metodes lielā mērā paļaujas uz iepriekšējām zināšanām, lai radītu praktiskas stratēģijas par to, kā sadalīt vienu neironu nodalījumos (Fig. • Papildu figūra. Tādējādi tas kļūst mazāk efektīvs neironiem ar asimetriskām morfoloģijām, piemēram, piramīdas neironiem un Purkinje neironiem. 27 28 38 1 g 1 Mūsu mērķis ir izstrādāt efektīvāku un precīzāku paralēlo metodi bioloģiski detalizētu neironu tīklu simulācijai. , mēs ierosinām trīs nosacījumus, lai nodrošinātu, ka paralēlā metode sniegs identiskus risinājumus kā sērijveida skaitļošanas Hines metode saskaņā ar datu atkarību Hines metodē (skatīt Metodes). 34 Pamatojoties uz simulācijas precizitāti un aprēķinu izmaksām, mēs formulējam paralelizācijas problēmu kā matemātisko plānošanas problēmu (skatīt Metodes). paralēlos virzienos, mēs varam aprēķināt maksimāli katrā posmā, bet mums ir jānodrošina, ka mezgls tiek aprēķināts tikai tad, ja visi tā bērni mezgli ir apstrādāti; mūsu mērķis ir atrast stratēģiju ar minimālo soļu skaitu visai procedūrai. k k Lai radītu optimālu sadalījumu, mēs piedāvājam metodi, ko sauc par Dendritic Hierarchical Scheduling (DHS) (teorētiskais pierādījums ir sniegts metodēs). DHS metode ietver divus soļus: dendrītiskās topoloģijas analīzi un labākās nodalījuma atrašanu: (1) Ņemot vērā detalizētu modeli, mēs vispirms iegūstam atbilstošo atkarības koku un aprēķinām katra mezgla dziļumu (mezgla dziļums ir tā senču mezglu skaits) uz koka (Fig. (2) Pēc topoloģijas analīzes mēs meklējam kandidātus un izvēlamies visvairāk dziļākie kandidāta mezgli (mezgls ir kandidāts tikai tad, ja visi tā bērni mezgli ir apstrādāti). Tātad ) 2a 2B un C k 2D DHS darba plūsma. DHS procesi Dziļākais kandidāta mezgls katrā iterācijā. Attēls, kā aprēķināt nodalījuma modeļa mezglu dziļumu. modelis vispirms tiek pārvērsts par koku struktūru, pēc tam aprēķina katra mezgla dziļumu. Topoloģijas analīze par dažādiem neironu modeļiem. Šeit ir parādīti seši neironi ar atšķirīgām morfoloģijām. Katram modelim soma tiek izvēlēta kā koka sakne, tāpēc mezgla dziļums palielinās no somas (0) līdz distālajiem dendrītiem. Ilustrācija par DHS veikšanu uz modeļa kandidāti: mezgli, kurus var apstrādāt. atlasītie kandidāti: mezgli, kurus izvēlas DHS, t.i., Apstrādātie mezgli: mezgli, kas iepriekš ir apstrādāti. Paralelizācijas stratēģija, ko ieguvusi DHS pēc procesa DHS samazina sērijveida mezglu apstrādes soļus no 14 līdz 5, sadalot mezglus uz vairākiem mezgliem. Relatīvās izmaksas, t.i., DHS aprēķina izmaksu attiecība pret sērijas Hines metodi, piemērojot DHS ar dažādiem virzienu skaitu dažādos modeļos. a k b c d b k e d f Ņemiet vienkāršotu modeli ar 15 nodalījumiem kā piemēru, izmantojot sērijveida skaitļošanas Hines metodi, tas aizņem 14 soļus, lai apstrādātu visus mezglus, bet izmantojot DHS ar četrām paralēlām vienībām var sadalīt tās mezglus piecos apakšsistēmās (Fig. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Tā kā vienā un tajā pašā apakšgrupā esošie mezgli var tikt apstrādāti paralēli, ir nepieciešami tikai pieci soļi, lai apstrādātu visus mezglus, izmantojot DHS (Fig. Tātad ) 2D 2e Tālāk mēs piemērojam DHS metodi uz sešiem reprezentatīviem detalizētiem neironu modeļiem (izvēlēti no ModelDB ) ar dažādiem tīklu skaitu (Fig. ): ieskaitot kortikālās un hipokampālās piramīdas neironus , , Cerebellar Purkinje neironi Striatālās projekcijas neironi (SPN) ), un olbaltumvielu spuldzes mitrālās šūnas , kas aptver galvenos galvenos neironus sensoriskajās, kortikālajās un subkortikālajās jomās. Pēc tam mēs izmērījām aprēķina izmaksas. Relatīvās aprēķina izmaksas šeit ir definētas ar DHS aprēķina izmaksu attiecību pret sērijveida Hines metodi. Aprēķina izmaksas, t.i., soļu skaits, kas veikti, lai atrisinātu vienādojumus, dramatiski samazinās ar pieaugošo pavedienu skaitu. Piemēram, ar 16 pavedieniem DHS aprēķina izmaksas ir 7%-10% salīdzinājumā ar sērijveida Hines metodi. Interesanti, DHS metode sasniedz zemākās robežas to aprēķina izmaksas par prezentētajiem neironiem, ja tiek dota 16 vai pat 8 paralē ), suggesting adding more threads does not improve performance further because of the dependencies between compartments. 39 2f 40 41 42 43 44 45 2f Together, we generate a DHS method that enables automated analysis of the dendritic topology and optimal partition for parallel computing. It is worth noting that DHS finds the optimal partition before the simulation starts, and no extra computation is needed to solve equations. DHS paātrināšana ar GPU atmiņas uzlabošanu DHS aprēķina katru neironu ar vairākiem virzieniem, kas patērē milzīgu daudzumu virzienu, kad darbojas neironu tīkla simulācijas. Paralēli datoriem Teorētiski daudziem GPU SP būtu jāatbalsta efektīva simulācija liela mēroga neironu tīkliem (Fig. Tomēr mēs konsekventi novērojām, ka DHS efektivitāte ievērojami samazinājās, kad tīkla izmērs palielinājās, kas var būt izraisījis izkliedētu datu uzglabāšanu vai papildu atmiņas piekļuvi, ko izraisa starpposma rezultātu ielādēšana un rakstīšana (Fig. Tātad pa kreisi). 3a un b 46 3c 3D GPU arhitektūra un tās atmiņas hierarhija. Katrs GPU satur masveida apstrādes vienības (plūsmas procesori). Dažādiem atmiņas veidiem ir atšķirīga caurlaidība. Streaming Multiprocessors (SM) arhitektūra. katrā SM ir vairāki straumēšanas procesori, reģistri un L1 kešatmiņa. Piemērojot DHS uz diviem neironiem, katram no tiem ir četri virzieni. Atmiņas optimizācijas stratēģija GPU. augšējā paneļa, vītņu piešķiršana un datu uzglabāšana DHS, pirms (pa kreisi) un pēc (labajā) atmiņas pastiprināšanas. Procesori nosūta datu pieprasījumu, lai ielādētu datus par katru vadu no globālās atmiņas. Bez atmiņas palielināšanas (pa kreisi) ir nepieciešamas septiņas darījumus, lai ielādētu visus pieprasījuma datus un dažas papildu darījumus starpposma rezultātiem. ar atmiņas palielināšanu (pa labi) ir nepieciešamas tikai divas darījumus, lai ielādētu visus pieprasījuma datus, reģistri tiek izmantoti starpposma rezultātiem, kas vēl vairāk uzlabo atmiņas caurlaidību. Darbības laiks DHS (32 pavedieni katrā šūnā) ar un bez atmiņas palielināšanas uz vairāku slāņu 5 piramīdas modeļiem ar spīdekļiem. Atmiņas uzlabošanas paātrināšana uz vairāku slāņu 5 piramīdas modeļiem ar spraudeņiem. atmiņas uzlabošana noved pie 1,6-2 reizes paātrinājuma. a b c d d e f Mēs atrisinām šo problēmu, izmantojot GPU atmiņas uzlabošanu, kas ir metode, lai palielinātu atmiņas caurlaidību, izmantojot GPU atmiņas hierarhiju un piekļuves mehānismu. , Lai sasniegtu augstu caurlaidību, mēs vispirms saskaņojam mezglu aprēķina pasūtījumus un pārkārtojam virzienus atbilstoši to mezglu skaitam. Tad mēs pārveidojam datu uzglabāšanu globālajā atmiņā, kas atbilst aprēķina pasūtījumiem, t.i., mezgli, kas tiek apstrādāti tajā pašā posmā, tiek glabāti secīgi globālajā atmiņā. Turklāt mēs izmantojam GPU reģistrus, lai uzglabātu starpposma rezultātus, vēl vairāk nostiprinot atmiņas caurlaidību. Turklāt eksperimenti ar vairākiem piramīdas neironu numuriem ar mugurkaulām un tipiskiem neironu modeļiem (Fig. • Papildu figūra. ) parādīt, ka atmiņas pastiprināšana sasniedz 1,2-3,8 reizes paātrinājumu salīdzinājumā ar naivi DHS. 46 47 3D 3 E, F 2 Lai visaptveroši pārbaudītu DHS veiktspēju ar GPU atmiņas pastiprināšanu, mēs izvēlamies sešus tipiskus neironu modeļus un izvērtējam katra modeļa masveida skaitļu kabeļu vienādojumu atrisināšanas izpildes laiku (Fig. Mēs pārbaudījām DHS ar četriem pavedieniem (DHS-4) un sešpadsmit pavedieniem (DHS-16) katram neironam, attiecīgi. Turklāt, salīdzinot ar tradicionālo sērijveida Hines metodi NEURON, kas darbojas ar vienu procesora vadu, DHS paātrina simulāciju par 2-3 lieluma kārtām (Papildu attēls. ), vienlaikus saglabājot identisku skaitlisko precizitāti blīvu spīdekļu klātbūtnē (Papildu figūras. un ), aktīvie dendrīti (Papildu fig. 2) dažādas segmenta stratēģijas (papildinošas figūras. Tātad ) 4 4a 3 4 8 7 7 Run laiks, lai atrisinātu vienādojumus 1 s simulācijas GPU (dt = 0,025 ms, 40,000 iterācijas kopumā). CoreNEURON: paralēlā metode, ko izmanto CoreNEURON; DHS-4: DHS ar četriem virzieniem katram neironam; DHS-16: DHS ar 16 virzieniem katram neironam. , Partīcijas vizualizācija ar DHS-4 un DHS-16, katra krāsa norāda uz vienu pavedienu. a b c DHS izveido optimālu šūnu tipa specifisko dalīšanu Lai iegūtu ieskatu par DHS metodes darba mehānismu, mēs vizualizējām particionēšanas procesu, pārklājot nodalījumus uz katru virzienu (katra krāsa attēlo vienu virzienu figūrā. Vizualizācija parāda, ka viens virziens bieži pārslēdzas starp dažādām filiālēm (Fig. Interesanti, ka DHS rada izlīdzinātas nodalījumus morfoloģiski simetriskos neironos, piemēram, striatālās projekcijas neironu (SPN) un Mitral šūnu (Fig. ). By contrast, it generates fragmented partitions of morphologically asymmetric neurons like the pyramidal neurons and Purkinje cell (Fig. ), kas norāda, ka DHS sadala neironu koku atsevišķu nodalījumu mērogā (t.i., koku mezglu) nevis filiāļu mērogā. 4B un C 4B un C 4B un C 4B un C Kopumā DHS un atmiņas pastiprināšana rada teorētiski pierādītu optimālu risinājumu lineāru vienādojumu risināšanai paralēli ar nepieredzētu efektivitāti. Izmantojot šo principu, mēs izveidojām atvērtas piekļuves DeepDendrite platformu, ko neiroloģijas zinātnieki var izmantot, lai īstenotu modeļus bez jebkādām specifiskām GPU programmēšanas zināšanām. DHS ļauj modelēt mugurkaula līmeni Tā kā dendrītiskie mugurkauli saņem lielāko daļu uzbudinošā ieguldījuma kortikālajos un hipokampālajos piramīdas neironos, striatālās projekcijas neironos utt., To morfoloģija un plastiskums ir izšķiroši svarīgi neironu uzbudināmības regulēšanai. , , , , Tomēr spīdekļi ir pārāk mazi (~ 1 μm garš), lai tos tieši izmērītu eksperimentāli attiecībā uz sprieguma atkarīgiem procesiem. 10 48 49 50 51 Mēs varam modelēt vienu mugurkaulu ar diviem nodalījumiem: mugurkaula galvu, kur atrodas sinapses, un mugurkaula kaklu, kas savieno mugurkaula galvu ar dendrītiem. Teorija paredz, ka ļoti plāns mugurkaula kakls (0,1-0,5 μm diametrā) elektroniski izolē mugurkaula galvu no vecā dendrīta, tādējādi nodalot signālus, kas rodas mugurkaula galvā. Tomēr detalizētais modelis ar pilnībā sadalītiem dendrītiem (“pilna mugurkaula modelis”) ir ļoti dārgs. Spina faktors , tā vietā, lai modelētu visus spīdekļus skaidri. mugurkaula faktora mērķis ir tuvināt mugurkaula ietekmi uz šūnu membrānas biofiziskajām īpašībām . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Eksperimentu uzstādīšana. Mēs pārbaudām divus galvenos modeļu veidus: daži mugurkaula modeļi un pilna mugurkaula modeļi. Daži mugurkaula modeļi (divi pa kreisi) ir modeļi, kas globāli iekļāva mugurkaula zonu dendritos un tikai piestiprina atsevišķus mugurkaulus kopā ar aktivētām sinapsēm. Pilna mugurkaula modeļos (divi pa labi) visi mugurkaula modeļi ir skaidri piestiprināti uz veseliem dendrītiem. Mēs izpētām grupu un nejauši izplatītu sinaptisko ieeju ietekmi attiecīgi uz dažiem mugurkaula modeļiem un pilna mugurkaula modeļiem. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in Fona troksnis ir pievienots. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d DeepDendrite platformā gan pilna mugurkaula, gan neliela mugurkaula modeļi sasniedza 8 reizes ātrāku ātrumu salīdzinājumā ar CoreNEURON GPU platformā un 100 reizes ātrāku ātrumu salīdzinājumā ar sērijveida NEURON CPU platformā (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) salīdzinājumā ar CoreNEURON izmantoto GPU metodi un līdz 1500 reižu paātrinājumu salīdzinājumā ar sērijveida Hines metodi CPU platformā (Fig. • Papildu figūra. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks Mēs parādām, ka DeepDendrite var atbalstīt gan neiroloģijas simulācijas, gan ar AI saistītus detalizētus neiroloģisko tīklu uzdevumus ar nepieredzētu ātrumu, tādējādi ievērojami veicinot detalizētas neiroloģijas simulācijas un potenciāli nākotnes AI izpētes. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Ar turpmāku optimizāciju, GPU balstītas metodes sasniedz daudz lielāku efektivitāti tīkla simulācijas. Tomēr aprēķini šūnās joprojām ir sērijas tīkla līmeņa metodes, tāpēc viņi joprojām nevar tikt galā ar problēmu, kad "Hines matrica" katras šūnas mērogos liels. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pievērsiet mazāk uzmanības paralelizācijas stratēģijai.Nepilnīga paralelizācijas stratēģijas trūkums rada neapmierinošu veiktspēju.Lai sasniegtu augstāku efektivitāti, daži pētījumi cenšas iegūt smalkāku paralelizāciju, ieviešot papildu aprēķinu operācijas , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the Dendrīta kabeļa ģeometrijas izmaiņu koeficients . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus un bazālā ganglija in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. ierosināja jaunu ANN arhitektūru ar aktīviem dendrītiem, kas demonstrē konkurētspējīgus rezultātus daudzfunkcionālā un nepārtrauktas mācīšanās jomā. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . ierosināja dendrīta normalizācijas noteikumu, kas balstīts uz biofizisko uzvedību, piedāvājot interesantu perspektīvu par dendrīta koka struktūras ieguldījumu aprēķinos. Kaut arī šie pētījumi piedāvā vērtīgus ieskatus, tie galvenokārt paļaujas uz abstrakcijām, kas iegūtas no telpā paplašinātiem neironiem, un pilnībā neizmanto dendrītu detalizētās bioloģiskās īpašības un telpisko informāciju. Ir nepieciešami turpmāki pētījumi, lai atklātu potenciālu izmantot reālistiskākus neironu modeļus, lai saprastu kopīgos mehānismus, kas ir smadzeņu aprēķina un dziļas mācīšanās pamatā. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Šis tīkls parādīja efektīvas apmācības spējas attēlu klasifikācijas uzdevumos, sasniedzot aptuveni 25 reizes ātrāku ātrumu salīdzinājumā ar apmācību uz tradicionālās CPU bāzes platformas (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Izpildiet HPC-Net apmācības un testēšanas laiku. Partijas izmērs ir iestatīts uz 16. Pa kreisi, palaidiet apmācības laiku vienu eposu. Labā, palaidiet testa laiku. Paralēli NEURON + Python: apmācība un testēšana vienā CPU ar vairākiem kodoliem, izmantojot 40-procesu paralēlu NEURON, lai simulētu HPC-Net un papildu Python kodu, lai atbalstītu mini-batšu apmācību. DeepDendrite: apmācība un testēšana HPC-Net vienā GPU ar DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks salīdzinājumā ar standarta ANN, kā redzams MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS Koriņģis simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } kur katra apakšsadaļas lielums | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 VN Vi k i Vi Vi Viņa v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at Nākamais solis (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is Ierobežojums “par katru mezglu” ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ ir piešķirts apakšsistēmai: (1) atrodiet visus kandidātu mezglus un ievietojiet šos mezglus kandidātu kopā . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Precizitātes apliecinājums par DHS Pēc DHS pielietošanas neironu kokam = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset Divi . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in Viņi ir { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vīrietis 1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset in ( DHS pārvietošanās (thread number) deepest nodes from the corresponding candidate set Divi . If the number of nodes in is smaller than , move all nodes from Divi Lai vienkāršotu, mēs ieviešam Norāda dziļuma summu deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( 2) paliek tāds pats pēc izmaiņām. Viņa P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P * V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in Tie netiek ievietoti ; (2) | | = but nodes in are not the deepest nodes in . V*i V * I V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | Mīlestība = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + Nākamais Raksts: Ja + | ≤ and none of the nodes in + ir node vecāks , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; citādi pārvietot mezglu ar minimālo dziļumu no + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from Divi . V*i V*i < k V*i V*i 6b V*i k Qi V * I 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V In conclusion, DHS generates a partition ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P* V P V P* V | P V GPU implementation and memory boosting Lai sasniegtu augstu atmiņas caurlaidību, GPU izmanto atmiņas hierarhiju (1) globālā atmiņa, (2) kešatmiņa, (3) reģistrs, kur globālajai atmiņai ir liela ietilpība, bet zema ietilpība, bet reģistriem ir zema ietilpība, bet augsta ietilpība. GPU izmanto SIMT (Single-Instruction, Multiple-Thread) arhitektūru. Warps ir pamata grafikas vienības GPU (warp ir 32 paralēlu virzienu grupa). Pareizi sakārtoti mezgli ir būtiski šai aprēķinu partijai varpās, lai pārliecinātos, ka DHS iegūst identiskus rezultātus kā sērijveida Hines metode. Kad mēs īstenojam DHS uz GPU, mēs vispirms grupējam visas šūnas vairākās varpās, pamatojoties uz to morfoloģijām. Šūnas ar līdzīgām morfoloģijām tiek grupētas tajā pašā varpā. Pēc tam mēs piemērojam DHS uz visiem neironiem, piešķirot katra neirona nodalījumus vairākiem pavedieniem. Tā kā neironi ir grupēti uz varpiem, tā paša neirona nodalījumi ir tajā pašā varpā. Tāpēc iekšējā sinhronizācija varpās saglabā aprēķinu secību saskaņā ar sērijveida Hines 46 Kad warp ielādē iepriekš pielāgotus un secīgi uzglabātus datus no globālās atmiņas, tas var pilnībā izmantot kešatmiņu, kas noved pie augstas atmiņas caurlaidības, kamēr piekļuve izkliedētiem datiem samazinās atmiņas caurlaidību. Pēc nodalījumu piešķiršanas un virzienu pārkārtošanas mēs pārveidojam datus globālajā atmiņā, lai padarītu to saskaņotu ar aprēķinu pasūtījumiem, lai warps varētu ielādēt secīgi uzglabātus datus programmas izpildes laikā. Turklāt mēs ievietojam nepieciešamos pagaidu mainīgos reģistros, nevis globālajā atmiņā. Pilna mugurkaula un nedaudz mugurkaula bioloģiskie modeļi We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Tādi jonu kanāli kā Na+ un K+ tika ievietoti somā un sākotnējā aksonā, un to apgriešanas potenciāli bija Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, Tikai spīdekļi, kas saņēma sinaptiskos ienākumus, bija skaidri saistīti ar dendrītiem. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, Paaugstināt un decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Fona troksnis We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 Kur is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1,0 μF cm-2, membrānas pretestība m = 104 Ω cm2, axial resistivity a = 100 Ω cm, pasīvā nodalījuma apgriešanas potenciāls l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261,97 Ω cm, un visu pasīvo kabeļu apgriešanas potenciāls l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron “Dendrits ir definēts kā Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 gijk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the Neironu iznākums un indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i yi yi i yi When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron Neirons ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Šeit ir mācīšanās ātrums, ir atjauninājuma vērtība laikā , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron Dendrīts uz neironu Somija Somija s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( Attiecībā uz slēptiem neironiem kļūdu termins tiek aprēķināts no kļūdu terminiem iznākuma slānī, kas norādīts ekvivalentā. ( ). t VJ vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet Trokšņa līmenis svārstījās no 0,02 līdz 0,2. Mēs eksperimentējām ar divām tipiskām datu kopām, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Sīkāka informācija par pētniecības projektu pieejama Saistīts ar šo rakstu. Nature Portfolio Reporting Summary Datu pieejamība The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at Tātad ar šo dokumentu tiek nodrošināta. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – Šajā pētījumā ir pieejami . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. un Pitts, W. Loģiskais ideju aprēķins, kas pieder nervu darbībai. LeCun, Y., Bengio, Y. un Hinton, G. Dziļa mācīšanās. Daba 521, 436–444 (2015). Poirazi, P., Brannon, T. un Mel, B. W. Aritmētiskā apakšsliežu sinaptisko summu modelis CA1 piramīdas šūnu. London, M. & Häusser, M. Dendrīta aprēķins. Annu. Rev. Neurosci. 28, 503–532 (2005). Branko, T. un Häusser, M. Viena dendrīta filiāle kā nervu sistēmas pamatfunkcionālā vienība. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic integration: 60 years of progress. , 1713–1721 (2015). Nat. Neurosci. 18 Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. , 303–321 (2020). Nat. Rev. Neurosci. 21 Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. Dendritic spine changes associated with hippocampal long-term synaptic plasticity. , 66–70 (1999). Nature 399 Yuste, R. Dendrīta spīdekļi un sadalītās shēmas. Neuron 71, 772–781 (2011). Yuste, R. Elektriskā compartmentalization dendritic mugurkaulā. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Dendritisko koku nozarēšana un motoneuronu membrānas rezistivitāte. Eksp. Neirol. 1, 491–527 (1959). Segevs, I. & Rall, W. Aprēķinātais pētījums par aizraujošu dendrīta mugurkaulu. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Spēles apgūšana ar dziļiem neironu tīkliem un koku meklēšanu Nature 529, 484–489 (2016). Silver, D. et al. Vispārīgs pastiprinājuma mācīšanās algoritms, kas apgūst šahu, shogi un iet cauri pašspēlei. McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 Franču, R. M. Katastrofālā aizmiršana konjunktivistiskajos tīklos. tendences Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse uzliesmojumi optimizē informācijas pārsūtīšanu multiplexētajā neironu kodā. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst atkarīgo sinaptisko plastiskumu var koordinēt mācīšanās hierarhiskajās aprindās. Bicknell, B. A. & Häusser, M. Synaptic mācīšanās noteikums nelineāro dendritisko aprēķinu izmantošanai. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradientu klasterons: modelis neirons, kas iemācās atrisināt klasifikācijas uzdevumus, izmantojot dendrīta nelinearitātes, strukturālo plastiskumu un gradientu lejupslīdi. Hodgkin, A. L. un Hukslijs, A. F. Kvantitatīvs membrānas strāvas apraksts un tā pielietojums nervu vadīšanā un uzbudināšanā. Rall, W. Dendrītu fizioloģisko īpašību teorija. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J. M. un Beeman, D. grāmatā GENESIS: Izpētot reālistisko neironu modeļus ar vispārējo neironu simulācijas sistēmu (eds Bower, J. M. un Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron sadalīšana datorizētās paralēlās tīkla simulācijās ļauj mērogot izpildes laiku ar divreiz vairāk procesoriem. Hines, M. L., Markram, H. un Schürmann, F. Pilnīgi netieši paralēla simulācija atsevišķu neironu. Ben-Shalom, R., Liberman, G. un Korngreen, A. Paātrinot nodalījuma modelēšanu uz grafiskās apstrādes vienības. Tsuyuki, T., Yamamoto, Y. un Yamazaki, T. Efektīva ciparu simulācija neironu modeļiem ar telpisko struktūru uz grafikas apstrādes vienībām. In Proc. 2016 Starptautiskā konference par neironu informācijas apstrādi (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, ASV Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. Proc. IEEE 24. starptautiskā konference par augstas veiktspējas datoriem (HiPC) 388–397 (IEEE, 2017). Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. un Vygen, J. Kombinētās optimizācijas teorija un algoritmi 6 edn (Springer, 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: optimizēts skaitļošanas dzinējs NEURON simulatoram. front. Neuroinform. 13, 63 (2019). Urbanczik, R. un Senn, W. Mācīšanās, izmantojot dendrītisko prognozi somatisko spiking. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. un Korngreen, A. Ionu kanālu modeļu optimizēšana, izmantojot paralēlu ģenētisko algoritmu uz grafiskajiem procesoriem. Mascagni, M. Paralelizējošs algoritms, lai aprēķinātu risinājumus patvaļīgi atdalītiem kabeļu neironu modeļiem. McDougal, R. A. et al. Twenty years of modelDB and beyond: building essential modeling tools for the future of neuroscience. , 1–10 (2017). J. Comput. Neurosci. 42 Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektīvi bloķē nesinhronizētu distālo ieejas laika summu CA1 piramīdas neironos. Hemond, P. et al. Atšķirīgās piramīdas šūnu klases izrāda savstarpēji izslēdzamus šaušanas modeļus hipokampālajā apgabalā CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Neokortikālā slāņa 5b piramīdas šūnu modeļi, kas uztver plašu dendrītisko un perisomātisko aktīvo īpašību klāstu. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Darbības potenciāla apstrāde detalizētā purkinje šūnu modelī atklāj kritisku lomu aksonālai nodalīšanai. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. Synaptic klasteri darbojas kā smaržas operatori smaržas spuldzes. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ programmēšanas rokasgrāmata. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptic amplification by dendritic spines enhances input cooperativity. , 599–602 (2012). Nature 491 Chiu, C. Q. et al. GABAergic inhibīcijas sadalīšana ar dendritisko mugurkaulu. Zinātne 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. un Nägerl, U. V. Mugurkaula kakla plastiskums regulē sinapses nodalīšanu. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Cilvēka kortikālās piramīdas neironi: no mugurkaula līdz spraudeņiem, izmantojot modeļus. front. šūna. Neurosci. 12, 181 (2018). Koch, C. un Zador, A. Dendrīta spīdekļu funkcija: ierīces, kas nodrošina bioķīmisko, nevis elektrisko compartmentalizāciju.J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritic spines. In (Oxford University Press, 1999). Biophysics of Computation Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. Bioloģiski iedvesmoti aizsargāt dziļo tīklu no pretinieku uzbrukumiem. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Liela mēroga simulācija, izmantojot paralēlu GENESIS. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Paralēli tīkla simulācijas ar NEURON. Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: vairāku Hines sistēmu risināšana GPU cilvēka smadzeņu projektā. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Morfoloģiski detalizēta neironu tīklu simulācijas bibliotēka mūsdienu augstas veiktspējas skaitļošanas arhitektūrām. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. An ultrascalable solution to large-scale neural tissue simulation. , 15 (2011). Front. Neuroinform. 5 Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrānas potenciālās izmaiņas dendrītiskajās mugurkaulās darbības potenciālu un sinaptisko ieguldījumu laikā. Nishiyama, J. un Yasuda, R. Bioķīmiskais aprēķins mugurkaula strukturālajai plastiskumam. Neuron 87, 63–75 (2015). Yuste, R. un Bonhoeffer, T. Morfoloģiskās izmaiņas dendrītiskajās mugurkaulās, kas saistītas ar ilgtermiņa sinaptisko plastiskumu. Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Caroni, P., Donato, F. un Muller, D. Strukturālā plastiskums mācīšanās laikā: regulēšana un funkcijas. Keck, T. et al. Neironu ķēžu masveida pārstrukturēšana pieaugušo redzes garozas funkcionālās reorganizācijas laikā. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Trachtenberg, J. T. et al. Ilgtermiņa in vivo attēlveidošana no pieredzes atkarīga sinaptisko plastiskumu pieaugušo garozā. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axiālā dinamika uzbudināmie un inhibitoru neironi somatosenzoru garozā. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Ātra sinapses veidošanās un selektīva stabilizācija ilgstošām motoriskajām atmiņām. Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Motoriskās mācīšanās uzlabošana, palielinot jaunizveidoto dendrītisko mugurkaulu stabilitāti motoriskajā garozā Neuron 109, 3298–3311 (2021). Branko, T. un Häusser, M. Sinaptisko integrācijas gradienti vienā kortikālā piramīda šūnu dendritos. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Aktīvās īpašības neokortikālās piramīdas neironu dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed sinaptisko inhibīcijas formas NMDA spikes, ietekmējot vietējo dendrīta apstrādi un globālo I / O īpašības kortikālo neironu. šūnu Rep. 21, 1550–1561 (2017). Du, K. et al. Šūnu tipa specifiskā dendrīta platuma potenciāla inhibīcija striatālās mugurkaula projekcijas neironos. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritiskās spraugas uzlabo stimulu selektivitāti kortikālajos neironos in vivo. Nature 503, 115–120 (2013). Xu, N.-l et al. Nelineāra dendrīta integrācija sensoru un motora ieplūdes laikā aktīvā uztveršanas uzdevumā. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Modes-MNIST: jauns attēlu datu kopums mašīnas mācīšanās algoritmu salīdzināšanai. Preprint at http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Atzinības Autori sirsnīgi pateicas Dr. Rita Zhang, Daochen Shi un NVIDIA locekļiem par vērtīgo tehnisko atbalstu GPU datoriem. Šis darbs tika atbalstīts no Ķīnas Nacionālās galvenās pētniecības un izstrādes programmas (Nr. 2020AAA0130400) K.D. un T.H., Ķīnas Nacionālās dabas zinātnes fonda (Nr. 6182588102) T.H., Ķīnas Nacionālās galvenās pētniecības un izstrādes programmas (Nr. 2022ZD01163005) L.M., Guangdong provinces galvenās pētniecības un izstrādes programmas (Nr. 2018B030338001) T.H., Ķīnas Nacionālās dabas zinātnes fonda (Nr. 6182510101) Y.T., Zviedrijas pētniecības padomes (VR-M-2020-016 Šis dokuments ir pieejams dabā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Šis dokuments ir Attiecības ir licencētas saskaņā ar CC by 4.0 Deed (Attribution 4.0 International) licenci. Pieejams dabā
