Autori : Yichen Zhang Gan He Leja Ma Lielais Liu J. J. Johans Hjorts Aleksandrs Kozlovs Yutao He Shenjian Zhang Žanete Hellgrēna Kotaleska Yonghong Tīns Kārlis Grīnbergs Kai Du Mārtiņš Huans Autori : Jēkabpils ZZS Gan viņš Leja Ma Lielais Liu J. J. Johans Hjorts Aleksandrs Kozlovs Yutao viņš Shenjian Čang Žanete Hellgrēna Kotaleska Yonghong Tīns Kārlis Grīnbergs Kad tu Mārtiņš Huans Abstraktā Bioloģiski detalizēti vairāku nodalījumu modeļi ir spēcīgi instrumenti, lai izpētītu smadzeņu aprēķinu principus, kā arī kalpotu kā teorētiska sistēma, lai ģenerētu algoritmus mākslīgā intelekta (AI) sistēmām. Tomēr dārgās aprēķina izmaksas nopietni ierobežo lietojumprogrammas gan neiroloģijas, gan AI jomās. Galvenais šķērslis detalizētu nodalījumu modeļu simulēšanas laikā ir simulatora spēja atrisināt lielas lineāro vienādojumu sistēmas. Endrīts Hierarhiskā Cheduling (DHS) metode, lai ievērojami paātrinātu šādu procesu. Mēs teorētiski pierādām, ka DHS īstenošana ir aprēķinu ziņā optimāla un precīza. Šī GPU balstītā metode darbojas ar 2-3 lieluma orderiem lielāku ātrumu nekā klasiskās sērijveida Hines metodes konvencionālajā CPU platformā. Mēs veidojam DeepDendrite sistēmu, kas integrē DHS metodi un NEURON simulatoru GPU datortehniku un demonstrē DeepDendrite pielietojumus neiroloģijas uzdevumos. Mēs izpētām, kā mugurkaula ieejas telpiski modeļi ietekmē neironu uzbudināmību detalizētā cilvēka piramīdas neirona modelī ar 25 000 spin. Turklāt mēs sniedzam īsu diskusiju par DeepDendrite potenci D H S Ievads Neironu kodēšanas un aprēķina principu atšifrēšana ir būtiska neiroloģijas zinātnei. Zīdītāju smadzenes sastāv no vairāk nekā tūkstošiem dažādu veidu neironiem ar unikālām morfoloģiskām un biofiziskām īpašībām. , kurā neironi tika uzskatīti par vienkāršām summēšanas vienībām, joprojām tiek plaši izmantots neironu aprēķinos, īpaši neironu tīklu analīzē.Pēdējos gados mūsdienu mākslīgais intelekts (AI) ir izmantojis šo principu un izstrādājis spēcīgus rīkus, piemēram, mākslīgos neironu tīklus (ANN). Tomēr, papildus visaptverošiem aprēķiniem vienā neirona līmenī, subcelulārie nodalījumi, piemēram, neironu dendrīti, var arī veikt nelineāras operācijas kā neatkarīgas aprēķinu vienības. , , , , Turklāt dendrītiskie spīdekļi, mazie izvirdumi, kas blīvi aptver dendrītus mugurkaula neironos, var nodalīt sinaptiskos signālus, ļaujot tos atdalīt no viņu vecāku dendrīta ex vivo un in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulācijas, izmantojot bioloģiski detalizētus neironus, nodrošina teorētisku pamatu bioloģisko detaļu saistīšanai ar aprēķinu principiem. , ļauj mums modelēt neironus ar reālistiskām dendrītiskām morfoloģijām, iekšējo jonu vadītspēju un ārējos sinaptiskos ienākumus. detalizētā daudzpartiju modeļa, t.i., dendrītu, mugurkauls ir balstīts uz klasisko kabeļu teoriju , kas modelē dendrītu bioloģiskās membrānas īpašības kā pasīvus kabeļus, sniedzot matemātisku aprakstu par to, kā elektroniskie signāli iebrūk un izplatās visā sarežģītajos neironu procesos. , . 12 13 12 4 7 Papildus tās dziļajai ietekmei uz neiroloģijas zinātni, bioloģiski detalizēti neironu modeļi nesen tika izmantoti, lai pārklātu plaisu starp neironu strukturālajām un biofiziskajām detaļām un AI. Pārsvarā esošā tehnika mūsdienu AI jomā ir ANN, kas sastāv no punktu neironiem, kas ir analogs bioloģiskajiem neironu tīkliem. Lai gan ANN ar "backpropagation-of-error" (backprop) algoritmu sasniedza ievērojamu veiktspēju specializētās lietojumprogrammās, pat pārspējot augstākos cilvēka profesionālos spēlētājus Go un šaha spēlēs , Cilvēka smadzenes joprojām pārspēj ANN jomās, kurās ir vairāk dinamiskas un trokšņainas vides. , Nesenie teorētiskie pētījumi liecina, ka dendrītiskā integrācija ir izšķiroša efektīvu mācīšanās algoritmu radīšanā, kas potenciāli pārsniedz backprop paralēlajā informācijas apstrādē. , , Turklāt viens detalizēts vairāku nodalījumu modelis var apgūt tīkla līmeņa ne-lineāros aprēķinus punkta neironiem, pielāgojot tikai sinaptisko spēku. , Tādēļ ir ļoti svarīgi paplašināt smadzeņu tipa AI paradigmas no viena detalizēta neironu modeļa līdz lielam bioloģiski detalizētam tīklam. 14 15 16 17 18 19 20 21 22 Viens no detalizētas simulācijas pieejas ilgstošajiem izaicinājumiem ir tās ārkārtīgi augstās aprēķinu izmaksas, kas ir nopietni ierobežojusi tās pielietojumu neiroloģijas un AI. , , Lai uzlabotu efektivitāti, klasiskā Hines metode samazina laika sarežģītību, lai atrisinātu vienādojumus no O(n3) līdz O(n), kas ir plaši izmantots kā pamata algoritms populāros simulatoros, piemēram, NEURON un ģenēze Tomēr šī metode izmanto sērijveida pieeju katra nodalījuma secīgai apstrādei.Kad simulācijā ir iesaistīti vairāki bioloģiski detalizēti dendrīti ar dendrīta spiniem, lineārā vienādojuma matrica (“Hines Matrix”) attiecīgi mēro ar pieaugošu dendrītu vai spinu skaitu (Fig. ), padarot Hines metodi vairs nav praktisks, jo tas rada ļoti smagu slogu uz visu simulāciju. 12 23 24 25 26 1e Rekonstruēts 5. slāņa piramīdas neironu modelis un matemātiskā formula, ko izmanto ar detalizētiem neironu modeļiem. Darba plūsma, skaitliski simulējot detalizētus neironu modeļus. Piemērs lineāriem vienādojumiem simulācijā. Hines metodes datu atkarība lineāro vienādojumu risināšanā Tātad Hines matricas izmērs svārstās ar modeļa sarežģītību. lineāro vienādojumu sistēmu skaits, kas jāatrisina, ievērojami palielinās, kad modeļi kļūst detalizētāki. Aprēķinu izmaksas (pasākumi, kas veikti vienādojuma risināšanas fāzē) pēc Hines sērijas metodes dažādos neironu modeļos. Dažādu atrisināšanas metožu ilustrācija. Dažādas neirona daļas tiek piešķirtas vairākām apstrādes vienībām paralēlās metodēs (vidū, pa labi), parādot dažādās krāsās. Sērijas metodē (pa kreisi) visi nodalījumi tiek aprēķināti ar vienu vienību. Trīs metožu izmaksu aprēķins Vienādojumu risināšana ar piramīdas modeli. Darbības laiks dažādām metodēm, lai atrisinātu vienādojumus 500 piramīdas modeļiem ar spirāles. Darbības laiks norāda laika patēriņu 1 s simulācijas (atrisina vienādojumu 40 000 reizes ar laika soli 0,025 ms). p-Hines paralēlā metode CoreNEURON (uz GPU), filiāles balstīta paralēlā metode (uz GPU), DHS Dendritic hierarhiskā plānošanas metode (uz GPU). a b c d c e f g h g i Pēdējo desmitgažu laikā ir panākts milzīgs progress, lai paātrinātu Hines metodi, izmantojot paralēlas metodes šūnu līmenī, kas ļauj paralēli aprēķināt dažādas daļas katrā šūnā. , , , , , Tomēr pašreizējās paralēlās metodes šūnu līmenī bieži vien trūkst efektīvas paralelizācijas stratēģijas vai nepietiekamas numeriskās precizitātes salīdzinājumā ar sākotnējo Hines metodi. 27 28 29 30 31 32 Šeit mēs izstrādājam pilnībā automatizētu, skaitliski precīzu un optimizētu simulācijas rīku, kas var ievērojami paātrināt aprēķinu efektivitāti un samazināt aprēķina izmaksas.Turklāt šo simulācijas rīku var viegli pieņemt, lai izveidotu un pārbaudītu neironu tīklus ar bioloģiskām detaļām mašīnu mācīšanās un AI lietojumprogrammām. Paralēlo datoru teorija Mēs demonstrējam, ka mūsu algoritms nodrošina optimālu plānošanu bez jebkāda precizitātes zuduma. turklāt mēs esam optimizējuši DHS pašlaik vismodernākajam GPU mikroshēmam, izmantojot GPU atmiņas hierarhiju un atmiņas piekļuves mehānismus. salīdzinājumā ar klasisko simulatoru NEURON Lai saglabātu vienādu precizitāti. 33 34 1 25 Lai ļautu detalizētus dendrītiskos simulācijas lietošanai AI, mēs turpmāk izveidojam DeepDendrite sistēmu, integrējot DHS iebūvēto CoreNEURON platformu (optimizētu skaitļošanas dzinēju NEURON). kā simulācijas dzinējs un divi palīgmoduli (I/O modulis un mācīšanās modulis), kas atbalsta dendrīta mācīšanās algoritmus simulāciju laikā. DeepDendrite darbojas uz GPU aparatūras platformas, kas atbalsta gan regulārus simulācijas uzdevumus neiroloģijas un mācīšanās uzdevumus AI. 35 Visbeidzot, mēs arī iepazīstinām ar vairākām lietojumprogrammām, izmantojot DeepDendrite, kas vērstas uz dažiem kritiskiem izaicinājumiem neiroloģijas un AI jomā: (1) Mēs demonstrējam, kā dendrīta mugurkaula ieejas telpiskie modeļi ietekmē neironu darbību ar neironiem, kas satur mugurkauli visā dendrīta kokos (pilna mugurkaula modeļi). DeepDendrite ļauj mums izpētīt neironu aprēķinu simulētā cilvēka piramīdas neirona modelī ar ~25 000 dendrīta mugurkaulām. (2) Diskusijā mēs arī apsveram DeepDendrite potenciālu AI kontekstā, it īpaši, radot ANN ar morfoloģiski detalizētiem cilvēka piramīdas neironiem. Viss DeepDendrite avota kods, pilna mugurkaula modeļi un detalizēts dendrīta tīkla modelis ir publiski pieejami tiešsaistē (skatīt Kods pieejamība). Sprādzienbīstama sinaptiskā plastiskums , un mācīties ar spike prognozi Kopumā mūsu pētījums nodrošina pilnīgu instrumentu kopumu, kam ir potenciāls mainīt pašreizējo aprēķinu neiroloģijas kopienas ekosistēmu.Izmantojot GPU datortehnikas spēku, mēs paredzam, ka šie instrumenti atvieglos sistēmas līmeņa izpēti par smadzeņu smalko struktūru aprēķinu principiem, kā arī veicinās neiroloģijas un mūsdienu AI mijiedarbību. 21 20 36 Rezultāti Dendritiskā hierarhiskā plānošana (DHS) Ionu strāvu aprēķināšana un lineāru vienādojumu risināšana ir divas kritiskas fāzes, simulējot biofiziski detalizētus neironus, kas ir laikietilpīgi un rada smagas aprēķina slodzes. Tā rezultātā lineāro vienādojumu atrisināšana kļūst par paliekošu paralelizācijas procesu (Fig. Tātad ) 37 1a–f Lai risinātu šo problēmu, ir izstrādātas paralēlās metodes šūnu līmenī, kas paātrina vienšūnu aprēķinu, “sadalot” vienu šūnu vairākos nodalījumos, kurus var aprēķināt paralēli. , , Tomēr šādas metodes lielā mērā paļaujas uz iepriekšējām zināšanām, lai radītu praktiskas stratēģijas par to, kā sadalīt vienu neironu nodalījumos (Fig. • Papildu figūra. Tādējādi tas kļūst mazāk efektīvs neironiem ar asimetriskām morfoloģijām, piemēram, piramīdas neironiem un Purkinje neironiem. 27 28 38 1 g 1 Mūsu mērķis ir izstrādāt efektīvāku un precīzāku paralēlo metodi bioloģiski detalizētu neironu tīklu simulācijai. , mēs ierosinām trīs nosacījumus, lai nodrošinātu, ka paralēlā metode sniegs identiskus risinājumus kā sērijveida skaitļošanas Hines metode saskaņā ar datu atkarību Hines metodē (skatīt Metodes). 34 Pamatojoties uz simulācijas precizitāti un aprēķinu izmaksām, mēs formulējam paralelizācijas problēmu kā matemātisko plānošanas problēmu (skatīt Metodes). paralēlos virzienos, mēs varam aprēķināt maksimāli katrā posmā, bet mums ir jānodrošina, ka mezgls tiek aprēķināts tikai tad, ja visi tā bērni mezgli ir apstrādāti; mūsu mērķis ir atrast stratēģiju ar minimālo soļu skaitu visai procedūrai. k k Lai radītu optimālu sadalījumu, mēs piedāvājam metodi, ko sauc par Dendritic Hierarchical Scheduling (DHS) (teorētiskais pierādījums ir sniegts metodēs). DHS metode ietver divus soļus: dendrītiskās topoloģijas analīzi un labākās nodalījuma atrašanu: (1) Ņemot vērā detalizētu modeli, mēs vispirms iegūstam atbilstošo atkarības koku un aprēķinām katra mezgla dziļumu (mezgla dziļums ir tā senču mezglu skaits) uz koka (Fig. (2) Pēc topoloģijas analīzes mēs meklējam kandidātus un izvēlamies visvairāk dziļākie kandidāta mezgli (mezgls ir kandidāts tikai tad, ja visi tā bērni mezgli ir apstrādāti). Tātad ) 2a 2B un C k 2D DHS darba plūsma. DHS procesi Dziļākais kandidāta mezgls katrā iterācijā. Attēls, kā aprēķināt nodalījuma modeļa mezglu dziļumu. modelis vispirms tiek pārvērsts par koku struktūru, pēc tam aprēķina katra mezgla dziļumu. Topoloģijas analīze par dažādiem neironu modeļiem. Šeit ir parādīti seši neironi ar atšķirīgām morfoloģijām. Katram modelim soma tiek izvēlēta kā koka sakne, tāpēc mezgla dziļums palielinās no somas (0) līdz distālajiem dendrītiem. Ilustrācija par DHS veikšanu uz modeļa kandidāti: mezgli, kurus var apstrādāt. atlasītie kandidāti: mezgli, kurus izvēlas DHS, t.i., Apstrādātie mezgli: mezgli, kas iepriekš ir apstrādāti. Paralelizācijas stratēģija, ko ieguvusi DHS pēc procesa DHS samazina sērijveida mezglu apstrādes soļus no 14 līdz 5, sadalot mezglus uz vairākiem mezgliem. Relatīvās izmaksas, t.i., DHS aprēķina izmaksu attiecība pret sērijas Hines metodi, piemērojot DHS ar dažādiem virzienu skaitu dažādos modeļos. a k b c d b k e d f Ņemiet vienkāršotu modeli ar 15 nodalījumiem kā piemēru, izmantojot sērijveida skaitļošanas Hines metodi, tas aizņem 14 soļus, lai apstrādātu visus mezglus, bet izmantojot DHS ar četrām paralēlām vienībām var sadalīt tās mezglus piecos apakšsistēmās (Fig. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Tā kā vienā un tajā pašā apakšgrupā esošie mezgli var tikt apstrādāti paralēli, ir nepieciešami tikai pieci soļi, lai apstrādātu visus mezglus, izmantojot DHS (Fig. Tātad ) 2D 2e Tālāk mēs piemērojam DHS metodi uz sešiem reprezentatīviem detalizētiem neironu modeļiem (izvēlēti no ModelDB ) ar dažādiem tīklu skaitu (Fig. ): ieskaitot kortikālās un hipokampālās piramīdas neironus , , Cerebellar Purkinje neironi Striatālās projekcijas neironi (SPN) ), un olbaltumvielu spuldzes mitrālās šūnas , kas aptver galvenos galvenos neironus sensoriskajās, kortikālajās un subkortikālajās jomās. Pēc tam mēs izmērījām aprēķina izmaksas. Relatīvās aprēķina izmaksas šeit ir definētas ar DHS aprēķina izmaksu attiecību pret sērijveida Hines metodi. Aprēķina izmaksas, t.i., soļu skaits, kas veikti, lai atrisinātu vienādojumus, dramatiski samazinās ar pieaugošo pavedienu skaitu. Piemēram, ar 16 pavedieniem DHS aprēķina izmaksas ir 7%-10% salīdzinājumā ar sērijveida Hines metodi. Interesanti, DHS metode sasniedz zemākās robežas to aprēķina izmaksas par prezentētajiem neironiem, ja tiek dota 16 vai pat 8 paralē ), kas liecina, ka vairāk virzienu pievienošana nepalielina veiktspēju tālāk, jo atkarības starp nodalījumiem. 39 2f 40 41 42 43 44 45 2f Kopā mēs ģenerējam DHS metodi, kas ļauj automatizēt dendrīta topoloģijas analīzi un optimālu nodalījumu paralēlai aprēķināšanai. ir vērts atzīmēt, ka DHS pirms simulācijas sākuma atrod optimālo nodalījumu, un vienādojumu risināšanai nav nepieciešami papildu aprēķini. DHS paātrināšana ar GPU atmiņas uzlabošanu DHS aprēķina katru neironu ar vairākiem virzieniem, kas patērē milzīgu daudzumu virzienu, kad darbojas neironu tīkla simulācijas. Paralēli datoriem Teorētiski daudziem GPU SP būtu jāatbalsta efektīva simulācija liela mēroga neironu tīkliem (Fig. Tomēr mēs konsekventi novērojām, ka DHS efektivitāte ievērojami samazinājās, kad tīkla izmērs palielinājās, kas var būt izraisījis izkliedētu datu uzglabāšanu vai papildu atmiņas piekļuvi, ko izraisa starpposma rezultātu ielādēšana un rakstīšana (Fig. Tātad pa kreisi). 3a un b 46 3c 3D GPU arhitektūra un tās atmiņas hierarhija. Katrs GPU satur masveida apstrādes vienības (plūsmas procesori). Dažādiem atmiņas veidiem ir atšķirīga caurlaidība. Streaming Multiprocessors (SM) arhitektūra. katrā SM ir vairāki straumēšanas procesori, reģistri un L1 kešatmiņa. Piemērojot DHS uz diviem neironiem, katram no tiem ir četri virzieni. Atmiņas optimizācijas stratēģija GPU. augšējā paneļa, vītņu piešķiršana un datu uzglabāšana DHS, pirms (pa kreisi) un pēc (labajā) atmiņas pastiprināšanas. Procesori nosūta datu pieprasījumu, lai ielādētu datus par katru vadu no globālās atmiņas. Bez atmiņas palielināšanas (pa kreisi) ir nepieciešamas septiņas darījumus, lai ielādētu visus pieprasījuma datus un dažas papildu darījumus starpposma rezultātiem. ar atmiņas palielināšanu (pa labi) ir nepieciešamas tikai divas darījumus, lai ielādētu visus pieprasījuma datus, reģistri tiek izmantoti starpposma rezultātiem, kas vēl vairāk uzlabo atmiņas caurlaidību. Darbības laiks DHS (32 pavedieni katrā šūnā) ar un bez atmiņas palielināšanas uz vairāku slāņu 5 piramīdas modeļiem ar spīdekļiem. Atmiņas uzlabošanas paātrināšana uz vairāku slāņu 5 piramīdas modeļiem ar spraudeņiem. atmiņas uzlabošana noved pie 1,6-2 reizes paātrinājuma. a b c d d e f Mēs atrisinām šo problēmu, izmantojot GPU atmiņas uzlabošanu, kas ir metode, lai palielinātu atmiņas caurlaidību, izmantojot GPU atmiņas hierarhiju un piekļuves mehānismu. , Lai sasniegtu augstu caurlaidību, mēs vispirms saskaņojam mezglu aprēķina pasūtījumus un pārkārtojam virzienus atbilstoši to mezglu skaitam. Tad mēs pārveidojam datu uzglabāšanu globālajā atmiņā, kas atbilst aprēķina pasūtījumiem, t.i., mezgli, kas tiek apstrādāti tajā pašā posmā, tiek glabāti secīgi globālajā atmiņā. Turklāt mēs izmantojam GPU reģistrus, lai uzglabātu starpposma rezultātus, vēl vairāk nostiprinot atmiņas caurlaidību. Turklāt eksperimenti ar vairākiem piramīdas neironu numuriem ar mugurkaulām un tipiskiem neironu modeļiem (Fig. • Papildu figūra. ) parādīt, ka atmiņas pastiprināšana sasniedz 1,2-3,8 reizes paātrinājumu salīdzinājumā ar naivi DHS. 46 47 3D 3 E, F 2 Lai visaptveroši pārbaudītu DHS veiktspēju ar GPU atmiņas pastiprināšanu, mēs izvēlamies sešus tipiskus neironu modeļus un izvērtējam katra modeļa masveida skaitļu kabeļu vienādojumu atrisināšanas izpildes laiku (Fig. Mēs pārbaudījām DHS ar četriem pavedieniem (DHS-4) un sešpadsmit pavedieniem (DHS-16) katram neironam, attiecīgi. Turklāt, salīdzinot ar tradicionālo sērijveida Hines metodi NEURON, kas darbojas ar vienu procesora vadu, DHS paātrina simulāciju par 2-3 lieluma kārtām (Papildu attēls. ), vienlaikus saglabājot identisku skaitlisko precizitāti blīvu spīdekļu klātbūtnē (Papildu figūras. un ), aktīvie dendrīti (Papildu fig. 2) dažādas segmenta stratēģijas (papildinošas figūras. Tātad ) 4 4a 3 4 8 7 7 Run laiks, lai atrisinātu vienādojumus 1 s simulācijas GPU (dt = 0,025 ms, 40,000 iterācijas kopumā). CoreNEURON: paralēlā metode, ko izmanto CoreNEURON; DHS-4: DHS ar četriem virzieniem katram neironam; DHS-16: DHS ar 16 virzieniem katram neironam. , Partīcijas vizualizācija ar DHS-4 un DHS-16, katra krāsa norāda uz vienu pavedienu. a b c DHS izveido optimālu šūnu tipa specifisko dalīšanu Lai iegūtu ieskatu par DHS metodes darba mehānismu, mēs vizualizējām particionēšanas procesu, pārklājot nodalījumus uz katru virzienu (katra krāsa attēlo vienu virzienu figūrā. Vizualizācija parāda, ka viens virziens bieži pārslēdzas starp dažādām filiālēm (Fig. Interesanti, ka DHS rada izlīdzinātas nodalījumus morfoloģiski simetriskos neironos, piemēram, striatālās projekcijas neironu (SPN) un Mitral šūnu (Fig. Savukārt tas rada morfoloģiski asimetrisku neironu, piemēram, piramīdas neironu un Purkinje šūnu, fragmentētus sadalījumus (Fig. ), kas norāda, ka DHS sadala neironu koku atsevišķu nodalījumu mērogā (t.i., koku mezglu) nevis filiāļu mērogā. 4B un C 4B un C 4B un C 4B un C Kopumā DHS un atmiņas pastiprināšana rada teorētiski pierādītu optimālu risinājumu lineāru vienādojumu risināšanai paralēli ar nepieredzētu efektivitāti. Izmantojot šo principu, mēs izveidojām atvērtas piekļuves DeepDendrite platformu, ko neiroloģijas zinātnieki var izmantot, lai īstenotu modeļus bez jebkādām specifiskām GPU programmēšanas zināšanām. DHS ļauj modelēt mugurkaula līmeni Tā kā dendrītiskie mugurkauli saņem lielāko daļu uzbudinošā ieguldījuma kortikālajos un hipokampālajos piramīdas neironos, striatālās projekcijas neironos utt., To morfoloģija un plastiskums ir izšķiroši svarīgi neironu uzbudināmības regulēšanai. , , , , Tomēr spīdekļi ir pārāk mazi (~ 1 μm garš), lai tos tieši izmērītu eksperimentāli attiecībā uz sprieguma atkarīgiem procesiem. 10 48 49 50 51 Mēs varam modelēt vienu mugurkaulu ar diviem nodalījumiem: mugurkaula galvu, kur atrodas sinapses, un mugurkaula kaklu, kas savieno mugurkaula galvu ar dendrītiem. Teorija paredz, ka ļoti plāns mugurkaula kakls (0,1-0,5 μm diametrā) elektroniski izolē mugurkaula galvu no vecā dendrīta, tādējādi nodalot signālus, kas rodas mugurkaula galvā. Tomēr detalizētais modelis ar pilnībā sadalītiem dendrītiem (“pilna mugurkaula modelis”) ir ļoti dārgs. Spina faktors , tā vietā, lai modelētu visus spīdekļus skaidri. mugurkaula faktora mērķis ir tuvināt mugurkaula ietekmi uz šūnu membrānas biofiziskajām īpašībām . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. Šie rezultāti liecina, ka parastā F-faktora metode var nepietiekami novērtēt blīva mugurkaula ietekmi uz dendrīta uzbudināmības un nelinearitātes aprēķiniem. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in Krāsas norāda sprieguma lielumu. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion Šajā darbā mēs ierosinām DHS metodi, lai paralēli aprēķinātu Hines metodi un mēs matemātiski demonstrējam, ka DHS nodrošina optimālu risinājumu bez jebkāda precizitātes zuduma. Simulējot lielu skaitu neironu ar sarežģītām morfoloģijām, DHS ar atmiņas pastiprināšanu sasniedz 15 reižu paātrinājumu (Papildu tabula). ) salīdzinājumā ar CoreNEURON izmantoto GPU metodi un līdz 1500 reižu paātrinājumu salīdzinājumā ar sērijveida Hines metodi CPU platformā (Fig. • Papildu figūra. Papildu galdiņš Turklāt mēs izstrādājam GPU balstītu DeepDendrite sistēmu, integrējot DHS CoreNEURON. Visbeidzot, kā DeepDendrite spēju demonstrāciju, mēs piedāvājam reprezentatīvu pielietojumu: izpētīt mugurkaula aprēķinus detalizētā piramīdas neironu modelī ar 25 000 spin. Turpmāk šajā sadaļā mēs izklāstām, kā mēs esam paplašinājuši DeepDendrite sistēmu, lai ļautu efektīvi apmācīt biofiziski detalizētus neironu tīklus. Lai izpētītu hipotēzi, ka dendrīti uzlabo izturību pret pretinieku uzbrukumiem , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers Pēdējos gados GPU ir izmantota detalizētai tīkla simulācijai.Tā kā GPU satur masveida skaitļošanas vienības, viena vītne parasti tiek piešķirta vienai šūnai, nevis šūnu grupai. , , Ar turpmāku optimizāciju, GPU balstītas metodes sasniedz daudz lielāku efektivitāti tīkla simulācijas. Tomēr aprēķini šūnās joprojām ir sērijas tīkla līmeņa metodes, tāpēc viņi joprojām nevar tikt galā ar problēmu, kad "Hines matrica" katras šūnas mērogos liels. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , Tomēr parastās šūnu līmeņa metodes (piemēram, “multi-split” metode) ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , vai veikt aptuvenus aprēķinus par dažiem svarīgiem nodalījumiem, vienlaikus risinot lineārās vienādības , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendrīta mugurkauls ir visvairāk bagātīgas mikrostruktūras smadzenēs projekcijas neironiem žoklī, hippocampus, cerebellum, un bazālo gangliju. Tā kā mugurkauls saņem lielāko daļu uzbudinošo ieejas centrālajā nervu sistēmā, elektriskie signāli, ko ģenerē mugurkauls ir galvenais virzītājspēks liela mēroga neironu darbību priekšgalā un cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , Sakarā ar tik augstu ieejas impedenci, viens sinaptiskais ieejas var izraisīt “lielo” EPSP ( ~ 20 mV) mugurkaula galvas līmenī. , , tādējādi palielinot NMDA strāvas un jonu kanālu strāvas mugurkaulā Tomēr klasiskajos viena detaļas nodalījuma modeļos visas spraugas tiek aizstātas ar coefficient modifying the dendritic cable geometries Šī pieeja var kompensēt noplūdes strāvas un jaudas strāvas spin.Tomēr tas nevar reproducēt augsto ieejas impedenci mugurkaula galvā, kas var vājināt excitatory sinaptic ieejas, it īpaši NMDA strāvas, tādējādi samazinot nelinearitāti neirona ieejas un izejas līknes.Mūsu modelēšanas rezultāti ir saskaņā ar šo interpretāciju. 10 11 48 65 48 66 11 F 54 No otras puses, mugurkaula elektrisko nodalījumu vienmēr pavada bioķīmiskais nodalījums. , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , Šādas pieredzes atkarīgas izmaiņas mugurkaula morfoloģijā, ko sauc arī par “strukturālo plastiskumu”, ir plaši novērotas vizuālajā garozā. , Somatosensoriskais kortekss , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. Tāpēc tas ļauj mums izpētīt strukturālo plastiskumu liela mēroga aprites modeļos dažādos smadzeņu reģionos. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. ierosināja jaunu ANN arhitektūru ar aktīviem dendrītiem, kas demonstrē konkurētspējīgus rezultātus daudzfunkcionālā un nepārtrauktas mācīšanās jomā. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 Atbildot uz šiem izaicinājumiem, mēs izstrādājām DeepDendrite, rīku, kas izmanto Dendritic Hierarchical Scheduling (DHS) metodi, lai ievērojami samazinātu aprēķinu izmaksas un ietver I/O moduli un mācību moduli lielu datu kopu apstrādei. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. Papildu galdiņš Tātad ) 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. HPC-Net salīdzinājums pirms un pēc apmācības. kreisajā pusē, slēpto neironu reakciju vizualizācija uz konkrētu ievadi pirms (augšējā) un pēc (apakšējā) apmācības. labajā pusē, slēpto slāņu svari (no ievades uz slēpto slāni) sadalījums pirms (augšējā) un pēc (apakšējā) apmācības. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Izpildiet HPC-Net apmācības un testēšanas laiku. Partijas izmērs ir iestatīts uz 16. Pa kreisi, palaidiet apmācības laiku vienu eposu. Labā, palaidiet testa laiku. Paralēli NEURON + Python: apmācība un testēšana vienā CPU ar vairākiem kodoliem, izmantojot 40-procesu paralēlu NEURON, lai simulētu HPC-Net un papildu Python kodu, lai atbalstītu mini-batšu apmācību. DeepDendrite: apmācība un testēšana HPC-Net vienā GPU ar DeepDendrite. a b c d e f Turklāt ir plaši atzīts, ka mākslīgo neironu tīklu (ANN) veiktspēju var apdraudēt pretinieku uzbrukumi. —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks Mūsu eksperimentālie rezultāti, izmantojot HPC-Net, atbalsta šo hipotēzi, jo mēs novērojām, ka tīkli ar detalizētām dendrītiskām struktūrām parādīja zināmu pretestību pret pretinieku uzbrukumu pārnešanai. salīdzinājumā ar standarta ANN, kā redzams MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( Izmantojiet neironu Mēs ieviešam Dendritic Hierarchical Scheduling (DHS) metodi CoreNEURON vidē, modificējot tā avota kodu. Visi modeļi, kurus var simulēt GPU ar CoreNEURON, var arī simulēt ar DHS, izpildot šādu komandu: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e laiks --cell-permute 3 --cell-nthread 16 --gpu Izmantošanas iespējas ir kā tabulā . 1 Simulācijas precizitāte, izmantojot paralēlo aprēķinu šūnu līmenī Lai nodrošinātu simulācijas precizitāti, mums vispirms ir jādefinē paralēla algoritma pareizība šūnu līmenī, lai novērtētu, vai tas radīs identiskus risinājumus salīdzinājumā ar pierādītajām pareizajām sērijveida metodēm, piemēram, Hines metodi, ko izmanto NEURON simulācijas platformā. , paralēls algoritms dos identisku rezultātu kā tā atbilstošais sērijveida algoritms, ja un tikai tad, ja datu apstrādes secība paralēlā algoritmā ir saskaņota ar datu atkarību sērijveida metodē. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Pamatojoties uz Hines metodes datu atkarību, mēs ierosinām trīs nosacījumus, lai nodrošinātu, ka paralēlā metode nodrošinās identiskus risinājumus kā Hines metode: (1) visu mezglu morfoloģija un sākotnējās vērtības ir identiskas tiem, kas tiek izmantoti Hines metodē; (2) triangularizācijas fāzē mezglu var apstrādāt, ja un tikai tad, ja visi tā bērni mezgli jau ir apstrādāti; (3) atpakaļsubstitūcijas fāzē mezglu var apstrādāt tikai tad, ja tā vecākais mezgls jau ir apstrādāts. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into Subsīdijas, tātad • { , , ... } kur katra apakšsadaļas lielums | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 VN Vi V V n Mathematical scheduling problem Pamatojoties uz simulācijas precizitāti un aprēķinu izmaksām, mēs formulējam paralelizācijas problēmu kā matemātiskās plānošanas problēmu: Given a tree = { , } and a positive integer , where Tas ir node-set un is the edge set. Define partition ( ) = { , , ... }, | ≤ ≤ ≤ ≤ , 1 ≤ ≤ n, where | Ievads norāda apakšgrupas kardinālo skaitu , t.i., mezglu skaits uz un katram node ∈ Visi viņas bērni nodes { | ∈children( ) ir jābūt iepriekšējā apakšsadaļā , where 1 ≤ < Mūsu mērķis ir atrast optimālu nodalījumu ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Viņa k i Viņa Vi Vi v Viņa c c v Vj j i P* V P* V Here subset Tā sastāv no visiem mezgliem, kas tiks aprēķināti uz -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { Vīrietis ∈children( ) ir jābūt iepriekšējā apakšsadaļā , kur 1 ≤ » Tas nozīmē, ka node To var apstrādāt tikai tad, ja tiek apstrādāti visi tā bērna mezgli. Vi i 2e Viņa k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set Node ir kandidāts tikai tad, ja visi tā bērnu mezgli ir apstrādāti vai tam nav bērnu mezglu. | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from un pievienojiet tos subset . Label these nodes as processed nodes (Fig. ). After filling in subset , dodieties uz soli (1) lai aizpildītu nākamo apakšsistēmu . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree • { , }, we get a partition ( ) = { , , … Tāpēc, ka ≤ ≤ ≤ ≤ , 1 ≤ ≤ . Nodes in the same subset tiks aprēķināts paralēli, ņemot vērā steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 VN Viņa k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset tiek izvēlēti no kandidātu kopuma , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in Viņi ir { , , … }, kas nozīmē, ka mezgls tiek aprēķināts tikai pēc tam, kad visi tā bērni ir apstrādāti, kas atbilst nosacījumam 2: triangularizācijā mezgls var tikt apstrādāts, ja un tikai tad, ja visi tā bērnu mezgli jau ir apstrādāti. to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Par katru apakšpunktu In ( DHS pārvietošanās (virziena numurs) dziļākie mezgli no attiecīgā kandidāta kopuma Divi Ja nodalījumu skaits ir Mazāks nekā pārvietot visus mezglus no Divi Lai vienkāršotu, mēs ieviešam Norāda dziļuma summu Dziļākie mezgli . All subsets in ( Atbilst maksimālā dziļuma kritērijiem (papildu skaitlis). Tad mēs pierādām, ka katras iterācijas dziļāko mezglu izvēle ja ir optimāla nodalījuma • { , , ... } satur apakšsistēmas, kas neatbilst max dziļuma kritērijiem, mēs varam mainīt apakšsistēmas ( ) tā, ka visas apakšsistēmas sastāv no dziļākajiem mezgliem no un apakšgrupas skaitu () ( 2) paliek tāds pats pēc izmaiņām. Viņa P V k Qi Viņa Qi k Qi Viņa Di k Qi P V 6a P ( V ) P * (V) V * 1 V * 2 V * s P * V Q P * V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < un ir daži derīgi mezgli that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V * I V*i V*i k Qi V*i V*i k V*i k Qi Attiecībā uz gadījumu (1), jo daži kandidātu mezgli nav ievietoti , these nodes must be in the subsequent subsets. As | Vīrietis , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. Šos dziļākos mezglus var pārvietot no turpmākām apakšsistēmām uz through the following method. Assume that after filling , is picked and one of the -th deepest nodes Joprojām ir , thus will be put into a subsequent subset ( > Mēs vispirms pārvietojamies from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of ir in + pārvietot šo vecāku mezglu uz + Parādīt ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + Parādīt , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6b V*i k Qi V*i 6b V * I V*i v k V” Qi v’ V * J j i v V*i V*i 1 V*i 1 V * I 1 k V * I 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V * I 1 V*i 2 V*j-1 V” V*j V * I Ar iepriekš aprakstīto modifikācijas stratēģiju mēs varam aizstāt visus plakanākos mezglus Ar to dziļākais mezgls un saglabā apakšsistēmu skaitu, t.i., ( Mēs varam mainīt mezglus ar to pašu stratēģiju visiem apakšsistēmām ( ) kas nesatur dziļākos mezglus. visbeidzot, visas apakšsistēmas ∈ ( ) var apmierināt maksimālo dziļuma kritērijus, un ( (Diena nav mainījusies pēc izmaiņām. V * I k Qi P * V P * V V*i P* V P* V Nobeigumā, DHS ģenerē particiju ( ) un visas apakšgrupas ∈ ( Maksimālā dziļuma nosacījums: jebkura cita optimāla nodalījuma gadījumā ( ) mēs varam mainīt tā apakšgrupas, lai tās struktūra būtu tāda pati kā ( ), t.i., katrs apakšsistēma sastāv no dziļākajiem mezgliem kandidāta komplektā, un saglabāt ( ) Tātad, pēc izmaiņām, tas ir atkarīgs no ( ) iegūts no DHS ir viens no optimālajiem nodalījumiem. P V Viņa P V P * V P V P * V | P V GPU ieviešana un atmiņas uzlabošana Lai sasniegtu augstu atmiņas caurlaidību, GPU izmanto atmiņas hierarhiju (1) globālā atmiņa, (2) kešatmiņa, (3) reģistrs, kur globālajai atmiņai ir liela ietilpība, bet zema ietilpība, bet reģistriem ir zema ietilpība, bet augsta ietilpība. GPU izmanto SIMT (Single-Instruction, Multiple-Thread) arhitektūru. Warps ir pamata grafikas vienības GPU (warp ir 32 paralēlu virzienu grupa). Pareizi sakārtoti mezgli ir būtiski šai aprēķinu partijai varpās, lai pārliecinātos, ka DHS iegūst identiskus rezultātus kā sērijveida Hines metode. Kad mēs īstenojam DHS uz GPU, mēs vispirms grupējam visas šūnas vairākās varpās, pamatojoties uz to morfoloģijām. Šūnas ar līdzīgām morfoloģijām tiek grupētas tajā pašā varpā. Pēc tam mēs piemērojam DHS uz visiem neironiem, piešķirot katra neirona nodalījumus vairākiem pavedieniem. Tā kā neironi ir grupēti uz varpiem, tā paša neirona nodalījumi ir tajā pašā varpā. Tāpēc iekšējā sinhronizācija varpās saglabā aprēķinu secību saskaņā ar sērijveida Hines 46 Kad warp ielādē iepriekš pielāgotus un secīgi uzglabātus datus no globālās atmiņas, tas var pilnībā izmantot kešatmiņu, kas noved pie augstas atmiņas caurlaidības, kamēr piekļuve izkliedētiem datiem samazinās atmiņas caurlaidību. Pēc nodalījumu piešķiršanas un virzienu pārkārtošanas mēs pārveidojam datus globālajā atmiņā, lai padarītu to saskaņotu ar aprēķinu pasūtījumiem, lai warps varētu ielādēt secīgi uzglabātus datus programmas izpildes laikā. Turklāt mēs ievietojam nepieciešamos pagaidu mainīgos reģistros, nevis globālajā atmiņā. Pilna mugurkaula un nedaudz mugurkaula bioloģiskie modeļi We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , lai uzzinātu vairāk, lūdzu, skatiet publicēto modeli (ModelDB, piekļuve Nr. 238347). 51 c r r E E E 51 Dažu mugurkaulu modelī dendrīta kabeļu membrānas kapacitāte un maksimālā noplūdes vadītspēja 60 μm attālumā no somas tika reizināta ar spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F Pilna mugurkaula modelī visi mugurkauli bija skaidri saistīti ar dendrītiem. Mēs aprēķinājām mugurkaula blīvumu ar rekonstruēto neironu Eyal et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 Krūšu morfoloģija un bioloģiskie mehānismi bija vienādi dažādu un pilnu mugurkaulu modeļos. kakls = 1,35 μm un diametrs kakls = 0,25 μm, bet mugurkaula galvas garums un diametrs bija 0,944 μm, t.i., mugurkaula galvas platība tika iestatīta uz 2,8 μm2. = -86 mV. Specifiskā membrānas ietilpība, membrānas pretestība un aksiālā pretestība bija tāda pati kā dendrītiem. L D El Synaptic ieejas We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and sadalījums tika iestatīts 0,3 un 1,8 ms. NMDA modelim, Paaugstināt un decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Fona troksnis We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at sākums = 10 ms un ilga līdz simulācijas beigām. Mēs ģenerējām 400 trokšņa spike vilcienu katrai šūnai un pievienojām tos nejauši izvēlētajām sinapsēm. , izņemot to, ka NMDA maksimālā vadītspēja tika vienmērīgi sadalīta no 1,57 līdz 3,275, kas izraisīja augstāku AMPA līdz NMDA attiecību. t Synaptic Inputs Neironu uzbudināmības izpēte We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Attēlu klasifikācija ir tipisks uzdevums AI jomā. Šajā uzdevumā modelim vajadzētu iemācīties atpazīt konkrētā attēlā esošo saturu un izvest atbilstošo etiķeti. Šeit mēs iepazīstinām ar HPC-Net, tīklu, kas sastāv no detalizētiem cilvēka piramīdas neironu modeļiem, kas var iemācīties veikt attēlu klasifikācijas uzdevumus, izmantojot DeepDendrite platformu. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. Par katru attēla stimulu mēs vispirms pārveidojam katru normalizēto pikseļu par homogēnu pikseļu vilcienu. ) attēlā attiecīgajam spike vilcienam ir pastāvīgs interspike intervāls Iedzīvotāju ( ) (ms), kas tiek noteikts pēc pikseļu vērtības ( ) as shown in Eq. ( ). x, y τ x, y p X un Y 1 Mūsu eksperimentā katra stimula simulācija ilga 50 ms. Visi spike vilcieni sākās 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time Tas ir dots τ T0 Kur ir postsinaptiskais spriegums, atgriešanās potenciāls syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1,0 μF cm-2, membrānas pretestība m = 104 Ω cm2, aksiālā pretestība a = 100 Ω cm, pasīvā nodalījuma apgriešanas potenciāls l = 0 mV. c r r E Slēptais slānis satur cilvēku piramīdas neironu modeļu grupu, kas saņem ievades slāņa neironu somatiskos spriegumus. , un visi neironi tika modelēti ar pasīviem kabeļiem. m = 1,5 μF cm-2, membrānas pretestība m = 48,300 Ω cm2, aksiālā pretestība a = 261,97 Ω cm, un visu pasīvo kabeļu apgriešanas potenciāls l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the Neironu ievadīšana uz neironu ’s dendrite is defined as in Eq. ( 2) kur ir sinaptisks vadītspēja, ir sinaptiskais svars, ir ReLU līdzīga somatiskā aktivācijas funkcija, un ir somatiskā sprieguma -th input neuron at time . 51 c r r E k i j 4 Gijs Wijk i t Neironi no izejas slāņa tika modelēti arī, izmantojot pasīvo viena nodalījuma modeli, un katrs slēptais neirons izveidoja tikai vienu sinaptisko savienojumu ar katru izejas neironu. ). 4 Attēlu klasifikācija ar HPC-Net Par katru ieejas attēla stimulu mēs vispirms normalizējām visas pikseļu vērtības līdz 0.0-1.0. Tad mēs pārveidojām normalizētos pikseļus uz spike vilcieniem un pievienojām tos ieejas neironiem. Kur kur is the probability of -th klase, ko prognozē HPC-Net, ir vidējais somatiskais spriegums no 20 ms līdz 50 ms Neironu iznākums un indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plastiskuma noteikumi HPC-Net Iedvesmojoties no iepriekšējiem darbiem , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( 2) kur ir klases prognozētā varbūtība , norāda faktisko klasi, kurai pieder stimulu attēls, = 1, ja ievades attēls pieder klasei , and = 0 if not. 36 7 pi i yi Jē i yi Apmācot HPC-Net, mēs aprēķinām svara atjauninājumu (the synaptic weight of the -th synapse connecting neuron to neuron pēc katra attēla stimula simulācijas, Tas ir jāatjaunina, kā parādīts Eq. ( ): Wijk k i j apkārtne 8 Šeit ir mācīšanās ātrums, ir atjauninājuma vērtība laikā , , are somatic voltages of neuron and Attiecīgi Tā ir Sinaptisko strāvu, ko aktivizē neirons Neirons , tās sinaptisko vadītspēju, ir pārsūtīšanas pretestība starp -th connected compartment of neuron on neuron Dendrīts uz neironu ’s soma, s = 30 ms, Saskaņā ar likuma "Par nekustamā īpašuma nodokli" 5.panta pirmās daļas pirmo daļu un otro daļu par nekustamā īpašuma nodokli var uzskatīt par nekustamā īpašuma nodokli. ( Attiecībā uz slēptiem neironiem kļūdu termins tiek aprēķināts no kļūdu terminiem iznākuma slānī, kas norādīts ekvivalentā. ( ). t VJ Viņa i j Iekšējā k i j Gijs Ričards k i j j t t 10 11 Tā kā visi izejas neironi ir viena nodalījuma, kas vienāds ar attiecīgā nodalījuma ieejas pretestību, pārneses un ieejas pretestības aprēķina neirons. Mini-batšu apmācība ir tipiska dziļās mācīšanās metode, lai sasniegtu augstāku prognozēšanas precizitāti un paātrinātu konverģenci. DeepDendrite atbalsta arī mini-batšu apmācību. Batch, mēs veidojam HPC-Net partijas kopijas. Apmācības laikā katra kopija tiek barota ar atšķirīgu treniņa paraugu no partijas. DeepDendrite vispirms aprēķina svara atjauninājumu katrai kopijai atsevišķi. Pēc tam, kad visas kopijas pašreizējā treniņa partijā ir veiktas, tiek aprēķināts vidējais svara atjauninājums un svari visās kopijās tiek atjaunināti par šo pašu summu. N N Robustness against adversarial attack with HPC-Net Lai demonstrētu HPC-Net izturību, mēs pārbaudījām tā prognozēšanas precizitāti pretinieku paraugos un salīdzinājām to ar analogu ANN (vienu ar tādu pašu 784-64-10 struktūru un ReLU aktivāciju, godīgai salīdzināšanai mūsu HPC-Net katrs ievades neirons tikai izveidoja vienu sinaptisko savienojumu ar katru slēpto neironu). Mēs vispirms apmācījāmies HPC-Net un ANN ar oriģinālo apmācību komplektu (originālie tīrie attēli). , lai radītu pretestības troksni, izmantojot FGSM metodi ANN tika apmācīts ar PyTorch , un HPC-Net tika apmācīts ar mūsu DeepDendrite. godīguma labad mēs radījām pretinieku troksni ievērojami atšķirīgā tīkla modelī, 20-slāņu ResNet Trokšņa līmenis svārstījās no 0,02 līdz 0,2. Mēs eksperimentējām ar divām tipiskām datu kopām, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Ziņošanas kopsavilkums Further information on research design is available in the Saistīts ar šo rakstu. Dabas portfeļa pārskatu kopsavilkums Data availability Dati, kas atbalsta šī pētījuma konstatējumus, ir pieejami papīra, papildu informācijas un avota datu failos, kas sniegti kopā ar šo papīru. avota kods un dati, kas izmantoti, lai reproducētu rezultātus skaitļos. – Ir pieejami uz . The MNIST dataset is publicly available at Fashion-MNIST datu kopums ir publiski pieejams . ar šo dokumentu tiek nodrošināta. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Koda pieejamība DeepDendrite avota kods, kā arī modeļi un kods, ko izmanto Figs reproducēšanai. – Šajā pētījumā ir pieejami . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. un Pitts, W. Loģiskais ideju aprēķins, kas pieder nervu darbībai. LeCun, Y., Bengio, Y. un Hinton, G. Dziļa mācīšanās. Daba 521, 436–444 (2015). Poirazi, P., Brannon, T. un Mel, B. W. Aritmētiskā apakšsliežu sinaptisko summu modelis CA1 piramīdas šūnu. London, M. & Häusser, M. Dendrīta aprēķins. Annu. Rev. Neurosci. 28, 503–532 (2005). Branko, T. un Häusser, M. Viena dendrīta filiāle kā nervu sistēmas pamatfunkcionālā vienība. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritiskā integrācija: 60 gadu progresa. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. un Papoutsi, A. Dendritiskās funkcijas apgaismošana ar skaitļošanas modeļiem.Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Dendrīta mugurkauls kā neironu integrācijas pamatfunkcionālās vienības. Engert, F. un Bonhoeffer, T. Dendritiskās mugurkaula izmaiņas, kas saistītas ar hipokampāla ilgtermiņa sinaptisko plastiskumu. Yuste, R. Dendrīta spīdekļi un sadalītās shēmas. Neuron 71, 772–781 (2011). Yuste, R. Elektriskā compartmentalization dendritic mugurkaulā. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Dendritisko koku nozarēšana un motoneuronu membrānas rezistivitāte. Eksp. Neirol. 1, 491–527 (1959). Segevs, I. & Rall, W. Aprēķinātais pētījums par aizraujošu dendrīta mugurkaulu. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Spēles apgūšana ar dziļiem neironu tīkliem un koku meklēšanu Nature 529, 484–489 (2016). Silver, D. et al. Vispārīgs pastiprinājuma mācīšanās algoritms, kas apgūst šahu, shogi un iet cauri pašspēlei. McCloskey, M. & Cohen, N. J. Katastrofāla iejaukšanās konjunktivistiskajos tīklos: secīgo mācīšanās problēma. Franču, R. M. Katastrofālā aizmiršana konjunktivistiskajos tīklos. tendences Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse uzliesmojumi optimizē informācijas pārsūtīšanu multiplexētajā neironu kodā. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritiskās kortikālās mikrocirku aptuveni backpropagation algoritmu. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst atkarīgo sinaptisko plastiskumu var koordinēt mācīšanās hierarhiskajās aprindās. Bicknell, B. A. & Häusser, M. Synaptic mācīšanās noteikums nelineāro dendritisko aprēķinu izmantošanai. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradientu klasterons: modelis neirons, kas iemācās atrisināt klasifikācijas uzdevumus, izmantojot dendrīta nelinearitātes, strukturālo plastiskumu un gradientu lejupslīdi. Hodgkin, A. L. un Hukslijs, A. F. Kvantitatīvs membrānas strāvas apraksts un tā pielietojums nervu vadīšanā un uzbudināšanā. Rall, W. Dendrītu fizioloģisko īpašību teorija. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. un Carnevale, N. T. Neironu simulācijas vide. Neironu datori 9, 1179–1209 (1997). Bower, J. M. un Beeman, D. grāmatā GENESIS: Izpētot reālistisko neironu modeļus ar vispārējo neironu simulācijas sistēmu (eds Bower, J. M. un Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron sadalīšana datorizētās paralēlās tīkla simulācijās ļauj mērogot izpildes laiku ar divreiz vairāk procesoriem. Hines, M. L., Markram, H. un Schürmann, F. Pilnīgi netieši paralēla simulācija atsevišķu neironu. Ben-Shalom, R., Liberman, G. un Korngreen, A. Paātrinot nodalījuma modelēšanu uz grafiskās apstrādes vienības. Tsuyuki, T., Yamamoto, Y. un Yamazaki, T. Efektīva ciparu simulācija neironu modeļiem ar telpisko struktūru uz grafikas apstrādes vienībām. In Proc. 2016 Starptautiskā konference par neironu informācijas apstrādi (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, ASV Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. Proc. IEEE 24. starptautiskā konference par augstas veiktspējas datoriem (HiPC) 388–397 (IEEE, 2017). Huber, F. Efektīvs koku risinātājs hines matrices uz GPU. Preprint at https://arxiv.org/abs/1810.12742 (2018). Korte, B. un Vygen, J. Kombinētās optimizācijas teorija un algoritmi 6 edn (Springer, 2018). Gebali, F. Algoritmi un paralēlie datori (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: optimizēts skaitļošanas dzinējs NEURON simulatoram. front. Neuroinform. 13, 63 (2019). Urbanczik, R. un Senn, W. Mācīšanās, izmantojot dendrītisko prognozi somatisko spiking. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. un Korngreen, A. Ionu kanālu modeļu optimizēšana, izmantojot paralēlu ģenētisko algoritmu uz grafiskajiem procesoriem. Mascagni, M. Paralelizējošs algoritms, lai aprēķinātu risinājumus patvaļīgi atdalītiem kabeļu neironu modeļiem. McDougal, R. A. et al. Divdesmit gadi modelDB un tālāk: būtisku modelēšanas rīku veidošana neiroloģijas nākotnei. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektīvi bloķē nesinhronizētu distālo ieejas laika summu CA1 piramīdas neironos. Hemond, P. et al. Atšķirīgās piramīdas šūnu klases izrāda savstarpēji izslēdzamus šaušanas modeļus hipokampālajā apgabalā CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Neokortikālā slāņa 5b piramīdas šūnu modeļi, kas uztver plašu dendrītisko un perisomātisko aktīvo īpašību klāstu. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Darbības potenciāla apstrāde detalizētā purkinje šūnu modelī atklāj kritisku lomu aksonālai nodalīšanai. Lindroos, R. et al. Bazālo gangliju neiromodulācija vairākos laika un strukturālos mērogos - tiešā ceļa MSN simulācijas izmeklē dopamīnerģisko efektu ātru sākumu un paredz Kv4.2 lomu. Migliore, M. et al. Synaptic klasteri darbojas kā smaržas operatori smaržas spuldzes. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ programmēšanas rokasgrāmata. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Labākās prakses rokasgrāmata. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Sinaptiskā pastiprināšana ar dendrītiskajiem spraudeņiem uzlabo ievades sadarbspēju. Daba 491, 599–602 (2012). Chiu, C. Q. et al. GABAergic inhibīcijas sadalīšana ar dendritisko mugurkaulu. Zinātne 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. un Nägerl, U. V. Mugurkaula kakla plastiskums regulē sinapses nodalīšanu. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Cilvēka kortikālās piramīdas neironi: no mugurkaula līdz spraudeņiem, izmantojot modeļus. front. šūna. Neurosci. 12, 181 (2018). Koch, C. un Zador, A. Dendrīta spīdekļu funkcija: ierīces, kas nodrošina bioķīmisko, nevis elektrisko compartmentalizāciju.J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritic spines. in Biophysics of Computation (Oksfordas Universitātes preses, 1999). Rapp, M., Yarom, Y. & Segev, I. Paralēlās šķiedras fonas aktivitātes ietekme uz cerebellārās purkinje šūnu kabeļu īpašībām. Hīns, M. Efektīva atdalīto nervu vienādojumu aprēķināšana. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Bioloģiski iedvesmoti aizsargāt dziļo tīklu no pretinieku uzbrukumiem. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Liela mēroga simulācija, izmantojot paralēlu GENESIS. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Paralēli tīkla simulācijas ar NEURON. Lytton, W. W. et al. Simulācijas neirotehnoloģijas smadzeņu izpētei: paralēli lieliem tīkliem NEURON. Valero-Lara, P. et al. cuHinesBatch: vairāku Hines sistēmu risināšana GPU cilvēka smadzeņu projektā. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Morfoloģiski detalizēta neironu tīklu simulācijas bibliotēka mūsdienu augstas veiktspējas skaitļošanas arhitektūrām. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: paātrināt multi-divīzijas, bioloģiski detalizēti neironu simulācijas GPU. J. Neurosci. metodes 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Predictor-korektora algoritms reakcijas-difūzijas vienādojumiem, kas saistīti ar neiroloģisko aktivitāti nozarēs. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Kozloski, J. un Wagner, J. Ultraskalējams risinājums liela mēroga neironu audu simulācijai. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrānas potenciālās izmaiņas dendrītiskajās mugurkaulās darbības potenciālu un sinaptisko ieguldījumu laikā. Nishiyama, J. un Yasuda, R. Bioķīmiskais aprēķins mugurkaula strukturālajai plastiskumam. Neuron 87, 63–75 (2015). Yuste, R. un Bonhoeffer, T. Morfoloģiskās izmaiņas dendrītiskajās mugurkaulās, kas saistītas ar ilgtermiņa sinaptisko plastiskumu. Holtmaat, A. & Svoboda, K. Pieredzes atkarīga strukturālā sinaptiskā plastiskums zīdītāju smadzenēs. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. un Muller, D. Strukturālā plastiskums mācīšanās laikā: regulēšana un funkcijas. Keck, T. et al. Neironu ķēžu masveida pārstrukturēšana pieaugušo redzes garozas funkcionālās reorganizācijas laikā. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Pieredze atstāj ilgstošu strukturālu pēdas kortikālo apriti. Trachtenberg, J. T. et al. Ilgtermiņa in vivo attēlveidošana no pieredzes atkarīga sinaptisko plastiskumu pieaugušo garozā. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axiālā dinamika uzbudināmie un inhibitoru neironi somatosenzoru garozā. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Ātra sinapses veidošanās un selektīva stabilizācija ilgstošām motoriskajām atmiņām. Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Motoriskās mācīšanās uzlabošana, palielinot jaunizveidoto dendrītisko mugurkaulu stabilitāti motoriskajā garozā Neuron 109, 3298–3311 (2021). Branko, T. un Häusser, M. Sinaptisko integrācijas gradienti vienā kortikālā piramīda šūnu dendritos. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Aktīvās īpašības neokortikālās piramīdas neironu dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendrīta darbības potenciāli un aprēķini cilvēka slāņa 2/3 kortikālo neironu. zinātne 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed sinaptisko inhibīcijas formas NMDA spikes, ietekmējot vietējo dendrīta apstrādi un globālo I / O īpašības kortikālo neironu. šūnu Rep. 21, 1550–1561 (2017). Du, K. et al. Šūnu tipa specifiskā dendrīta platuma potenciāla inhibīcija striatālās mugurkaula projekcijas neironos. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritiskās spraugas uzlabo stimulu selektivitāti kortikālajos neironos in vivo. Nature 503, 115–120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. un Larkum, M. E. Aktīvie kortikālie dendrīti modulē uztveri. Zinātne 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Kalcija pārejošā izplatība visā dendrīta augsnē paredz vietas lauka īpašības. Markram, H. et al. Neokortikālās mikrocirkulācijas rekonstrukcija un simulācija. šūna 163, 456–492 (2015). Billeh, Y. N. et al. Strukturālo un funkcionālo datu sistemātiska integrācija peles primārās vizuālās garozas daudzlīmeņu modeļos. Neuron 106, 388–403 (2020). Hjorth, J. et al. Mikrocirkulācijas striatum siliko. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Uz dziļu mācīšanos ar segregētiem dendrītiem. elife 6, e22901 (2017). Iyer, A. et al. Katastrofu novēršana: aktīvie dendrīti ļauj daudzveidīgu mācīšanos dinamiskās vidēs. front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Vai viens neirons var atrisināt interesantas mašīna mācīšanās problēmas, izmantojot secīgus aprēķinus par savu dendrīta koku? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritiskā normalizācija uzlabo mācīšanos reti savienotos mākslīgajos neironu tīklos. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Izskaidrojot un izmantojot pretestības piemērus. trešajā starptautiskajā konferencē par mācīšanās pārstāvniecību (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Pārsūtāmība mašīntulkošanā: no parādībām uz melno kasti uzbrukumiem, izmantojot pretinieku paraugus. Preprint at https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Modes-MNIST: jauns attēlu datu kopums mašīnas mācīšanās algoritmu salīdzināšanai. Preprint at http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Bioloģiski motivētu dziļas mācīšanās algoritmu un arhitektūru mērogojamības novērtēšana. in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models.In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: ātrie pretinieku uzbrukumi, lai salīdzinātu mašīntulkošanas modeļu izturību PyTorch, TensorFlow un JAX. Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Atzinības Autori sirsnīgi pateicas Dr. Rita Zhang, Daochen Shi un NVIDIA locekļiem par vērtīgo tehnisko atbalstu GPU datoriem. Šis darbs tika atbalstīts no Ķīnas Nacionālās galvenās pētniecības un izstrādes programmas (Nr. 2020AAA0130400) K.D. un T.H., Ķīnas Nacionālās dabas zinātnes fonda (Nr. 6182588102) T.H., Ķīnas Nacionālās galvenās pētniecības un izstrādes programmas (Nr. 2022ZD01163005) L.M., Guangdong provinces galvenās pētniecības un izstrādes programmas (Nr. 2018B030338001) T.H., Ķīnas Nacionālās dabas zinātnes fonda (Nr. 6182510101) Y.T., Zviedrijas pētniecības padomes (VR-M-2020-016 Šis dokuments ir pieejams dabā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Šis dokuments ir Attiecības ir licencētas saskaņā ar CC by 4.0 Deed (Attribution 4.0 International) licenci. Pieejams dabā
