ang mga author: Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang ang mga author: Mga pahinang Zhang Gan ang Ikaw ang ma Si Xiaofei Liu ang napili ng mga taga-hanga: Johannes Hjorth Si Alexander Kozlov ang Yutao ang Mga pahinang tumuturo Mga pahinang tumuturo sa Jeanette Hellgren Kotaleski Mga pahinang tumuturo Pinakamahusay na Grill Kung ikaw ay Maghanap ng Huang abstrak ang Biophysically detalyadong multi-compartment models ay malakas na mga tool upang i-explore computing mga prinsipyo ng brain at din ginagamit bilang isang teorikal na framework upang lumikha ng mga algorithm para sa artificial intelligence (AI) mga sistema. Gayunpaman, ang mahalagang gastos ng computing malaki limitado ang mga application sa parehong neuroscience at AI fields. Ang pangunahing bottleneck sa pag-simulate ng detalyadong mga modelo ng compartment ay ang kakayahan ng isang simulator upang i-solve ang malaking mga sistema ng linear equations. ang endrita sa hierarchy Ang cheduling (DHS) na pamamaraan upang i-accelerate ang isang proseso na ito. Ipinapakita namin sa teorya na ang implementasyon ng DHS ay optimum at katunayan. Ang GPU-based na pamamaraan na ito ay gumagana sa 2-3 order ng magnitude na mas mabilis kaysa sa ang mga klasikong seryal na Hines na pamamaraan sa conventional CPU platform. Kami ay bumuo ng isang DeepDendrite framework, na nag-integrate ang DHS na pamamaraan at ang GPU computing engine ng NEURON simulator at ipakita ang mga application ng DeepDendrite sa mga gawain ng neuroscience. Kami ay pananaliksik kung paano ang mga spatial na pattern ng spine inputs ay nakakaapekto sa neuronal excitability sa isang detalyadong human pyramidal neuron model na may D H S Introduction ang Ang pag-deciphering ng mga prinsipyo ng coding at computing ng neurons ay pangunahing para sa neuroscience. Ang mamimilial na brains ay binubuo ng higit sa libu-libong iba't-ibang mga uri ng neurons na may unikat na morphological at biophysical properties. Habang ito ay hindi kailanman konseptual na katotohanan, ang "point-neuron" doktrina Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( Gayunpaman, karamihan sa komprehensibong pag-calculations sa single neuron level, subcellular compartments, tulad ng neuronal dendrites, ay maaaring gawin din nonlinear operations bilang independiyenteng computing unit. , , , , Sa karagdagang, ang dendritic spines, mga maliit na protrusyon na malapit sa dendrites sa spiny neurons, ay maaaring compartmentalize synaptic signals, na nagbibigay-daan sila upang maging separado mula sa kanilang parental dendrites ex vivo at in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulasyon na gumagamit ng biologically detalyadong neurons ay nagbibigay ng isang teorikal na framework para sa pag-link ng biological detalye sa mga prinsipyo ng computing. , ay nagbibigay-daan sa amin upang model ang mga neurons na may realistang dendritic morphologies, intrinsic ionic conducctance, at extrinsic synaptic inputs. Ang backbone ng detalyadong multi-compartment model, i.e., dendrites, ay binuo sa classical cable theory , na modeled ang biophysical membrane properties ng dendrites bilang pasyadong cable, na nagbibigay ng isang matematikal na paglalarawan ng kung paano electronic signals invade at propagate sa lahat ng mga kompleksong neuronal na proseso. By incorporating cable theory with active biophysical mechanisms such as ion channels, excitatory at inhibitory synaptic currents, etc., isang detalyadong multi-compartment model ay maaaring makakuha ng cellular at subcellular neuronal calculations sa loob ng mga limitasyon ng eksperimento , . 12 13 12 4 7 Sa gitna ng Pagpatay ng sarili niyang Olympic maskot , Ang Dysfunctional clean up Ng maruming tubig nito, ang Pag-shutdown ng doping lab nito , Ang Deklarasyon ng isang emergency na pinansiyal , Ang Pagkakaroon ng virus Zika , At Iba't ibang mga kalamidad , Ang Olympic ambitions ng Rio ay isang kalamidad. , Ang human brain ay mas mahusay kaysa sa ANNs sa mga domain na naglalaman ng mas dynamic at bulky na mga environment , Ang mga pananaliksik na pananaliksik ay nagpapakita na ang dendritic integration ay mahalaga sa generating efficient learning algorithms na posibleng higit sa backprop sa parallel information processing. , , Sa karagdagang, ang isang single detalyadong multi-compartment model ay maaaring malaman ng network-level nonlinear calculations para sa point neurons sa pamamagitan ng pagbabago lamang ng synaptic strength , Dahil dito, ito ay ng mataas na prioridad na i-expand ang mga paradigma sa brain-like AI mula sa single detalyadong mga modelo ng neuron sa larong-scale biologically detalyadong network. 14 15 16 17 18 19 20 21 22 Ang isang longstanding challenge ng detalyadong simulation approach ay sa kanyang karaniwang mataas na gastos ng computing, na kung saan ay malaki na limitado ang kanyang application sa neuroscience at AI. Ang pangunahing bottleneck ng simulation ay upang solve linear equations batay sa mga pangunahing teorya ng detalyadong modeling. , , Upang pagbutihin ang efficiency, ang classic Hines method ay humigit-kumpleto ang oras para sa pag-solve ng equations mula sa O(n3) sa O(n), na kung saan ay karaniwang ginamit bilang core algorithm sa mga popular na simulator tulad ng NEURON ang genesis Gayunpaman, ang methode na ito ay gumagamit ng isang seryal na pagproseso ng bawat compartment sequentially.Kapag ang isang simulation ay naglalaman ng maraming biophysically detalyadong dendrites na may dendritic spines, ang linear equation matrix (“Hines Matrix”) scales accordingly sa isang mas mataas na bilang ng dendrites o spines (Pig. ), kung saan ang Hines method ay hindi na praktisado, dahil ito ay nagtataguyod ng isang mahusay na load sa buong simulation. 12 23 24 25 26 1 ang Ang isang reconstructed layer-5 pyramidal neuron model at ang mathematical formula na ginagamit sa detalyadong mga modelo ng neuron. Ang workflow kapag numerically simulating detalyadong mga modelo ng neuron. Ang equation-solving phase ay ang bottleneck sa simulation. Isang halimbawa ng linear equations sa simulation. Data dependency ng Hines method sa solusyon ng linear equations sa ang Ang bilang ng mga sistema ng linear equations na dapat na solusyon ay subukan ng isang malaking pag-unlad kapag ang mga modelo ay lumaki sa mas detalyado. Computational cost (pasok na dumating sa equation solving phase) ng seryal na pamamaraan Hines sa iba't ibang uri ng mga modelo ng neuron. Ilustrasyon ng iba't-ibang mga paraan ng solusyon. Ang iba't-ibang bahagi ng isang neuron ay ibinigay sa maraming mga unit ng pagproseso sa parallel na mga paraan (mid, right), na nagpapakita sa iba't-ibang mga kulay. Ang kalkulasyon ng gastos ng tatlong paraan sa sa pag-solve ng mga equations ng isang pyramidal model sa pamamagitan ng spines. Runtime ng iba't ibang mga paraan sa solusyon ng equations para sa 500 pyramidal mga modelo na may spines. Ang run time ay nagpapakita ng oras consumption ng 1 s simulation (solving ang equation 40,000 beses sa isang oras step ng 0.025 ms). p-Hines parallel method sa CoreNEURON (sa GPU), Branch-based branch-based parallel method (sa GPU), DHS Dendritic hierarchical scheduling method (sa GPU). a b c d c e f g h g i Sa loob ng mga dekada na nakalipas, lumikha ng malaking progreso ang pag-accelerate ng Hines method sa pamamagitan ng paggamit ng parallel methods sa cellular level, na nagbibigay-daan upang parallelize ang pag-calculate ng iba't ibang mga bahagi sa bawat cell , , , , , Gayunpaman, ang kasalukuyang cellular-level parallel na mga paraan ay karaniwang walang isang efficient parallelization strategy o walang sapat na numeral na katunayan sa pagitan ng orihinal na Hines na paraan. 27 28 29 30 31 32 Sa mga mas mababang posisyon ay may mga species ng Eurobond fauna, at ang mga altitude ng bundok ay dumarami sa pagtaas ng altitude.Ang mga altitude ng bundok ay dumarami sa pagtaas ng altitude.Ang mga altitude ng bundok ay dumarami sa pagtaas ng altitude. Mga teorya ng parallel computing Nag-demonstrate na ang aming algorithm ay nagbibigay ng optimal na pag-planning nang walang kakaiba ng presyon. Sa karamihan, kami ay optimized DHS para sa kasalukuyang pinakamataas na GPU chip sa pamamagitan ng paggamit ng GPU memory hierarchy at memory access mechanisms. Karamihan, DHS ay maaaring pag-accelerate ang pag-calculation 60-1,500 times (Supplementary Table ) sa pagitan ng klasikong simulator NEURON Sa tingin ko, ang exactness ay identical. 33 34 1 25 Upang magbigay ng detalyadong dendritic simulations para sa paggamit sa AI, i-establish ang DeepDendrite framework sa pamamagitan ng integration ng DHS-embedded CoreNEURON (ang isang optimized compute engine para sa NEURON) platform Bilang ang simulation engine at dalawang auxiliary modules (I/O module at learning module) na sumusuporta sa dendritic learning algorithms sa panahon ng simulations. DeepDendrite ay gumagana sa GPU hardware platform, sumusuporta sa parehong regular na mga trabaho ng simulation sa neuroscience at mga trabaho ng pag-aaral sa AI. 35 Last but not least, inihayag namin rin ang ilang mga application na gumagamit ng DeepDendrite, na nagtatagumpay sa ilang mga kritikal na mga problema sa neuroscience at AI: (1) Nag-demonstrate kung paano ang spatial pattern ng dendritic spine inputs ay nakakaapekto sa neuronal activity na may mga neuron na naglalaman ng spines sa buong dendritic trees (full-spine models). DeepDendrite ay nagbibigay-daan sa amin upang i-explore neuronal computing sa isang simulated human pyramidal neuron model na may ~25,000 dendritic spines. (2) Sa pag-diskusyon kami din nagtatagumpay ang potensyal ng DeepDendrite sa kontekstong AI, ibig sabihin, sa paggawa ng ANNs na may morphologically detaly Ang lahat ng source code para sa DeepDendrite, ang full-spine models at ang detalyadong dendritic network model ay magagamit sa publiko online (tingnan Code Availability). Ang aming open-source learning framework ay maaaring madaling i-integrate sa iba pang dendritic learning rules, tulad ng learning rules para sa nonlinear (full-active) dendrites Pagkakaiba sa mga sinaptic plasticity , at pag-aaral sa spike prediction Sa kabuuan, ang aming pananaliksik ay nagbibigay ng isang komprehensibong set ng mga tool na may potensyal na pagbabago ang kasalukuyang ecosystem ng komunidad ng computing neuroscience. Sa pamamagitan ng pagbabago ng kapangyarihan ng GPU computing, inaasahan namin na ang mga tool na ito ay magbibigay-daan sa mga sistema ng pag-explore ng mga prinsipyo ng computing ng mga fine structures ng brain, pati na rin ayusin ang pagitan ng neuroscience at modernong AI. 21 20 36 mga resulta Ang Dendritic Hierarchical Scheduling (DHS) ay Ang pag-computing ng ionic currents at pag-solve ng linear equations ay dalawang kritikal na phases sa pag-simulate ng biophysically detalyadong neurons, na kung saan ay oras-consuming at magsagawa ng malubhang computing load. Ang pag-computing ng ionic currents ng bawat compartment ay isang ganap na independiyenteng proseso, kaya ito ay maaaring naturang parallelized sa mga aparato na may massive parallel-computing units tulad ng GPUs Sa katunayan, ang solusyon ng linear equations ay naging ang hinaharap na bottleneck para sa proseso ng parallelization (Fig. ang mga ito) 37 1a ang Upang maiwasan ang bottleneck na ito, ang parallel methods sa cellular level ay binuo, na nagpapakataas ng single-cell computing sa pamamagitan ng "splitting" ng isang single cell sa ilang mga compartments na maaaring i-calculate sa parallel. , , Gayunpaman, ang mga metriko na ito ay malakas sa mga nakaraang kaalaman upang lumikha ng mga praktikal na mga strategya tungkol sa kung paano i-split ang isang single neuron sa mga compartments (Fig. Ang mga supplementary Fig. Halimbawa, ito ay naging mas mababa efficient para sa neurons na may asymmetrical morphologies, halimbawa, pyramidal neurons at Purkinje neurons. 27 28 38 1 g ng 1 Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( Ipinapakita namin ang tatlong mga katotohanan upang sigurado na ang isang parallel na paraan ay magbigay ng parehong mga solusyon tulad ng seryal na computing Hines na paraan ayon sa dependency ng data sa Hines na paraan (tingnan ang mga Metodiko). Pagkatapos, sa teorya upang i-evaluate ang runtime, i.e., efficiency, ng mga seryal at parallel na paraan ng computing, i-introduce at formulate ang konsepto ng calculational cost bilang ang bilang ng mga pasahero ng isang paraan sa pag-solve ng equations (tingnan ang mga Metodiko). 34 Basahin sa pag-simulasyon na katunayan at kalkulasyon na gastos, inihayag namin ang problema ng parallelization bilang isang problema ng matematikal na pag-planning (si Methods). Sa mga simpleng mga salita, nakita namin ang isang single neuron bilang isang batang na may maraming mga nodes (compartments). Ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod ay ang maximum ang mga nodes sa bawat pagkakataon, ngunit kailangan namin upang matukoy na ang isang node ay inilathala lamang kung ang lahat ng kanyang mga anak na nodes ay inilathala; ang aming target ay makahanap ng isang strategiya na may minimum na bilang ng mga step para sa buong proseso. k k Upang lumikha ng isang optimal na partition, nag-aalok namin ang isang paraan na tinatawag na Dendritic Hierarchical Scheduling (DHS) (ang teorikal na pagsubok ay ibinigay sa mga Methods). Ang pangunahing ideya ng DHS ay upang prioritize ang mga deep nodes (Fig. Ang DHS na paraan ay binubuo ng dalawang hakbang: pag-analisa ng dendritic topology at paghahanap ng pinakamahusay na partition: (1) Nag-aalok ng isang detalyadong modelo, makakuha namin mula sa unang ang mga katulad na dependency tree at i-calculate ang kabuuang ng bawat node (ang kabuuang ng isang node ay ang bilang ng kanyang ancestor nodes) sa tree (Fig. (2) Pagkatapos ng pag-analisa ng topology, i-search ang mga kandidato at piliin ang maximum Ang isang node ay isang kandidato lamang kung ang lahat ng kanyang mga anak na mga node ay na-processed). ang mga ito) 2a ang 2b at C k 2D ang Mga proseso ng DHS Ang mga kandidato ay ang pinakamataas na node sa bawat iterasyon. Illustration of calculating node depth of a compartmental model. Ang modelo ay unang i-convert sa isang tree structure pagkatapos ay ang depth ng bawat node ay i-calculated. Colors indicate different depth values. Ang pag-analysis ng topology sa iba't ibang mga modelo ng neuron. Six neurons na may iba't ibang morphologies ay ipinapakita dito. Para sa bawat modelo, ang soma ay napili bilang root ng tree kaya ang kabuuang ng node ay lumaki mula sa soma (0) sa distal dendrites. Ilustrasyon ng pagganap ng DHS sa modelo sa sa loob ng 4 thread. Candidates: nodes that can be processed. Selected candidates: nodes that are picked by DHS, i.e., ang Ang mga sumusunod na mga sumusunod ay ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod. Parallelization strategy na nakuha ng DHS pagkatapos ng proseso sa Ang bawat node ay ibinibigay sa isa sa mga katapusan ng parallel threads. DHS ay humahantong ang mga step ng seryal na pagproseso ng node mula sa 14 sa 5 sa pamamagitan ng pag-distribusyon ng nodes sa maraming threads. Relative cost, i.e., ang proporsyon ng kalkulasyon na gastos ng DHS sa pagitan ng seryal na paraan ng Hines, kapag gumagamit ng DHS na may iba't-ibang mga bilang ng mga thread sa iba't-ibang mga uri ng mga modelo. a k b c d b k e d f Gumawa ng isang simpleng modelo na may 15 compartments bilang isang halimbawa, gamit ang seryal computing Hines method, ito ay nangangailangan ng 14 step upang process ang lahat ng nodes, habang gamit ang DHS na may tatlong parallel units ay maaaring partition ang mga nodes nito sa limang subset (Fig. Dahil ang mga nodes sa parehong subset ay maaaring processed sa parallel, ito ay nangangailangan lamang ng limang step upang process ang lahat ng nodes gamit ang DHS (Fig. 5). ang mga ito) 2D ang 2 ang Pagkatapos, i-apply ang DHS method sa six representative detailed neuron models (piliin mula sa ModelDB ) na may iba't ibang mga antas ng thread (Fig. ):, kabilang ang cortical at hippocampal pyramidal neurons , , Paglalarawan ng Purkinje Neurons Mga Proyeksiyon ng Striatal Neurons (SPN) ), at olfactory bulb mitral mga cell , na naglalaman ng mga pangunahing pangunahing neurons sa sensory, cortical at subcortical mga lugar. Pagkatapos ay tinatanggap namin ang mga gastos ng pag-calculation. Ang relasyonal na gastos ng pag-calculation dito ay defined sa pamamagitan ng proporsyon ng mga gastos ng pag-calculation ng DHS sa kung saan ng seryal na paraan Hines. Ang mga gastos ng pag-calculation, i.e., ang bilang ng mga hakbang na dumating sa pag-solve ng equations, ay tumutulong dramatically sa pag-unlad ng mga numero ng thread. Halimbawa, sa 16 thread, ang mga gastos ng pag-calculation ng DHS ay 7%-10% sa pagitan ng seryal na paraan ng Hines. Ang intriguingly, ang DHS na paraan ay tumatanggap ng mga mas mababang ), sumusunod na magdagdag ng higit pang mga thread ay hindi mapabuti ang pagganap na higit pa dahil sa dependencies sa pagitan ng mga compartments. 39 2F ang 40 41 42 43 44 45 2F ang Sa gitna ng Pagpatay ng sarili niyang Olympic maskot , Ang Dysfunctional clean up Ng maruming tubig nito, ang Pag-shutdown ng doping lab nito , Ang Deklarasyon ng isang emergency na pinansiyal , Ang Pagkakaroon ng virus Zika , At Iba't ibang mga kalamidad , Ang Olympic ambitions ng Rio ay isang kalamidad. Pag-accelerate ng DHS sa pamamagitan ng GPU memory boosting Ang DHS ay nag-calculate ang bawat neuron sa pamamagitan ng ilang thread, na ginagamit ng isang malaking halaga ng thread sa pag-execute ng neural network simulations. Graphics Processing Units (GPUs) ay binubuo ng mga massive processing units (i.e., streaming processors, SPs, Fig. 1). Para sa parallel computing Sa teorya, maraming mga SP sa GPU ay dapat suportahan ang efficient simulation para sa malaking-scale neural networks (Fig. Gayunpaman, natagpuan namin na ang efficiency ng DHS ay nangangahulugan na umabot kapag ang size ng network ay lumaki, na kung saan ay maaaring resulta ng dispersed data storage o extra memory access na nangangahulugan sa pag-load at pag-writing intermediate mga resulta (Fig. Ikaw ang left). 3A at B 46 3c ang 3D ang Ang GPU architecture at ang memory hierarchy nito. Ang bawat GPU ay naglalaman ng mga massive processing units (stream processors). Ang iba't ibang uri ng memory ay may iba't ibang paglipad. Arkitektura ng Streaming Multiprocessors (SMs). Ang bawat SM ay naglalaman ng maraming streaming processors, registers, at L1 cache. Paggamit ng DHS sa dalawang neuron, bawat isa ay may limang thread. Sa panahon ng simulation, ang bawat thread ay i-execute sa isang stream processor. Memory optimization strategy sa GPU. Top panel, thread assignment at data storage ng DHS, bago (left) at pagkatapos (right) memory boosting. Bottom, isang halimbawa ng isang single step sa triangularization kapag simulan ng dalawang neurons sa Ang mga processor ay nagpadala ng isang data request upang i-load ang data para sa bawat thread mula sa global memory. Walang memory boost (left), ito ay nangangailangan ng tatlong transaksyon upang i-load ang lahat ng data request at ilang mga karagdagang transaksyon para sa intermediate mga resulta. Sa memory boost (right), ito ay nangangailangan lamang ng dalawang transaksyon upang i-load ang lahat ng data request, ang mga registers ay ginagamit para sa intermediate mga resulta, na karagdagang mapabuti ang memory throughput. Runtime ng DHS (32 thread bawat cell) na may at walang memory boosting sa multi-layer 5 pyramidal na mga modelo na may mga spines. Pag-accelerate ng memory boosting sa multi-layer 5 pyramidal mga modelo na may mga spines. Memory boosting ay nagbibigay ng 1.6-2 times speedup. a b c d d e f I-solve ang problema na ito sa pamamagitan ng GPU memory boosting, isang paraan upang i-increase ang memory throughput sa pamamagitan ng pagbabago ng GPU's memory hierarchy at access mechanism. Based sa memory loading mechanism ng GPU, ang susunod na mga thread na pag-load ng aligned at successively-stored data ay nagdadala sa isang mataas na memory throughput sa pagitan ng pag-access sa scatter-stored data, na nagbabago ng memory throughput. , Upang makakuha ng mataas na paghahatid, nagsisimula namin ang mga order ng computing ng nodes at rearrange ang mga thread ayon sa bilang ng mga nodes sa kanila. Pagkatapos kami permute ang data storage sa global memory, consistent sa computing orders, i.e., mga nodes na processed sa parehong step ay ibinibago nangangahulugan sa global memory. Sa karagdagang, ginagamit namin ang GPU registers upang i-storage ang intermediate results, mas mataas ang memory throughput. Ang halimbawa ay nagpapakita na ang memory boost ay nangangailangan lamang ng dalawang transaksyon ng memory upang i-load ang eight request data (Fig. Higit pa, mga eksperimento sa ilang mga numero ng pyramidal neurons na may mga spines at ang mga tipikal na mga modelo ng neuron (Fig. Ang mga supplementary Fig. Ipakita na ang memory boosting ay humihingi ng isang 1.2-3.8 beses na acceleration sa pagitan ng naïve DHS. 46 47 3D ang 3 ang f 2 Upang mag-test ang pagganap ng DHS sa GPU memory boosting, kami ay piliin ang six tipikal na mga modelo ng neuron at i-evaluate ang run-time ng solving cable equations sa massive numbers ng bawat modelo (Fig. Nagsimula kami sa DHS na may tatlong thread (DHS-4) at 16 thread (DHS-16) para sa bawat neuron, respectively. Compared sa GPU method sa CoreNEURON, DHS-4 at DHS-16 ay maaaring pag-accelerate tungkol sa 5 at 15 beses, respectively (Fig. Sa karagdagang, sa pagitan ng konvensyonal na seryal na pamamaraan ng Hines sa NEURON na gumagana sa isang single-thread ng CPU, DHS accelerates ang simulation sa 2-3 order ng magnitude (Supplementary Fig. ), habang nagtatagumpay ang identical numerical accuracy sa presence ng dense spines (Supplementary Figs. at ang ), active dendrites (Supplementary Fig. ) at ang iba pang mga strategies ng segmentation (Supplementary Fig. ang mga ito) 4 4a ang 3 4 8 7 7 Runtime ng solving equations para sa isang 1 s simulation sa GPU (dt = 0.025 ms, 40,000 iterations sa kabuuan). CoreNEURON: ang parallel na paraan na ginagamit sa CoreNEURON; DHS-4: DHS na may tatlong thread para sa bawat neuron; DHS-16: DHS na may 16 thread para sa bawat neuron. na ang Ang pag-visualize ng partition sa pamamagitan ng DHS-4 at DHS-16, ang bawat kulay ay nagpapakita ng isang single thread. Sa panahon ng pag-calculate, ang bawat thread ay nag-switch sa pagitan ng iba't ibang mga branch. a b c DHS gumawa ng cell-type-specific optimal partitioning Upang makakuha ng mga pag-iisip sa mekanismo ng pag-uugali ng DHS na proseso, nakita namin ang proseso ng partitioning sa pamamagitan ng pag-mapping ng mga compartments sa bawat thread (ang bawat kulay ay nagpapakita ng isang single thread sa Fig. 1. Ang pag-visualization ay nagpapakita na ang isang single thread ay karaniwang nag-switch sa pagitan ng iba't-ibang mga branch (Fig. Interestingly, DHS generates aligned partitions sa morphologically symmetric neurons tulad ng ang striatal projection neuron (SPN) at ang Mitral cell (Fig. Sa katunayan, ito ay lumikha ng fragmented partitions ng morphologically asymmetric neurons tulad ng pyramidal neurons at Purkinje cell (Fig. ), na nagpapakita na ang DHS divides ang neural tree sa individual compartment scale (i.e., tree node) kaysa sa branch scale. Ang cell-type-specific fine-grained partition na ito ay nagbibigay ng DHS upang ganap na gamitin ang lahat ng available threads. 4B at C 4B at C 4B at C 4B at C Sa katunayan, ang DHS at memory boosting ay lumikha ng isang teorikal na-prove na optimaal na solusyon para sa pag-solve ng linear equations sa parallel na may unprecedented efficiency. Paggamit ng prinsipyo na ito, binubuo namin ang open-access DeepDendrite platform, na maaaring gamitin ng mga neuroscientist upang i-implementate ang mga modelo nang walang anumang espesyal na GPU programming knowledge. Sa ibaba, nag-demonstrate kung paano maaari naming gamitin ang DeepDendrite sa mga trabaho ng neuroscience. DHS ay nagbibigay ng spine-level modeling Tulad ng dendritic spines makakuha ng karamihan ng excitatory input sa cortical at hippocampal pyramidal neurons, striatal projection neurons, at iba pa, ang kanilang morphologies at plasticity ay mahalaga para sa regulating neuronal excitability , , , , Gayunpaman, ang mga spines ay masyadong maliit (~ 1 μm length) para sa pamamagitan ng direct experimentally sa pagitan ng voltage-dependent mga proseso. 10 48 49 50 51 Maaari namimili ang isang single spine na may dalawang compartment: ang spine head kung saan ang synapses ay matatagpuan at ang spine neck na naghubad ang spine head sa dendrites Ang teoryang ito ay nagpapakita na ang napaka-shiny spinal neck (0.1-0.5 um sa diameter) electronically isolates ang spinal head mula sa kanyang parental dendrite, kaya compartmentalizing ang mga signal generated sa spinal head. Gayunpaman, ang detalyadong modelo na may full-distributed spines sa dendrites (“full-spine model”) ay computably very expensive. Ang isang karaniwang kompromisyal na solusyon ay mag-modify ang capacitance at resistance ng membrane sa pamamagitan ng isang ang spine factor sa pagitan ng lahat ng mga patlang. at dito, ang ang spine factor ay nagtatagumpay sa pag-aproseso ng spine effect sa mga biophysical properties ng cell membrane . 52 53 F 54 F 54 Ipinanganak sa mga nakaraang trabaho ng Eyal et al. , natutunan namin kung paano iba't ibang spatial pattern ng excitatory inputs formed sa dendritic spines shape neuronal activities sa isang human pyramidal neuron model na may explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the ang spine factor upang i-incorporate ang spines sa dendrites habang lamang ang ilang activated spines ay eksplicitly na-attached sa dendrites (“pw-spine model” sa Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. Ang mga katangian ng probabilidad (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) kaysa sa modelo ng ilang-spine (ang dashed blue line sa Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded para sa mga kaso . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in Ang mga kulay ay naglalaman ng magnitude ng voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. Mga Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) sa comparison sa GPU method na ginagamit sa CoreNEURON at hanggang sa 1,500-fold acceleration sa comparison sa serial Hines method sa CPU platform (Fig. Ang mga supplementary Fig. Mga Supplementary Table Sa katunayan, bilang isang pag-demonstrasyon ng kapangyarihan ng DeepDendrite, inihahanda namin ang isang representative application: i-examine spine calculations sa isang detalyadong modelo ng pyramidal neuron na may 25,000 spines. Sa karagdagang sa seksyon na ito, inihahanda namin kung paano natagpuan namin ang DeepDendrite framework upang magbigay ng efficient training ng biophysically detalyadong networks. Upang i-explore ang hipotesis na ang dendrites ay mapabuti ang kaligtasan laban sa adversarial attacks Nagpakita namin na ang DeepDendrite ay maaaring suportahan ang parehong neuroscience simulations at AI-related detalyadong neural network tasks sa isang unprecedented speed, kaya nangangahulugan na nag-promote detalyadong neuroscience simulations at posibleng para sa mga future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , Sa pamamagitan ng network-level methods, maaari naming simulate detalyadong network sa clusters o supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , Gayunpaman, ang mga tipikal na paraan sa cellular-level (mga, ang "multi-split" paraan Sa isang panayam sa Star for All Seasons, sinabi niyang something new for her ang karakter na gagampanan niya. , , or making approximations on some crucial compartments, while solving linear equations , Ang mga finer-grained parallelization strategies ay maaaring makakuha ng mas mataas na efficiency ngunit nangangailangan ng sufficient numerical accuracy tulad ng sa orihinal na Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Ang dendritic spines ay ang pinakamababang microstructures sa brain para sa projection neurons sa cortex, hippocampus, cerebellum, at basal ganglia. Dahil ang spines ay makakuha ng karamihan ng mga excitatory input sa sentral na sistema ng nervous, electrical signals generated sa pamamagitan ng spines ay ang pangunahing propesyonal na kapangyarihan para sa malaking-scale neuronal activities sa pre-brain at cerebellum. , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , Ang mga pagbabago na depende sa karanasan sa spinal morphology, na kilala rin bilang "struktural plasticity", ay karaniwang nakikita sa visual cortex. , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia In vivo. Ang mga ito ay may isang kritikal na papel sa motor at spatial learning at memory formation. Gayunpaman, dahil sa mga gastos ng computing, halos lahat ng detalyadong mga modelo ng network ay gumagamit ng "F-factor" na pag-atake ng mga katotohanan ng mga spin, at kaya ay hindi maaaring i-explore ang mga function ng spine sa antas ng sistema. Sa pamamagitan ng paggamit ng aming framework at ang GPU platform, maaari naming i-execute ang ilang libu-libong detalyadong mga modelo ng neurons, ang bawat may mga libu-libong ng mga spin sa isang single GPU, habang nagtatrabaho ~100 beses mas mabilis kaysa sa mga tradisyonal na seryal na paraan sa isang single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , at spatial navigation sa hippocampal CA1 rehiyon . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Sa karagdagang, mas detalyado na mga modelo ng neuron ay mas mababang matematika traceable at computably mahal . 20 21 22 19 20 89 21 Mayroon din ang mga progreso sa papel ng active dendrites sa ANNs para sa mga trabaho ng computer vision. Ipinapakita ng isang bagong ANN architecture na may aktibo dendrites, na nagpapakita ng competitive mga resulta sa multi-task at continuous learning. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. Nag-aalok ng isang dendritic normalization rule batay sa biophysical behavior, na nag-aalok ng isang interesado na prospekto sa kontribusyon ng dendritic arbor structure sa computing. Habang ang mga pananaliksik na ito ay nag-aalok ng mahalaga na pananaliksik, sila ay pangunahing tumutulong sa mga abstraksiyon na dumating mula sa spatially extended neurons, at hindi na ganap na gumagamit ang mga detalyadong biological properties at spatial na impormasyon ng dendrites. Ang karagdagang pananaliksik ay kinakailangan upang ipakita ang potensyal ng paggamit ng mas realistang mga modelo ng neuron para sa paghahanap ng mga kopya ng mga mekanismo sa ilalim ng brain computing at deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 Ang ilustrasyon ng Human Pyramidal Cell Network (HPC-Net) para sa pag-classification ng imahe. Mga imahe ay i-transform sa spike trains at i-feed sa network model. Ang pag-aaral ay inihahanda sa pamamagitan ng mga signal ng error na inilathala mula sa soma sa dendrites. Mag-training sa mini-batch. Multiple networks ay simulated simultaneously na may iba't-ibang mga imahe bilang input. Ang total na timbang updates ΔW ay inilathala bilang ang average ng ΔWi mula sa bawat network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy ng bawat modelo sa adversarial sample pagkatapos ng pag-training 30 epochs sa MNIST (left) at Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 3D, at ang 97 Sa katunayan, ang DeepDendrite ay nagpapakita ng mahigpit na potensyal sa mga trabaho sa pag-aralan ng imahe, na magbubuo ng isang mundo ng mahigpit na future directions at mga posibilidad. Upang mas mabuti ang DeepDendrite at ang application ng biologically detalyadong dendritic models sa AI tasks, maaari naming mag-focus sa pag-unlad ng multi-GPU systems at pag-eksplorate ng mga application sa iba pang mga domain, tulad ng Natural Language Processing (NLP), kung saan ang dendritic filtration properties ay matatagpuan sa mabuti at ambiguous na karanasan ng human language. Ang mga problema ay kabilang ang pagsubok ng scalability sa mas malalaking mga problema, pagkuha ng pagkuha sa iba't-ibang mga trabaho at domain, at Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON Ang aming Dendritic Hierarchical Scheduling (DHS) method ay inilapat sa CoreNEURON environment sa pamamagitan ng pag-modify ng kanyang source code. Ang lahat ng mga modelo na maaaring simulan sa GPU na may CoreNEURON ay maaaring din simulan sa DHS sa pamamagitan ng mga sumusunod na komento: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Precision ng simulation gamit ang cellular-level parallel computing To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , natagpuan namin na ang kanyang dependency ng data ay maaaring formulated bilang isang tree structure, kung saan ang mga nodes sa tree ay nagpapakita ng mga compartments ng detalyadong modelo ng neuron. Sa proseso ng triangularization, ang halaga ng bawat node ay depende sa kanyang mga anak na nodes. Sa kontrata, sa panahon ng proseso ng back-substitution, ang halaga ng bawat node ay depende sa kanyang parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method Upang i-evaluate ang teorya ng runtime, i.e., efficiency, ng mga seryal at parallel computing methods, i-introduce at formulate ang konsepto ng calculational cost tulad ng: and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of sa Ang mga sumusunod, i. = ang , , … } where the size of each subset | | ≤ Dahil dito, ang maximum nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset May mga bagay na kailangan nating gawin.Ito ang ibig sabihin natin. ang size ng set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k ang v1 ang v2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Pagkatapos ng isang tree = { na ang } and a positive integer , where Ito ay ang node-set at is the edge set. Define partition ( ) = { na ang , … Ang mga ito ay Ikaw ang ≤ , 1 ≤ ≤ n, kung saan | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( Ang mga ito ay minimum. T V E k V E P V ang v1 ang v2 ang Vi k i Vi ang vi Vi v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. Dahil sa | ≤ indicates that we can compute nodes each step at most because the number of available threads is Ang limitasyon "para sa bawat node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < “Ito ang node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set Ang isang node ay isang kandidato lamang kung ang lahat ng kanyang mga anak na nodes ay na-processed o ito ay walang mga anak na nodes. Ikaw ang ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q sa i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( Ang mga ito na ang , … }, | | ≤ , 1 ≤ ≤ Ang mga nodes sa parehong subset will be computed in parallel, taking Pagkatapos ay i-demonstrate na ang reorder ng pag-calculation sa DHS ay magiging resulta ng isang resulta na identical sa seryal na pamamaraan ng Hines. T V E P V V1 V2 Vn Vi k i n ang vi n ang partition ( Ang pag-iisip na ito ay tungkol sa kung ano ang ibig sabihin ng pag-ibig upang pumunta shopping, at kung ano ang ibig sabihin ng pag-ibig upang pumunta shopping, at kung ano ang ibig sabihin ng pag-ibig upang pumunta shopping, at kung ano ang ibig sabihin ng pag-ibig upang pumunta shopping. ( ang mga kondisyon ng correctness. ( ) ay inihahanda mula sa ibinigay na neural tree Ang mga operasyon sa DHS ay hindi mag-modify ang tree topology at mga halaga ng tree nodes (ang mga katumbas ng mga halaga sa linear na equations), kaya ang tree morphology at mga pangunahing halaga ng lahat ng nodes ay hindi mabigat, na kung saan ay matugunan ang kondisyon 1: ang tree morphology at mga pangunahing halaga ng lahat ng nodes ay sama sa mga sa serial Hines method. 2 ang Bilang nagpakita sa implementation ng DHS, ang lahat ng mga nodes sa subset Piliin ang mga kandidato mula sa set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , ang... Ang mga node ng mga node sa are in { , ang... }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T ang v1 ang ang vi Q Q Vi V1 V2 Vi-1 ang ang v1 Vi V1 ang v2 Vi-1 Vi Vi+1 Vi+2 ang Optimality Proof para sa DHS Ang ideya ng pag-evidence ay na kung may isang alternatibo na solusyon, ito ay maaaring i-transform sa aming DHS solusyon nang walang pag-unlad ang bilang ng mga step na kinakailangan ng algorithm, kaya nagpapakita na ang solusyon ng DHS ay optimum. Para sa lahat ng subset sa ( Ang DHS ay nagtatapos (thread number) ang pinakamataas na mga nodes mula sa corresponding candidate set 2 ang Kung ang numero ng mga nodes sa Ito ay mas maliit na Pumunta ang lahat ng nodes mula sa 2 ang Para sa pagiging simpleng, i-introduce ang Ang sumusunod na sumusunod ng Mga pahinang tumuturo sa Lahat ng mga subsets sa ( ang mga criteria ng max-depth (Supplementary Fig. Pagkatapos ay i-prove na ang pagpili ng mga mas mataas na nodes sa bawat iterasyon ay gumagawa ng isang optimal na partition. Kung mayroon kang isang optimal na partition = ang na ang ang... } na may subset na hindi matugunan ang mga criteria ng max-depth, maaari naming i-modify ang subset sa ( (Ang lahat ng mga subset ay binubuo ng mga mas mataas na nodes mula sa At ang bilang ng mga subset ( ( Ang mga ito ay magiging sama pagkatapos ng pagbabago. ang vi P V k ang Qi Vi ang Qi k ang Qi ang vi sa k ang Qi P V 6A ang Mga pahinang V sa pamamagitan ng (v) V * 1 sa 2* ang v P* ang V Q P* ang V Without any loss of generalization, we start from the first subset at malapit na ding maging isang trahedya hindi matugunan ang mga criteria ng max-deepth: (1) | < at may ilang mga valid na nodes sa that are not put to ; (2) | sa loob = but nodes in Hindi ito ang Mga pahinang tumuturo sa . V*i V*i V*i k Qi V*i sa i k sa i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | sa pamamagitan ng , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make Ang mga sumusunod na mga criteria (Supplementary Fig. , top). For case (2), | sa loob = , these deeper nodes that are not moved from the candidate set sa Kailangan mong i-configure ang mga subset (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , Ito ay pinili at isa sa mga ang deepest node is still in , thus Ipinanganak sa subsequent subset ( > ang ). We first move from to + , then modify subset + ang as follows: if | + | ≤ Walang mga nodes sa + is the parent of node Pagkatapos ng pagbabago, i-modify ang mga subset na ito. + as follows (Supplementary Fig. (Tingnan mo kung ang parent node ay ay in + Pumunta ang parent node na ito sa + sa loob ng isang minimum na halaga mula sa + 2 ang + . After adjusting , modify subsequent subsets + ang na ang + ang ang... Sa katunayan, at sa katunayan, ang from to . V*i V*i < k V*i V*i 6b sa i k Qi V*i 6b ang V*i V*i v k v’ ang Qi V’ ang sa j j i v sa i V*i 1 V*i 1 sa i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 sa i 2 sa i V*i 1 sa i 2 sa pamamagitan ng j-1 V’ ang V*j V*i Sa pamamagitan ng pag-modification strategy na inilarawan sa itaas, maaari naming i-substitute ang lahat ng mas mababang nodes sa sa mga ang pinakamalaking node sa and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( Ang mga ito ay hindi mababago pagkatapos ng pagbabago. V*i k Qi P* V P* V V*i P* V P* V In conclusion, DHS generates a partition ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) Pagkatapos ng pagbabago, ang partition ay ( ) obtained from DHS is one of the optimal partitions. P V ang vi P V P* V P V P* V | P V GPU Implementation at Memory Boosting Upang makakuha ng mataas na memory throughput, ang GPU ay gumagamit ng hierarkiya ng memory ng (1) global memory, (2) cache, (3) register, kung saan ang global memory ay may malaking kapasidad ngunit mababang throughput, habang ang registers ay may mababang kapasidad ngunit mataas na throughput. Ang GPU ay gumagamit ng SIMT (Single-Instruction, Multiple-Thread) architecture. Warps ay ang pangunahing mga unit ng pag-planning sa GPU (ang isang warp ay isang grupo ng 32 parallel threads). Ang isang warp ay nag-execute ang parehong instruksyon na may iba't ibang data para sa iba't ibang threads Ang maliliit na paghahatid ng mga nodes ay kinakailangan para sa batching ng pag-calculation sa warps, upang matugunan na ang DHS makakuha ng parehong mga resulta bilang ang seryal na paraan ng Hines. Kapag i-implementate ang DHS sa GPU, nagsisimula namin ang lahat ng mga cell sa maraming warps batay sa pamamagitan ng kanilang morphologies. Ang mga cell na may katulad na morphologies ay batay sa parehong warp. Pagkatapos ay i-apply DHS sa lahat ng mga neurons, paghahatid ng mga compartments ng bawat neuron sa maraming mga thread. Dahil ang neurons ay batay sa warps, ang thread para sa parehong neuron ay sa parehong warp. Kaya, ang intrinsic synchronization sa warps ay mangyaring ang order ng computing 46 When a warp loads pre-aligned and successively-stored data from global memory, it can make full use of the cache, which leads to high memory throughput, while accessing scatter-stored data would reduce memory throughput. After compartments assignment and threads rearrangement, we permute data in global memory to make it consistent with computing orders so that warps can load successively-stored data when executing the program. Moreover, we put those necessary temporary variables into registers rather than global memory. Registers have the highest memory throughput, so the use of registers further accelerates DHS. Full-spine at few-spine biophysical mga modelo Paggamit ng isang human pyramidal neuron Ang kapasidad ng membrane m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, at axial resistivity a = 261.97 Ω cm. Sa modelo na ito, ang lahat ng dendrites ay modeled bilang passive cables habang ang somas ay aktibo. l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. Ang lahat ng mga espesyal na mga parameter ay itinatag na ang parehong tulad ng sa modelo ng Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 Sa ilang-spine modelo, ang membrane capacitance at maximum leak conductivity ng dendritic cable 60 μm mula sa soma ay binubuo ng isang Pagkatapos ng pagbabago ng mga dendritic spines, Ang mga spines na nakuha ng synaptic inputs ay explicitly attached sa dendrites. F F Sa full-spine model, ang lahat ng mga spines ay explicitly na-attached sa dendrites. Nag-calculate ang spine density sa reconstructed neuron sa Eyal, et al. Ang density ng spine ay itinatag sa 1.3 μm-1, at ang bawat cell ay naglalaman ng 24994 spines sa dendrites 60 μm mula sa soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm at ang diameter neck = 0.25 μm, habang ang length at diameter ng spinal head ay 0.944 μm, i.e., ang area ng spinal head ay itakda sa 2.8 μm2. Ang parehong spinal neck at spinal head ay modeled bilang pasyadong cable, na may reversal potential = -86 mV. Ang mga espesyal na membrane capacitance, membrane resistance, at axial resistivity ay pareho sa mga para sa dendrites. L D ang Sinusuportahan ang input We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. Ang AMPA-based at NMDA-based synaptic currents ay simulated tulad ng sa trabaho ng Eyal et al. Ang AMPA conducctance ay modeled bilang isang double-exponential function at ang NMDA conduction bilang isang voltage-dependent double-exponential function. Para sa AMPA model, ang espesyal na rise and ang pagbabago ay naka-set sa 0.3 at 1.8 ms. Para sa modelo ng NMDA, Upang pumunta at Ang maximum conductivity ng AMPA at NMDA ay 0.73 nS at 1.31 nS. τ τ τ τ ang background noise Ipasok namin ang background noise sa bawat cell upang simulan ang isang mas realisteng environment. Noise patterns ay inilapat bilang Poisson spike trains sa isang konstante na rate ng 1.0 Hz. Ang bawat pattern ay nagsimula sa nagsisimula = 10 ms at nagtatapos hanggang sa katapusan ng simulation. Nag-generate kami ng 400 noise spike trains para sa bawat cell at sumali ang mga ito sa randomly-selected synapses. Ang modelo at mga spesifikal na mga parameter ng synaptic currents ay parehong tulad ng inilarawan sa , isipin na ang maximum conductivity ng NMDA ay uniformly na-distributed mula sa 1.57 sa 3.275, na nagpapakita ng isang mas mataas na ratio ng AMPA sa NMDA. t Synaptic Inputs Paglalarawan ng neuronal excitability Nakita namin ang probability ng spike kapag binuksan ang ilang synapses sa parehong oras. Para sa distributed inputs, nakita namin ang 14 mga kaso, mula 0 hanggang 240 activated synapses. Para sa clustered inputs, nakita namin ang 9 mga kaso sa kabuuan, na binuksan mula 0 hanggang 12 clusters respectively. Ang bawat cluster ay binuksan ng 20 synapses. Para sa bawat kaso sa parehong distributed at clustered inputs, inilagay namin ang probability ng spike sa pamamagitan ng 50 random samples. Ang probability ng spike ay defined bilang ang ratio ng bilang ng mga neurons na inilunsad sa total na bilang ng samples. Ang lahat ng 1150 samples ay simulat simultaneously sa aming DeepDendrite platform, na humigit ang oras ng simulation mula sa mga Paggawa ng mga trabaho ng AI sa platform ng DeepDendrite Ang mga konvensyonal na detalyadong neuron simulator ay walang dalawang functionalities na mahalaga para sa mga modernong mga gawain ng AI: (1) alternating pagganap ng simulations at pag-update ng timbang nang walang malaking reinitialization at (2) simultaneously processing multiple stimuli samples sa isang batch-like paraan. Ang DeepDendrite ay binubuo ng tatlong modules (Supplementary Fig. ): (1) isang I/O module; (2) isang DHS-based simulation module; (3) isang learning module. Kapag ang isang biophysically detalyadong modelo ay nagtrabaho upang bumuo ng mga trabaho ng pag-aaral, ang mga gumagamit ay unang i-definite ang mga kurso ng pag-aaral, pagkatapos ay i-feed ang lahat ng mga sample ng pagsasanay sa detalyadong modelo para sa pag-aaral. Sa bawat pagkakataon sa panahon ng pagsasanay, ang I/O module ay pumili ng isang espesyal na stimulus at ang mga katangian na sinyal ng teacher (sa kinakailangan) mula sa lahat ng mga sample ng pagsasanay at i-attach ang stimulus sa modelo ng network. Pagkatapos, ang DHS-based simulation module ay ini-initialize ang modelo at nagsisimula ang simulation. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. Ang HPC-Net ay may tatlong layer, i.e., isang input layer, isang hidden layer, at isang output layer. Ang mga neurons sa input layer ay makakuha ng spike trains na i-convert mula sa mga imahe bilang kanilang input. Hidden layer neurons ay makakuha ng output ng input layer neurons at magbigay ng mga reaksyon sa neurons sa output layer. Ang mga reaksyon ng output layer neurons ay tinanggap bilang ang katapusan output ng HPC-Net. Neurons sa pagitan ng adjacent layers ay ganap na naka-connect. Para sa bawat imahe stimulus, i-convert ang bawat normalized pixel sa isang homogeneous spike train. Para sa pixel na may mga coordinates ( ) sa larawan, ang corresponding spike train ay may isang konstante interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ang mga ito) X, at ang τ X, at ang p X, at ang 1 Sa aming eksperimento, ang pag-simula para sa bawat stimulus ay nagtatapos ng 50 ms. Lahat ng mga tren ng spike ay nagsimula sa 9 + ISI ms at nangangailangan hanggang sa katapusan ng simulation. Pagkatapos ay sumali namin ang lahat ng mga tren ng spike sa input layer neurons sa isang one-to-one na paraan. Ang synaptic current triggered sa pamamagitan ng spike na dumating sa oras Ito ay ibinigay ng τ T0 ang Nasaan ang ang post-synaptic voltage, ang reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant sa loob ng 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, resistance ng membrane m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential ng passive compartment l = 0 mV. c r r E Ang hidden layer ay naglalaman ng isang grupo ng mga modelo ng human pyramidal neuron, na makuha ang mga somatic voltages ng input layer neurons. Ang morphology ay mula sa Eyal, et al. , at ang lahat ng mga neurons ay modeled sa pamamagitan ng passive cables. Ang spesifikal na membrane capacitance m = 1.5 μF cm-2, resistance ng membrane m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Ang input neurons ay maaaring gumawa ng ilang koneksyon sa randomly-selected mga lokasyon sa dendrites ng mga hidden neurons. Ang sinapsis ng mga ang input neuron sa neuron Ang mga sumusunod na mga sumusunod na mga sumusunod ( Nasaan ang Ito ay ang sinapsis, ang synaptic weight, ang reLU-like somatic activation function, at ang somatic voltage ng -Ang input neuron sa oras . 51 c r r E k i j 4 Giyas Wijk i t Ang mga neurons sa output layer ay din modeled sa pamamagitan ng isang pasyadong single-compartment model, at ang bawat mga hidden neuron ay gumawa lamang ng isang synaptic connection sa bawat output neuron. Ang lahat ng mga spesifikal na mga parameter ay itinatag na parehong na ang mga input neurons. Synaptic currents activated by hidden neurons ay din sa form ng Eq. ( ang mga ito) 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation Nasaan ang Ito ang probability ng -th klase predicted sa pamamagitan ng HPC-Net, ay ang average somatic voltage mula sa 20 ms hanggang 50 ms ng - ang output neuron, at Ang klase na may maximum predicted probability ay ang katapusan ng klasisasyon. Sa artikulong ito, natuklasan namin ang HPC-Net na may 784 input neurons, 64 hidden neurons, at 10 output neurons. 6 ang pi i i C Sinaptic plasticity rules para sa HPC-Net inspirasyon mula sa previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( Nasaan ang ay ang predicted probability para sa klase , ay nagpapakita ng katotohanan na klase na ang imahe ng stimulus ay nasa, = 1 kung ang input na imahe ay nasa klase at ang Ang 0 ay hindi. 36 7 ang pi i Ikaw Ikaw i yi When training HPC-Net, we compute the update for weight (Ang synaptic weight ng Ang sinapsis na nag-connect ng neuron ang neuron sa bawat pagkakataon. pagkatapos ng pag-simulasyon ng bawat imahe stimulus, is updated as shown in Eq. ( ) ang : Mga wika k i j Mga wika 8 Narito ang rate ng pag-aaral, ang update value sa oras na ang na ang ang mga somatic voltages ng neuron at ang Dahil dito, Ito ay ang Sinaptic current activated sa pamamagitan ng neuron ang neuron na ang ang sinaptic conduction, Ito ay ang transfer resistance sa mga -Ang konektado compartment ng neuron ang neuron Ipinanganak ang neuron ang mga sumo, s = 30 ms, Ang mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod na mga sumusunod ( Para sa mga nasabing neurons, ang term error ay inilagay mula sa mga term error sa output layer, na ibinigay sa Eq. ( ang mga ito) t vj ang vi i j Iijk k i j Giyas ang rika k i j j t t 10 11 Dahil ang lahat ng output neurons ay single-compartment, katumbas sa input resistance ng corresponding compartment, ang transfer at input resistance ay inilagay sa pamamagitan ng NEURON. Ang mini-batch training ay isang tipikal na pamamaraan sa deep learning para sa pagkuha ng mas mataas na presyonal na katumpakan at pag-accelerate convergence. DeepDendrite ay din sumusuporta sa mini-batch training. Batch, kami ay gumawa ng batch na mga kopya ng HPC-Net. Sa panahon ng pagsasanay, ang bawat kopya ay ibinigay ng isang iba't-ibang pagsasanay sample mula sa batch. DeepDendrite nag-calculate ang pag-update ng timbang para sa bawat kopya ayon. Pagkatapos ng lahat ng mga kopya sa kasalukuyang pagsasanay batch ay ginawa, ang average na pag-update ng timbang ay itakda at ang mga timbang sa lahat ng mga kopya ay itakda ng parehong halaga. N N Robust na laban sa adversarial attack na may HPC-Net Upang i-demonstrate ang kapangyarihan ng HPC-Net, i-tested ang kanyang presyonal na katunayan sa mga sample ng adversarial at i-compare ito sa isang analog ANN (ang isa na may parehong 784-64-10 structure at ReLU activation, para sa katunayan na pagitan sa aming HPC-Net, ang bawat input neuron ay gumawa lamang ng isang sinaptikal na koneksyon sa bawat nasabing neuron). Ipinapakita namin ang HPC-Net at ANN na may orihinal na training set (orihinal na clean images). Pagkatapos ay idinagdag namin ang adversarial na bulldozer sa test set at inilathala ang kanilang presyonal na katunayan sa bulldozer set. , upang lumikha ng adversarial noise sa pamamagitan ng FGSM method ANN ay na-trained sa PyTorch , at HPC-Net ay na-trained sa aming DeepDendrite. Para sa katotohanan, lumikha namin ang adversarial na bulk sa isang significant na iba't ibang modelo ng network, isang 20-layer ResNet Ang antas ng nilalaman ay nagkakahalaga mula sa 0.02 hanggang 0.2. Nag-eksperimento kami sa dalawang tipikal na dataset, MNIST and Fashion-MNIST Ang mga resulta ay nagpapakita na ang prediction accuracy ng HPC-Net ay 19% at 16.72% mas mataas kaysa sa analogue ANN, respectively. 98 99 93 100 101 95 96 Tungkol sa Summary Magbigay ng inspirasyon sa kontemporaryong designer ay maaaring gumawa ng kahit ano, kahit ano, at ang New Year - ay walang exception link sa artikulong ito. Ang Nature Portfolio Reporting ay Availability ng Data Ang data na sumusuporta sa mga resulta ng pananaliksik na ito ay magagamit sa paper, Supplementary Information at Source Data files na ibinigay sa dokumento na ito. – ay magagamit sa Ang MNIST dataset ay magagamit sa publiko sa . The Fashion-MNIST dataset is publicly available at ang Ang mga ito ay ibinigay sa paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Tungkol sa Data Source Availability ng Code Ang source code ng DeepDendrite pati na rin ang mga modelo at code na ginagamit upang i-replicate ang Figs. – Sa pananaliksik na ito ay may . 3 6 https://github.com/pkuzyc/DeepDendrite ang reference McCulloch, W. S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. bull. Math. Biophys. 5, 115-133 (1943). LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic ng subthreshold synaptic summation sa isang modelo ng CA1 pyramidal cell. Neuron 37, 977–987 (2003). London, M. & Häusser, M. Dendritic computing. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Ang single dendritic branch bilang isang pangunahing functional unit sa nervous system. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic integration: 60 taon ng progreso. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. & Papoutsi, A. Iluminating dendritic function sa pamamagitan ng computing mga modelo. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritic spines bilang mga pangunahing functional unit ng neuronal integration. Nature 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Dendritic mga pagbabago sa spine na nakatuon sa hippocampal long-term synaptic plasticity. Nature 399, 66–70 (1999). Yuste, R. Dendritic spines at distributed circuits. Neuron 71, 772–781 (2011). Yuste, R. Electrical compartmentalization sa dendritic spines. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching dendritic tribes at motoneuron membrane resistivity. Exp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Computational study ng isang excitable dendritic spine. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Ang pagmamahal ng laro ng pag-go na may mas mataas na networks neuronal at paghahanap ng mga batang. Nature 529, 484–489 (2016). Silver, D. et al. Ang isang pangkalahatang algorithm ng pag-aralan ng pag-aralan na magsisimula ng chess, shogi, at pumunta sa self-play. Science 362, 1140-1144 (2018). McCloskey, M. & Cohen, N. J. Catastrophic interference sa connectivist networks: ang sequential learning problem. French, R. M. Catastrophic forgetfulness sa connectivist networks. Trends Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission sa isang multiplexed neural code. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits sumusunod ang backpropagation algorithm. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity ay maaaring koordinate pag-aaral sa hierarchical circuits. Nat. Neurosci. 24, 1010-1019 (2021). Bicknell, B. A. & Häusser, M. A synaptic learning rule para sa paggamit ng nonlinear dendritic computing. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Ang gradient clusteron: isang modelo neuron na nag-aalok upang mag-solve ang mga trabaho ng klasisasyon sa pamamagitan ng dendritic nonlinearities, struktural plasticity, at gradient descent. Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. Rall, W. Teory of physiological properties ng dendrites. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Ang Neuron simulation environment. Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. sa The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron split sa computer-bound parallel network simulations ay nagbibigay-daan ng runtime scaling na may dalawang beses ang maraming mga processors. Hines, M. L., Markram, H. & Schürmann, F. Fully implisitong parallel simulation ng single neurons. J. Comput. Neurosci. 25, 439-448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. Pag-accelerating ng compartmental modeling sa isang graphical processing unit. Front. Neuroinform. 7, 4 (2013). Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Efficient numerical simulation of neuron models with spatial structure on graphics processing units. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U.S. Parallelizing Hines Matrix Solver sa Neuron Simulations sa GPU. Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Efficient tree solver para sa hines matrix sa GPU. Preprint sa https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Combinatorial Optimization Theory at Algorithms 6 edn (Springer, 2018). Gebali, F. Algorithms at Parallel Computing (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Ang isang optimized computing engine para sa NEURON simulator. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Pag-aaral sa pamamagitan ng dendritic prediction ng somatic spiking. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimize ng mga modelo ng ion channel gamit ang isang parallel genetic algorithm sa graphical processors. J. Neurosci. Methods 206, 183-194 (2012). Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. J. Neurosci. Methods 36, 105-114 (1991). McDougal, R. A. et al. Twenty years of modelDB and beyond: Building essential modeling tools for the future of neuroscience. J. Comput. Neurosci. 42, 1-10 (2017). Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively blocks temporary summation ng unsynchronized distal input sa CA1 pyramidal neurons. Hemond, P. et al. Ang iba't ibang klase ng mga piramidal na mga cell ay nagpapakita ng mutually exclusive shooting pattern sa hippocampal area CA3b. Hippocampus 18, 411-424 (2008). Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Mga modelo ng neocortical layer 5b pyramidal na mga cell na pagkuha ng isang iba't ibang mga dendritic at perisomatic active Properties. PLoS Comput. Masoli, S., Solinas, S. & D’Angelo, E. Ang proseso ng potensyal ng aksyon sa isang detalyadong purkinje cell model ay nagpapakita ng isang kritikal na papel para sa axonal compartmentalization. Front. Cell. Neurosci. 9, 47 (2015). Lindroos, R. et al. Basal ganglia neuromodulation sa higit sa ilang temporal at structural scales—simulations ng direct path MSNs pananaliksik ang mabilis na bumuo ng dopaminergic mga epekto at predict ang papel ng Kv4.2. Front. Neural Circuits 12, 3 (2018). Migliore, M. et al. Synaptic clusters function as odor operators sa olfactory bulb. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Programming Guide. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptic amplification sa pamamagitan ng dendritic spines enhances input cooperativity. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization ng GABAergic inhibition sa pamamagitan ng dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Ang plasticity ng spine neck ay regulating ang compartmentalization ng synapses. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: mula sa mga spines sa spikes sa pamamagitan ng mga modelo. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Ang function ng dendritic spines: mga aparato subserving biochemical hindi electrical compartmentalization. J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritic spines. sa Biophysics ng Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Ang epekto ng parallel fiber background activity sa cable properties ng cerebellar purkinje mga cell. Neural Comput. 4, 518-533 (1992). Hines, M. Efficient calculation of branched nerve equations. Int. J. Bio-Med. Comput. 15, 69-76 (1984). Nayebi, A. & Ganguli, S. Biologically inspired protection ng mga deep networks mula sa adversarial mga pag-atake. Preprint sa https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Large-scale Simulation Using Parallel GENESIS. sa Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel network simulations sa NEURON. J. Comput. Neurosci. 21, 119 (2006). Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. Neural Comput. 28, 2063–2090 (2016). Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—A morphologically detalyadong neural network simulation library para sa contemporary high-performance computing architectures. In Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Pag-accelerate ng multi-compartment, biophysically detalyadong mga simulation ng neuron sa GPUs. J. Neurosci. Methods 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Ang isang predictor-corrector algorithm para sa reaction-diffusion equations na nakatuon sa neural activity sa mga branched structures. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Ang isang ultrascalable solusyon sa larong-scale neural tissue simulation. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Targeted intracellular voltage recordings mula sa dendritic spines gamit ang quantum-dot-coated nanopipettes. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrane potential changes sa dendritic spines sa panahon ng action potential at synaptic input. J. Neurosci. 29, 6897-6903 (2009). Nishiyama, J. & Yasuda, R. Biochemical calculation para sa spinal structural plasticity. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. Annu. Rev. Neurosci. 24, 1071-1089 (2001). Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity sa mammalian brain. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Structural plasticity sa pag-aaral: regulasyon at mga function. Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Massive restructuring ng neuronal circuits sa panahon ng functional reorganization ng adult visual cortex. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Ang pakikipagsapalaran ay naglalakbay ng isang patuloy na struktural na trace sa cortical circuits. Nature 457, 313–317 (2009). Trachtenberg, J. T. et al. Long-term in vivo imaging ng experience-dependent synaptic plasticity sa adult cortex. Nature 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics ng excitatory at inhibitory neurons sa somatosensory cortex. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rapid formation at selective stabilization ng synapses para sa durable motor memory. Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Pagbabago ng motor na pag-aaral sa pamamagitan ng pagbutihin ang stabilidad ng mga newly formed dendritic spines sa motor cortex. Neuron 109, 3298-3311 (2021). Branco, T. & Häusser, M. Synaptic integration gradients sa single cortical pyramidal cell dendrites. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Aktibong mga katangian ng neocortical pyramidal neuron dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic action potentials at calculation sa human layer 2/3 cortical neurons. Science 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, pag-influence ng local dendritic processing at global I/O properties ng cortical neurons. Cell Rep. 21, 1550–1561 (2017). Du, K. et al. Cell-type-specific inhibition ng dendritic plateau potential sa striatal spiny projection neurons. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritic spikes enhance stimulus selectivity sa cortical neurons in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration ng sensor at motor input sa panahon ng isang aktibo na pag-sensing trabaho. Nature 492, 247-251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. Science 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Calcium transitional prevalence sa lahat ng dendritic arbour predicts place field properties. Nature 517, 200–204 (2015). Markram, H. et al. Reconstruction at pag-simula ng neocortical microcircuitry. Cell 163, 456-492 (2015). Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. Neuron 106, 388–403 (2020). Hjorth, J. et al. Ang microcircuits ng striatum sa silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Sa pamamagitan ng pag-uugali sa mga dendrites. elife 6, e22901 (2017). Iyer, A. et al. Pag-aalis ng katapusan: ang mga aktibo ng dendrites ay nagbibigay-daan para sa multi-task learning sa dynamic na mga environment. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Maaari ang isang single neuron solve mga interesado na problema ng machine learning sa pamamagitan ng susunod na mga kalkulasyon sa kanyang dendritic tree? Neural Comput. 33, 1554–1571 (2021). Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalization pagbutihin ang pag-uugali sa malapit na-connected artificial neural networks. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Paglalarawan at Paggamit ng Adversarial Examples. sa 3rd International Conference on Learning Representations (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferability sa machine learning: mula sa mga phenomena sa black-box attacks gamit ang adversarial samples. Preprint sa https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning na ginagamit sa dokumento recognition. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: isang bagong dataset ng imahe para sa benchmarking machine learning algorithms. Preprint sa http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Pag-evaluate ang scalability ng biologically-motivated deep learning algorithms at architectures. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. sa Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: Ang isang imperative style, high-performance deep learning library. sa Advances sa Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning para sa image recognition. sa Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). ang recognition Ang mga awtor ng Council sinimulan ang mga salitang salamat sa Dr. Rita Zhang, Daochen Shi at mga miyembro ng NVIDIA para sa mahalagang teknolohiya ng suporta sa GPU computing. Ang trabaho na ito ay sumusuporta sa pamamagitan ng National Key R&D Program of China (No. 2020AAA0130400) sa K.D. at T.H., National Natural Science Foundation of China (No. 6182510101) sa Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), at KTH Digital Futures sa J.H.K., J.K., A.H., PDIC at Swedish para sa simulation ng Research Part (VR-M-2020-01652), Ang artikulong ito ay magagamit sa alam sa ilalim ng lisensya ng CC by 4.0 Deed (Attribution 4.0 International). Ang papel na ito ay Sa ilalim ng CC by 4.0 Deed (Attribution 4.0 International) lisensya. Available sa nature
