Autorii : Ioan Zhang Gândește Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexandru Kozlov Yutao el Shenjian Zhang Jeanette Hellgren din Kotaleski Yonghong Tian Stăpânul Grigore Kai Du Tăriceanu Huang Autorii : Ioan Zhang Gândește Legea Ma Xiaofei Liu J. J. Johannes Hjorth Învățător Alexandru Kozlov Yutao el Shenjian Zhang Jeanette Hellgren din Kotaleski Yonghong Tian Stăpânul Grigore Când tu Tăriceanu Huang abstractă Modelele multi-diviziuni detaliate din punct de vedere biofizic sunt instrumente puternice pentru a explora principiile computaționale ale creierului și servesc, de asemenea, ca un cadru teoretic pentru generarea de algoritmi pentru sistemele de inteligență artificială (AI). Cu toate acestea, costul calculului scump limitează sever aplicațiile atât în domeniul neuroștiinței, cât și în domeniul inteligenței artificiale. Principala lacune în timpul simulării modelelor detaliate de compartimente este capacitatea unui simulator de a rezolva sisteme mari de ecuații liniare. endometrioză ierarhică chedularea (DHS) pentru a accelera în mod semnificativ un astfel de proces. Dovedim teoretic că implementarea DHS este optimă și precisă din punct de vedere computațional. Această metodă bazată pe GPU funcționează cu 2-3 ordine de magnitudine mai mare decât cea a metodei Hines clasice în serie în platforma CPU convențională. Construim un cadru DeepDendrite, care integrează metoda DHS și motorul de calcul GPU al simulatorului NEURON și demonstrează aplicațiile DeepDendrite în sarcinile de neuroștiință. Investigăm modul în care modelele spațiale ale intrărilor spinului afectează excitabilitatea neuronală într-un model neuronal piramidal uman detaliat cu 25.000 spinuri. În plus, oferim o scurtă discuție despre potențialul DeepD D H S Introducere Dezcifrarea principiilor de codificare și de calcul ale neuronilor este esențială pentru neuroștiință. Creierul mamiferelor este compus din mai mult de mii de tipuri diferite de neuroni cu proprietăți morfologice și biofizice unice. În ultimii ani, inteligența artificială modernă (AI) a utilizat acest principiu și a dezvoltat instrumente puternice, cum ar fi rețelele neuronale artificiale (ANN). Cu toate acestea, în plus față de calculele cuprinzătoare la nivelul unui singur neuron, compartimentele subcelulare, cum ar fi dendritele neuronale, pot, de asemenea, să efectueze operații nelineare ca unități independente de calcul. , , , , În plus, vertebrele dendritice, proeminențe mici care acoperă dens dendritele în neuronii spinali, pot compartimentaliza semnalele sinaptice, permițându-le să fie separate de dendritele părintești ex vivo și in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulările care utilizează neuroni detaliati din punct de vedere biologic oferă un cadru teoretic pentru legarea detaliilor biologice de principiile de calcul. , ne permite să modelăm neuroni cu morfologii dendritice realiste, conductanță ionică intrinsecă și intrări sinaptice extrinsice. , care modelează proprietățile membranelor biofizice ale dendritelor ca cabluri pasive, oferind o descriere matematică a modului în care semnalele electronice invadează și se propagă prin procese neuronale complexe. Prin încorporarea teoriei cablurilor cu mecanisme biofizice active, cum ar fi canalele ionice, curenții sinaptici excitatori și inhibitori etc., un model detaliat multi-diviziune poate realiza calculele neuronale celulare și subcelulare dincolo de limitările experimentale , . 12 13 12 4 7 În plus față de impactul său profund asupra neuroștiinței, modelele neuronale detaliate din punct de vedere biologic au fost utilizate recent pentru a crește decalajul dintre detaliile structurale și biofizice ale neuronilor și AI. Tehnica predominantă în domeniul AI modern este ANN-urile constând din neuroni punct, un analog al rețelelor neuronale biologice. , , creierul uman încă depășește ANN-urile în domenii care implică medii mai dinamice și zgomotoase , Studiile teoretice recente sugerează că integrarea dendritică este crucială în generarea de algoritmi de învățare eficienți care depășesc potențial backprop-ul în procesarea paralelă a informațiilor. , , În plus, un singur model detaliat multi-compartment poate învăța calculele neliniare la nivel de rețea pentru neuronii punctului prin ajustarea numai a forței sinaptice. , , demonstrating the full potential of the detailed models in building more powerful brain-like AI systems. Therefore, it is of high priority to expand paradigms in brain-like AI from single detailed neuron models to large-scale biologically detailed networks. 14 15 16 17 18 19 20 21 22 O provocare de lungă durată a abordării de simulare detaliată constă în costul său extrem de ridicat de calcul, care a limitat sever aplicarea sa la neuroștiințe și AI. , , Pentru a îmbunătăți eficiența, metoda clasică Hines reduce complexitatea timpului pentru rezolvarea ecuațiilor de la O(n3) la O(n), care a fost aplicat pe scară largă ca algoritm de bază în simulatoare populare, cum ar fi NEURON și geneză Cu toate acestea, această metodă utilizează o abordare serială pentru a procesa secvențial fiecare compartiment.Atunci când o simulare implică mai multe dendrite detaliate din punct de vedere biofizic cu spine dendritice, matricea ecuației liniare („Hines Matrix”) scalează în consecință cu un număr tot mai mare de dendrite sau spine (Fig. ), ceea ce face ca metoda Hines să nu mai fie practică, deoarece prezintă o povară foarte grea asupra întregii simulări. 12 23 24 25 26 1e Un model de neuron piramidal din stratul 5 reconstruit și formula matematică utilizată cu modele neuronale detaliate. Fluxul de lucru în timpul simulării numerice a modelelor neuronale detaliate. Faza de rezolvare a ecuațiilor este punctul de blocare în simulare. Exemplu de ecuații liniare în simulare. Dependența de date a metodei Hines atunci când se rezolvă ecuații liniare în . . Numărul de sisteme de ecuații liniare care trebuie rezolvate suferă o creștere semnificativă atunci când modelele sunt în creștere mai detaliate. Costul computațional (pasurile luate în faza de soluționare a ecuațiilor) al metodei seriale Hines pe diferite tipuri de modele neuronale. Diferite părți ale unui neuron sunt atribuite mai multor unități de procesare în metode paralele (centru, dreapta), prezentate în culori diferite. Costul calculat al celor trei metode rezolvarea ecuațiilor unui model piramidal cu spini. Timpul de rulare a diferitelor metode de rezolvare a ecuațiilor pentru 500 de modele piramidale cu spinuri. Timpul de rulare indică consumul de timp al simulării 1 s (rezolvarea ecuației de 40.000 de ori cu un pas de timp de 0,025 ms). metoda paralelă p-Hines în CoreNEURON (pe GPU), metoda paralelă bazată pe ramură (pe GPU), metoda de planificare ierarhică DHS (pe GPU). a b c d c e f g h g i În ultimele decenii, s-au realizat progrese uriașe în accelerarea metodei Hines prin utilizarea unor metode paralele la nivel celular, care permit paralelizarea calculului diferitelor părți din fiecare celulă. , , , , , Cu toate acestea, metodele paralele actuale la nivel celular nu au adesea o strategie eficientă de paralelizare sau nu au o precizie numerică suficientă în comparație cu metoda originală Hines. 27 28 29 30 31 32 În plus, acest instrument de simulare poate fi adoptat fără probleme pentru stabilirea și testarea rețelelor neuronale cu detalii biologice pentru aplicațiile de învățare automată și AI. Critic, formulăm calculul paralel al metodei Hines ca o problemă de programare matematică și generăm o metodă de planificare ierarhică dendritică (DHS) bazată pe optimizarea combinatorie Teoria calculului paralel Demonstrăm că algoritmul nostru oferă o programare optimă fără pierderi de precizie.În plus, am optimizat DHS pentru cel mai avansat cip GPU utilizând ierarhia de memorie GPU și mecanismele de acces la memorie.Împreună, DHS poate accelera calculul de 60-1500 de ori (Tabelul suplimentar) Comparativ cu simulatorul clasic Neuron menţinând aceeaşi precizie. 33 34 1 25 Pentru a permite simulări dendritice detaliate pentru utilizare în AI, stabilim în continuare cadrul DeepDendrite prin integrarea platformei CoreNEURON (un motor de calcul optimizat pentru NEURON) încorporată în DHS. ca motor de simulare și două module auxiliare (modulul I/O și modul de învățare) care susțin algoritmii de învățare dendritice în timpul simulărilor. DeepDendrite rulează pe platforma hardware GPU, susținând atât sarcinile regulate de simulare în neuroștiință, cât și sarcinile de învățare în AI. 35 Nu în ultimul rând, prezentăm, de asemenea, mai multe aplicații folosind DeepDendrite, care vizează câteva provocări critice în domeniul neuroștiinței și AI: (1) Demonstrăm modul în care modelele spațiale ale intrărilor dendritice ale coloanei vertebrale afectează activitățile neuronale cu neuroni care conțin spine pe tot parcursul copacilor dendritice (modele full-spine). DeepDendrite ne permite să explorăm calculul neuronal într-un model de neuron piramidal uman simulat cu ~ 25.000 spine dendritice. (2) În discuție, luăm în considerare, de asemenea, potențialul DeepDendrite în contextul AI, în special, în crearea de ANN-uri cu neuroni piramidali umani morfologic detaliate. Toate codurile sursă pentru DeepDendrite, modelele full-spine și modelul detaliat al rețelei dendritice sunt disponibile public online (a se vedea Code Availability).Cadrul nostru de învățare cu sursă deschisă poate fi integrat cu ușurință cu alte reguli de învățare dendritică, cum ar fi regulile de învățare pentru dendritele nonlineare (full-active) plasticitatea sinaptică dependentă de explozie , și să învețe cu predicția spike În ansamblu, studiul nostru oferă un set complet de instrumente care au potențialul de a schimba ecosistemul comunității actuale de neuroștiințe computaționale.Prin valorificarea puterii calculului GPU, ne așteptăm ca aceste instrumente să faciliteze explorarea la nivel de sistem a principiilor computaționale ale structurilor fine ale creierului, precum și să promoveze interacțiunea dintre neuroștiință și AI modernă. 21 20 36 Rezultatele Metoda planificării ierarhice dendritice (DHS) Calcularea curenților ionici și rezolvarea ecuațiilor liniare sunt două faze critice atunci când se simulează neuroni biofizic detaliate, care sunt consumatoare de timp și prezintă sarcini de calcul severe. Ca urmare, rezolvarea ecuațiilor liniare devine punctul de blocare rămas pentru procesul de paralelizare (Fig. ) din 37 1a – f Pentru a aborda această barieră, au fost dezvoltate metode paralele la nivel celular, care accelerează calculul cu o singură celulă prin „divizarea” unei singure celule în mai multe compartimente care pot fi calculate în paralel. , , Cu toate acestea, astfel de metode se bazează în mare măsură pe cunoștințele anterioare pentru a genera strategii practice despre cum să împartă un singur neuron în compartimente (Fig. • figuri suplimentare. Prin urmare, devine mai puțin eficient pentru neuronii cu morfologii asimetrice, de exemplu, neuronii piramidali și neuronii Purkinje. 27 28 38 1 g 1 Scopul nostru este de a dezvolta o metodă paralelă mai eficientă și mai precisă pentru simularea rețelelor neuronale detaliate din punct de vedere biologic. În primul rând, stabilim criteriile pentru acuratețea unei metode paralele la nivel celular. , propunem trei condiții pentru a se asigura că o metodă paralelă va da soluții identice ca metoda Hines de calcul serial în funcție de dependența de date în metoda Hines (vezi Metode). 34 Pe baza preciziei simulării și a costului computațional, formulăm problema paralelizării ca o problemă de programare matematică (vezi Metode). în paralel, putem calcula cel mai mult noduri la fiecare pas, dar trebuie să ne asigurăm că un nod este calculat numai dacă toate nodurile sale de copii au fost procesate; obiectivul nostru este de a găsi o strategie cu numărul minim de pași pentru întreaga procedură. k k Pentru a genera o partiție optimă, propunem o metodă numită Dendritic Hierarchical Scheduling (DHS) (dovada teoretică este prezentată în Metode). Metoda DHS include două etape: analizarea topologiei dendritice și găsirea celei mai bune partiții: (1) Datorită unui model detaliat, obținem mai întâi arborele de dependență corespunzător și calculăm adâncimea fiecărui nod (adâncimea unui nod este numărul nodurilor strămoșilor săi) pe copac (Fig. (2) După analiza topologiei, căutăm candidații și alegem cel mai mult cel mai adânc nod candidat (un nod este un candidat numai dacă toate nodurile copilului său au fost procesate). ) din 2a 2b şi c k 2D Fluxul de lucru DHS. procese DHS cel mai adânc nod candidat pentru fiecare iterare. Modelul este mai întâi convertit într-o structură de copac, apoi se calculează adâncimea fiecărui nod. Culorile indică valori diferite de adâncime. Analiză de topologie pe diferite modele neuronale. Șase neuroni cu morfologii distincte sunt afișați aici. Pentru fiecare model, soma este selectată ca rădăcină a copacului, astfel încât adâncimea nodului crește de la soma (0) la dendritele distale. Exemplu de implementare a DHS pe modelul în cu patru fire. candidați: noduri care pot fi prelucrate. candidați selectați: noduri care sunt selectate de DHS, adică Node prelucrate: noduri care au fost prelucrate anterior. Strategia de paralelizare obţinută de DHS după procesul în Fiecare nod este atribuit unuia dintre cele patru fire paralele. DHS reduce etapele procesării nodurilor seriale de la 14 la 5 prin distribuirea nodurilor la mai multe fire. Costul relativ, adică proporția costului de calcul al DHS față de cea a metodei seriale Hines, atunci când se aplică DHS cu numere diferite de fire pe diferite tipuri de modele. a k b c d b k e d f Luați un model simplificat cu 15 compartimente ca exemplu, folosind metoda Hines de calcul serios, este nevoie de 14 pași pentru a procesa toate nodurile, în timp ce folosind DHS cu patru unități paralele poate partiția nodurile sale în cinci subsete (Fig. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Deoarece nodurile din același subset pot fi procesate în paralel, este nevoie de doar cinci pași pentru a procesa toți nodurile folosind DHS (Fig. ) din 2D 2e Apoi, aplicăm metoda DHS la șase modele neuronale reprezentative detaliate (selectate din ModelDB). ) cu un număr diferit de fire (Fig. ): inclusiv neuronii piramidali corticali și hipocampali , , Cerebellar Purkinje neuroni Neuronii de proiecție striatală (SPN) ) și celulele mitrale ale becului olfactiv , care acoperă principalele neuroni principali din zonele senzoriale, corticale și subcorticale. Apoi am măsurat costul de calcul. Costul relativ de calcul aici este definit de proporția costului de calcul al DHS față de cea a metodei seriale Hines. Costul de calcul, adică numărul de pași luați în rezolvarea ecuațiilor, scade dramatic odată cu creșterea numărului de fire. De exemplu, cu 16 fire, costul de calcul al DHS este de 7%-10% în comparație cu metoda serială Hines. Intrigant, metoda DHS atinge limitele inferioare ale costului lor de calcul pentru neuronii prezentați atunci când se dau 16 sau chiar 8 fire paralele (Fig. ), sugerând adăugarea mai multor fire nu îmbunătățește performanța în continuare din cauza dependențelor dintre compartimente. 39 2f 40 41 42 43 44 45 2f Împreună, generăm o metodă DHS care permite analiza automată a topologiei dendritice și partiția optimă pentru calcul paralel.Este demn de remarcat faptul că DHS găsește partiția optimă înainte de începerea simulării și nu este nevoie de calcul suplimentar pentru a rezolva ecuațiile. Accelerarea DHS prin creșterea memoriei GPU DHS calculează fiecare neuron cu mai multe fire, care consumă o cantitate imensă de fire atunci când rulează simulări de rețea neurală. pentru calcul paralel În teorie, multe SP-uri de pe GPU ar trebui să susțină simularea eficientă pentru rețelele neuronale la scară largă (Fig. Cu toate acestea, am observat în mod constant că eficiența DHS a scăzut semnificativ atunci când mărimea rețelei a crescut, ceea ce ar putea rezulta din stocarea datelor dispersate sau accesul la memorie suplimentară cauzată de încărcarea și scrierea rezultatelor intermediare (Fig. din stânga). 3a și b 46 3c 3D Arhitectura GPU și ierarhia sa de memorie. Fiecare GPU conține unități masive de procesare (procesoare de flux). Diferitele tipuri de memorie au o putere diferită. Arhitectura multiprocesorilor de streaming (SM) Fiecare SM conține mai multe procesoare de streaming, registre și cache-ul L1. Aplicarea DHS pe doi neuroni, fiecare cu patru fire.În timpul simulării, fiecare fir execută pe un procesor de flux. Strategia de optimizare a memoriei pe GPU. Panoul superior, alocarea firelor și stocarea datelor DHS, înainte (stânga) și după (dreapta) creșterea memoriei. Procesorii trimit o cerere de date pentru a încărca date pentru fiecare fir din memoria globală.Fără o creștere a memoriei (stânga), este nevoie de șapte tranzacții pentru a încărca toate datele de cerere și unele tranzacții suplimentare pentru rezultate intermediare.Cu creșterea memoriei (dreapta), este nevoie de doar două tranzacții pentru a încărca toate datele de cerere, registrele sunt folosite pentru rezultate intermediare, care îmbunătățesc în continuare debitul de memorie. Durata de funcționare a DHS (32 fire pe celulă) cu și fără creșterea memoriei pe mai multe modele piramidale de 5 straturi cu spini. Accelerarea îmbunătățirii memoriei pe modelele piramidale cu mai multe straturi de 5 cu spini. a b c d d e f Rezolvăm această problemă prin creșterea memoriei GPU, o metodă de creștere a debitului de memorie prin utilizarea ierarhiei de memorie și a mecanismului de acces al GPU. Pe baza mecanismului de încărcare a memoriei al GPU, firele succesive de încărcare a datelor aliniate și stocate succesiv conduc la un debit de memorie ridicat în comparație cu accesarea datelor stocate prin scatter, ceea ce reduce debitul de memorie. , Pentru a obține un debit ridicat, mai întâi aliniem ordinele de calcul ale nodurilor și rearanjăm firele în funcție de numărul de noduri de pe ele. Apoi permutați stocarea datelor în memoria globală, în concordanță cu ordinele de calcul, adică nodurile care sunt procesate în același pas sunt stocate succesiv în memoria globală. În plus, folosim registre GPU pentru a stoca rezultatele intermediare, consolidând în continuare debitul de memorie. Exemplul arată că creșterea memoriei necesită doar două tranzacții de memorie pentru a încărca opt date de solicitare (Fig. Mai mult, experimente pe mai multe numere de neuroni piramidali cu coloane și modele tipice de neuroni (Fig. • figuri suplimentare. ) arată că îmbunătățirea memoriei atinge o accelerare de 1,2-3,8 ori în comparație cu DHS naiv. 46 47 3D 3 şi f 2 Pentru a testa în mod cuprinzător performanța DHS cu creșterea memoriei GPU, selectăm șase modele neuronale tipice și evaluăm timpul de rulare al rezolvării ecuațiilor de cablu pe numere masive ale fiecărui model (Fig. Am examinat DHS cu patru fire (DHS-4) și șaisprezece fire (DHS-16) pentru fiecare neuron, respectiv. Comparativ cu metoda GPU în CoreNEURON, DHS-4 și DHS-16 pot accelera de aproximativ 5 și 15 ori, respectiv (Fig. Mai mult decât atât, comparativ cu metoda convențională serială Hines în NEURON care rulează cu un singur fir de CPU, DHS accelerează simularea cu 2-3 ordine de magnitudine (Figura suplimentară. ), păstrând în același timp acuratețea numerică identică în prezența spinii dense (Figuri suplimentare. şi ), dendritele active (Fig. ) și diferite strategii de segmentare (Fig. ) din 4 4a 3 4 8 7 7 CoreNEURON: metoda paralelă utilizată în CoreNEURON; DHS-4: DHS cu patru fire pentru fiecare neuron; DHS-16: DHS cu 16 fire pentru fiecare neuron. , Visualization of the partition by DHS-4 and DHS-16, each color indicates a single thread. During computation, each thread switches among different branches. a b c DHS creează partiționarea optimă specifică tipului de celulă Pentru a obține o perspectivă asupra mecanismului de lucru al metodei DHS, am vizualizat procesul de partiționare prin cartografierea compartimentelor fiecărui fir (fiecare culoare prezintă un singur fir în Fig. 1). Vizualizarea arată că un singur fir se comută frecvent între diferite ramuri (Fig. Interesant, DHS generează partiții aliniate în neuroni morfologic simetrici, cum ar fi neuronul de proiecție striatală (SPN) și celula mitrală (Fig. În contrast, generează partiții fragmentate ale neuronilor morfologic asimetrice, cum ar fi neuronii piramidali și celula Purkinje (Fig. ), indicând faptul că DHS împarte copacul neural la scara compartimentului individual (adică, nodul copacului) mai degrabă decât la scara ramurii. 4 b, c 4 b, c 4 b, c 4 b, c În concluzie, DHS și îmbunătățirea memoriei generează o soluție optimă dovedită teoretic pentru rezolvarea ecuațiilor liniare în paralel cu o eficiență fără precedent. Folosind acest principiu, am construit platforma de acces deschis DeepDendrite, care poate fi utilizată de neurologii pentru a implementa modele fără cunoștințe specifice de programare GPU. Mai jos, demonstrăm cum putem utiliza DeepDendrite în sarcinile de neuroștiință. DHS permite modelarea la nivelul coloanei vertebrale Deoarece vertebrele dendritice primesc cea mai mare parte a intrării excitante la neuronii piramidali corticali și hipocampali, neuronii de proiecție striatală etc., morfologiile și plasticitatea lor sunt cruciale pentru reglarea excitabilității neuronale. , , , , Cu toate acestea, vertebrele sunt prea mici (~ 1 μm lungime) pentru a fi măsurate direct experimental în ceea ce privește procesele dependente de tensiune. 10 48 49 50 51 Putem modela o singură coloană vertebrală cu două compartimente: capul coloanei vertebrale unde sunt situate sinapse și gâtul coloanei vertebrale care leagă capul coloanei vertebrale cu dendritele. Teoria prezice că gâtul coloanei vertebrale foarte subțire (0,1-0,5 um în diametru) izolează electronic capul coloanei vertebrale de dendrita părintească, astfel compartimentalizând semnalele generate la capul coloanei vertebrale. Cu toate acestea, modelul detaliat cu spine complet distribuite pe dendrite („modelul cu spini întregi”) este foarte scump din punct de vedere computațional.O soluție comună de compromis este de a modifica capacitatea și rezistența membranei printr-o Factorul spinal , în loc să modeleze toate spini explicit. Aici, factorul coloanei vertebrale are ca scop aproximarea efectului coloanei vertebrale asupra proprietăților biofizice ale membranei celulare . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in culorile indică magnitudinea tensiunii. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d În platforma DeepDendrite, atât modelele cu coloană vertebrală completă, cât și cele cu coloană vertebrală redusă au obținut o accelerare de 8 ori față de CoreNEURON pe platforma GPU și o accelerare de 100 de ori față de serialul NEURON pe platforma CPU. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and Prin urmare, metoda DHS permite explorarea excitabilității dendritice în condiții anatomice mai realiste. 5e 1 4 8 Discuție In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex în hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. Prin urmare, ne permite să explorăm plasticitatea structurală în modelele de circuite la scară largă din diferite regiuni ale creierului. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite În plus, dendritele distale pot produce evenimente regenerative, cum ar fi vârfurile de sodiu dendritic, vârfurile de calciu și potențialele de vârfuri NMDA/plateau. , . Such dendritic events are widely observed in mice sau chiar neuronii corticali umani in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 În concluzie, DeepDendrite a demonstrat un potențial remarcabil în sarcinile de clasificare a imaginilor, deschizând o lume de direcții și posibilități viitoare interesante. Pentru a avansa în continuare DeepDendrite și aplicarea modelelor dendritice detaliate din punct de vedere biologic în sarcinile AI, ne putem concentra pe dezvoltarea sistemelor multi-GPU și pe explorarea aplicațiilor în alte domenii, cum ar fi Procesarea limbii naturale (NLP), unde proprietățile de filtrare dendritică se aliniază bine cu natura zgomotoasă și ambiguă inerentă a limbajului uman. Provocările includ testarea scalabilității în probleme mai mari, înțelegerea performanței în diferite sarcini și domenii și abordarea complexității computaționale introduse de principii biologice noi, cum ar fi Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON arhitectură și este optimizat atât pentru utilizarea memoriei, cât și pentru viteza de calcul. Implementăm metoda Dendritic Hierarchical Scheduling (DHS) în mediul CoreNEURON prin modificarea codului sursă.Toate modelele care pot fi simulate pe GPU cu CoreNEURON pot fi, de asemenea, simulate cu DHS executând următoarea comandă: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/modele -e timp --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Pe baza dependenței de date a metodei Hines, propunem trei condiții pentru a se asigura că o metodă paralelă va produce soluții identice cu metoda Hines: (1) morfologia copacului și valorile inițiale ale tuturor nodurilor sunt identice cu cele din metoda Hines; (2) în faza de triangularizare, un nod poate fi procesat dacă și numai dacă toate nodurile copilului său sunt deja procesate; (3) în faza de back-substituție, un nod poate fi procesat numai dacă nodul său părinte este deja procesat. Costul calculator al metodei de calcul paralel la nivel celular To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and trăsături (unități de calcul de bază) pentru a efectua triangularizarea, triangularizarea paralelă este egală cu împărțirea setului de noduri of into subteranului, adică = { , , … } where the size of each subset | | ≤ , i.e., at most Fiecare pas poate fi prelucrat, deoarece există doar threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 vn Vi k k k V1 v2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { , , … | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , adică numărul de noduri în , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v Vi c c v Vj j i P * V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ Toţi copiii săi noduri | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node poate fi prelucrată numai dacă toate nodurile copilului sunt prelucrate. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into În caz contrar, eliminați deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset in ( ), DHS moves (numărul firului) cele mai adânci noduri din setul de candidați corespunzător to Dacă numărul de noduri din is smaller than Mutaţi toate nodurile de la to . To simplify, we introduce , indicating the depth sum of Cele mai adânci noduri în . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( Toate subseturile sunt formate din cele mai adânci noduri din and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the Cele mai adânci noduri is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + în as follows (Supplementary Fig. ): if the parent node of is in + mutaţi acest nod părinte la + ; else move the node with minimum depth from + to + în . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6b V*i k Qi V*i 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V În concluzie, DHS generează o partiție ( ) și toate subsecțiunile ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), adică, fiecare subset constă din cele mai adânci noduri din setul candidat, și păstrează ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P * V P V P * V | P V Implementarea GPU și îmbunătățirea memoriei Pentru a obține o capacitate mare de memorie, GPU utilizează ierarhia de memorie a (1) memorie globală, (2) cache, (3) registru, unde memoria globală are o capacitate mare, dar o capacitate scăzută, în timp ce registrele au o capacitate scăzută, dar o capacitate mare. GPU utilizează arhitectura SIMT (Single-Instruction, Multiple-Thread). Warps sunt unitățile de programare de bază pe GPU (un warp este un grup de 32 de fire paralele). Ordinarea corectă a nodurilor este esențială pentru acest lot de calcule în warps, pentru a ne asigura că DHS obține rezultate identice ca metoda serială Hines. Atunci când implementăm DHS pe GPU, grupăm mai întâi toate celulele în mai multe warps pe baza morfologiilor lor. Celulele cu morfologii similare sunt grupate în aceeași warp. Apoi aplicăm DHS la toți neuronii, alocând compartimentele fiecărui neuron la mai multe fire. Deoarece neuronii sunt grupate în warps, firele pentru același neuron sunt în aceeași warp. Prin urmare, sincronizarea intrinsecă în warps menține ordinea de calcul consistentă cu dependența de date a metodei seriale Hines. În cele din urmă, firele din fiecare war 46 Atunci când un warp încărcă date prealiniate și stocate succesiv din memoria globală, acesta poate utiliza pe deplin cache-ul, ceea ce duce la un debit de memorie ridicat, în timp ce accesarea datelor stocate prin scatter ar reduce debitul de memorie. După alocarea compartimentelor și rearanjarea firelor, permutați datele în memoria globală pentru a le face compatibile cu comenzile de calcul, astfel încât warp-urile să poată încărca datele stocate succesiv atunci când execută programul. Modele biofizice cu coloana vertebrală completă și cu coloana vertebrală redusă We used the published human pyramidal neuron . The membrane capacitance m = 0,44 μF cm-2, rezistență membrană m = 48,300 Ω cm2 și rezistență axială a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a În acest caz, factorul de coloană vertebrală se apropie de coloanele dendritice. spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. Capacitatea specifică a membranei, rezistența membranei și rezistența axială au fost aceleași ca și cele pentru dendrite. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific ridică şi decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability Am investigat probabilitatea de vârf atunci când mai multe sinapse au fost activate simultan. Pentru intrările distribuite, am testat 14 cazuri, de la 0 la 240 de sinapse activate. Pentru intrările clusterizate, am testat 9 cazuri în total, activând de la 0 la 12 clustere, respectiv. Fiecare cluster a fost format din 20 de sinapse. Pentru fiecare caz atât în intrările distribuite, cât și în cele clusterizate, am calculat probabilitatea de vârf cu 50 de eșantioane aleatorii. Probabilitatea de vârf a fost definită ca raportul dintre numărul de neuroni eliberați și numărul total de eșantioane. Toate eșantioanele 1150 au fost simulate simultan pe platforma noastră DeepDendrite, reducând timpul de simulare de la zile la minute. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) un modul I/O; (2) un modul de simulare bazat pe DHS; (3) un modul de învățare. Când instruiește un model detaliat din punct de vedere biofizic pentru a efectua sarcini de învățare, utilizatorii definesc mai întâi regula de învățare, apoi alimentează toate probele de formare în modelul detaliat pentru învățare. În fiecare pas în timpul instruirii, modulul I/O selectează un stimul specific și semnalul profesorului corespunzător (dacă este necesar) din toate probele de formare și atașează stimulul la modelul de rețea. Apoi, modulul de simulare bazat pe DHS inițiază modelul și începe simularea. După simulare, modulul de învățare actualizează toate greutățile sinaptice în funcție de diferența dintre 5 Modelul HPC-Net Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ) din x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 unde is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0,5 secunde v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1,5 μF cm-2, rezistență membrană m = 48,300 Ω cm2, axial resistivity a = 261,97 Ω cm și potențialul de inversare al tuturor cablurilor pasive l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 gijk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the Neuronul de ieşire şi indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 Pi i i C Reguli de plasticitate sinaptică pentru HPC-Net Inspirată din lucrările anterioare , folosim o regulă de învățare bazată pe gradient pentru a instrui HPC-Net pentru a efectua sarcina de clasificare a imaginilor. ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i yi yi i Yi When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk Împărăţia k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Data availability The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at . The MNIST dataset is publicly available at Setul de date Fashion-MNIST este disponibil public la . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – În acest studiu sunt disponibile . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. , 115–133 (1943). Bull. Math. Biophys. 5 LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436–444 (2015). Nature 521 Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 London, M. & Häusser, M. Calculul dendritic. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Ramura dendritică unică ca unitate funcțională fundamentală a sistemului nervos. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integrarea dendritică: 60 de ani de progres. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. , 303–321 (2020). Nat. Rev. Neurosci. 21 Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. Modificări dendritice ale coloanei vertebrale asociate cu plasticitatea sinaptică pe termen lung a hipocampului. Yuste, R. Spine dendritice și circuite distribuite. Neuron 71, 772–781 (2011). Yuste, R. Compartamentalizarea electrică în coloanele dendritice. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching dendritic trees and motoneuron membrane resistivity. , 491–527 (1959). Exp. Neurol. 1 Segev, I. & Rall, W. Computational study of an excitable dendritic spine. , 499–523 (1988). J. Neurophysiol. 60 Silver, D. et al. Stăpânirea jocului de mers cu rețele neuronale profunde și căutarea copacilor. Natura 529, 484–489 (2016). Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. , 1140–1144 (2018). Science 362 McCloskey, M. & Cohen, N. J. Interferența catastrofală în rețelele conjunctiviste: problema învățării secvențiale. Franceză, R. M. Uitatul catastrofal în rețelele conjunctiviste.Tendințe Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse explozii optimizează transmiterea informațiilor într-un cod neural multiplexat. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Plasticitatea sinaptică dependentă de Burst poate coordona învățarea în circuite ierarhice. Bicknell, B. A. & Häusser, M. O regulă de învățare sinaptică pentru exploatarea calculului dendritic neliniar. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. The gradient clusteron: a model neuron that learns to solve classification tasks via dendritic nonlinearities, structural plasticity, and gradient descent. , e1009015 (2021). PLoS Comput. Biol. 17 Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. , 500–544 (1952). J. Physiol. 117 Rall, W. Teoria proprietăților fiziologice ale dendritelor. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J. M. & Beeman, D. în Cartea Genezei: Explorarea modelelor neuronale realiste cu sistemul general de simulare neuronală (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Împărțirea neuronului în simulările de rețea paralele legate de calcul permite scalarea timpului de rulare cu de două ori mai mulți procesori. Hines, M. L., Markram, H. & Schürmann, F. Simularea paralelă complet implicită a neuronilor unici. Ben-Shalom, R., Liberman, G. & Korngreen, A. Accelerarea modelării compartimentale pe o unitate de procesare grafică. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Efficient numerical simulation of neuron models with spatial structure on graphics processing units. In (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Proc. 2016 International Conference on Neural Information Processing Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. & Vygen, J. Teoria și algoritmii de optimizare combinatorie 6 edn (Springer, 2018). Gebali, F. Algoritmi și calcul paralel (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Un motor de calcul optimizat pentru simulatorul NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Învățarea prin predicția dendritică a spikingului somatic. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizarea modelelor de canale ionice folosind un algoritm genetic paralel pe procesoarele grafice. Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. , 105–114 (1991). J. Neurosci. Methods 36 McDougal, R. A. et al. Douăzeci de ani de modelDB și dincolo: construirea de instrumente esențiale de modelare pentru viitorul neuroștiinței. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih blochează selectiv sumarea temporală a intrărilor distale nesincronizate în neuronii piramidali CA1. Hemond, P. et al. Clasele distincte de celule piramidale prezintă modele de foc reciproc exclusive în regiunea hipocampală CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modele de celule piramidale din stratul neocortical 5b capturând o gamă largă de proprietăți active dendritice și perisomatice. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Prelucrarea potențialului de acțiune într-un model celular purkinje detaliat dezvăluie un rol critic pentru compartimentarea axonală. Lindroos, R. et al. Neuromodularea ganglionilor bazali pe mai multe scări temporale și structurale - simulări ale MSN-urilor de cale directă investighează debutul rapid al efectelor dopaminergice și prezică rolul lui Kv4.2. Migliore, M. et al. Synaptic clusters function as odor operators in the olfactory bulb. , 8499–8504 (2015). Proc. Natl Acad. Sci. USa 112 NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. CUDA C++ Ghid de cele mai bune practici. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Amplificarea sinaptică de către coloanele dendritice sporește cooperativitatea de intrare. Natura 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. , 759–762 (2013). Science 340 Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. , 181 (2018). Front. Cell. Neurosci. 12 Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 Koch, C. Dendritic spines. în Biofizica calculului (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Impactul activității de fundal a fibrelor paralele asupra proprietăților de cablu ale celulelor purkinje cerebrale. Hines, M. Calculul eficient al ecuațiilor nervoase ramificate. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Protecția inspirată din punct de vedere biologic a rețelelor adânci împotriva atacurilor adversare. Preprint la https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simularea la scară largă folosind Geneza Paralelă. în Cartea Genezei: Explorarea modelelor neuronale realiste cu sistemul de simulare neuronală generală (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel network simulations with NEURON. , 119 (2006). J. Comput. Neurosci. 21 Lytton, W. W. et al. Neurotehnologii de simulare pentru avansarea cercetării creierului: paralelizarea rețelelor mari în NEURON. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In 566–575 (IEEE, 2017). Proc. 2017 International Conference on Computational Science Akar, N. A. et al. Arbor — O bibliotecă de simulare a rețelelor neuronale morfologice detaliate pentru arhitecturile de calcul de înaltă performanță contemporane. în Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. O soluție ultrascalabilă pentru simularea țesutului neural la scară largă. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Modificări potențiale ale membranelor în coloanele dendritice în timpul potențialelor de acțiune și a intrărilor sinaptice.J. Neurosci. 29, 6897-6903 (2009). Nishiyama, J. & Yasuda, R. Biochemical computation for spine structural plasticity. , 63–75 (2015). Neuron 87 Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat, A. & Svoboda, K. Plasticitatea sinaptică structurală dependentă de experiență în creierul mamiferelor. Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 Xu, T. et al. Formarea rapidă și stabilizarea selectivă a sinapselor pentru amintiri motorii durabile. Natura 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Îmbunătățirea învățării motorii prin creșterea stabilității spinoaselor dendritice nou formate în cortexul motor. Branco, T. & Häusser, M. Gradientele integrării sinaptice în dendritele celulelor piramidale corticale unice. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Proprietăți active ale dendritelor neuronale piramidale neocortice. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Potențiale de acțiune dendritică și calcul în stratul uman 2/3 neuroni corticali. știință 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Inhibarea sinaptică temporară formează vârfurile NMDA, influențând procesarea dendritică locală și proprietățile I/O globale ale neuronilor corticali. Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. vârfurile dendritice sporesc selectivitatea stimulului în neuronii corticali in vivo. Natura 503, 115-120 (2013). Xu, N.-l et al. Integrarea dendritică neliniară a intrărilor senzoriale și motorii în timpul unei sarcini de detectare activă. Natura 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Integrarea sistematică a datelor structurale și funcționale în modelele multi-scale ale cortexului vizual primar al șoarecilor. Neuron 106, 388–403 (2020). Hjorth, J. et al. Microcircuitele de striatum în silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: un nou set de date de imagine pentru algoritmi de benchmarking de învățare a mașinilor. Preprint la http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: atacuri adversariale rapide pentru a compara robustețea modelelor de învățare automată în PyTorch, TensorFlow și JAX. Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Recunoaşterea The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. Această lucrare este disponibilă în natură sub licența CC by 4.0 Deed (Attribution 4.0 International). Acest document este În conformitate cu licența CC by 4.0 Deed (Attribution 4.0 International). Disponibil în natură
