Kirjoittajat : Jääkiekko Zhang Hänen Oikea ma Xiaofei Liu Pääosat J. J. Johannes Hjorth Aleksanteri Kozlov Yutao He Pääosat Zhang Pääosat Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Huuhti Huuhti Kirjoittajat : Jääkiekko Zhang Hänen Oikea ma Liu Xiaofei Pääosat J. J. Johannes Hjorth Aleksanteri Kozlov Jussi Hänen Pääosat Zhang Pääosat Jeanette Hellgren Kotaleski Pääosat Yonghong Tian Tähti Grilli Kun sinä Huuhti Huuhti abstrakti Biofyysisesti yksityiskohtaiset monitoimimimallit ovat tehokkaita työkaluja aivojen laskennallisten periaatteiden tutkimiseen ja toimivat myös teoreettisena kehyksenä keinotekoisen älykkyyden (AI) järjestelmien algoritmien luomiseksi. Kuitenkin kalliit laskennalliset kustannukset rajoittavat vakavasti sovelluksia sekä neurotieteen että tekoälyn aloilla. Tärkein pullonkaula yksityiskohtaisten tilamallien simuloinnissa on simulaattorin kyky ratkaista suuria lineaaristen yhtälöiden järjestelmiä. Endritiikka Hierarkiaa Cheduling (DHS) -menetelmä nopeuttaa merkittävästi tällaista prosessia. Todistamme teoreettisesti, että DHS-sovellus on laskennallisesti optimaalinen ja tarkka. Tämä GPU-pohjainen menetelmä suorittaa 2-3 järjestyksellä suurempia nopeuksia kuin perinteisen CPU-alustan klassisen sarja Hines-menetelmän. Rakennamme DeepDendrite-kehyksen, joka integroi DHS-menetelmän ja NEURON-simulaattorin GPU-tietokoneen ja osoittaa DeepDendriten sovelluksia neurotieteellisiin tehtäviin. Tutkimme, miten selkärangan syötteiden tilamalliset kuvamallit vaikuttavat neuronaaliseen jännitykseen yksityiskohtaisessa ihmisen pyramidimallissa, jossa on 25 000 kierrosta. Lisäksi tarjo D H S Johdatus Neuronien koodaus- ja laskennallisten periaatteiden purkaminen on välttämätöntä neurotieteelle. nisäkkäiden aivot koostuvat yli tuhansista erilaisista neuronityypeistä, joilla on ainutlaatuiset morfologiset ja biofyysiset ominaisuudet. , jossa neuroneja pidettiin yksinkertaisina yhteenlaskentoyksiköinä, on edelleen laajalti sovellettu hermoston laskennassa, erityisesti hermoverkkojen analysoinnissa. Viime vuosina nykyaikainen tekoäly (AI) on käyttänyt tätä periaatetta ja kehittänyt tehokkaita työkaluja, kuten keinotekoisia hermoverkkoja (ANN). Yksittäisen neuronitason kattavien laskelmien lisäksi subsellulaariset osastot, kuten neuronidendriitit, voivat myös suorittaa ei-lineaarisia toimintoja itsenäisinä laskentayksiköinä. , , , , Lisäksi dendriittiset selkärankaiset, pienet ulkonemat, jotka tiheästi peittävät dendriittejä selkärankaisissa neuroneissa, voivat jakaa synaptisia signaaleja, jolloin ne voidaan erottaa vanhemmista dendriiteistä ex vivo ja in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulaatiot, joissa käytetään biologisesti yksityiskohtaisia neuroneja, tarjoavat teoreettisen kehyksen biologisten yksityiskohtien yhdistämiseksi laskennallisiin periaatteisiin. , antaa meille mahdollisuuden mallia neuroneja realistisilla dendriittisillä morfologioilla, sisäisillä ionijohteilla ja extrinsisillä synaptisilla syötteillä. Yksityiskohtaisen monitoimimimallin, eli dendriittien, selkäranka perustuu klassiseen kaapeliteoriaan , joka mallinnetaan dendriittien biophysical membrane ominaisuuksia passiivisina kaapeleina, joka tarjoaa matemaattisen kuvauksen siitä, miten elektroniset signaalit tunkeutuvat ja leviävät monimutkaisten hermoprosessien kautta. Sisällyttämällä kaapeli teoria aktiivisilla biophysical mekanismeilla, kuten ionikannoilla, ärsyttävillä ja estävillä synaptisilla virroilla jne., yksityiskohtainen monitoimimimiminen malli voi saavuttaa solujen ja subsolujen neuronaaliset laskelmat kokeellisten rajoitusten ulkopuolella , . 12 13 12 4 7 Sen syvän vaikutuksen lisäksi neurotieteeseen käytettiin äskettäin biologisesti yksityiskohtaisia neuronimalleja soluttaakseen aukon hermosolujen rakenteellisten ja biofyysisten yksityiskohtien ja tekoälyn välillä. Nykypäivän tekoälyn alalla vallitseva tekniikka on pisteneuroneista koostuvat ANN: t, jotka ovat biologisten hermosolujen analogisia. Vaikka ANN: t, joilla on ”backpropagation-of-error” (backprop) -algoritmi, saavuttavat huomattavan suorituskyvyn erikoistuneissa sovelluksissa, jopa voittaen huippuluokan ihmisen ammattilaisten pelaajat Go- ja shakkipeleissä , , ihmisen aivot yltävät edelleen ANN: lle alueilla, joihin liittyy dynaamisempia ja meluisia ympäristöjä , Viimeaikaiset teoreettiset tutkimukset viittaavat siihen, että dendriittinen integraatio on ratkaisevan tärkeää tehokkaiden oppimisalgoritmien tuottamisessa, jotka mahdollisesti ylittävät backpropen rinnakkaisessa tietojenkäsittelyssä. , , Lisäksi yksi yksityiskohtainen multi-division malli voi oppia verkon tason epälineaarisia laskelmia pisteneuroille säätämällä vain synaptista vahvuutta. , Tämä osoittaa yksityiskohtaisten mallien täyden potentiaalin rakentaa tehokkaampia aivojen kaltaisia tekoälyjärjestelmiä.Siksi on tärkeää laajentaa aivojen kaltaisten tekoälyä koskevia paradigmia yksittäisistä yksityiskohtaisista neuronimalleista suuriin biologisesti yksityiskohtaisiin verkkoihin. 14 15 16 17 18 19 20 21 22 Yksityiskohtaisen simulaation lähestymistavan pitkäaikainen haaste on sen erittäin korkea laskennallinen kustannus, joka on rajoittanut vakavasti sen soveltamista neurotieteeseen ja tekoälyyn. , , Tehokkuuden parantamiseksi klassinen Hines-menetelmä vähentää yhtälöiden ratkaisemisen aikaa O(n3): sta O(n), jota on sovellettu laajalti ydinalgoritmina suosittuihin simulaattoreihin, kuten NEURON ja Genesis Kuitenkin tämä menetelmä käyttää sarja lähestymistapaa käsittelemään kunkin tilan peräkkäin.Kun simulaatio sisältää useita biofyysisesti yksityiskohtaisia dendriittejä dendriittisillä spinilla, lineaarinen yhtälömatriisi ("Hines Matrix") skaalautuu vastaavasti kasvavalla dendriittien tai spinien määrällä (kuva. ), jolloin Hinesin menetelmä ei ole enää käytännöllinen, koska se aiheuttaa erittäin raskaan taakan koko simulaatiolle. 12 23 24 25 26 1e Rakennettu kerros 5 pyramidin neuronimalli ja yksityiskohtaisten neuronimallien kanssa käytetty matemaattinen kaava. Työnkulku, kun numeerisesti simuloidaan yksityiskohtaisia neuronimalleja. yhtälönratkaisuvaihe on simulaation pullonkaula. Esimerkki lineaarisista yhtälöistä simulaatiossa. Hines-menetelmän tietojen riippuvuus lineaaristen yhtälöiden ratkaisemisessa ja Hinesin matriisin koko mittaa mallin monimutkaisuuden. Ratkaistavien lineaaristen yhtälöiden määrä kasvaa merkittävästi, kun mallit lisääntyvät yksityiskohtaisemmin. Laskennallinen kustannukset (vaiheet otettu yhtälön ratkaisuvaiheessa) sarja Hines menetelmä eri tyyppisiä neuronimalleja. Erilaiset neuronien osat määritetään useille käsittelyyksiköille rinnakkaisilla menetelmillä (keskellä, oikealla), jotka näytetään eri väreillä. Kolmen menetelmän laskentakustannukset pyramidimallin yhtälöiden ratkaiseminen spineillä. Käyttöaika eri menetelmien ratkaisemiseen yhtälöt 500 pyramidimallit spin. Käyttöaika osoittaa ajankulutuksen 1 s simulaatio (ratkaisu yhtälö 40 000 kertaa aikavälillä 0,025 ms). p-Hines rinnakkainen menetelmä CoreNEURON (GPU), Branch-pohjainen haara-pohjainen rinnakkainen menetelmä (GPU), DHS Dendritic hierarkkinen ajoitusmenetelmä (GPU). a b c d c e f g h g i Viime vuosikymmeninä on saavutettu valtavaa edistystä nopeuttamalla Hines-menetelmää käyttämällä rinnakkaisia menetelmiä solutasolla, mikä mahdollistaa erilaisten osien laskentaa rinnakkain kussakin solussa. , , , , , Kuitenkin nykyisillä solutason rinnakkaismenetelmillä ei useinkaan ole tehokasta rinnakkaisratkaisua tai niillä ei ole riittävää numeerista tarkkuutta verrattuna alkuperäiseen Hines-menetelmään. 27 28 29 30 31 32 Täällä kehitämme täysin automaattisen, numeerisesti tarkkaan ja optimoidun simulointityökalun, joka voi merkittävästi nopeuttaa laskentatehokkuutta ja vähentää laskentakustannuksia. Lisäksi tätä simulointityökalua voidaan käyttää saumattomasti hermoverkkojen perustamiseen ja testaamiseen, joissa on biologisia yksityiskohtia koneoppimiseen ja AI-sovelluksiin. Parallel Computing -teoria Olemme osoittaneet, että algoritmimme tarjoaa optimaalisen ajoituksen menettämättä tarkkuutta. Lisäksi olemme optimoineet DHS:n tällä hetkellä edistyksellisimpään GPU-siruun hyödyntämällä GPU-muistin hierarkiaa ja muistin käyttömekanismeja. Yhdessä DHS voi nopeuttaa laskentaa 60-1500 kertaa (lisätaulukko ) verrattuna klassiseen simulaattoriin NEURON Samalla säilytetään täsmällisyys. 33 34 1 25 Jotta mahdollistaisimme yksityiskohtaiset dendriittiset simulaatiot käytettäväksi AI: ssa, luomme seuraavaksi DeepDendrite-kehyksen integroimalla DHS-sisäänrakennetun CoreNEURON-alustan (optimoitu laskennallinen moottori NEURONille). Simulaattori ja kaksi apumoduulia (I/O-moduuli ja oppimismoduuli) tukevat dendriittisiä oppimisalgoritmeja simulaatioiden aikana. DeepDendrite toimii GPU-laitteistoalustalla, joka tukee sekä säännöllisiä simulointitehtäviä neurotieteissä että oppimistehtäviä AI: ssa. 35 Viimeisenä mutta ei vähäisimpänä esittelemme myös useita sovelluksia, joissa käytetään DeepDendriteä, jotka kohdistavat joitakin kriittisiä haasteita neurotieteissä ja AI: ssa: (1) Näytämme, miten dendriittisen selkärangan syöttöjen avaruusmallit vaikuttavat neuronaalisiin toimintoihin, joissa on selkärankaa sisältävien neuronien kautta dendriittisten puiden kautta (täyden selkärangan mallit). DeepDendrite antaa meille mahdollisuuden tutkia neuronaalista laskentaa simuloidussa ihmisen pyramidin neuronimallissa, jossa on ~ 25 000 dendriittistä selkärankaa. (2) Keskustelussa tarkastelemme myös DeepDendriten potentiaalia AI: n yhteydessä, erityisesti luodessa ANN: ta morfologisesti yksityiskohtaisia Kaikki DeepDendriten lähdekoodi, täyden selkärangan mallit ja yksityiskohtainen dendriittinen verkkomalli ovat julkisesti saatavilla verkossa (ks. koodin saatavuus). Burst-riippuvainen synaptinen plastisuus , ja oppiminen spike-ennustuksella Kaiken kaikkiaan tutkimuksemme tarjoaa täydellisen joukon työkaluja, joilla on potentiaalia muuttaa nykyistä laskennallisen neurotieteen yhteisön ekosysteemiä. hyödyntämällä GPU-tietojenkäsittelyn voimaa näemme, että nämä työkalut helpottavat aivojen hienojen rakenteiden laskennallisten periaatteiden tutkimista järjestelmätasolla sekä edistävät neurotieteen ja nykyaikaisen tekoälyn vuorovaikutusta. 21 20 36 tulokset Dendriittinen hierarkkinen aikataulutus (DHS) Ionivirtojen laskenta ja lineaaristen yhtälöiden ratkaiseminen ovat kaksi kriittistä vaihetta, kun simuloidaan biofyysisesti yksityiskohtaisia neuroneja, jotka ovat aikaa vieviä ja aiheuttavat vakavia laskennallisia taakkoja.Onneksi kunkin tilan ionivirtojen laskenta on täysin itsenäinen prosessi, joten se voidaan luonnollisesti rinnastaa laitteissa, joissa on massiivisia rinnakkaislaskentayksiköitä, kuten GPU: t Tämän seurauksena lineaaristen yhtälöiden ratkaiseminen muuttuu jäljellä olevaksi pullonkaulaksi rinnakkaisprosessissa (kuva. ) on 37 1 a - f Tämän pullonkaulan ratkaisemiseksi on kehitetty solutasolla rinnakkaisia menetelmiä, jotka nopeuttavat yhden solun laskentaa "jaottamalla" yhden solun useisiin osastoihin, joita voidaan laskea rinnakkain. , , Kuitenkin tällaiset menetelmät luottavat voimakkaasti ennakkotietoon luoda käytännön strategioita siitä, miten jakaa yksi neuroni osastoihin (kuva. Täydentävä Fig. Siksi se tulee vähemmän tehokkaaksi epäsymmetristen morfologioiden neuroneille, esimerkiksi pyramidineuroneille ja Purkinje-neuroneille. 27 28 38 1 g 1 Pyrimme kehittämään tehokkaamman ja tarkemman rinnakkaismenetelmän biologisesti yksityiskohtaisten hermoverkkojen simuloimiseksi. Ensinnäkin vahvistamme kriteerit solutason rinnakkaismenetelmän tarkkuudelle. , ehdotamme kolme ehtoa sen varmistamiseksi, että rinnakkaismenetelmä tuottaa samanlaisia ratkaisuja kuin sarjan laskenta Hines-menetelmä Hines-menetelmän tietojen riippuvuuden mukaan (ks. menetelmät). Sitten teoreettisesti arvioimaan sarjan laskenta- ja rinnakkaismenetelmien juoksuaikaa eli tehokkuutta esittelemme ja muotoilemme laskennallisen kustannuksen käsitteen menetelmän ottamien vaiheiden lukumääränä yhtälöiden ratkaisemisessa (ks. menetelmät). 34 Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem (see Methods). In simple terms, we view a single neuron as a tree with many nodes (compartments). For Pystymme laskemaan, enimmäkseen nodes at each step, but we need to ensure a node is computed only if all its children nodes have been processed; our goal is to find a strategy with the minimum number of steps for the entire procedure. k k Optimaalisen erän luomiseksi ehdotamme menetelmää nimeltä Dendritic Hierarchical Scheduling (DHS) (teoreettinen todiste on esitetty menetelmissä). DHS-menetelmä sisältää kaksi vaihetta: dendriittisen topologian analysointi ja parhaan osioiden löytäminen: (1) Kun annetaan yksityiskohtainen malli, saamme ensin sen vastaavan riippuvuuspuun ja lasketaan kunkin solmun syvyys (solmun syvyys on sen esi-solmien määrä) puussa (kuva. 2) Topologian analysoinnin jälkeen etsimme ehdokkaita ja valitsemme enintään syvin ehdokas solmut (solmu on ehdokas vain, jos kaikki sen lapsen solmuja on käsitelty). ) on 2a 2b, c k 2D DHS työnkulku. DHS prosessit Syvin kandidaatti solmut jokaisen iteraation. Kuvitus osastomallin solmujen syvyyden laskemisesta. Malli muunnetaan ensin puurakenteeksi ja lasketaan sitten kunkin solmun syvyys. Värit osoittavat eri syvyysarvot. Topology analysis on different neuron models. Six neurons with distinct morphologies are shown here. For each model, the soma is selected as the root of the tree so the depth of the node increases from the soma (0) to the distal dendrites. Kuvaus DHS:n suorittamisesta mallissa ehdokkaat: solmut, jotka voidaan käsitellä. valitut ehdokkaat: solmut, jotka DHS valitsee, eli Käsiteltyjä solmuja: solmuja, jotka on käsitelty aiemmin. DHS:n saavuttama rinnakkaisratkaisu prosessin jälkeen DHS vähentää sarjakohtaisen solmun käsittelyn vaiheita 14:stä viiteen jakamalla solmut useisiin solmiin. Suhteelliset kustannukset, ts. DHS:n laskennallisen kustannuksen suhde Hines-menetelmän laskennalliseen kustannukseen, kun DHS:ää sovelletaan eri määrin eri malleihin. a k b c d b k e d f Otetaan yksinkertaistettu malli, jossa on 15 tilaa esimerkkinä, käyttäen sarjan laskenta Hines-menetelmää, se vie 14 vaihetta kaikkien solmujen käsittelyyn, kun taas käyttämällä DHS neljällä rinnakkaisella yksiköllä voidaan jakaa solmut viiteen alaryhmään (kuva. ): {{9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Koska samassa alaryhmässä olevia solmuja voidaan käsitellä rinnakkain, kaikkien solmujen käsittelyyn DHS:llä tarvitaan vain viisi vaihetta (kuva. ) on 2d 2 e Seuraavaksi sovellamme DHS-menetelmää kuuteen edustavaan yksityiskohtaiseen neuronimalliin (valittu ModelDB: stä ) eri määrillä säikeitä (kuva. ): mukaan lukien cortical ja hippocampal pyramidal neuronit , , Cerebellar Purkinje neuronit Striataalisen projektion neuronit (SPN) ), and olfactory bulb mitral cells , joka kattaa tärkeimmät tärkeimmät hermosolut aistien, kortikon ja subkortikon alueilla. Sitten mitattiin laskennallisia kustannuksia. Suhteelliset laskennalliset kustannukset määritellään tässä suhteessa DHS: n laskennallisiin kustannuksiin sarjan Hines-menetelmään. Laskennalliset kustannukset eli yhtälöiden ratkaisemisessa otettujen vaiheiden lukumäärä laskee dramaattisesti kasvavien säikeiden lukumäärän myötä. Esimerkiksi 16 säikeellä DHS: n laskennalliset kustannukset ovat 7%-10% verrattuna sarjan Hines-menetelmään. Mielenkiintoista on, että DHS-menetelmä saavuttaa laskennallisten kustannusten alemmat rajat esitetyille neuroneille, kun annetaan 16 tai jopa 8 ), mikä viittaa siihen, että lisäämällä enemmän säikeitä ei paranna suorituskykyä entisestään osastojen välisten riippuvuuksien vuoksi. 39 2f 40 41 42 43 44 45 2F Yhdessä luomme DHS-menetelmän, joka mahdollistaa dendriittisen topologian automaattisen analyysin ja optimaalisen osioinnin rinnakkaiskalentamiseen. On syytä huomata, että DHS löytää optimaalisen osioinnin ennen simulaation aloittamista, eikä yhtälöiden ratkaisemiseen tarvita ylimääräistä laskentaa. DHS:n nopeuttaminen GPU-muistin lisäämisellä DHS laskee jokaisen neuronin useilla säikeillä, jotka kuluttavat valtavan määrän säikeitä neuroverkkojen simulaatioiden suorittamisessa. Graafiset käsittelyyksiköt (GPU) koostuvat massiivisista käsittelyyksiköistä (eli suoratoistoprosessoreista, SP-yksiköistä, kuv. • rinnakkaiskäyttöön Teoriassa GPU: n monien SP-laitteiden pitäisi tukea tehokasta simulointia suurille hermoverkoille (kuva. Kuitenkin olemme jatkuvasti havainneet, että DHS: n tehokkuus laski merkittävästi verkon koon kasvaessa, mikä voi johtua hajaantuneesta tietojen tallennuksesta tai ylimääräisestä muistin käytöstä, joka aiheutuu välivaiheen tulosten lataamisesta ja kirjoittamisesta (kuva. , left). 3a ja b 46 3c 3D GPU-arkkitehtuuri ja sen muistin hierarkia. Jokainen GPU sisältää massiivisia prosessointiyksiköitä (virtausprosessoreita). Architecture of Streaming Multiprocessors (SMs). Each SM contains multiple streaming processors, registers, and L1 cache. DHS:n soveltaminen kahteen neuroniin, joista jokaisella on neljä lankaa.Simulaation aikana jokainen lanka suoritetaan yhdellä virtaprosessorilla. Muistin optimointistrategia GPU:ssa. DHS:n yläpaneeli, säikeiden kohdentaminen ja tietojen tallentaminen ennen (vasemmalla) ja (oikealla) muistin lisäämistä. Prosessorit lähettävät tietopyynnön ladatakseen tietoja jokaisesta langasta globaalista muistista. Ilman muistin lisäämistä (vasemmalla), kaikkien pyyntötietojen lataamiseen tarvitaan seitsemän transaktiota ja jotkut ylimääräiset transaktiot välituloksiin. Muistin lisäämiseen (oikealla) tarvitaan vain kaksi transaktiota kaikkien pyyntötietojen lataamiseen, rekistereitä käytetään välituloksiin, mikä parantaa edelleen muistin läpäisevyyttä. Runtime DHS (32 lankaa kussakin solussa) muistin ja ilman lisäämällä monikerroksinen 5 pyramidimallit spin. Muistin kiihdyttämisen nopeuttaminen monikerroksisissa 5 pyramidimalleissa, joissa on kierteitä. Muistin kiihdyttämisen ansiosta kiihdytys on 1,6-2 kertaa. a b c d d e f Ratkaisemme tämän ongelman lisäämällä GPU-muistia, joka on menetelmä muistin läpäisyn lisäämiseksi hyödyntämällä GPU:n muistin hierarkiaa ja pääsymekanismia.GPU:n muistin latausmekanismin perusteella peräkkäiset lanka-aineet, jotka lataavat yhdenmukaistettuja ja peräkkäin tallennettuja tietoja, johtavat korkeaan muistin läpäisyn verrattuna hajautettuihin tietoihin, mikä vähentää muistin läpäisyn. , Jotta saavutettaisiin korkea läpäisevyys, yhdenmukaistamme ensin solmujen laskennalliset tilaukset ja järjestämme ne uudelleen niiden solmujen lukumäärän mukaan. Sitten siirrytään globaaliin muistiin tallennettu tieto, joka on johdonmukainen laskennallisten tilausten kanssa, eli samassa vaiheessa käsitellyt solmut tallennetaan peräkkäin globaaliin muistiin. Lisäksi käytämme GPU-rekistereitä välitulosten tallentamiseen, mikä vahvistaa muistin läpäisevyyttä entisestään. Lisäksi kokeita useita numeroita pyramidin neuronien kanssa selkäranka ja tyypillinen neuronimallit (kuva. Täydentävä Fig. ) osoittavat, että muistin lisääminen saavuttaa 1,2-3,8-kertaisen nopeuden verrattuna naiiviin DHS: hen. 46 47 3D 3 e, f 2 Jotta voimme kattavasti testata DHS: n suorituskykyä GPU-muistin tehostamisella, valitsemme kuusi tyypillistä neuronimallia ja arvioimme kunkin mallin massiivisten numeroiden kaapelin yhtälöiden ratkaisemisen juoksuaikaa (kuva. ). We examined DHS with four threads (DHS-4) and sixteen threads (DHS-16) for each neuron, respectively. Compared to the GPU method in CoreNEURON, DHS-4 and DHS-16 can speed up about 5 and 15 times, respectively (Fig. ). Moreover, compared to the conventional serial Hines method in NEURON running with a single-thread of CPU, DHS speeds up the simulation by 2-3 orders of magnitude (Supplementary Fig. ), säilyttäen samalla identtisen numeerisen tarkkuuden tiheiden kierteiden läsnä ollessa (lisäkuvat. and ) aktiivinen dendritit (täydentävä kuva. ) ja erilaiset segmentointistrategiat (täydentävä kuva. ) on 4 4a 3 4 8 7 7 Käyttöaika yhtälöiden ratkaisemiseksi 1 s: n simulaatiossa GPU: lla (dt = 0,025 ms, 40 000 iteraatiota yhteensä). CoreNEURON: rinnakkainen menetelmä, jota käytetään CoreNEURONissa; DHS-4: DHS, jossa on neljä lankaa jokaiselle neuronille; DHS-16: DHS, jossa on 16 lankaa jokaiselle neuronille. ja DHS-4- ja DHS-16-osion visualisointi, jokainen väri osoittaa yhden lanka. Laskennassa jokainen lanka vaihtaa eri oksojen välillä. a b c DHS luo solutyyppi-erityisen optimaalisen osioinnin Saadaksemme tietoa DHS-menetelmän työmekanismista visualisoimme osiointiprosessin kartoittamalla kunkin säteen osia (jokainen väri esittelee yhden säteen kuvassa. Visualisointi osoittaa, että yksi lanka usein vaihtaa eri oksat (kuva. Mielenkiintoista on, että DHS tuottaa tasoitettuja osioita morfologisesti symmetrisissä neuroneissa, kuten striataalisessa projektio-neuronissa (SPN) ja mitraalisessa solussa (kuva. Sitä vastoin se tuottaa morfologisesti epäsymmetristen neuronien, kuten pyramidin neuronien ja Purkinje-solun, pirstaloituneita osioita (kuva. ), mikä osoittaa, että DHS jakaa hermopuun yksittäisellä osastoasteikolla (eli puun solmu) sen sijaan, että se jakaisi oksan asteikolla. 4 b ja c 4 b ja c 4 b ja c 4 b ja c Yhteenvetona voidaan todeta, että DHS ja muistin lisääminen tuottavat teoreettisesti todistetusti optimaalisen ratkaisun lineaaristen yhtälöiden ratkaisemiseksi rinnakkain ennennäkemättömän tehokkuuden kanssa. Tämän periaatteen avulla olemme rakentaneet avoimen pääsyn DeepDendrite-alustan, jota neurotieteilijät voivat käyttää mallien toteuttamiseen ilman mitään erityistä GPU-ohjelmointitietoa. DHS mahdollistaa selkärangan tason mallinnuksen Koska dendriittiset selkärankaiset saavat suurimman osan herättävästä syötöstä cortical- ja hippocampal-pyramidaalisille neuroneille, striataalisille projektio-neuroneille jne., niiden morfologiat ja plastisuus ovat ratkaisevan tärkeitä hermoston hermostuneisuuden säätelyssä. , , , , Kuitenkin selkärangat ovat liian pieniä (~ 1 μm pituus) voidaan suoraan mitata kokeellisesti suhteessa jännite-riippuvaisia prosesseja. 10 48 49 50 51 Voimme mallintaa yhden selkärangan kahdella osastolla: selkärangan pää, jossa synapsit sijaitsevat, ja selkärangan kaula, joka yhdistää selkärangan pään dendriitteihin. Teoria ennustaa, että hyvin ohut selkärangan kaula (0,1-0,5 um halkaisijaltaan) eristää selkärangan pään sähköisesti vanhempaan dendriittiin, jolloin selkärangan pään tuottamat signaalit erotetaan. Kuitenkin yksityiskohtainen malli, jossa on täysin jakautuneita kierteitä dendriiteillä (”täyden selkärangan malli”) on laskennallisesti erittäin kallista.Yleinen kompromissiratkaisu on muuttaa kalvon kapasiteettia ja vastusta Spinaali tekijä sen sijaan, että kuvastaisi kaikki selkeästi.Tässä on selkärangan tekijä pyrkii lähentämään selkärangan vaikutusta solukalvon biofyysisiin ominaisuuksiin . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the selkärangan tekijä sisällyttää selkärangan dendriitteihin, kun taas vain muutama aktivoitu selkärangan oli nimenomaisesti kiinnitetty dendriitteihin (”pieni selkärangan malli” kuvassa. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somaattiset jännitteet, jotka on tallennettu tapauksissa . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Kokeilun aika on käytössä with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. ja ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5 e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. Täydentävä Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks Osoitamme, että DeepDendrite voi tukea sekä neurotieteellisiä simulaatioita että tekoälyyn liittyviä yksityiskohtaisia hermoverkkotehtäviä ennennäkemättömällä nopeudella, mikä edistää merkittävästi yksityiskohtaisia neurotieteellisiä simulaatioita ja mahdollisesti tulevaisuuden AI-tutkimuksia. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers Viime vuosina GPU: ta on käytetty yksityiskohtaiseen verkon simulointiin.Koska GPU sisältää massiivisia laskentayksiköitä, yksi lanka on yleensä määritetty yhteen soluun soluryhmän sijaan. , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) kiinnitä vähemmän huomiota rinnakkaisvalmistusstrategiaan. Hyvän rinnakkaisvalmistusstrategian puuttuminen johtaa epätyydyttävään suorituskykyyn. Korkeamman tehokkuuden saavuttamiseksi jotkut tutkimukset yrittävät saada hienompaa rinnakkaisvalmistusta ottamalla käyttöön ylimääräisiä laskentatoimia , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , Tällaisen suuren syöttöimpedanssin vuoksi yksi synaptinen syöttö voi herättää "jättiläisen" EPSP:n (~ 20 mV) selkärangan pään tasolla. , , thereby boosting NMDA currents and ion channel currents in the spine Kuitenkin klassisissa yksittäisissä yksityiskohtaisissa tilamalleissa kaikki spinit korvataan coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Somatosensoriaalinen cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , ja tutkia täyttä oppimispotentiaalia realistisemmilla neuroneilla , Mallin koon ja biologisen yksityiskohdan välillä on kuitenkin kompromissi, koska verkon mittakaavan kasvu on usein uhrattu neuronitason monimutkaisuuden vuoksi. , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . ehdotti dendriittisen normalisoinnin sääntöä, joka perustuu biofyysiseen käyttäytymiseen, joka tarjoaa mielenkiintoisen näkökulman dendriittisen puurakenteen panoksesta laskentaan. Vaikka nämä tutkimukset tarjoavat arvokkaita oivalluksia, ne perustuvat ensisijaisesti abstraktioihin, jotka johtuvat avaruudellisesti laajennetuista neuroneista, eivätkä hyödynnä täysin dendriittien yksityiskohtaisia biologisia ominaisuuksia ja avaruudellisia tietoja. Lisätutkimuksia tarvitaan paljastamaan mahdollisuus hyödyntää realistisempia neuronimalleja aivojen laskentaa ja syvää oppimista tukevien yhteisten mekanismien ymmärtämiseksi. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Tämä verkko osoitti tehokkaita koulutusmahdollisuuksia kuvan luokittelutehtävissä, saavuttamalla noin 25 kertaa nopeutta verrattuna koulutukseen perinteisellä CPU-pohjaisella alustalla (kuva. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks HPC-Netin käyttämät kokeelliset tulokset tukevat tätä hypoteesia, koska havaitsimme, että yksityiskohtaisia dendriittisiä rakenteita omaavat verkot osoittivat joitakin lisääntyneitä kykyjä siirtää vastustajan hyökkäyksiä. compared to standard ANNs, as evident in MNIST and Fashion-MNIST Tietokannat (katso kuva ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 3D ja E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS Pohjoinen simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | Säädettävä koko (Setting size) , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree • { ja } and a positive integer Missä is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, jossa n | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 Näytä V2 Näytä Vn Vi k i Vi Vi Vi v Vi c c v Vj j i P* V P* V Here subset Se koostuu kaikista solmioista, jotka lasketaan -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < Näyttää siltä, että Node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset lasketaan rinnakkain, ottaen huomioon steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { ja , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi 1 Vn V1 Vi V1 Näytä V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimaalinen todistus DHS:stä The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Jokaisesta alakohdasta in ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { ja , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) niin, että kaikki alaryhmät koostuvat syvimmistä solmuista and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P * (V) V*1 V*2 V*s P* V Q P * V Without any loss of generalization, we start from the first subset ei täytä kriteerejä, eli on kaksi mahdollista tapausta, jotka tekevät not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6 b V*i k Qi V*i 6b V * I V*i v k v’ Qi v’ V * J j i v V*i V * I 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V * I 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 V » V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P * V Loppujen lopuksi DHS luo osion ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) Samanlaisia muutoksia on tapahtunut, ja näin ollen osasto ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P * V P V P* V | P V GPU:n käyttöönotto ja muistin lisääminen Jotta voidaan saavuttaa korkea muistin läpäisevyys, GPU käyttää muistin hierarkiaa (1) globaali muisti, (2) välimuisti, (3) rekisteri, jossa globaali muisti on suuri kapasiteetti, mutta alhainen läpäisevyys, kun taas rekisterit ovat alhainen kapasiteetti, mutta korkea läpäisevyys. GPU employs SIMT (Single-Instruction, Multiple-Thread) architecture. Warps are the basic scheduling units on GPU (a warp is a group of 32 parallel threads). A warp executes the same instruction with different data for different threads . Correctly ordering the nodes is essential for this batching of computation in warps, to make sure DHS obtains identical results as the serial Hines method. When implementing DHS on GPU, we first group all cells into multiple warps based on their morphologies. Cells with similar morphologies are grouped in the same warp. We then apply DHS on all neurons, assigning the compartments of each neuron to multiple threads. Because neurons are grouped into warps, the threads for the same neuron are in the same warp. Therefore, the intrinsic synchronization in warps keeps the computation order consistent with the data dependency of the serial Hines method. Finally, threads in each warp are aligned and rearranged according to the number of compartments. 46 Kun varpa lataa esiasetettuja ja peräkkäin tallennettuja tietoja globaalista muistista, se voi hyödyntää täysimääräisesti välimuistia, mikä johtaa korkeaan muistin läpäisevyyteen, kun taas hajautetun tallennettujen tietojen käyttö vähentäisi muistin läpäisevyyttä. Kun osastot on kohdennettu ja säikeet on järjestetty uudelleen, siirrämme tietoja globaaliin muistiin, jotta se olisi johdonmukainen laskutoimitusten kanssa, jotta varpaat voivat ladata peräkkäin tallennettuja tietoja ohjelman suorittamisen aikana. Lisäksi siirrämme tarvittavat väliaikaiset muuttujat rekistereihin globaalin muistin sijasta. Rekistereillä on korkein muistin läpäisevyys, joten rekistereiden käyttö nopeuttaa DHS: Täysi- ja vähän-selkärangan biofyysiset mallit Käytimme julkaistua ihmisen pyramidin neuronia . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F Täyden selkärangan mallissa kaikki selkärangat kiinnitettiin nimenomaisesti dendriitteihin. Laskimme selkärangan tiheyden rekonstruoidulla neuronilla Eyal et al. Selkärangan tiheys oli asetettu 1,3 μm-1, ja jokainen solu sisälsi 24994 selkärankaa dendriiteillä 60 μm etäisyydellä somasta. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck kaula = 1,35 μm ja halkaisija neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs Tutkimme neuronaalista kiihottumista sekä jakautuneiden että klusteroitujen synaptisten syöttöjen osalta. Kaikki aktivoidut synapsit kiinnitettiin selkärangan päähän. Jaettujen syöttöjen osalta kaikki aktivoidut synapsit jakautuivat satunnaisesti kaikkiin dendriitteihin. Klusteroitujen syöttöjen osalta jokainen klusteri koostui 20 aktivoidusta synapsista, jotka jakautuivat tasaisesti yhteen satunnaisesti valittuun osaan. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, nousee ja decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise Liitimme jokaiseen soluun taustan melua simuloidaksemme realistisemman ympäristön. Melumallit toteutettiin Poissonin kärkipyörillä jatkuvalla nopeudella 1,0 Hz. Jokainen kuvio alkoi start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , paitsi että NMDA:n suurin johtavuus jakautui tasaisesti 1,57:sta 3275:een, mikä johti suurempaan AMPA:n ja NMDA:n väliseen suhteeseen. t Synaptic Inputs Neuronaalisen kiihottumisen tutkiminen Tutkimme spike-todennäköisyyttä, kun useita synapseja aktivoitiin samanaikaisesti. Jaettujen syöttöjen osalta testasimme 14 tapausta, 0-240 aktivoitua synapsiä. Klusteroitujen syöttöjen osalta testasimme yhteensä 9 tapausta, aktivoimalla 0-12 klusteria. Jokainen klusteri koostui 20 synapseista. Kussakin tapauksessa sekä jakautuneissa että klusteroiduissa syöttöissä laskimme spike-todennäköisyyden 50 satunnaisella näytteellä. Spike-todennäköisyys määriteltiin laskettujen neuronien lukumäärän suhteeksi näytteiden kokonaismäärään. Kaikki 1150 näytteet simuloitiin samanaikaisesti DeepDendrite-alustallamme, mikä vähentää sim Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) kuten on esitetty Eq. ( ) on x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, suurin synaptinen johtavuus max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, passiivisen tilan käänteinen potentiaali l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48 300 Ω cm2, aksiaalinen vastus a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the Synapsi siitä -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where on synaptinen johtajuus, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 Gijon kylä i t Ulostulokerroksen neuronit mallinnettiin myös passiivisella yhden osaston mallilla, ja jokainen piilotettu neuroni teki vain yhden synaptisen yhteyden jokaiseen ulostuloherroonaan. ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation Missä is the probability of -th luokka ennustettu HPC-Net, on keskimääräinen somaattinen jännite 20 ms - 50 ms -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 jos syöttökuva kuuluu luokkaan , and = 0 if not. 36 7 pi i yi yi i yi When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, on päivitetty Eq:ssä esitetyllä tavalla. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, On se -th synaptic current activated by neuron Neuronit ovat , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make HPC-Netin eräkopioita. Koulutuksen aikana jokainen kopio syötetään erillisellä harjoittelunäytteellä erästä. DeepDendrite laskee ensin jokaisen kopion painopäivityksen erikseen. Kun kaikki nykyisen harjoittelun erän kopiot on tehty, keskimääräinen painopäivitys lasketaan ja kaikkien kopioiden painot päivitetään samalla määrällä. N N Kestävä vastustajan hyökkäyksiä vastaan HPC-Netillä HPC-Netin lujuuden osoittamiseksi testasimme sen ennustettavan tarkkuuden vastakkaisnäytteillä ja vertailimme sitä analogiseen ANN:ään (yksi, jolla on sama 784-64-10-rakenne ja ReLU-aktivointi, oikeudenmukaisen vertailun vuoksi HPC-Netissä jokainen syöttöneuroni teki vain yhden synaptisen yhteyden jokaiseen piilotettuun neuroniin). Ensinnäkin koulutettiin HPC-Net ja ANN alkuperäisellä koulutussarjalla (alkuperäiset puhtaat kuvat). Sitten lisäsimme vastakkaisen melun testisarjaan ja mitasimme niiden ennustettavan tarkkuuden melutestiryhmässä. , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST Tulokset osoittavat, että HPC-Netin ennusteen tarkkuus on 19 % ja 16,72 % suurempi kuin analogisen ANN:n. 98 99 93 100 101 95 96 Reporting summary Lisätietoa tutkimuksen suunnittelusta on saatavilla linkitetty tähän artikkeliin. Nature Portfolio Reporting Summary Data availability Tiedot, jotka tukevat tämän tutkimuksen tuloksia, ovat saatavilla paperissa, Lisätiedot ja lähdetiedostot, jotka on toimitettu tämän paperin kanssa. Lähdekoodi ja tiedot, joita käytettiin tulosten toistamiseen kuvioissa. – ovat käytettävissä . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at ja Tämä paperi on toimitettu. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Lähteen tiedot Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. Looginen laskelma hermoston toiminnassa olevista ideoista. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436–444 (2015). Nature 521 Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 London, M. & Häusser, M. Dendritic computation. , 503–532 (2005). Annu. Rev. Neurosci. 28 Branco, T. & Häusser, M. Yksittäinen dendriittinen haara perustavanlaatuisena toiminnallisena yksikkönä hermostossa. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic integration: 60 years of progress. , 1713–1721 (2015). Nat. Neurosci. 18 Poirazi, P. & Papoutsi, A. Dendriittisen toiminnan valaiseminen laskennallisilla malleilla. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. Dendritic spine changes associated with hippocampal long-term synaptic plasticity. , 66–70 (1999). Nature 399 Yuste, R. Dendriittiset nikamat ja hajautetut piirit. Neuron 71, 772–781 (2011). Yuste, R. Sähkövaihtelu dendriittisissä nikamissa. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching dendritic trees and motoneuron membrane resistivity. , 491–527 (1959). Exp. Neurol. 1 Segev, I. & Rall, W. Laskennallinen tutkimus jännittävä dendriittinen selkäranka. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Syvien hermoverkkojen ja puun etsinnän avulla tapahtuvan matkan pelin hallinta. Nature 529, 484–489 (2016). Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. , 1140–1144 (2018). Science 362 McCloskey, M. & Cohen, N. J. Katastrofaalinen häiriö connectivistisissa verkostoissa: peräkkäinen oppimisongelma. French, R. M. Catastrophic forgetting in connectionist networks. , 128–135 (1999). Trends Cogn. Sci. 3 Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. , E6329–E6338 (2018). Proc. Natl Acad. Sci. USA 115 Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits. , 1010–1019 (2021). Nat. Neurosci. 24 Bicknell, B. A. & Häusser, M. Synaptisen oppimisen sääntö ei-lineaarisen dendriittisen laskennan hyödyntämiseksi Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradienttiyhdiste: malli-neuroni, joka oppii ratkaisemaan luokitustehtäviä dendriittisten epälineaarisuuksien, rakenteellisen plastisuuden ja gradienttialennuksen kautta. Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. , 500–544 (1952). J. Physiol. 117 Rall, W. Theory of physiological properties of dendrites. , 1071–1092 (1962). Ann. N. Y. Acad. Sci. 96 Hines, M. L. ja Carnevale, N. T. Neuronien simulointiympäristö Neural Comput. 9, 1179–1209 (1997). Bower, J. M. & Beeman, D. kirjassa GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. Täysin implisiittinen rinnakkainen simulaatio yksittäisistä neuroneista. Ben-Shalom, R., Liberman, G. & Korngreen, A. Accelerating compartmental modeling on a graphical processing unit. , 4 (2013). Front. Neuroinform. 7 Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Tehokas numeerinen simulaatio hermosolujen malleista, joilla on tilarakenne graafisen käsittelyn yksiköissä. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. & Vygen, J. Yhdistelmäoptimoinnin teoria ja algoritmit 6 edn (Springer, 2018). Gebali, F. Algoritmit ja rinnakkaislaskenta (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. Learning by the dendritic prediction of somatic spiking. , 521–528 (2014). Neuron 81 Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizing ion channel models using a parallel genetic algorithm on graphical processors. , 183–194 (2012). J. Neurosci. Methods 206 Mascagni, M. Parallelisaatioalgoritmi laskentaratkaisuille mielivaltaisesti haarautuneiden kaapelien neuronimalleille.J. Neurosci. McDougal, R. A. et al. Kaksikymmentä vuotta malliaDB: rakentaa välttämättömiä mallintustyökaluja neurotieteen tulevaisuudelle. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih estää selektiivisesti epäsynkronoitujen etäisten syöttöjen ajallista summaa CA1-pyramidaalisissa neuroneissa. Hemond, P. et al. Erilaiset luokat pyramidisoluja esittävät molemminpuolisesti poissulkevia ampumisen kuvioita hippokampuksen alueella CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Neokortikaalisen kerroksen 5b pyramidisolujen mallit, jotka tallentavat laajan valikoiman dendriittisiä ja perisomaattisia aktiivisia ominaisuuksia. PLoS Comput. Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. Synaptic clusters function as odor operators in the olfactory bulb. , 8499–8504 (2015). Proc. Natl Acad. Sci. USa 112 NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Dendriittisten nikamien synaptinen vahvistaminen parantaa syöttöyhteistyötä. Luonto 491, 599–602 (2012). Chiu, C. Q. et al. GABAergisen eston osittaistaminen dendriittisillä selkärankailla. Tiede 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. Ihmisen cortical pyramidal neuronit: selkärangasta kärkiä kautta malleja. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Dendriittisten selkärangan toiminto: laitteet, jotka palvelevat biokemiallista pikemminkin kuin sähköistä osastoitumista. Koch, C. Dendritic spines. In (Oxford University Press, 1999). Biophysics of Computation Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. Biologically inspired protection of deep networks from adversarial attacks. Preprint at (2017). https://arxiv.org/abs/1703.09202 Goddard, N. H. & Hood, G. Large-Scale Simulation Using Parallel GENESIS. In (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel network simulations with NEURON. , 119 (2006). J. Comput. Neurosci. 21 Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In 566–575 (IEEE, 2017). Proc. 2017 International Conference on Computational Science Akar, N. A. et al. Arbor—Morfologisesti yksityiskohtainen hermoverkkojen simulaatiokirjasto nykyaikaisille korkean suorituskyvyn tietotekniikan arkkitehtuureille. Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Kiihdyttävä monikeskittymä, biofyysisesti yksityiskohtaiset neuronimulaatiot GPU: lla. J. Neurosci. menetelmät 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. Ultrascalable ratkaisu laajamittaiseen hermokudoksen simulointiin. Etusivu. Neuroinform. 5, 15 (2011). Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama, J. & Yasuda, R. Biochemical computation for spine structural plasticity. , 63–75 (2015). Neuron 87 Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Kiihottavien ja estävien neuronien aksonaalinen dynamiikka somatosensorikorissa. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rapid formation and selective stabilization of synapses for enduring motor memories. , 915–919 (2009). Nature 462 Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Enhancing motor learning by increasing the stability of newly formed dendritic spines in the motor cortex. , 3298–3311 (2021). Neuron 109 Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. , 885–892 (2011). Neuron 69 Major, G., Larkum, M. E. & Schiller, J. Active properties of neocortical pyramidal neuron dendrites. , 1–24 (2013). Annu. Rev. Neurosci. 36 Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, influencing local dendritic processing and global I/O properties of cortical neurons. , 1550–1561 (2017). Cell Rep. 21 Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritic spikes enhance stimulus selectivity in cortical neurons in vivo. , 115–120 (2013). Nature 503 Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Kalsiumin ohimenevä esiintyvyys dendriittisessä puussa ennustaa kentän ominaisuuksia. luonto 517, 200–204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Katastrofien välttäminen: aktiiviset dendriitit mahdollistavat monitehtävän oppimisen dynaamisissa ympäristöissä. etu. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Tunnustukset Tekijäneuvosto kiittää vilpittömästi tohtori Rita Zhangia, Daochen Shiä ja NVIDIA:n jäseniä arvokkaasta teknisestä tuesta GPU-tietokoneille.Tätä työtä tuki Kiinan kansallinen keskeinen tutkimus- ja kehitystyöohjelma (Nr. 2020AAA0130400) KD:lle ja TH:lle, Kiinan kansallinen luonnontieteellinen säätiö (Nr. 6182588102) TH:lle, Kiinan kansallinen keskeinen tutkimus- ja kehitystyöohjelma (Nr. 2022ZD01163005) L.M:lle, Guangdongin provinssin keskeinen tutkimus- ja kehitystyöohjelma (Nr. 2018B030338001) TH:lle, Kiinan kansallinen luonn Tämä artikkeli on saatavilla luonnossa lisenssillä CC by 4.0 Deed (Attribution 4.0 International). Tämä paperi on Käyttöoikeus on CC by 4.0 Deed (Attribution 4.0 International). Luonnossa saatavilla
