Autoři : Štěpán Zhang Gan ho Lea má Xiaofei Liu J.J. Johannes Hjorthová Alexander Kozlov Jiří He Shenjian Zhangová Jeanette Hellgrenová Kotaleska Jiří Tian Sten Grillner Když jste Tiejun Huang Autoři : Štěpán Zhang Gan ho Lea má Xiaofei Liu J.J. Johannes Hjorthová Alexander Kozlov Jiří He Shenjian Zhangová Jeanette Hellgrenová Kotaleska Jiří Tian Středočeský gril Když jste Těšín Huang Abstraktní Biofyzikálně podrobné multi-divizní modely jsou výkonnými nástroji pro zkoumání výpočetních principů mozku a slouží také jako teoretický rámec pro generování algoritmů pro systémy umělé inteligence (AI). Avšak nákladné výpočetní náklady vážně omezují aplikace v obou oblastech neurovědy a umělé inteligence. endokrinní Hierarchická Cheduling (DHS) metoda výrazně urychlit takový proces. My teoreticky prokázat, že implementace DHS je výpočetně optimální a přesné. Tato metoda založená na GPU provádí s 2-3 řádky velikosti vyšší rychlosti než u klasické sériové Hines metody v konvenční CPU platformě. Budujeme DeepDendrite rámec, který integruje DHS metodu a GPU výpočetní engine simulátoru NEURON a demonstruje aplikace DeepDendrite v neurovědních úkolů. Zkoumáme, jak prostorové vzory páteře vstupů ovlivňují neuronální vzrušení v podrobném modelu lidského pyramidového neuronu s 25,000 páteře. Dále poskytujeme krátkou diskusi o potenciálu DeepDendrite pro AI, konkrétně zdůrazň D H S Úvodní Rozluštění kódování a výpočetních principů neuronů je nezbytné pro neurovědu. Mozky savců se skládají z více než tisíců různých typů neuronů s jedinečnými morfologickými a biofyzikálními vlastnostmi. V posledních letech moderní umělá inteligence (AI) využila tohoto principu a vyvinula silné nástroje, jako jsou umělé neuronové sítě (ANN). Nicméně, kromě komplexních výpočtů na úrovni jednoho neuronu, subcelulární oddělení, jako jsou neuronální dendrity, mohou také provádět nelineární operace jako nezávislé výpočetní jednotky. , , , , Dendritické páteře, malé výhonky, které hustě pokrývají dendrity v páteřních neuronech, mohou oddělit synaptické signály, což jim umožňuje být odděleny od jejich rodičovských dendritů ex vivo a in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulace pomocí biologicky detailních neuronů poskytují teoretický rámec pro propojení biologických detailů s výpočetními principy. , Umožňuje nám modelovat neurony s realistickými dendritickými morfologiemi, vnitřní iontovou vodivostí a extrinsickými synaptickými vstupy. , který modeluje biofyzikální membránové vlastnosti dendritů jako pasivní kabely, poskytuje matematický popis toho, jak elektronické signály pronikají a šíří se v rámci složitých neuronálních procesů.Zahrnutím teorie kabelů s aktivními biofyzikálními mechanismy, jako jsou iontové kanály, excitační a inhibiční synaptické proudy atd., může detailní multi-divizní model dosáhnout buněčných a subcelulárních neuronálních výpočtů nad experimentální omezení , . 12 13 12 4 7 Kromě jeho hlubokého dopadu na neurovědu byly nedávno použity biologicky podrobné modely neuronů k překlenutí propastí mezi neuronálními strukturálními a biofyzikálními detaily a umělou inteligencí.Převládající technikou v moderní oblasti umělé inteligence jsou ANNs skládající se z bodových neuronů, analogové biologických neuronových sítí.Ačkoli ANNs s algoritmem „backpropagation-of-error“ (backprop) dosáhly pozoruhodného výkonu ve specializovaných aplikacích, dokonce porazily špičkové lidské profesionální hráče ve hrách Go a šachu. , Lidský mozek stále překonává ANN v oblastech, které zahrnují dynamické a hlučné prostředí. , Nedávné teoretické studie naznačují, že dendritická integrace je rozhodující při vytváření efektivních algoritmů učení, které potenciálně překračují backprop v paralelním zpracování informací. , , Kromě toho může jeden podrobný multi-divizní model naučit nelineární výpočty na úrovni sítě pro bodové neurony tím, že upraví pouze synaptickou sílu. , Proto je velmi důležité rozšiřovat paradigmata v oblasti inteligence podobné mozku od jednotlivých detailních modelů neuronů až po rozsáhlé biologicky detailní sítě. 14 15 16 17 18 19 20 21 22 Jednou z dlouhodobých výzev podrobného simulačního přístupu je jeho extrémně vysoké výpočetní náklady, které výrazně omezily jeho aplikaci na neurovědu a umělou inteligenci. , , Aby se zvýšila účinnost, klasická metoda Hines snižuje časovou složitost pro řešení rovnice z O(n3) na O(n), která byla široce aplikována jako základní algoritmus v populárních simulátorech, jako je NEURON. a Genesis Tato metoda však používá sériový přístup k postupnému zpracování každé komory.Když simulace zahrnuje více biofyzikálně detailních dendritů s dendritickými šrouby, lineární rovnicová matice („Hines Matrix“) odpovídajícím způsobem měří s rostoucím počtem dendritů nebo šroubů (obr. 1). Hinesova metoda již není praktická, protože představuje velmi těžkou zátěž na celou simulaci. 12 23 24 25 26 1e Rekonstruovaný model pyramidového neuronu vrstvy 5 a matematický vzorec použitý s podrobnými modely neuronů. Pracovní postup při numerické simulaci detailních modelů neuronů. Fáze řešení rovnice je lahvičkou v simulaci. Příklad lineárních rovnic v simulacích. Data závislost metody Hines při řešení lineárních rovnic v a . Velikost Hines matice měří s modelovou složitostí. Počet lineárních rovnic systému, který má být vyřešen, prochází významným nárůstem, když modely rostou podrobněji. Výpočetní náklady (kroky přijaté ve fázi řešení rovnice) sériové metody Hines na různých typech modelů neuronů. Různé části neuronu jsou přiřazeny několika procesním jednotkám v paralelních metodách (střed, vpravo), zobrazených v různých barvách. Výpočetní náklady tří metod při řešení rovnic pyramidového modelu se šrouby. Čas spuštění různých metod na řešení rovnice pro 500 pyramidových modelů se spiny. čas spuštění ukazuje časovou spotřebu simulace 1 s (řešení rovnice 40 000 krát s časovým krokem 0,025 ms). p-Hines paralelní metoda v CoreNEURON (na GPU), Branch-based odvětví-based paralelní metoda (na GPU), DHS Dendritic hierarchické plánování metody (na GPU). a b c d c e f g h g i Během posledních desetiletí byl dosažen obrovský pokrok při urychlování metody Hines pomocí paralelních metod na buněčné úrovni, což umožňuje paralelizaci výpočtu různých částí v každé buňce. , , , , , Současné paralelní metody na buněčné úrovni však často postrádají účinnou strategii paralelizace nebo postrádají dostatečnou numerickou přesnost ve srovnání s původní metodou Hines. 27 28 29 30 31 32 Zde vyvíjíme plně automatický, numericky přesný a optimalizovaný simulační nástroj, který může výrazně urychlit výpočetní účinnost a snížit výpočetní náklady. Navíc tento simulovací nástroj lze bezproblémově přijmout pro vytváření a testování neurálních sítí s biologickými detaily pro strojové učení a aplikace AI. Kriticky formulujeme paralelní výpočet metody Hines jako problém matematického plánování a vytváříme metodu Dendritic Hierarchical Scheduling (DHS) založenou na kombinatorické optimalizaci Paralelní počítačová teorie Dokazujeme, že náš algoritmus poskytuje optimální plánování bez ztráty přesnosti.Dále jsme optimalizovali DHS pro aktuálně nejpokročilejší GPU čip tím, že využíváme hierarchii paměti GPU a mechanismy přístupu k paměti. Ve srovnání s klasickým simulátorem Neuron při zachování stejné přesnosti. 33 34 1 25 Abychom umožnili podrobné dendritické simulace pro použití v AI, následně vytvoříme rámec DeepDendrite integrovaním DHS-embedded CoreNEURON (optimalizovaný výpočetní motor pro NEURON) platformy. jako simulační engine a dva pomocné moduly (I/O modul a učení modul) podporující dendritické učení algoritmy během simulací. DeepDendrite běží na hardwarové platformě GPU, podporující jak pravidelné simulace úkolů v neurovědě, tak učení úkolů v AI. 35 V neposlední řadě také prezentujeme několik aplikací využívajících DeepDendrite, které se zaměřují na několik kritických výzev v oblasti neurovědy a umělé inteligence: (1) demonstrujeme, jak prostorové vzory dendritických páteřních vstupů ovlivňují neuronální aktivity s neurony obsahujícími páteře v celém dendritickém stromu (modely plné páteře). DeepDendrite nám umožňuje prozkoumat neuronální výpočet v simulovaném modelu lidského pyramidového neuronu s ~25 000 dendritickými páteři. (2) V diskusi také zvažujeme potenciál DeepDendrite v kontextu umělé inteligence, konkrétně při vytváření ANN s morfologicky podrobnými lidskými pyramidovými neurony. Veškerý zdrojový kód pro DeepDendrite, full-spine modely a podrobný dendritický síťový model jsou veřejně dostupné online (viz Kódová dostupnost).Náš open-source vzdělávací rámec lze snadno integrovat s jinými dendritickými pravidly, jako jsou pravidla učení pro nelineární (full-active) dendrity Burst-dependentní synaptická plasticita , a učit se s předpovědí spike Celkově naše studie poskytuje kompletní sadu nástrojů, které mají potenciál změnit současný ekosystém komunity výpočetní neurovědy.Využíváním síly výpočetní techniky GPU předpokládáme, že tyto nástroje usnadní systémové zkoumání výpočetních principů jemných struktur mozku, stejně jako podpoří interakci mezi neurovědou a moderní AI. 21 20 36 Výsledky Dendritické hierarchické plánování (DHS) Výpočet iontových proudů a řešení lineárních rovnic jsou dvě kritické fáze při simulování biofyzikálně detailních neuronů, které jsou časově náročné a představují závažné výpočetní zátěž.Naštěstí výpočet iontových proudů každého prostoru je zcela nezávislý proces, takže může být přirozeně paralelizován na zařízeních s masivními paralelními výpočetními jednotkami, jako jsou GPU. V důsledku toho se řešení lineárních rovnic stává zbývající lahvičkou pro proces paralelizace (obr. ) se 37 1a - f Pro řešení této překážky byly vyvinuty paralelní metody na buněčné úrovni, které urychlují výpočet jedné buňky tím, že „rozdělí“ jednu buňku na několik oddělení, která mohou být vypočítána paralelně. , , Nicméně, takové metody se silně spoléhají na předchozí znalosti generovat praktické strategie o tom, jak rozdělit jeden neuron do oddílů (obr. • Doplňková tabulka. Proto se stává méně účinným pro neurony s asymetrickými morfologiemi, např. pyramidální neurony a Purkinje neurony. 27 28 38 1g I 1 Cílem je vyvinout efektivnější a přesnější paralelní metodu pro simulaci biologicky detailních neuronových sítí.Nejprve jsme stanovili kritéria pro přesnost paralelní metody na buněčné úrovni.Na základě teorií v paralelním výpočtu , navrhujeme tři podmínky, aby se zajistilo, že paralelní metoda poskytne totožná řešení jako sériová výpočetní metoda Hines podle závislosti dat v metodu Hines (viz Metody). pak teoreticky vyhodnotit běh času, tj. účinnost, sériových a paralelních výpočetních metod, zavádíme a formulujeme koncept výpočetních nákladů jako počet kroků, které metoda podnikne při řešení rovnice (viz Metody). 34 Na základě přesnosti simulace a výpočetních nákladů formulujeme problém paralelizace jako problém matematického plánování (viz Metody). paralelní prameny, můžeme počítat maximálně V každém kroku je nutné zajistit, aby jeden uzel byl vypočten pouze tehdy, pokud byly zpracovány všechny jeho dětské uzly; naším cílem je najít strategii s minimálním počtem kroků pro celý postup. k k Pro vytvoření optimálního rozdělení navrhujeme metodu nazvanou Dendritic Hierarchical Scheduling (DHS) (teoretický důkaz je prezentován v Metodách). Metoda DHS zahrnuje dva kroky: analýzu dendritické topologie a nalezení nejlepšího dělení: (1) Na základě podrobného modelu získáme nejprve odpovídající závislostní strom a vypočítáme hloubku každého uzlu (hloubka uzlu je počet jeho předků) na stromu (obr. 1). 2) Po topologické analýze vyhledáváme kandidáty a vybíráme nejvíce nejhlubší kandidátové uzly (uzel je kandidátem pouze tehdy, pokud byly zpracovány všechny jeho dětské uzly). ) se 2a 2b, C k 2D Pracovní postupy DHS - DHS Nejhlubší kandidátové uzliny každé iterace. Ilustrace výpočtu hloubky uzlu oddílového modelu. Model je nejprve převeden na stromovou strukturu, poté je vypočtena hloubka každého uzlu. Topologická analýza na různých modelech neuronů. Zde je zobrazeno šest neuronů s odlišnými morfologiemi. Pro každý model je soma vybrána jako kořen stromu, takže hloubka uzlu se zvyšuje od somy (0) k distálním dendritům. Ilustrace provádění DHS na modelu v kandidáti: uzly, které lze zpracovat. vybraní kandidáti: uzly, které jsou vybrány DHS, tj. Zpracované uzliny: uzliny, které byly předtím zpracovány. Strategie paralelizace získaná DHS po procesu v Každý uzel je přiřazen jednomu ze čtyř paralelních vláken. DHS snižuje kroky sériového zpracování uzelů z 14 na 5 rozdělením uzelů na více vláken. Relativní náklady, tj. poměr výpočetních nákladů DHS k metodě série Hines při aplikaci DHS s různým počtem vláken na různé typy modelů. a k b c d b k e d f Vezměte si zjednodušený model s 15 oddíly jako příklad, pomocí sériové výpočetní metody Hines, to trvá 14 kroků zpracovat všechny uzliny, zatímco pomocí DHS se čtyřmi paralelními jednotkami může oddělit své uzliny do pěti podsouborů (obr. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Vzhledem k tomu, že uzly ve stejné podsouboru mohou být zpracovávány paralelně, trvá pouze pět kroků k zpracování všech uzlin pomocí DHS (obr. ) se 2D 2e Dále aplikujeme metodu DHS na šest reprezentativních detailních modelů neuronů (vybraných z ModelDB). ) s různým počtem vláken (Fig. - včetně kortikálních a hipokampálních pyramidálních neuronů , , Cerebellární Purkinje neurony Striační projekční neurony (SPN) ), a olfactory žárovky mitrální buňky , pokrývající hlavní hlavní neurony ve smyslových, kortikálních a subkortikálních oblastech. Poté jsme měřili výpočetní náklady. Relativní výpočetní náklady zde jsou definovány poměrem výpočetních nákladů DHS k poměru sériové metody Hines. Výpočetní náklady, tj. Počet kroků přijatých při řešení rovnice, dramaticky klesá s rostoucím počtem vláken. Například s 16 vlákny je výpočetní náklady DHS 7%-10% ve srovnání s sériovou metodou Hines. Zajímavé je, že metoda DHS dosahuje nižších hranic jejich výpočetních nákladů na prezentované neurony, když je dáno 16 nebo dokonce 8 paralelních vláken (obr. ), což naznačuje, že přidání více vláken dále nezlepšuje výkon kvůli závislostem mezi oddíly. 39 2f 40 41 42 43 44 45 2f Společně vytváříme metodu DHS, která umožňuje automatizovanou analýzu dendritické topologie a optimální oddělení pro paralelní výpočet.Je třeba poznamenat, že DHS najde optimální oddělení před zahájením simulace a není zapotřebí žádného dalšího výpočtu k řešení rovnic. Zrychlení DHS pomocí posílení paměti GPU DHS vypočítává každý neuron s více vlákny, které spotřebovávají obrovské množství vláken při spuštění simulací neurálních sítí. Grafické zpracovatelské jednotky (GPU) se skládají z masivních zpracovatelských jednotek (tj. streamovacích procesorů, SPs, Obr. pro paralelní výpočet Teoreticky by mnoho SP na GPU mělo podporovat efektivní simulaci pro rozsáhlé neurální sítě (obr. 1). Nicméně jsme důsledně pozorovali, že účinnost DHS výrazně klesala, když síťová velikost rostla, což by mohlo být důsledkem rozptýleného ukládání dat nebo přístupu k extra paměti způsobeného načítáním a psaním průběžných výsledků (obr. 1). na levé straně). 3a a b 46 3c 3D GPU architektura a její paměťová hierarchie. Každá GPU obsahuje masivní procesní jednotky (procesory proudu). Různé typy paměti mají jiný průtok. Architektura streamovaných multiprocesorů (SM) Každá SM obsahuje více streamovaných procesorů, registrů a vyrovnávací paměti L1. Aplikace DHS na dva neurony, každý se čtyřmi prameny. Strategie optimalizace paměti na GPU. horní panel, přiřazení vláken a ukládání dat DHS, před (vlevo) a po (vpravo) zvýšení paměti. Bez zvýšení paměti (vlevo), trvá sedm transakcí na načtení všech požadovaných dat a některé další transakce pro průběžné výsledky.S zvýšením paměti (vpravo), trvá pouze dvě transakce na načtení všech požadovaných dat, registry se používají pro průběžné výsledky, které dále zlepšují průtok paměti. Doba spuštění DHS (32 vláken v každé buňce) s a bez zvýšení paměti na více vrstvách 5 pyramidových modelů se spiny. Zrychlení paměti posílení na více vrstvách 5 pyramidových modelů se spiny. paměť posílení přináší 1,6-2 krát posílení. a b c d d e f Tento problém řešíme zvýšením paměti GPU, což je způsob, jak zvýšit průtok paměti využitím hierarchie paměti a přístupového mechanismu GPU.Na základě mechanismu načítání paměti GPU vedou následné vlákna načítání zarovnaných a následně uložených dat k vysokému průtoku paměti ve srovnání s přístupem k datům uloženým v rozptýlení, což snižuje průtok paměti. , Abychom dosáhli vysokého průtoku, nejprve vyrovnáváme výpočetní příkazy uzlin a přerozdělujeme prameny podle počtu uzlin na nich. Poté permutujeme ukládání dat v globální paměti, v souladu s výpočetními příkazy, tj. uzly, které jsou zpracovávány ve stejném kroku, jsou ukládány postupně v globální paměti. Navíc používáme GPU registry k ukládání průběžných výsledků, což dále posiluje průtok paměti. Kromě toho experimenty na více číslech pyramidových neuronů s páteřími a typickými modely neuronů (obr. • Doplňková tabulka. Ukazuje se, že zvýšení paměti dosahuje 1,2-3,8-násobného zrychlení ve srovnání s naivním DHS. 46 47 3D Třetí, F 2 Chceme-li komplexně otestovat výkon DHS s GPU paměti boost, vybereme šest typických modelů neuronů a vyhodnotit běh času řešení kabelových rovnic na masivních číslech každého modelu (obr. 4). Ve srovnání s metodou GPU v CoreNEURONu mohou DHS-4 a DHS-16 urychlit přibližně 5 a 15krát (obr. 1). Navíc ve srovnání s konvenční sériovou metodou Hines v NEURONu běžící s jediným drátem procesoru, DHS urychluje simulaci o 2-3 řádky velikosti (Doplňkové Obr. ), při zachování stejné číselné přesnosti v přítomnosti hustých spinů (Doplňkové figurky. a ), aktivní dendrity (Doplňkové obrázky. ) a různé strategie segmentace (Doplňkové obrázky. ) se 4 4a 3 4 8 7 7 Runtime řešení rovnice pro 1 s simulace na GPU (dt = 0,025 ms, 40 000 iterací celkem). CoreNEURON: paralelní metoda používaná v CoreNEURON; DHS-4: DHS se čtyřmi prameny pro každý neuron; DHS-16: DHS se 16 prameny pro každý neuron. , , Vizualizace dělení pomocí DHS-4 a DHS-16, každá barva označuje jeden vlákno. a b c DHS vytváří optimální rozdělení specifické pro typ buňky Abychom získali vhled do pracovního mechanismu metody DHS, vizualizovali jsme proces dělení mapováním oddílů na každý vlákno (každá barva představuje jediný vlákno na obrázku. Vizualizace ukazuje, že jeden vlákno často přepíná mezi různými větvemi (obr. Zajímavé je, že DHS vytváří vyrovnané dělení v morfologicky symetrických neuronech, jako je striatální projekční neuron (SPN) a mitrální buňka (obr. Na rozdíl od toho vytváří fragmentované dělení morfologicky asymetrických neuronů, jako jsou pyramidální neurony a buňky Purkinje (obr. ), což naznačuje, že DHS rozděluje nervový strom na individuální stupnici oddílu (tj. stromový uzel) spíše než na stupnici odvětví. 4b, C 4b, C 4b, C 4b, C Stručně řečeno, DHS a posilování paměti vytvářejí teoreticky prokázané optimální řešení pro řešení lineárních rovnic paralelně s bezprecedentní účinností. Pomocí tohoto principu jsme vybudovali platformu s otevřeným přístupem DeepDendrite, kterou mohou neurovědci využít k implementaci modelů bez jakéhokoli specifického znalosti programování GPU. DHS umožňuje modelování na úrovni páteře Vzhledem k tomu, že dendritické páteře dostávají většinu excitačního vstupu do kortikálních a hipokampálních pyramidálních neuronů, striatálních projekčních neuronů atd., jejich morfologie a plasticita jsou rozhodující pro regulaci neuronální excitability. , , , , Spiny jsou však příliš malé (~ 1 μm dlouhé), aby mohly být přímo měřeny experimentálně ve vztahu k procesům závislým na napětí. 10 48 49 50 51 Můžeme modelovat jedinou páteř se dvěma oddíly: páteřní hlava, kde se nacházejí synapsy a páteřní krk, který spojuje páteřní hlavu s dendrity Teorie předpovídá, že velmi tenký páteřní krk (0,1-0,5 um v průměru) elektronicky izoluje páteřní hlavu od jejího rodiče dendritu, čímž odděluje signály generované na páteřní hlavě. Nicméně, podrobný model s plně rozloženými šrouby na dendrity („plný model páteře“) je výpočetně velmi drahé. Spinový faktor Místo toho, abychom se podívali na všechny výrazy, zde spinální faktor je zaměřen na přibližný účinek páteře na biofyzikální vlastnosti buněčné membrány . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. Zkoumali jsme, jak různé prostorové vzory excitačních vstupů vytvořených na dendritických páteřích utvářejí neuronální aktivity v modelu lidských pyramidových neuronů s explicitně modelovanými páteři (obr. Zajímavé je, že Eyal et al. používali spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, C 5d 5d 5d Experimentální nastavení. Zkoumáme dva hlavní typy modelů: modely s málo páteří a modely s plnou páteří. Modely s málo páteří (dva vlevo) jsou modely, které globálně začlenily oblast páteře do dendritů a pouze připevňují jednotlivé páteře spolu s aktivovanými synapsemi. V modelech s plnou páteří (dva vpravo) jsou všechny páteře explicitně připevněny přes celé dendrity. Zkoumáme účinky seskupených a náhodně distribuovaných synaptických vstupů na modely s málo páteří a modely s plnou páteří. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to Skálový bar: 20 ms, 20 mV Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. Doplňkový stůl při zachování stejných výsledků simulace (Doplňkové obrázky. a ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method a matematicky demonstrujeme, že DHS poskytuje optimální řešení bez ztráty přesnosti.Dále implementujeme DHS na hardwarové platformě GPU a používáme techniky posílení paměti GPU k vylepšení DHS (obr. Při simulaci velkého počtu neuronů se složitými morfologiemi dosahuje DHS s podporou paměti 15-násobného zrychlení (doplňková tabulka). ) ve srovnání s metodou GPU používanou v CoreNEURONu a až 1500násobným zrychlením ve srovnání s sériovou metodou Hines v platformě CPU (Obr. ; Supplementary Fig. Doplňkový stůl Navíc vyvíjíme rámec DeepDendrite založený na GPU tím, že integrujeme DHS do CoreNEURONu. Konečně, jako demonstraci schopnosti DeepDendrite, prezentujeme reprezentativní aplikaci: zkoumáme výpočty páteře v podrobném modelu pyramidového neuronu s 25 000 spiny. Dále v této sekci podrobněji popisujeme, jak jsme rozšířili rámec DeepDendrite, abychom umožnili efektivní výcvik biofyzikálně detailních neuronových sítí. , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Paralelní metody na buněčné úrovni dále paralelizují výpočet uvnitř každé buňky.Hlavní myšlenkou paralelních metod na buněčné úrovni je rozdělit každou buňku na několik podbloků a paralelizovat výpočet těchto podbloků , Nicméně, typické metody na buněčné úrovni (např. metoda „multi-split“ ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritické páteře jsou nejbohatšími mikrostrukturami v mozku pro projekční neurony v kůře, hipokampu, mozku a bazálních gangliích. Jelikož páteře přijímají většinu excitačních vstupů v centrálním nervovém systému, elektrické signály generované páteři jsou hlavní hnací silou pro rozsáhlé neuronální aktivity v předmořské a mozkové oblasti. , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine Nicméně, v klasických jednotlivých detailních modelů oddělení, všechny spiny jsou nahrazeny coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Somatosenzorická kůra , Motorový kortex , hippocampus a bazální ganglií in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. Proto nám umožňuje prozkoumat strukturální plasticitu ve velkých obvodových modelech v různých oblastech mozku. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite Navíc distální dendrity mohou produkovat regenerační události, jako jsou dendritické špičky sodíku, špičky vápníku a špičky NMDA/plateau potenciály. , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , Nedávné nahrávky in vivo u vzhůru nebo chování myší poskytují silný důkaz, že dendritické špičky/plateau potenciály jsou klíčové pro orientační selektivitu ve zrakové kůře. , senzoricko-motorická integrace do systému whisker , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording Použil binární strom k přibližnému rozvětvení dendritu a poskytl cenné poznatky o vlivu struktury stromu na výpočetní kapacitu jednotlivých neuronů. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ) se 6a a b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Pracovní postup experimentu přenosu protiútoku.Nejprve vytváříme protiútokové vzorky z testu nastavené na 20vrstvém ResNet.Pak použijte tyto protiútokové vzorky (hlučné obrázky) k testování přesnosti klasifikace modelů vyškolených s čistými obrázky. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. Tento důkaz naznačuje, že inherentní biofyzikální vlastnosti dendritů by mohly být klíčové pro zvýšení robustnosti ANN proti adversariálnímu rušení. nicméně, je nezbytné provádět další studie k validaci těchto zjištění pomocí náročnějších datových souborů, jako je ImageNet . 93 56 94 95 96 6D a E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulace s DHS CoreNEURON simulator ( Používá se neuron architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e čas --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. Můžeme tedy vypočítat uzly na různých větvích paralelně, protože jejich hodnoty nejsou závislé. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Výpočetní náklady metody paralelního výpočtu na buněčné úrovni To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree a threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into podzemní, tj. = { , , … } where the size of each subset | | ≤ Tzn. že nejvíce Každý krok je možné zpracovat, protože existují pouze Proces fáze triangularizace následuje v pořadí: → → → ... → , a uzlů ve stejném podsouboru can be processed in parallel. So, we define | - velikost setu (velikost setu , i.e., zde) jako výpočetní náklady paralelní výpočetní metody. Stručně řečeno, definujeme výpočetní náklady paralelní metody jako počet kroků, které trvá ve fázi triangularizace. Vzhledem k tomu, že zpětná náhrada je symetrická s triangularizací, celkové náklady celé fáze řešení rovnice jsou dvakrát vyšší než u fáze triangularizace. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , , Pozitivní integer , where Je to node-set a je edge set. Definovat rozdělení ( a) = { , , … Třeba na Šumava ≤ , 1 ≤ ≤ n, kde | indicates the cardinal number of subset , tj. počet uzlin v , and for each node ∈ Všechna její děti číhají Štěpán Pro děti ( )} must in a previous subset , where 1 ≤ < Naším cílem je najít optimální rozdělení ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi VI VI v VI c c v VJ j i P* V P* V Tady je subset consists of all nodes that will be computed at -th step (Fig. ), so | Šumava ≤ indicates that we can compute nodes each step at most because the number of available threads is Omezení „pro každý uzel“ ∈ , all its children nodes { Štěpán ∈children( )} must in a previous subset , where 1 ≤ < Znamená to, že node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v VI c c v VJ j i v DHS implementation Cílem je najít optimální způsob, jak paralelizovat výpočet řešení lineárních rovnic pro každý model neuronu řešením výše uvedeného problému matematického plánování. ( pro všechny nody ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove Nejhlubší uzly od and add them to subset . Label these nodes as processed nodes (Fig. Po vyplnění v podčásti , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2D Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = , }, we get a partition ( ) = { , , … Třeba na | ≤ , 1 ≤ ≤ Nody ve stejné podskupině bude vypočítán souběžně, přičemž steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn VI k i n VI n Rozdělení ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( a) splňuje podmínky správnosti. ( ) je získán z daného neurálního stromu . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset Dvě . As shown in the implementation of DHS, all nodes in subset jsou vybrány z kandidátského souboru , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in Jsou v , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in Jsou v , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn VI Q Q VI V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vy + 1 Vi+2 Vn Důkaz optimalizace pro DHS Myšlenkou důkazu je, že pokud existuje jiné optimální řešení, může být přeměněno na naše řešení DHS bez zvýšení počtu kroků požadovaných algoritmem, což naznačuje, že řešení DHS je optimální. Pro každou podskupinu v ( DHS se pohybuje (číslo vlákna) nejhlubší uzly z odpovídající kandidátní sady Dvě Pokud je počet uzlin v Je menší než přesunout všechny uzly od Dvě Abychom to zjednodušili, uvádíme Ukazuje hloubku součtu Nejhlubší uzly v Všechny podskupiny v ( a) splňují kritéria maximální hloubky (Doplňková tabulka. Poté dokážeme, že výběr nejhlubších uzlů v každé iteraci optimálním rozdělením. pokud existuje optimální rozdělení = , , , ... } obsahující podskupiny, které nesplňují kritéria maximální hloubky, můžeme modifikovat podskupiny ( Všechny podskupiny se skládají z nejhlubších uzlů. a počtu podskupin (zhruba ( a) zůstanou po změně stejné. VI P V k Či VI Či k Či VI Na k Či P V 6a P (v) P * (V) V * 1 V * 2 V * s P * V Q P * V Bez ztráty všeobecnosti začneme od první podskupiny not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | Štěpán = but nodes in are not the Nejhlubší uzly v . V * I V*i V*i k Qi V*i V*i k V*i k Qi Pro případ (1), protože některé kandidátní uzliny nejsou umístěny na , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into musí být přidány do následujících dílčích souborů (Doplňkové obrázky. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , , is picked and one of the -th deepest nodes is still in Tak tedy will be put into a subsequent subset (Některé > ). We first move od to + více , then modify subset + Následující Následující příspěvek: Pokud + Šumava ≤ and none of the nodes in + více Je rodičem Node , stop modifying the latter subsets. Otherwise, modify + více Následuje následující (Doplňující obrázek) ): if the parent node of Je v + Přesuňte tento rodičovský uzel na + jinak přesunout uzel s minimální hloubkou od + to + Po úpravě , modify subsequent subsets + více , , + více , … with the same strategy. Finally, move od to . V*i V * I < k V*i V*i 6b V*i k Qi V*i 6b V * I V*i v k V“ Či V“ V*j j i v V * I V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V * I 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V * J V * I S modifikační strategií popsanou výše, můžeme nahradit všechny ploché uzliny v S tímto Nejhlubší uzel v a uchovávejte počet podsouborů, tj. ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( a) neobsahují nejhlubší uzly. konečně všechny podsoubory ∈ ( ) může splňovat kritéria maximální hloubky a ( )| does not change after modifying. V * I k Či P* V P* V V*i P* V P * V Na závěr DHS generuje oddíl ( a veškeré subsystémy ∈ ( maximální hloubka: pro jakýkoliv jiný optimální oddíl ( ) můžeme změnit jeho podsoubory tak, aby jeho struktura byla stejná jako ( ), tj. každá podskupina se skládá z nejhlubších uzlů v kandidátní sadě a udržuje ( ) To samé se děje i po úpravě, tedy po úpravě ( ) získané z DHS je jedním z optimálních oddílů. P V VI P V P * V P V P * V | P V Implementace GPU a posílení paměti Pro dosažení vysokého průtoku paměti GPU využívá paměťovou hierarchii (1) globální paměti, (2) cache, (3) registru, kde globální paměť má velkou kapacitu, ale nízký průtok, zatímco registry mají nízkou kapacitu, ale vysoký průtok. GPU používá architekturu SIMT (Single-Instruction, Multiple-Thread). Warps jsou základní plánovací jednotky na GPU (warp je skupina 32 paralelních vláken). Správné uspořádání uzlin je nezbytné pro tuto baterii výpočtů ve varpách, abychom se ujistili, že DHS získává stejné výsledky jako sériová metoda Hines. Při implementaci DHS na GPU nejprve seskupujeme všechny buňky do více warpů na základě jejich morfologií. Buňky s podobnými morfologiemi jsou seskupeny do stejné warp. Dále aplikujeme DHS na všechny neurony, přiřazujeme oddíly každého neuronu do více vláken. Protože jsou neurony seskupeny do warpů, prameny pro stejný neuron jsou ve stejné warp. Proto vnitřní synchronizace ve warpách udržuje výpočetní pořadí v souladu s datovou závislostí sériové metody Hines 46 Když varp načte předřazené a následně uložené údaje z globální paměti, může plně využít vyrovnávací paměť, což vede k vysokému průtoku paměti, zatímco přístup k datům uloženým ve scatteru by snížil průtok paměti. Po přiřazení oddílů a přerozdělení vláken přeměníme data do globální paměti, aby byla konzistentní s výpočetními příkazy, takže varps mohou při spuštění programu načítat následně uložené údaje. Biofyzikální modely plné a málo páteře We used the published human pyramidal neuron . The membrane capacitance m = 0,44 μF cm-2, odolnost membrány m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83,1 mV. Iontové kanály jako Na+ a K+ byly vloženy na soma a počáteční axon a jejich reverzní potenciály byly Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. Podrobnější informace naleznete v publikovaném modelu (ModelDB, přístup č. 238347). 51 c r r E E E 51 V modelu s několika páteři byla membránová kapacita a maximální vodivost úniku dendritických kabelů vzdálených 60 μm od somy vynásobena spine factor to approximate dendritic spines. In this model, Na dendrity byly výslovně připojeny pouze ty páteře, které přijímají synaptické vstupy. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Hustota páteře byla nastavena na 1,3 μm-1, a každá buňka obsahovala 24994 spinů na dendrity 60 μm od somy. 51 Morfologie a biofyzikální mechanismy páteře byly stejné u modelů s několika páteři a modelů s plnou páteří. neck = 1.35 μm and the diameter krk = 0,25 μm, zatímco délka a průměr páteřní hlavy byly 0,944 μm, tj. oblast páteřní hlavy byla nastavena na 2,8 μm2. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs Zkoumali jsme neuronální excitabilitu pro distribuované i klastrované synaptické vstupy. Všechny aktivované synapsy byly připojeny k terminálu páteřní hlavy. U distribuovaných vstupů byly všechny aktivované synapsy náhodně rozděleny na všechny dendrity. U klastrovaných vstupů se každý klastr skládal z 20 aktivovaných synapsií, které byly rovnoměrně rozděleny na jediný náhodně vybraný oddíl. Synaptické proudy založené na AMPA a NMDA byly simulovány jako v práci společnosti Eyal et al. AMPA vodivost byla modelována jako dvojitá exponenciální funkce a NMDA vodivost jako dvojitá exponenciální funkce závislá na napětí. Vzestup a rozklad byl nastaven na 0,3 a 1,8 ms. Pro model NMDA, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Pozadí hluku Na každou buňku jsme připojili hluk z pozadí, abychom simulovali realističtější prostředí.Zvukové vzory byly implementovány jako Poissonovy špičkové vlaky s konstantní rychlostí 1,0 Hz.Každý vzor začal na start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , s výjimkou toho, že maximální vodivost NMDA byla rovnoměrně rozložena z 1,57 na 3,275, což vedlo k vyššímu poměru AMPA k NMDA. t Synaptic Inputs Zkoumání neuronální excitability Pro distribuované vstupy jsme testovali 14 případů, od 0 do 240 aktivovaných synapsií. Pro klastrované vstupy jsme testovali celkem 9 případů, aktivování od 0 do 12 klastrů. Každý klastr se skládal z 20 synapsií. Pro každý případ v distribuovaných i klastrovaných vstupech jsme vypočítali špičkovou pravděpodobnost s 50 náhodnými vzorky. Pravděpodobnost špičky byla definována jako poměr počtu vypuštěných neuronů k celkovému počtu vzorků. Všechny 1150 vzorků bylo simulováno současně na naší platformě DeepDendrite, což snižuje čas simulace z dnů na minuty. Provádění úkolů AI s platformou DeepDendrite Konvenční detailní neuronové simulátory postrádají dvě funkce důležité pro moderní AI úkoly: (1) střídavě provádět simulace a aktualizace hmotnosti bez těžké reinicializace a (2) současně zpracovávat více vzorků podnětů sériově. DeepDendrite se skládá ze tří modulů (Doplňkový obrázek. ): (1) modul I/O; (2) modul simulace založený na DHS; (3) modul učení. Při výcviku biofyzikálně podrobného modelu k provádění vzdělávacích úkolů uživatelé nejprve definují pravidlo učení, poté podávají všechny vzorky výcviku do podrobného modelu pro učení. V každém kroku během výcviku modul I/O vybírá specifický stimul a jeho odpovídající učitelský signál (pokud je to nutné) ze všech vzorků výcviku a připojuje stimul k síťovému modelu. Poté modul simulace založený na DHS iniciuje model a zahajuje simulaci. Po simulaci modul učení aktualizuje všechny synaptické váhy podle rozdílu mezi reakcemi modelu a učitelskými signály. Po výcviku může učený 5 Systém HPC-Net Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net má tři vrstvy, tj. vstupní vrstvu, skrytou vrstvu a výstupní vrstvu. Neurony v vstupní vrstvě přijímají špičkové vlaky převedené z obrázků jako jejich vstup. Skryté vrstvové neurony přijímají výstup vstupních vrstvových neuronů a dodávají odpovědi na neurony ve výstupní vrstvě. Odpovědi výstupních vrstvových neuronů jsou brány jako konečný výstup HPC-Net. Neurony mezi přilehlými vrstvami jsou plně propojeny. Pro každý obrazový stimul nejprve převedeme každý normalizovaný pixel na homogenní špičkový vlak. ) na obrázku má odpovídající spike vlak konstantní interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) jak je uvedeno v Eq. ( ) se x, a τ x, a p x, a 1 V našem experimentu trvala simulace pro každý stimul 50 ms. Všechny špičkové vlaky začaly na 9 + ISI ms a trval až do konce simulace. Pak jsme připojili všechny špičkové vlaky k vstupní vrstvě neuronů jedním způsobem. je poskytována τ T0 kde is the post-synaptic voltage, the reversal potential syn = 1 mV, maximální synaptická vodivost max = 0,05 μS a časová konstanta • 0,5 ms v E g τ Neurony v vstupní vrstvě byly modelovány pomocí pasivního modelu s jedním oddělením. m = 1,0 μF cm-2, odolnost membrány m = 104 Ω cm2, axiální odpor a = 100 Ω cm, reverzní potenciál pasivního prostoru L = 0 mV c r r E Skrytá vrstva obsahuje skupinu modelů lidských pyramidových neuronů, které přijímají somatické napětí vstupních vrstev neuronů. , a všechny neurony byly modelovány s pasivními kabely. m = 1,5 μF cm-2, odolnost membrány m = 48 300 Ω cm2, axiální rezistivita a = 261,97 Ω cm a reverzní potenciál všech pasivních kabelů l = 0 mV. vstupní neurony mohou vytvářet více spojení na náhodně vybraná místa na dendrity skrytých neuronů. Synapse z tohoto - vstupní neuron na neuron „dendrit je definován jako v Eq. ( ), kde je synaptické vedení, je synaptická hmotnost, je funkce somatické aktivace podobná funkci ReLU a je somatické napětí -th input neuron at time . 51 c r r E k i j 4 Gijón čtvrť i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Klasifikace snímků pomocí HPC-Net Pro každý vstupní obrazový stimul jsme nejprve normalizovali všechny hodnoty pixelů na 0,0-1.0. Poté jsme normalizované pixely převedli na špičkové vlaky a připojili je k vstupním neuronům.Somatické napětí výstupních neuronů se používá k výpočtu předpokládané pravděpodobnosti každé třídy, jak je uvedeno v rovnice , where Je pravděpodobnost, že -th třída předpověděná HPC-Net, je průměrné somatické napětí od 20 ms do 50 ms -th output neuron, and Třída s nejvyšší předpovězenou pravděpodobností je konečným výsledkem klasifikace.V tomto článku jsme vybudovali HPC-Net s 784 vstupními neurony, 64 skrytými neurony a 10 výstupními neurony. 6 Pi i i C Pravidla synaptické plasticity pro HPC-Net Inspirace z předchozích prací , používáme pravidlo učení založené na gradientu pro výcvik naší HPC-Net k provedení úkolu klasifikace obrazu. ), kde předpokládaná pravděpodobnost pro třídu , , ukazuje skutečnou třídu, ke které stimulační obraz patří, = 1 pokud vstupní obrázek patří do třídy , a 0 pokud ne. 36 7 Pi i yi Jiří i Jiří Při výcviku HPC-Net vypočítáme aktualizaci na váhu (Synaptická váha tohoto -th synapse connecting neuron Tři neurony a) v každém okamžiku, po simulaci každého obrazového podnětu, je aktualizována tak, jak je znázorněno v Eq. ( ) na : čtvrť k i j čtvrť 8 Here is the learning rate, is the update value at time , , , , Somatické napětí neuronů a V souladu s tím, Je to synaptický proud aktivovaný neuronem Je to neuron , , jeho synaptické vedení, Je to přenosový odpor mezi - propojený oddíl neuronu Je to neuron Dendritujte na neuron „Já jsem soma, s = 30 ms e = 50 ms jsou čas zahájení a čas ukončení učení, resp. U výstupních neuronů lze termín chyby vypočítat tak, jak je uvedeno v Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ) se t VJ VI i j IJK k i j Gijón Království k i j j t t 10 11 Vzhledem k tomu, že všechny výstupní neurony jsou jednokomorové, rovnající se vstupnímu odporu odpovídající komory, přenosové a vstupní odpory jsou vypočítávány NEURONem. Mini-batch školení je typickou metodou v hlubokém učení pro dosažení vyšší předpovědní přesnosti a urychlení konvergence. DeepDendrite také podporuje mini-batch školení. Batch, děláme bateriové kopie HPC-Net. Během tréninku je každá kopie krmena jiným tréninkovým vzorkem ze šarže. DeepDendrite nejprve vypočítá aktualizaci hmotnosti pro každou kopii zvlášť. Po provedení všech kopií v aktuální tréninkové šarži se vypočítá průměrná aktualizace hmotnosti a váhy ve všech kopiích jsou aktualizovány stejným množstvím. N N Robustnost proti protiútoku s HPC-Net Abychom prokázali robustnost HPC-Net, otestovali jsme její předpovědní přesnost na vzorech adversariátů a porovnali jsme ji s analogovým ANN (jeden se stejnou strukturou 784-64-10 a aktivací ReLU, pro spravedlivé srovnání v naší HPC-Net každý vstupní neuron vytvořil pouze jedno synaptické spojení s každým skrytým neuronem). Nejprve jsme trénovali HPC-Net a ANN s původní tréninkovou sadou (původní čisté obrázky). , vytváření protichůdného hluku pomocí metody FGSM ANN byl trénován s PyTorchem , a HPC-Net byl trénován s naším DeepDendrite. Pro spravedlnost jsme generovali nepřátelský hluk na výrazně odlišném síťovém modelu, 20-vrstvém ResNet Úroveň hluku se pohybovala od 0,02 do 0,2. Experimentovali jsme se dvěma typickými datovými soubory, MNIST. a módy-MNIST Výsledky ukazují, že předpovědní přesnost HPC-Net je 19% a 16,72% vyšší než u analogového ANN. 98 99 93 100 101 95 96 Shrnutí zprávy Další informace o výzkumu jsou k dispozici na linked to this article. Nature Portfolio Reporting Summary Dostupnost dat Údaje, které podporují zjištění této studie jsou k dispozici v papíře, doplňkové informace a zdrojové datové soubory poskytnuté s tímto papírem. zdrojový kód a údaje, které byly použity k reprodukci výsledků v obrázcích. – jsou k dispozici na Datový soubor MNIST je veřejně dostupný na Datový soubor Fashion-MNIST je veřejně dostupný na a . jsou poskytovány s tímto dokumentem. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Kódová dostupnost Zdrojový kód DeepDendrite, stejně jako modely a kód používaný k reprodukci Figs. – Tato studie je k dispozici na . 3 6 https://github.com/pkuzyc/DeepDendrite Reference McCulloch, W. S. & Pitts, W. Logický výpočet myšlenek immanentních v nervové činnosti. LeCun, Y., Bengio, Y. & Hinton, G. Hluboké učení. Příroda 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Aritmetika synaptického součtu podprůměru v pyramidální buňce modelu CA1. Londýn, M. & Häusser, M. Dendritický výpočet. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Jediná dendritická větev jako základní funkční jednotka v nervovém systému. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritická integrace: 60 let pokroku. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. a Papoutsi, A. Osvětlení dendritické funkce pomocí výpočetních modelů. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Dendritické páteře jako základní funkční jednotky neuronální integrace. Engert, F. & Bonhoeffer, T. Dendritické změny páteře spojené s hipokampální dlouhodobou synaptickou plasticitou. Yuste, R. Dendritické páteře a distribuované obvody. Neuron 71, 772–781 (2011). Yuste, R. Elektrická compartmentalizace v dendritických páteřích. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching dendritických stromů a motoneuronové membrány rezistivity. exp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Počítačová studie vzrušující dendritické páteře. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Ovládání hry jít s hlubokými neurálními sítěmi a hledáním stromů. Nature 529, 484–489 (2016). Silver, D. et al. Obecný algoritmus učení o posílení, který zvládá šachy, shogi a prochází self-play. Science 362, 1140–1144 (2018). McCloskey, M. & Cohen, N.J. Katastrofální zasahování do konjunktivistických sítí: problém sekvenčního učení. Francouzský, R.M. Katastrofální zapomínání v konektivistických sítích.Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse výbuchy optimalizují přenos informací v multiplexovaném nervovém kódu. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritické kortikální mikrocirkulace přibližují algoritmus zpětné propagace. v Pokroky v systémech zpracování neurálních informací 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-závislá synaptická plasticita může koordinovat učení v hierarchických obvodech. Bicknell, B. A. & Häusser, M. Synaptické učení pravidlo pro využití nelineárního dendritického výpočtu. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradientní clusteron: modelový neuron, který se učí řešit klasifikační úkoly prostřednictvím dendritických nelinearit, strukturální plasticity a gradientního sestupu. Hodgkin, A.L. a Huxley, A.F. Kvantitativní popis membránového proudu a jeho aplikace na vedení a vzrušení v nervu. Rall, W. Teorie fyziologických vlastností dendritů. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J.M. & Beeman, D. v knize Genesis: Zkoumání realistických neurálních modelů s generálním systémem neurální simulace (eds Bower, J.M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Rozdělení neuronů v počítačově vázaných paralelních síťových simulacích umožňuje škálování běhu s dvojnásobným počtem procesorů. Hines, M. L., Markram, H. & Schürmann, F. Plně implicitní paralelní simulace jednotlivých neuronů. Ben-Shalom, R., Liberman, G. & Korngreen, A. Zrychlení oddílového modelování na grafické zpracovatelské jednotce. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Efektivní numerická simulace modelů neuronů s prostorovou strukturou na grafických zpracovatelských jednotkách. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D.T., Kothapalli, K. & Bhalla, USA Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24. mezinárodní konference o vysoce výkonném výpočetní technice (HiPC) 388–397 (IEEE, 2017). Huber, F. Efektivní řešitel stromů pro hinové matrice na GPU. Preprint na https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teorie kombinované optimalizace a algoritmy 6 edn (Springer, 2018). Gebali, F. Algoritmy a paralelní výpočetní techniky (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Optimalizovaný výpočetní motor pro simulátor NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Učení dendritickou předpovědí somatického spikingu. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimalizace modelů iontových kanálů pomocí paralelního genetického algoritmu na grafických procesorech. Mascagni, M. Paralelizační algoritmus pro výpočetní řešení k libovolně rozvětveným modelům kabelových neuronů. McDougal, R. A. et al. Dvacet let modelováníDB a dále: budování základních modelovacích nástrojů pro budoucnost neurovědy. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektivně blokuje časový součet nesynchronizovaných distálních vstupů v pyramidálních neuronech CA1. Hemond, P. et al. Různé třídy pyramidových buněk vykazují vzájemně se vylučující vzorce střelby v hippocampální oblasti CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modely neokortikální vrstvy 5b pyramidálních buněk zachycující širokou škálu dendritických a perisomatických aktivních vlastností. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Potenciální zpracování akcí v podrobném purkinje buněčném modelu odhaluje kritickou roli pro axonální oddělení. Lindroos, R. et al. Neuromodulace bazálních ganglií na více časových a strukturálních stupnicích – simulace přímých MSN vyšetřují rychlý nástup dopaminergních účinků a předpovídají roli Kv4.2. Migliore, M. et al. Synaptické klastry fungují jako operátory zápachu v čichové žárovce. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Průvodce programováním. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Nejlepší postupy Průvodce. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptické zesílení dendritickými obratly zvyšuje vstupní kooperativitu. Příroda 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Plastičnost krku páteře reguluje compartmentalizaci synaps. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Lidské kortikální pyramidální neurony: od obratlů až po špičky prostřednictvím modelů. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Funkce dendritických šroubů: zařízení podřizující biochemické spíše než elektrické oddělení. Koch, C. Dendritické páteře. v biofyziky výpočetní techniky (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Vliv paralelní vláknové pozadí aktivity na kabelové vlastnosti mozkových purkinje buněk. Hines, M. Efektivní výpočet rozvětvených nervových rovnic. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biologicky inspirovaná ochrana hlubokých sítí před nepřátelskými útoky. Preprint na https://arxiv.org/abs/1703.09202 (2017). Goddard, N.H. & Hood, G. Velké simulace s využitím paralelní geneze. v knize Geneze: Prozkoumání realistických neuronálních modelů s generálním systémem neuronové simulace (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Paralelní síťové simulace s NEURONem. Lytton, W. W. et al. Simulační neurotechnologie pro pokročilý výzkum mozku: paralelizace velkých sítí v NEURONu. Valero-Lara, P. et al. cuHinesBatch: Řešení více Hines systémů na GPU lidského mozku projektu. v Proc. 2017 Mezinárodní konference o výpočetní vědy 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor – Morfologicky podrobná simulační knihovna neuronových sítí pro současné architektury vysokovýkonných výpočetních systémů. v Proc. 27. mezinárodní konference Euromicro o paralelním, distribuovaném a síťovém zpracování (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Zrychlení multi-divizní, biofyzikálně podrobné neuronové simulace na GPU. Rempe, M. J. & Chopp, D. L. Prediktor-korektorový algoritmus pro reakční-difuzní rovnice spojené s neurální aktivitou na rozvětvených strukturách. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Ultraskalovatelné řešení pro simulace neurální tkáně ve velkém měřítku. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Cílené záznamy intracelulárního napětí z dendritických šroubů pomocí kvantových nanopipet. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L.M. & Stuart, G.J. Membránové potenciální změny v dendritických páteřích během akčních potenciálů a synaptických vstupů. Nishiyama, J. a Yasuda, R. Biochemický výpočet pro strukturální plasticitu páteře. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morfologické změny dendritických obratlů spojené s dlouhodobou synaptickou plasticitou. Holtmaat, A. & Svoboda, K. Zkušenost-závislá strukturální synaptická plasticita v mozku savců. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Strukturální plasticita při učení: regulace a funkce. Keck, T. et al. Masivní restrukturalizace neuronálních obvodů během funkční reorganizace dospělé vizuální kůry. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Zkušenost zanechává trvalou strukturální stopu v kortikálních obvodech. Trachtenberg, J. T. et al. Dlouhodobé in vivo zobrazování zkušenostem závislé synaptické plasticity v dospělé kůře. Marik, S.A., Yamahachi, H., McManus, J.N., Szabo, G. & Gilbert, C.D. Axonální dynamika excitačních a inhibičních neuronů v somatosenzorické kůře. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rychlá tvorba a selektivní stabilizace synaps pro trvalé motorické vzpomínky. příroda 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Zlepšení motorického učení zvýšením stability nově vytvořených dendritických obratlů v motorické kůře. Branco, T. & Häusser, M. Synaptické integrační gradienty v jedné kortikální pyramidové buněčné dendrity. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Aktivní vlastnosti neokortických pyramidových neuronových dendritů. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritické akční potenciály a výpočet v lidské vrstvě 2/3 kortikálních neuronů. věda 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptické inhibiční tvary NMDA špičky, ovlivňující lokální dendritické zpracování a globální I / O vlastnosti kortikálních neuronů. Du, K. et al. Cell-type-specifické inhibice dendritického plateau potenciálu v striatální spinální projekční neurony. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritické špičky zvyšují selektivitu stimulu v kortikálních neuronech in vivo. Nature 503, 115–120 (2013). Xu, N.-l et al. Nelineární dendritická integrace senzorických a motorických vstupů během aktivního senzoru. Takahashi, N., Oertner, T.G., Hegemann, P. & Larkum, M.E. Aktivní kortikální dendrity modulují vnímání. Věda 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Přechodná prevalence vápníku v dendritickém stromu předpovídá polní vlastnosti místa. Nature 517, 200–204 (2015). Markram, H. et al. Rekonstrukce a simulace neokortikální mikrocirkulace. Buňka 163, 456–492 (2015). Billeh, Y. N. et al. Systematická integrace strukturálních a funkčních dat do víceúrovňových modelů primární vizuální kůry myší. Neuron 106, 388–403 (2020). Hjorth, J. et al. Mikrocirkulace striatum v křemíku. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. K hlubokému učení s segregovanými dendrity. elife 6, e22901 (2017). Iyer, A. et al. Vyhýbání se katastrofám: aktivní dendrity umožňují multi-task učení v dynamických prostředích. Front. Neurorobot. 16, 846219 (2022). Jones, I.S. & Kording, K.P. Může jeden neuron řešit zajímavé problémy strojového učení prostřednictvím po sobě následujících výpočtů na jeho dendritickém stromu? Bird, A.D., Jedlicka, P. & Cuntz, H. Dendritická normalizace zlepšuje učení v málo propojených umělých neurálních sítích. Goodfellow, I.J., Shlens, J. & Szegedy, C. Vysvětlování a využívání příkladů protikladů. ve 3. mezinárodní konferenci o reprezentaci učení (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Přenositelnost v strojovém učení: od jevů k útokům na černé skříňky pomocí protichůdných vzorků. Preprint na https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradientové učení aplikované na rozpoznávání dokumentů. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Móda-MNIST: nová datová sada obrázků pro benchmarking algoritmů strojového učení. Preprint na adrese http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Hodnocení škálovatelnosti biologicky motivovaných algoritmů a architektur hlubokého učení. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: rychlé protiútoky pro srovnání robustnosti modelů strojového učení v PyTorchu, TensorFlow a JAX. Paszke, A. et al. PyTorch: Imperativní styl, vysoce výkonná knihovna hlubokého učení. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Hluboké reziduální učení pro rozpoznávání obrazů. v Proc. 2016 IEEE konference o počítačovém vidění a rozpoznávání vzorů (CVPR) 770–778 (IEEE, 2016). uznání Autoři Rady upřímně děkují Dr. Rita Zhang, Daochen Shi a členům NVIDIA za cennou technickou podporu výpočetní techniky GPU. Tato práce byla podpořena Národním klíčovým programem výzkumu a vývoje Číny (č. 2020AAA0130400) na K.D. a T.H., Národní nadací pro přírodní vědy Číny (č. 6182510102) na Y.T., Švédskou výzkumnou radou (VR-M-2020-01652), Švédským výzkumným centrem pro e-vědy (č. 2022ZD01163005) na L.M., Programem výzkumu a vývoje klíčových oblastí provincie Guangdong (č. 2018B030338001) na T.H., Národní nadací pro přírod Tento dokument je k dispozici v přírodě pod licencí CC by 4.0 Deed (Attribution 4.0 International). Tento dokument je k dispozici v přírodě pod licencí CC by 4.0 Deed (Attribution 4.0 International).
