Նրա գրասենյակներ : Yichen Zhang Gan He Լի Մա Հիմնական հոդվածներ J. J. Johannes Hjorth Alexander Kozlov Հիմա նա Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang Նրա գրասենյակներ : Բրիտանիա Zhang Գնացրեք Լի Մա Հիմնական հոդվածներ J. J. Johannes Hjorth Վիքիպահեստում Alexander Kozlov Վիքիպահեստում Հիմա նա Shenjian Zhang Վիքիպահեստում Jeanette Hellgren Կատալսիկ Հիմնական հոդվածներ Բրիտանիա Երբ դուք Բրիտանիա Huang Ապրիլ Biophysically մանրամասն multi-compartment մոդելներ են հզոր գործիքներ է ուսումնասիրել մանրամասն մոդելների բջջային եւ նաեւ ծառայել որպես իմանալական սարքավորումներ generating algorithms for artificial intelligence (AI) համակարգերի. Սակայն, ծախսական մանրամասն ծախսերը հզորորեն սահմանում է օգտագործման, այնպես էլ neuroscience եւ AI fields. The հիմնական բովանդակությունը, երբ մանրամասն մոդելների մանրամասն է հզորությունը մանրամասն մանրամասների մեծ համակարգերի լուծելու. Այստեղ, մենք առաջարկում ենք նորը Հիմնական Հիմնական Այս GPU- ի հիմնված մեթոդը կատարում է 2-3 չափով բարձր արագությամբ, քան պլաստիկ Series Hines- ի մեթոդը պլաստիկ CPU պլաստիկում: Մենք կառուցում ենք DeepDendrite մոդել, որը ներգրավում է DHS- ի մեթոդը եւ NEURON- ի մոդելային GPU մեթոդը եւ ցույց է տալիս DeepDendrite- ի օգտագործման համար neuroscience գործիքներում: Մենք հետազոտում ենք, թե ինչպիսիք են պլաստիկ Hines- ի մեթոդի պլաստիկ Hines- ի բաղադրիչները, որոնք ազդում են neuronal բաղադրիչությունը 25,000 spines- ի մոդելում: Բացի այդ, մենք ապահովում ենք DeepDendrite- ի բաղադրիչի հզորությունը AI- ի համար D H S Հիմնական Արդյոք, թե ինչպե՞ս կարող եք ստանալ սխալը, թե ինչպե՞ս կարող եք ստանալ սխալը, թե ինչպե՞ս կարող եք ստանալ սխալը: , որտեղ neurons տեսվել են որպես պարզ բաղադրիչներ, դեռ լայնորեն օգտագործվում է բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բ Այնուամենայնիվ, լրացուցիչ միասնական հաշվարկման համար միասնական ռեժիմի մակարդակում, subcellular սարքավորումներ, ինչպիսիք են neuronal dendrites, կարող են նաեւ կատարել nonlinear գործառույթներ, քանի որ ինտերնետային հաշվարկման միավորներ: , , , , Բացի այդ, dendritic spines, փոքր բաղադրիչներ, որոնք խոշորորեն ներառում dendrites in spiny neurons, կարող են compartmentalize synaptic Signals, որը թույլ է տալիս նրանց կախված են իրենց ծնող dendrites ex vivo եւ in vivo , , , . 1 2 3 4 5 6 7 8 9 10 11 Ապրանքներ, որոնք օգտագործում են biologically detailed neurons- ը, ապահովում են իմանալական սարքավորումներ, որոնք կապում են biological details- ից computable principles- ից: The core of the biophysically detailed multi-compartment model framework , Մենք կարող ենք մոդել neurons with realist dendritic morphologies, intrinsic ionic conductance, and extrinsic synaptic inputs.The բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած բաղկացած , որը մոդելում է dendrites- ի biophysical membrane գործառույթները, քանի որ նստակային մետաղադրամներ, ապահովելով մետաղական նկարագրություն, թե ինչպես էլեկտրոնային մետաղադրամները ներսում են եւ պլանավորում են ամբողջ պլաստիկ neuronal գործընթացների միջոցով: Մետաղադրամը ներսում է մետաղադրամների մետաղադրամներ, ինչպիսիք են ion channels, excitatory եւ inhibitory synaptic currents, եւ այլն, մի մետաղադրամների մետաղադրամը կարող է հասնել cellular եւ subcellular neuronal մետաղադրամներ ավելի քան փորձնական սահմանափակները: , . 12 13 12 4 7 Բացի իր խոշոր ազդեցության neuroscience- ում, biologically մանրամասն neuron մոդելներ վերջին ժամանակը օգտագործվել են բջջային սխալների եւ biophysical մանրամասների եւ AI- ի միջեւ սխալը: Հիմնական տեխնոլոգիան ժամանակակից AI- ի տարածքում է ANN-ները, որոնք ներառում են point neurons- ում, ինչպես նաեւ biological neural networks- ում: Երբ ANN-ները հետ "backpropagation-of-error" (backprop) ալբորմատոմսը հասանելի են մեծ կատարումը մասնագիտացված ծրագրերի մեջ, նույնիսկ կախված են Top human professional players- ում Go- ում եւ chess- ում , Մարդկային բարդը դեռ ավելի հզոր է, քան ANN-ները, որոնք ներառում են ավելի հզոր եւ հզոր միջավայրում: , Հիմնական ուսումնասիրություններ ցույց են տալիս, որ dendritic ինտեգրման կարեւոր է արտադրել արդյունավետ ուսուցման ալբյատոմսերը, որոնք կարող են վերցնել backprop է parallel տեղեկատվության մշակման , , Բացի այդ, մեկ մանրամասն multi-compartment մոդել կարող է սովորել ցանցի մակարդակի nonlinear calculations for point neurons by adjusting only the synaptic strength , Ահա թե ինչու է, թե ինչու է, թե ինչու է, թե ինչու է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է 14 15 16 17 18 19 20 21 22 Հիմնական մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդել , , Հիմնական Hines- ի մեթոդը նվազեցնում է O(n3)- ից O(n) - ում լուծելու ժամանակը, որը լայնորեն օգտագործվում է որպես հիմնական ալբորատոմս, ինչպիսիք են Neuron- ը: Հիմնական Genesis Այս մեթոդը օգտագործում է մի սերտիֆիկ մետաղադրամը, որպեսզի յուրաքանչյուր սերտիֆիկը փաթեթավորվել է սերտիֆիկորեն: Երբ մետաղադրամը ներառում է բազմաթիվ biophysically մանրամասն dendrites հետ dendritic spines, linear equation matrix (“Hines Matrix”) ծախսեր, ինչպես նաեւ ավելի շատ dendrites կամ spines (տեսանյութ) ), ինչպիսիք Hines- ի մեթոդը ավելի շատ անսահմանափակ է, քանի որ դա մի մեծ բուժում է ամբողջ մոդելում: 12 23 24 25 26 1 E Մի վերլուծված 5-րդ փոշինային neuron մոդել եւ մետաղական մոդել, որը օգտագործվում է մետաղական մոդելների հետ: Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն. Հիմնական օրինակը Linear Equations- ում. Hines- ի մեթոդի տվյալների կախվածությունը, երբ լուծում է գծային սխալները Արդյոք Hines- ի մեթոդների չափը մոդելային հարմարավետության հետ: Մոդելների ավելի մանրամասների հետ, որոնք պետք է լուծվել, մոդելների քանակը շատ ավելի մեծ է: Computational ծախսերը (հարկերի լուծման փուլում կատարված քայլեր) serialized Hines մեթոդի տարբեր տեսակի neuron մոդելների. Արդյոք, ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են: Տեղադրման գինը երեք մեթոդների վրա Երբ պետք է լուծել piramidal մոդել հետ ճնշման. Հիմնական ժամանակը ցույց է տալիս, որ ժամանակը 1 s- ի սմարթացիոնի ժամանակը (լուծում է սմարթացիոնը 40,000 անգամ 0.025 ms- ի ժամանակը): p-Hines- ի parallel մեթոդը CoreNEURON- ում (GPU- ում), Branch-based parallel մեթոդի վրա (GPU- ում), DHS- ի Dendritic հիերֆիկական պլանավորման մեթոդը (GPU- ում). a b c d c e f g h g i Հաջորդ տարիների ընթացքում, մեծ արագություն ստացել է Hines- ի մեթոդը, օգտագործելով parallel մեթոդներ բջջային մակարդակի վրա, որը թույլ է տալիս parallelize υπολογation տարբեր մասերի յուրաքանչյուր բջջային , , , , , Այնուամենայնիվ, current cellular-level parallel methods often lack an efficient parallelization strategy or lack sufficient numerical accuracy as compared to the original Hines method. 27 28 29 30 31 32 Այսպիսով, մենք ստեղծում ենք բոլորովին ավտոմատ, թվային ճշգրիտ, եւ optimized սմարթացիոն գործիք, որը կարող է մեծապես արագացնել սմարթացիոն արդյունավետությունը եւ նվազեցնել սմարթացիոն ծախսերը: Բացի այդ, այս սմարթացիոն գործիքը կարող է հարմարավետորեն օգտագործվել է ստեղծել եւ փորձել սմարթացիոն ցանցեր, որոնք բնական մոդելային ուսուցման եւ AI ծրագրերի համար: Հիմնականորեն, մենք ձեւավորում ենք Hines- ի parallel calculation- ը որպես քիմիական սմարթացիոն խնդիրը եւ ստեղծում ենք Dendritic Hierarchical Scheduling (DHS) մեթոդը, որը հիմնված է combinatorial optimization- ի վրա: Parallel Computing Theory-ի մասին Մենք ցույց ենք տալիս, որ մեր ալբորմատոմսը ապահովում է օպտիմալ պլանավորումը, առանց ցանկացած ճշգրիտության վարձակման: Բացի այդ, մենք optimized DHS- ը այժմ ամենամեծ GPU պլանավորման համար, օգտագործելով GPU մանրամասնությունը եւ մանրամասն accessing մեխանիզմներ: Շնորհակալություն, DHS- ը կարող է արագացնել մանրամասնությունը 60-1,500 անգամ: ) compared to the classic simulator Neuron- ի հետ Միեւնույն ճշգրիտությունը. 33 34 1 25 Երբ մենք կարող ենք օգտագործել Dendritic Simulations- ը AI- ում, ապա մենք ստեղծում ենք DeepDendrite- ը, ինչպես նաեւ DHS- ի ներգրավված CoreNEURON- ի (NERON- ի համար optimized compute engine) պլատֆորմը: Քանի որ DeepDendrite- ը աշխատում է GPU- ի սարքի պլատֆորմացիայի վրա, որը աջակցում է երկու օգոստային մոդուլներ (I/O մոդուլ եւ ուսուցման մոդուլ), որոնք աջակցում են dendritic ուսուցման ալբորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆորմատֆ 35 Հաջորդը, մենք նաեւ առաջարկում ենք բազմաթիվ ծրագրեր, որոնք օգտագործում են DeepDendrite- ում, որոնք նպատակում են մի քանի կարեւոր խնդիրներ neuroscience- ում եւ AI- ում: (1) Մենք ցույց ենք տալիս, թե ինչպես dendritic spine inputs- ի տարածքի մոդելները ազդում են neuronal գործառույթներին, որոնք ներառում են dendritic թրթերը (full-spine մոդելներ): DeepDendrite- ը թույլ է տալիս մեզ հետազոտել neuronal calculation- ում մոդելված human pyramidal neuron model- ում ~25,000 dendritic spines- ի հետ: (2) Ապրիշում մենք նաեւ կարծում ենք DeepDendrite- ի հնարավորությունը AI- ի ինտերնետում, հատկապես, այն մասին, որ ANN-ները ստեղծում են morph DeepDendrite- ի բոլոր սեղանային կոդը, full-spine մոդելները եւ մանրամասն dendritic ցանցային մոդելները բացառապես հասանելի են առցանց (լուսանկար Code Availability): Մեր open-source ուսուցման սարքավորումներ կարող են հեշտությամբ ինտեգրվել այլ dendritic ուսուցման մոդելների հետ, ինչպիսիք են nonlinear (full-active) dendrites- ի ուսուցման մոդելներ Պլաստիկ պլաստիկություն (burst-dependent synaptic plasticity) , եւ սովորելու հետ spike prediction Շատում, մեր ուսումնասիրությունը ապահովում է ամբողջական գործիքների մի շարք, որոնք կարող են փոխել current computing neuroscience համաշխարհային էլեկտրոնային համակարգը: Պահպանելով GPU computing- ի հզորությունը, մենք տեսնում ենք, որ այդ գործիքները կօգնեն համակարգի մակարդակի ուսումնասիրությունները computing- ի բնական կառուցվածքի համակարգերի, ինչպես նաեւ օգնել neuroscience- ի եւ आधुनिक AI- ի հետազոտությունը: 21 20 36 Ապրանքներ Dendritic Hierarchical Scheduling (DHS) մեթոդը Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված Հետեւաբար, լուծում linear սերտիֆիկները կունենա վերադառնալը բաղադրիչը parallelization գործընթացում (Fig. Ավելի 37 1a–F Այս բաղադրիչի լուծելու համար, բջջային մակարդակի parallel մեթոդներ մշակվել են, որոնք արագացնել են մեկ բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային բջջային բջջջային բջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջային բջջջային բջջջային բ , , Սակայն, այդ մեթոդները մեծապես հիմնված են նախնական գիտության վրա, որպեսզի արտադրել գործառույթներ, թե ինչպես կտրել մի միմյանցային սերտիֆիկը սերտիֆիկների (Fig. • Ապրիշային փաթեթը. Այսպիսով, դա ավելի հզոր է asymmetric morphologies neurons, ինչպիսիք են pyramidal neurons եւ Purkinje neurons. 27 28 38 1 գ 1 Մենք ցանկանում ենք արտադրել ավելի արդյունավետ եւ ճշգրիտ parallel մեթոդ է մոդելում biologically մանրամասն neuronal ցանցեր. Առաջին, մենք ստեղծում ենք ստանդարտները ճշգրտության բջջային մակարդակի parallel մեթոդի. Բարձրորեն հիմնված է սերտիֆիկայի parallel computing , մենք առաջարկում ենք երեք պայմաններ, որոնք ապահովում են, որ մի parallel մեթոդը կարող է արտադրել նույն լուծումներ, ինչը serial computing Hines մեթոդը, ըստ data dependence- ի Hines մեթոդում (լուսանկարներ) 34 Հիմնականում սմարթացի ճշգրիտությունը եւ բուժման ծախսերը, մենք ձեւավորում ենք parallelization խնդիրը, քանի որ մի մետաղական սմարթացիոն խնդիրը (լուսանկարներ: Methods). Բարձրագույն բաղադրիչները կարող են բաղադրել առավելագույն Մենք պետք է ապահովենք, որ մի կոճակը բուժվում է միայն այն ժամանակ, երբ բոլոր իր երեխաների կոճակները բուժված են: Մեր նպատակն է գտնել պլաստիկը, որը պետք է բուժել ամենամեծ քանակը կոճակների ամբողջ գործընթացում: k k Հիմնական հարցը, թե ինչպես պետք է ստանալ Dendritic Hierarchical Scheduling- ը (DHS) DHS- ի մեթոդը ներառում է երկու քայլներ: ալյումում է dendritic topology- ը եւ գտնում է լավագույն փաթեթը: (1) Երբ մոդելը մատակարարվում է, մենք առաջին անգամ ստանում ենք իր հարմարեցված բուժման փաթեթը եւ բուժում ենք յուրաքանչյուր կետի լայնությունը (լայնությունը մի կետը այն է, որ իր նախորդ կետներ են): ) (2) Topology analytics- ից հետո, մենք փնտրում ենք Kandidates- ից եւ ընտրում ենք առավելագույն Հիմնական հարցը, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Ավելի 2A 2B եւ C k 2D DHS գործառույթները, DHS գործառույթները Լավագույն կլանտորը կլանձում է ամենը. Տեսանյութը առաջին անգամ փոխարինվում է փոշի կառուցվածքի վրա, ապա բաղադրված է յուրաքանչյուր կոճի լայնությունը: Գույնները ցույց են տալիս տարբեր լայնության արժեքները: Տպագրություն վերլուծություն տարբեր neuron մոդելերի վրա: Այստեղ ցույց է տալիս, որ 6 մոդելներ են տարբեր մոդելերի հետ: Բոլոր մոդելների համար, soma-ը ընտրվում է որպես խոշորը, այնպես որ կոճի խոշորությունը աճում է soma- ից (0) մինչեւ distal dendrites- ից: Դիմում է DHS- ի կատարման մոդելը Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված Արդյոք, ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են: Հասկածության պլաստիկը, որը ստացել է DHS- ի հետո DHS- ը կտրում է մի քանի սերվային սերվերի բուժման քայլերը 14- ից 5- ից, քանի որ կտրում է մի քանի սերվերի համար: Relative Cost- ը, ինչպիսիք են DHS- ի թվային ծախսերի հարմարությունը Hines- ի մեթոդի հետ, երբ DHS- ը տարբեր տեսակի մոդելերի վրա տարբեր տոմսերի համար օգտագործվում է: a k b c d b k e d f Տեսեք մի հեշտացված մոդել 15 կատեգորիաների համար, օգտագործելով serial computing Hines մեթոդը, այն պետք է 14 կատեգորիաների բոլոր կատեգորիաների մշակման համար, իսկ օգտագործելով DHS- ը, որը կատեգորիաներ կատեգորիաներ կատեգորիաներ կատեգորիաներ կատեգորիաներ կատեգորիաներ կատեգորիաներ (տեսանյութ) «Ինչու՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է: Ավելի 2D 2 E Հաջորդը, մենք օգտագործում ենք DHS- ի մեթոդը 6 արտադրական մոդելների համար (հարկված ModelDB- ից) ) տարբեր թվերի համար (Fig. ):, ներառում cortical եւ hippocampal piramidal neurons , , Cerebellar Purkinje Neurons- ը Striatal Projektion Neurons (SPN) - Նրաձայնային ռեժիմներ ), եւ ախտորատոր խողովակների mitral բջջային բջջային , որը ներառում է հիմնական հիմնական սերունդները սերունդային, cortical եւ subcortical տարածքներում: Մենք ապա չափել ենք սերունդային ծախսերը: Հիմնական սերունդային ծախսերը այստեղ սահմանվում են DHS- ի սերունդային ծախսերի համեմատությամբ սերունդային Hines- ի մեթոդի հետ: Գերունդային ծախսերը, ինչպիսիք են, սերունդային ծախսերի լուծման համար տպագրված քայլերի քանակը, լայնորեն կանգնվում են, քանի որ սերունդային մանրամասները աճում են: Օրինակ, 16 սերունդների հետ, DHS- ի սերունդային ծախսը 7%-10% է, համեմատաբար սերունդային Hines- ի մեթոդ ), որը ցույց է տալիս, որ ավելացնել ավելի մետաղեր չի բարելավում կատարումը ավելին, քանի որ սարքավորումներների միջեւ բուժման. 39 2F 40 41 42 43 44 45 2F Մենք միասին արտադրում ենք DHS մեթոդ, որը թույլ է տալիս ավտոմատ վերլուծման dendritic topology եւ օպտիմալ բաժանման parallel computing. Դա հավատում է, որ DHS գտնում է օպտիմալ բաժանման առաջ մոդելային սկսելու, եւ ոչ մի լրացուցիչ հաշվարկման անհրաժեշտ է լուծել սխալները. GPU Memory Boost- ի միջոցով DHS- ի արագությունը DHS- ը բուժում է յուրաքանչյուր սերտիֆիկը բազմաթիվ սերտիֆիկների հետ, որոնք օգտագործում են մեծ քանակը սերտիֆիկների ժամանակ, երբ սերտիֆիկային ցանցային սմարթները աշխատում են: Graphics Processing Units (GPUs) ներառում են մեծ քանակի բուժման սերտիֆիկների (հարկե, Streaming Processors, SPs, Fig. (տեսանյութ) Փոխանցային համակարգչի համար Հիմնականում, GPU- ի բազմաթիվ SP- ները պետք է աջակցում են արդյունավետ մոդելությունը մեծ քանակի սերտիֆիկային ցանցերի համար (Fig. Սակայն, մենք համոզված ենք, որ DHS- ի արդյունավետությունը չափազանց նվազեցվել է, երբ ցանցային չափը աճել է, որը կարող է լինել ծախսված տվյալների մատակարարման կամ լրացուցիչ մանրաձայնային հասանելիության արդյունքների բեռնելը եւ գրառումը (Fig. Արդյոք (տեսանյութ) 3A եւ B 46 3c 3D GPU- ի դիզայնը եւ սմարթֆորմը: Բոլոր GPU-ները ներառում են խոշոր processing միավորներ (լուսանկարներ) եւ տարբեր տեսակի սմարթֆորմերը տարբեր են: Մեկ SM-ը ներառում է բազմաթիվ Streaming Processors, Registers եւ L1 Cache- ը: Հիմնական հարցը, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Հիմնական տեղեկատվությունը, որը կարող է իրականացվել, կարող է գտնել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել, թե ինչպես պետք է ստեղծել. Արդյոք, թե ինչու՞ն է այն, թե ինչու՞ն է, թե ինչու՞ն է, թե ինչու՞ն է, թե ինչու՞ն է, թե ինչու՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է, թե՞ն է: DHS (32 մետաղեր յուրաքանչյուր մետաղի) հետ եւ առանց մանրամասների բարելավման հետ մի քանի փոշի 5 պրիմայական մոդելերի հետ պտուտակներ: Բարձրացրեք մանրամասների բարձրացումը ավելի քան 5 փոշի մանրամասների հետ: Մանրամասների բարձրացումը 1.6-2 անգամ բարձրացվում է: a b c d d e f Մենք լուծում ենք այս խնդիրը GPU memory boosting- ի միջոցով, որը մեթոդ է բարձրացնել memory throughput- ը GPU- ի memory- ի սերտիֆիկայի եւ access- ի մեքենաների օգտագործման միջոցով: GPU- ի memory loading- ի մեխանիզմից հիմնվածում, սերտիֆիկի ուղեցույցները, որոնք բեռնում են հարմարեցված եւ սարքավորված տվյալները, առաջանում են բարձր memory throughput- ից, քան բեռնում են scatter- ի բեռնել տվյալները, որը նվազեցնում է memory throughput- ը: , Երբ մենք ստանում ենք բարձր մատակարարման, մենք առաջինը մատակարարել մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարարման մատակարար Բացի այդ, փորձերը մի քանի թվերի piramidal neurons հետ spines եւ տպագրական neuron մոդելներ (Fig. • Ապրիշային փաթեթը. ) ցույց են տալիս, որ memory boosting- ը հասկանում է 1.2-3.8 անգամ արագություն, քան հին DHS- ի հետ: 46 47 3D 3 E, F 2 DHS- ի գործառույթը GPU- ի մանրամասների բարելավման միջոցով ստուգելու համար, մենք ընտրում ենք 6 տպավոր neuron մոդելներ եւ գնահատում ենք սեղմման ժամանակը սեղմելու մանրամասների մանրամասների համար յուրաքանչյուր մոդելում (տեսանյութ) Մենք ստուգել DHS- ում 4 մետաղադրամներ (DHS-4) եւ 16 մետաղադրամներ (DHS-16) յուրաքանչյուր մետաղադրամի համար, masing-masing: Հասկած CoreNEURON- ի GPU- ի մեթոդով, DHS-4- ը եւ DHS-16- ը կարող են արագացնել մոտ 5 եւ 15 անգամ, masing-masing. ) Բացի այդ, համեմատաբար ստանդարտ Serial Hines մեթոդով NEURON- ում, որը աշխատում է CPU- ի միակ մետաղի հետ, DHS- ը արագ է արագեցնում սմարթացիոնը 2-3 մետաղի չափով (Ապահեստական սմարթ. ), իսկ վերականգնում է միասին թվային ճշգրիտությունը, երբ ներսում է ճշգրիտ փոշորներ (Supplementary Figs. եւ Արդյունաբերական բաղադրիչները (Supplementary Fig. ) եւ տարբեր սերտիֆիկային պլաստակներ (Supplementary Fig. Ավելի 4 4A 3 4 8 7 7 Հիմնական ժամանակը լուծելու սխալների համար 1 s մոդելում GPU- ում (dt = 0.025 ms, 40,000 iterations total). CoreNEURON: Հիմնական ժամանակը, որը օգտագործվում է CoreNEURON- ում: DHS-4: DHS- ը մեկի համար 4 մետաղեր: DHS-16: DHS- ը մեկի համար 16 մետաղեր: Հիմա DHS-4- ի եւ DHS-16- ի համար, յուրաքանչյուր գույնը նշում է մի միավոր մետաղադրամը: Կարդալման ժամանակ, յուրաքանչյուր մետաղադրամը փոխանցում է տարբեր մետաղադրամների միջեւ: a b c DHS- ը ստեղծում է cell-type-specific optimal partitioning- ը DHS մեթոդի աշխատանքի մեխանիզմը ստանալով, մենք տեսել ենք փաթեթավորման գործընթացը փաթեթավորելով փաթեթավորումներ յուրաքանչյուր մետաղի համար (հարկե, յուրաքանչյուր մետաղը ներկայացնում է մի մետաղի մետաղի վրա). ) Տեսագրությունը ցույց է տալիս, որ մեկ մետաղը հաճախ փոխանցում է տարբեր մետաղների միջեւ (Fig. Արդյոք, DHS- ը արտադրում է հարմարեցված բաժակներ morphologically symmetric neurons, ինչպիսիք են striatal projektion neuron (SPN) եւ mitral cell (Fig. Ահա, որ այն ստեղծում է fragmented partitions of morphologically asymmetric neurons like the pyramidal neurons and Purkinje cell (Տեսանյութ) ), որը ցույց է տալիս, որ DHS- ը կտրում է սենյակումային խոշորը individual compartment scale- ում (հարկե, tree node- ում), այլեւ branch scale- ում: Այս cell-type-specific fine-grained partition- ը թույլ է տալիս DHS- ն ամբողջությամբ օգտագործել բոլոր հասանելի մետաղեր: 4B եւ C 4B եւ C 4B եւ C 4B եւ C Հիմնականում, DHS- ը եւ սմարթֆիլմը արտադրում են ստանդարտ լուծում, որը ստանդարտորեն ստանդարտվում է գեներատիվ սմարթֆիլմների լուծման համար, ինչպես նաեւ անսահմանափակ արդյունավետության համար: Մենք օգտագործում ենք այս ռեժիմը: Մենք կառուցել ենք Open-Access DeepDendrite պլատֆորմը, որը կարող է օգտագործվել neuroscientists- ի կողմից մոդելների տեղադրման համար, առանց որոշակի GPU- ի ծրագրագրության գիտելիքների: Հաջորդում, մենք ցույց ենք տալիս, թե ինչպես մենք կարող ենք օգտագործել DeepDendrite- ը սմարթֆիլմների համար: Մենք նաեւ խոսում ենք DeepDendrite պլատֆորմի հնարավորությունները AI- ի հետ կապված աշխատանքների համար: DHS- ը թույլ է տալիս spine-level մոդելություն Երբ dendritic spines ստանում են մեծ մասը excitatory input cortical եւ hippocampal piramidal neurons, striatal projektion neurons, եւ այլն, նրանց morphologies եւ պլաստիկությունը կարեւոր է վերահսկելու neuronal excitability , , , , «Ինհարկե, թռիչքները շատ փոքր են (~ 1 μm երկարություն), որ կարող են ուղղակիորեն մանրամասվել փորձնական ձեւով լարման-կախված գործընթացների մասին: Այսպիսով, գիտական աշխատանքը կարեւոր է թռիչքների մանրամասների ամբողջական գիտելիքի համար: 10 48 49 50 51 Մենք կարող ենք մոդել մի միավոր փոշի երկու կատեգորիաների հետ: փոշի կատեգորիան, որտեղ synapses գտնվում են, եւ փոշի կատեգորիան, որը կապում է փոշի կատեգորիան եւ dendrites The theory predicts that the very thin spinal neck (0.1-0.5 micron in diameter) electronically isolates the spinal head from its parent dendrite, այնպես որ compartmentalizing the signals generated at the spinal head «Այս ամենը, ինչ պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է պետք է. Spine գործառույթ Արդյոք, այնպես էլ, որ բոլոր սերտիֆիկները բացահայտված են: Այստեղ, Spine Factor- ը ցանկանում է հարմարեցնել գլուխի ազդեցությունը կլուխի մլուխի biophysical հատկանիշներին: . 52 53 F 54 F 54 Հիմնական հոդվածը Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of Նրա մոդելում բաղադրիչը բաղադրիչը բաղադրիչը բաղադրիչը բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղ ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) քան մի քանի սեղմիչ մոդելում (լուսանկարում գլուխ գլուխային գիծը: ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5A F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in Արդյոք, գույնները ցույց են տալիս, թե որքան մեծ է սխալը. Somatic spike probability as a function of the number of simultaneously activated synapses (կամ Eyal et al.`s աշխատանքում) համար 4 դեպքերում Բջջային սխալը ներառում է. Ժամանակն է փորձարկելու Neuron- ը, որը աշխատում է միայն մեկ CPU-ի վրա: CoreNEURON- ը, որը աշխատում է միայն մեկ GPU-ի վրա: DeepDendrite- ը: DeepDendrite- ը, որը աշխատում է մեկ GPU-ի վրա: a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. եւ ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Տեղադրություն Այս աշխատանքում մենք առաջարկում ենք DHS- ի մեթոդը Hines- ի մեթոդի փոխանակման համար: and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. Երբ մոդելում է մեծ շարք սերտիֆիկների հետ հարմարեցված մորֆոլոլոգիաների, DHS հետ memory boosting հասկանում է 15 անգամ արագությունը (Supplementary Table) ) համեմատաբար CoreNEURON- ում օգտագործված GPU- ի մեթոդով եւ մինչեւ 1,500 անգամ արագությամբ, համեմատաբար CPU պլատֆորմում Series Hines- ի մեթոդով (տեսանյութ) ; Supplementary Fig. and Supplementary Table Բացի այդ, մենք մշակել ենք GPU- ի վրա հիմնված DeepDendrite սարքավորումներ, ինտեգրելով DHS- ը CoreNEURON- ում: Վերջինում, DeepDendrite- ի հզորության ցուցադրման համար, մենք առաջարկում ենք արտադրական օգտագործման: հետազոտում ենք փոշի մուլտֆիլմերը մուլտֆիլմային մուլտֆիլմում 25,000 թուլտֆիլմով: Ավելին այս մասում, մենք բացահայտում ենք, թե ինչպես մենք լայնեցել ենք DeepDendrite սարքավորումները, որպեսզի կարող ենք արդյունավետ ուսուցել biophysically մանրամասն սարքավորումների ցանցեր: Ստուգել հստակությունը, որ dendrites- ը բարելավում են հզորությունը adversarial attacks- ի հետ: , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Բարձրացնելով, GPU- ի հիմնված մեթոդները հասկանում են շատ ավելի բարձր արդյունավետությունը ցանցային մոդելում: Սակայն, բջիջների ներքին բջիջները դեռ միավոր են ցանցային մակարդակի մեթոդներում, այնպես որ նրանք դեռ չի կարող վերցնել խնդիրը, երբ յուրաքանչյուր բջիջի «Hines նամակը» մեծ է: 57 58 59 35 60 61 Բջջային մակարդակի parallel մեթոդները ավելին parallelize բջջային մակարդակի բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային բջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջային բջջջ , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the Dendritic cable geometries - Dendritic cable geometries - Dendritic cable geometries - Dendritic кабель geometries - Dendritic кабель geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Somatosensory cortex Վիքիպահեստում , , motor cortex , hippocampus , եւ Basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite Բացի այդ, մետաղական dendrites կարող է արտադրել վերականգնման գործառույթներ, ինչպիսիք են dendritic sodic spikes, calcium spikes, եւ NMDA spikes / plateau potentials , Այսպիսի dendritic events- ը լայնորեն տեսվում են մորների մեջ: or even human cortical neurons in vitro, which may offer various logical operations , Արդյոք գործառույթները , Հաջորդում, in vivo գրառումները վառելի կամ վարման մայքներում ապահովում են ուժեղ հավասարություն, որ dendritic spikes / plateau потенциалы կարեւոր են Orientation Selectivity- ում Visual cortex- ում , sensory-motor integration in the whisker system , , եւ օդանավակայության Navigation in the hippocampal CA1 տարածքում . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , Բացի այդ, օգտագործելով մեր սարքավորումներ, մեկ GPU քարտ, ինչպիսիք են Tesla A100- ը, կարող է հեշտությամբ աջակցել մոդելների գործառույթը մինչեւ 10,000 neurons- ից, այնպես որ ապահովել է բնական լաբորատորների համար բնական մոդելների արտադրման եւ optimization- ի համար մանրամասն մոդելների գործառույթը: 86 87 88 Վերջին աշխատանքները, որոնք բացահայտել են dendritic role- ի գործառույթների մասնագիտացված ուսուցման համար, հասանելի են բացառիկ արդյունքները երկու ուղղություններում, ինչպիսիք են, լուծում է խոշոր գործառույթներ, ինչպիսիք են ImageNet image classification data set- ի հետ simplified dendritic network- ի հետ: , եւ ուսումնասիրել ամբողջական ուսուցման հնարավորությունները ավելի ճշգրիտ neuron- ում , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Բացի այդ, ավելի մանրամասն neuron մոդելներ են ավելի քիչ մետաղականորեն traceable եւ մետաղականորեն ծախսեր . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . առաջարկել է նոր ANN դիզայնը, որը աշխատում է aktiv dendrites- ի հետ, որը ցույց է տալիս համատեղելի արդյունքները multi-task- ում եւ Continuous Learning- ում: Jones եւ Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6F 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. HPC-Net- ի համեմատություն դասընթացից առաջ եւ հետո: Բարձր, սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող ս Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Տեսագրական ճշգրիտությունը յուրաքանչյուր մոդելի adversarial մոդելերի հետո ուսուցման 30 epochs վրա MNIST (կամ) եւ Fashion-MNIST (կամ) տվյալների սերտիֆիկների. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST Տեղինակային տվյալները (Fig. Այս հավելվածությունը նշանակում է, որ dendrites- ի ինտեգրված biophysical հատկանիշները կարող են կարեւոր լինել ANNs- ի հզորության բարձրացնելու համար adversarial interference- ի հետ: Այնուամենայնիվ, այն կարեւոր է, որ ավելին հետազոտություններ կատարվում են այս արդյունքների ստուգման համար, օգտագործելով ավելի խոշոր data sets, ինչպիսիք են ImageNet- ը: . 93 56 94 95 96 6D եւ E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. մոդելներ Simulation with DHS CoreNEURON simulator ( ) օգտագործում է Neuron architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված , մենք հասկանում ենք, որ իր տվյալների բուժումը կարող է ձեւավորվել որպես խոշոր կառուցվածքը, որտեղ խոշորները խոշորում են մոդելային մոդելների բուժում: Triangularization- ի գործընթացում, յուրաքանչյուր խոշորի արժեքը հիմնված է իր երեխաների խոշորների վրա: Հետեւաբար, back-substitution- ի գործընթացում, յուրաքանչյուր խոշորի արժեքը հիմնված է իր հորային խոշորի վրա: ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Բջջային մակարդակի parallel computing մեթոդը To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and Հիմնական համակարգչային միավորները (Base computable units) պետք է գործել triangularization, parallel triangularization արժեքը պետք է կտրել միավորը Արդյոք into Արդյոք, այնպես որ, = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → → → → , and nodes in the same subset Արդյոք, մենք կարող ենք որոշել, թե ինչ է դա: | (the size of set Արդյոք, here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 v2 Հիմնական Vn Vi k k k V1 v2 Հիմնական Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Արդյոք, մի խոշոր = { , Հիմնական հոդված՝ Հիմնական հոդված՝ The positive integer , where Դա այն է, թե ինչ է Node-set եւ Արդյոք, այն պետք է լինի. Defines the partition. ( ) = ՝ Հիմա ... ... }, | Արդյոք ≤ , 1 ≤ ≤ n, որտեղ։ Տեսագրությունը ցույց է տալիս, որ կլանշանային թվը , i.e., the number of nodes in , and for each node ∈ «Այս բոլոր երեխաները կախված են» | ∈children( )} must in a previous subset , where 1 ≤ < Մեր նպատակն է գտնել optimum partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 v2 Հիմնական Vn VI-ն k i VI-ն Vi Vi v Vi c c v Vj j i P* V P * V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ «Այս բոլոր երեխաները կախված են» | Երեխաները ( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e VI-ն k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ Արդյոք, դուք կարող եք գտնել բոլոր candidate կետերը եւ տեղադրել այդ կետերը candidate կետում: . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , ինչպիսիք է, որ կլանտորային կլանտորների չափը փոքր է կամ միասին է, ինչպիսիք են հասանելի կլանտորների չափը, հեռացնել բոլոր կլանտորները and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. Երբ սեղմվում է Subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q VI-ն 2d Vi Հիմնական + 1 Correctness proof for DHS DHS- ի օգտագործումը neuronal tree- ում = { , }, we get a partition ( ) = { Հիմա , … }, | Արդյոք ≤ , 1 ≤ ≤ . Nodes in the same subset Տեղադրվում է միասին, օգտագործելով Մենք ապա ցույց ենք տալիս, որ փոխանակման փոխանակումը DHS- ում կօգնի արտադրել արդյունքը, որը նույն է Hines- ի սերտիֆիկի մեթոդով: T V E P V V1 v2 Հիմնական Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to Ինչպե՞ս կարող եք տեսնել, որ երեխայի բոլոր կոճակները are in { , , … }, so parent nodes of nodes in Նրանք են , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q VI-ն V1 V2 Vi-1 Vn V1 Vi V1 V2 Տեսանյութ 1 Vi Vi+1 Vi+2 Միջազգային Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Մինչեւ յուրաքանչյուր սեղմում Հիմնական ( DHS- ը փոխանցում է (լուսանկարներ) Արդյոք ամենամեծ բաղադրիչը Երկու Եթե սեղմվում են NODs- ում Դա ավելի փոքր է, քան Տեղադրեք բոլոր կետերը Երկու Պահպանելու համար, մենք առաջարկում ենք Տեղադրեք, թե ինչ է քաշը Լավագույն կոճակը Բոլոր սերտիֆիկները ( ) համոզված են, որ max-կամտության սերտիֆիկները (Dupplementary Fig. (Մենք պետք է հավատում ենք, որ ամենամեծ բաղադրիչները ամենամեծ բաղադրիչների համար են): Արդյոք, եթե ունեք optimum partition- ը =՝ Հիմա ... ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. VI-ն P V k Qi VI-ն Qi k Qi VI-ն Արդյոք k Qi P V 6A Պայմաններ (V) Հիմնական (V) v * 1 v * 2 V-ն է P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in Նրանք չեն տեղադրվում · (2) Ապրիլ | = but nodes in are not the Լավագույն կոճակը . V*i V*i V * I k Qi V*i V * I k V*i k Qi For case (1), because some candidate nodes are not put to , այդ կոճակները պետք է գտնվում են հաջորդ կոճակներում: As | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make Տեղադրել սխալները (Fig. Արդյոք, այնպես էլ, այնպես էլ, այնպես էլ, | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling Հիմա is picked and one of the -th deepest nodes is still in Այսպես will be put into a subsequent subset ( > ). We first move Արդյոք to + Արդյոք , then modify subset + as follows: if | + Արդյոք | ≤ and none of the nodes in + Ո՞րն է Node- ի ծնողը Արդյոք, դուք կարող եք փոխել այս տարբերակները, այլն, փոխել + Հաջորդը (տեսանյութ) Հաջորդը (տեսանյութ) ): if the parent node of is in + Տեղադրեք այս մանրամասը + Արդյոք ; այլն, փոխել կոճակը minimally ծավալից + to + . After adjusting , modify subsequent subsets + , + , … Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական from to . V * I V * I < k V*i V*i 6b V*i k Qi V*i 6B V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V * I 1 V * I 2 V*i 1 V * I 2 V*i V*i 1 V*i 2 V*j-1 v’ Հիմա J V*i With the modification strategy described above, we can replace all shallower nodes in with the Լավագույն կետը Արդյոք, դուք պետք է վերցնել, թե ինչ է, այնպես որ, ( Արդյոք, մենք կարող ենք փոխել միասին միասին միասին միասին միասին միասին միասին միասին միասին միասին միասին ( ) որոնք չեն ներառում ամենամեծ կոճակները. վերջապես, բոլոր կոճակները ∈ ( ) can satisfy the max-depth criteria, and | ( Արդյոք, այն չի փոխվել, երբ փոխել է. V*i k Qi P* V P* V V * I P* V P* V Այսպիսով, DHS- ը ստեղծում է մի մասը ( ) եւ բոլոր բաղադրիչները ∈ ( ) satisfy the max-deepth condition: . համար ցանկացած այլ օպտիմալ բաժանման ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) ստացել է DHS- ից, այն ամենամեծ տարբերակների մեկը է. P V Vi P V P * V P V P* V | P V GPU- ի տեղադրումը եւ memories boosting GPU-ն օգտագործում է (1) Global Memory- ի, (2) Cache- ի, (3) Registry- ի, որտեղ Global Memory- ի մեծ հզորությունը, բայց ցածր հզորությունը, իսկ Registers- ի ցածր հզորությունը, բայց բարձր հզորությունը: Մենք ցանկանում ենք բարձրացնել Memory- ի հզորությունը GPU- ի հզորությունը: GPU-ը օգտագործում է SIMT (Single-Instruction, Multiple-Thread) դիզայնը: Warps- ը GPU-ի հիմնական սերտիֆիկատորները են (որպը 32 միասնական սերտիֆիկների թիմ է): Warp- ը նույն սերտիֆիկը կատարում է տարբեր տվյալների հետ տարբեր սերտիֆիկների համար: «Մենք պետք է անում ենք այն, ինչ մենք պետք է անում ենք, եւ մենք պետք է անում ենք այն, ինչ մենք պետք է անում ենք, եւ մենք պետք է անում ենք այն, ինչ մենք պետք է անում ենք, եւ մենք պետք է անում ենք այն, ինչ մենք պետք է անում ենք, եւ մենք պետք է անում ենք այն, ինչ մենք պետք է անում ենք, եւ մենք պետք է անում ենք այն, ինչ մենք անում ենք»: 46 Երբ սխալը բեռնում է նախապատրաստված եւ սարքավորված տվյալները գլոբալ մանրամասից, այն կարող է ամբողջականորեն օգտագործել սխալը, որը առաջանում է բարձր մանրամասի մանրամասի մանրամասի մանրամասը, իսկ մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի մանրամասի ման Full-spine եւ few-spine biophysical մոդելներ Մենք օգտագործում ենք թարմացվելը human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, մմբարենի վերահսկողությունը m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω սմ. Այս մոդելում բոլոր dendrites մոդելվել են որպես պտուտակային մոդելներ, իսկ somas են աշխատում: The leak reversal potential l = -83.1 mV. Իոնային ցանցերը, ինչպիսիք են Na+ եւ K+- ը, տեղադրվել են soma- ում եւ սկսական ասոնում, եւ իրենց վերլուծական հզորություններ են: Na = 67.6 mV K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Սպիտակային հզորությունը տեղադրվել է 1.3 μm-1- ում, եւ յուրաքանչյուր բջիջը ներառում է 24994 բջիջները dendrites 60 μm հեռավորությամբ soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D Լ Synaptic inputs Մենք հետազոտել ենք բաղադրիչությունը բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղ AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific Բարձրություն եւ Տեղադրված է 0.3 եւ 1.8 ms համար NMDA մոդել, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Բջջային սխալը Մենք ներառում ենք բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային «Մենք արտադրել ենք 400 ալյումինե փաթեթներ յուրաքանչյուր բջիջի համար եւ սեղմել ենք նրանց անմիջապես ընտրված sinapses- ում: Synaptic currents model and specific parameters were the same as described in NMDA-ի առավելագույն conductivity- ը միասին տարածվել է 1,57- ից 3,275- ում, ինչպիսիք են ավելի բարձր AMPA- ի եւ NMDA- ի հարաբերությունները: t Synaptic Inputs Neural excitability-ի հետազոտություն Մենք հետազոտել ենք փաթեթավորման հնարավորությունը, երբ բազմաթիվ sinapses aktivated միասին: Փաթեթավորվող մետաղադրամների համար, մենք փորձել ենք 14 դեպքում, 0 մինչեւ 240 activated synapses: Փաթեթավորվող մետաղադրամների համար, մենք փորձել 9 դեպքում, aktivating from 0 մինչեւ 12 մետաղադրամներ, masing-masing մետաղադրամը ներառում է 20 մետաղադրամներ: Երկրի մետաղադրամների համար, այնպես էլ փաթեթավորվող մետաղադրամների համար, մենք calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons launched to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the AI- ի գործառույթների կատարումը DeepDendrite պլատֆորմով Հիմնական մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելները չգիտեն երկու գործառույթներ, որոնք կարեւոր են आधुनिक AI- ի գործառույթների համար: (1) փոխանցում են մոդելների եւ քանակի թարմացումները, առանց խոշոր վերամշակման եւ (2) միասին բուժում են բազմաթիվ մոդելների մոդելներ, ինչպիսիք են միասին: Այստեղ մենք առաջարկում ենք DeepDendrite պլատֆիլմը, որը աջակցում է biophysical մոդելային եւ կատարում է Deep Learning գործառույթները մոդելային մոդելների հետ: DeepDendrite- ը տեղադրվում է երեք մոդուլներում (Depplementary Fig. ): (1) I/O մոդուլը; (2) DHS- ի հիմնված մոդուլը; (3) ուսուցման մոդուլը: Երբ ուսուցում են biophysically մանրամասն մոդել, որպեսզի ուսուցման գործառույթները կատարելու համար, օգտագործողները առաջին անգամ սահմանում են ուսուցման մոդելը, ապա մատակարարում են բոլոր ուսուցման մոդելները ուսուցման համար մանրամասն մոդելին: Ուսուցման ընթացքում յուրաքանչյուր քայլում I/O մոդուլը ընտրում է հատուկ մանրամասը եւ այն հետ կապված ուսուցող մանրամասը (բնայած անհրաժեշտության) բոլոր ուսուցման մոդելներից եւ հավելում է մանրամասը ցանցային մոդելին: Այնուհետեւ DHS- ի հիմնված մանրամասը մանրամասը սկսում է մ 5 HPC-Net մոդել Image classification- ը տպագրական գործիք է AI- ի տարածքում: Այս գործում, մոդելը պետք է գիտեն, որ կարող է հասկանալ բաղադրույքները մի տպագրության վրա եւ արտադրել հարմարեցված տպագրությունը: Այստեղ մենք առաջարկում ենք HPC-Net- ը, մի ցանցը, որը ներառում է մոդելներ, որոնք կարող են գիտեն, որ կարող են աշխատել image classification- ի գործիքները, օգտագործելով DeepDendrite պլատֆորմը: HPC-Net-ը ունի երեք մակարդակներ, ինչպիսիք են, ներսումային մակարդակը, սեղմված մակարդակը եւ արտադրանքի մակարդակը: ներսումային մակարդակում մատակարարված սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող սեղմվող Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված ( ) տեսանյութում, հարմարեցված spike գնացքը ունի konstanci interspike интервал: Արդյոք ( ) (մս) որը որոշվում է pixel արժեքով ( ) ինչպիսիք են հայտնաբերվել Eq. ( Ավելի X եւ Y τ X եւ Y p X եւ Y 1 Մեր փորձում, բաղադրիչների համար բաղադրիչների բաղադրիչը 50 մս. Բոլոր տոմսերը սկսվել են 9 + ISI ms եւ տեւել մինչեւ վերջը մոդելում. Այնուհետեւ մենք միավորել բոլոր spike տրանսպորտային ինքներդերը input layer neurons- ի մեկ- ի ձեւով: The synaptic current triggered by the spike arriving at time Դա տալիս է τ T0 Ինչպե՞ս Հիմնական հոդված՝ Հիմնական հոդված՝ Post-synaptic voltage, the reversal potential syn = 1 mV, առավելագույն sinaptic conductivity Max = 0.05 μS, եւ ժամանակային կախվածությունը = 0.5 մմ v E g τ Հիմնական մոդելային մոդելը, որը օգտագործվում է մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդելային մոդ m = 1.0 μF cm-2, մմբարենի վերահսկողությունը m = 104 Ω cm2, axial resistivity a = 100 Ω սմ, վաստակային կատեգորիաների վերլուծական հզորությունը l = 0 mV c r r E Պահպանված բաղադրիչը ներառում է տղամարդկանց պրեմդալային neuron մոդելների թիմը, որը ստանում է input layer neurons- ի սմարթային լարմանները: Մորֆոլոլոգիան է Eyal- ից եւ այլն: , եւ բոլոր սերունդները մոդելվել են պտուտակային մանրամասների հետ: Հիմնական membrane capacitance m = 1.5 μF cm-2, մմբարենի վերահսկողությունը m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω սմ, եւ բոլոր պտուտակային մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական l = 0 mV. Հիմնական neurons կարող են ստեղծել բազմաթիվ կապներ randomly ընտրված տեղերի վրա dendrites սեղմված neurons. The synaptic current activated by the The Synapse-ի մասին Հիմնական հոդված՝ Neuron «Այսը, թե ինչ է այն, ինչ է այն, ինչ է այն» (Eq. Երբ Ի՞նչ է Synaptic Conductance Արդյոք, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է, թե ինչ է. -th input neuron at time . 51 c r r E k i j 4 Գիտակ Գլխավոր i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( Ավելի 4 Image Classification- ը HPC-Net- ի հետ Մենք առաջին անգամ ստանդարտել ենք բոլոր pixel արժեքները 0.0-1.0-ին, ապա ստանդարտել ենք normalized pixel- ները pike trains- ում եւ ստանդարտել ենք նրանց ստանդարտ neurons- ում: Ապրանքի neurons- ից սոմատային լարմանները օգտագործվում են յուրաքանչյուր դասի նախընտրված հավասարության հաշվարկման համար, ինչը ցույց է տալիս սխալում: Ո՞վ Ինչպե՞ս է հնարավորությունը HPC-Net- ի նախընտրված դասընթացը 20 մմից 50 մմ-ն է Հիմնական neuron, եւ indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 Pi-ի մասին i i C Synaptic plasticity rules for HPC-Net Հիմնադրվել է Նախորդ աշխատանքից Հիմնական հոդված՝ «Այս տարի» (տեսանյութ) Հիմնական հոդված՝ «Այս տարի» (տեսանյութ) Հիմնական հոդված՝ «Այս տարի» (տեսանյութ) Երբ Արդյո՞վ է դասընթացի նախընտրված հնարավորությունը Հիմա Նշում է, որ ճշգրիտ դասընթացը, որի բաղադրատոմսը ներառում է, = 1 if input image belongs to class եւ 0 0 0 0 0 0 36 7 Pi-ի մասին i Արդյոք Արդյոք i Արդյոք HPC-Net- ի դասընթացում, մենք կտրում ենք թարմացումը քաշի համար (Անհարկե, որ սերտիֆիկի քաշը -th synapse connecting neuron Հիմնական neuron ) յուրաքանչյուր ժամանակի քայլում: Հետեւաբար, երբ մոդելային բաղադրիչները մոդելային բաղադրիչներ են, Արդյոք, ինչպիսիք են հայտնաբերվել EQ- ում ( )՝ Գլխավոր k i j Գլխավոր 8 Այստեղ է ուսուցման արագությունը, այն է նորարարման արժեքը ժամանակում Հիմա Հիմա Սոմատիկ հոսքը neuron and respectively, Դա է Synaptic currents, որոնք աշխատում են neurons Հիմնական neuron Հիմա Նրա synaptic conductivity, Ինչպե՞ս է փոխանցման resistance The connected compartment of neuron- ը Հիմնական neuron «Որբնացրեք neuron» «Ես քեզ եմ, s = 30 ms e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( Ավելի t vj VI-ն i j Արդյոք k i j Գիտակ Թագավորություն k i j j t t 10 11 Քանի որ բոլոր արտադրանքի neurons են Single-Compartment, միավոր է ներսում resistance հարմարեցված կատեգորիան, Transfer եւ ներսում resistances calculated by NEURON. Mini-batch training- ը տպագրական մեթոդ է Deep Learning- ում, որը հասկանում է ավելի բարձր նախընտրական ճշգրտությունը եւ արագացնել convergence- ը: DeepDendrite- ը նաեւ աջակցում է mini-batch training- ը: Երբ HPC-Net- ը ուսուցում է mini-batch size- ի հետ Բրիտանիա, մենք պետք է HPC-Net- ի բաղադրատոմսերի բաղադրատոմսեր: Բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղադրատոմսերի բաղ N N Robustness against adversarial attack with HPC-Net HPC-Net- ի հզորությունը ցույց տալով, մենք փորձել ենք իր նախընտրական ճշգրտությունը adversarial նմուշների վրա եւ համեմատել այն մի այլ ANN- ի հետ (մեկը նույն 784-64-10 կառուցվածքի եւ ReLU- ի ինտեգրման հետ, մեր HPC-Net- ում ճշգրիտ համեմատության համար, յուրաքանչյուր տպագրական նմերոնը միայն մեկ sinaptic կապ ստացել է յուրաքանչյուր սեղմված նմերոնով): Մենք առաջին անգամ ուսուցել ենք HPC-Net- ը եւ ANN- ը Original Training Set- ը (original clean images) հետ: Այնուհետեւ մենք ավելացել ենք adversarial սխալը Test Set- ում եւ չափել ենք իրենց նախընտրական ճշգրտությունը սխալ Test Set- ում: Մենք օգտագործում ենք Foolbox , FGSM- ի մեթոդով արտադրել adversarial սխալը ANN- ը PyTorch- ի հետ ուսուցվել է , եւ HPC-Net- ը դասընթացվել է մեր DeepDendrite- ի հետ: Շնորհակալության համար, մենք ստեղծել ենք փոխանցման սխալը շատ տարբեր ցանցային մոդելում, 20-րդ մակերեսի ResNet- ում Արդյոք, մենք փորձել ենք երկու տպավոր data sets, MNIST Fashion-MNIST Վիքիպահեստում Ապրանքները ցույց են տալիս, որ HPC-Net- ի նախընտրական ճշգրիտությունը 19% եւ 16.72% ավելի բարձր է, քան այլն ANN- ի. 98 99 93 100 101 95 96 Տեղադրման համոզվածություն Բարձր տեղեկություններ հետազոտական նախագծման մասին հասանելի են Փոխանցվել է այս հոդվածին. Nature Portfolio- ի հետազոտական տեղեկատվություն Data availability Այս հետազոտության արդյունքները աջակցելու տվյալները հասանելի են թերթում, Supplementary Information եւ Source Data ֆայլերի մեջ, որոնք տրամադրվում են այս թերթի հետ: Հեղինակային կոդը եւ տվյալները, որոնք օգտագործվում են արդյունքների վերլուծման համար Figs- ում: – Դա հասանելի է The MNIST data set- ը բացառապես հասանելի է The Fashion-MNIST data set- ը բացառապես հասանելի է Արդյոք Այս թերթի հետ մատակարարված են. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Տեսակներ Code- ի հասանելիություն The source code of DeepDendrite, ինչպես նաեւ մոդելներ եւ կոդը, որը օգտագործվում է Reproducing Figs. – Այս դասընթացում հասանելի են . 3 6 https://github.com/pkuzyc/DeepDendrite Տեսակներ McCulloch, W. S. & Pitts, W. Հիմնական հաշվետվություն սերտիֆիկի գործառույթում տպագրված գաղափարների մասին. Բլ. Մատթ. Biophys. 5, 115–133 (1943). LeCun, Y., Bengio, Y. & Hinton, G. Հիմնական ուսուցման. Nature 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Արդյունաբերական սինպտիկ սինպտիկ սինպտիկ սինպտիկը մոդել CA1 սինպտիկը: Neuron 37, 977–987 (2003). London, M. & Häusser, M. Dendritic calculation. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. The single dendritic branch as a fundamental functional unit in the nervous system. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic ինտեգրման: 60 տարի առաջադեմ. Nat. Neurosci. 18, 1713–1721 (2015). Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական հոդված՝ Հիմնական Yuste, R. & Denk, W. Dendritic բաղադրիչները որպես հիմնական գործառույթային միավորներ neuronal ինտեգրման. Nature 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Dendritic փոշի փոխանցումներ, որոնք կապված են hippocampal երկար ժամանակի sinaptic plasticity. Nature 399, 66–70 (1999). Հուլտ, R. Dendritic թռիչքներ եւ թռիչքներ: Neuron 71, 772–781 (2011). Հիմնական հոդված՝ Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Հունվար, 2013 Գլ, W. Արդյունաբերական dendritic խանութներ եւ motoneuron membrane resistivity. Exp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Computational study of an excitable dendritic spine. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. Հավատում է խաղի գնել հետ հագուստ սերտիֆիկների ցանցերի եւ թռիչքների որոնման. Nature 529, 484–489 (2016). Silver, D. et al. Հիմնական հսկողության ուսուցման ալբորատոմս, որը հսկողում է սխալը, shogi, եւ անցնում է Self-Play. Science 362, 1140–1144 (2018). McCloskey, M. & Cohen, N. J. Katastrophic interference in connectivist networks: the sequential learning problem. Psychol. Learn. Motiv. 24, 109–165 (1989). Մ. R. M. Պահպանական մոռացումը connectivist ցանցերում. Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse թռիչքները optimize information transmission in a multiplexed neural code. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits հարմարեցնել backpropagation algorithm. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-հարկված sinaptic պլաստիկությունը կարող է համատեղել ուսուցման հիերֆիկական սարքերի մեջ: Nat. Neurosci. 24, 1010–1019 (2021). Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computing. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. The gradient clusteron: a model neuron that learns to solve classification tasks via dendritic nonlinearities, structural plasticity, and gradient descent. PLoS Comput. Biol. 17, e1009015 (2021). Hodgkin, A. L. & Huxley, A. F. Կատեգորիանալի նկարագրություն membrane լարման եւ նրա օգտագործման conduction եւ բուժման է սենյակում. J. Physiol. 117, 500-544 (1952). Rall, W. Theory of physiological properties of dendrites. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. Neural Comput. 9, 1179–1209 (1997): Նրաֆիլմային համակարգչային միջավայրը Bower, J. M. & Beeman, D. The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (նշում է Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. J. Comput. Neurosci. 25, 203–210 (2008). Hines, M. L., Markram, H. & Schürmann, F. Բարձրապես անսահմանափակ parallel սմարթացիոն միավոր ռեժորների. J. Comput. Neurosci. 25, 439–448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. Բարձրացումը կատեգորիաների մոդելացման վրա գրաֆիկական processing միությունը. Front. Neuroinform. 7, 4 (2013). Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. արդյունավետ թվային մոդելային մոդելային մոդելների սերտիֆիկային կառուցվածքը գրաֆիկայի processing միավորների. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388–397 (IEEE, 2017). Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at https://arxiv.org/abs/1810.12742 (2018). Korte, B. եւ Vygen, J. Combinatorial Optimization Theory եւ Algorithms 6 edn (Springer, 2018). Gebali, F. Algorithms եւ Parallel Computing (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: A optimized compute engine for the NEURON simulator. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Ուսուցում է dendritic prediction of somatic spiking. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Օպտիմիմիական մոդելներ էոնային քանակի օգտագործելով parallel genetic algorithm է գրաֆիկական processors. J. Neurosci. Methods 206, 183–194 (2012). Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. J. Neurosci. Methods 36, 105–114 (1991). McDougal, R. A. et al. Twenty years of modelDB and beyond: Building essential modeling tools for the future of neuroscience. J. Comput. Neurosci. 42, 1–10 (2017). M. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih ընտրականորեն բլոգում է ոչ-սնկնկնկված մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղ Հիմոնդ, P. et al. Հիմոնդ, P. et al. Հիմոնդ, P. et al. Հիմոնդ, P. et al. Հիմոնդային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջջային բջջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջջային բջ Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Մոդելներ neocortical գոտի 5b թվային բջիջային բջիջների ստուգում լայն շարք dendritic եւ perisomatic գործառույթների. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. Front. Cell. Neurosci. 9, 47 (2015). Lindroos, R. et al. Basal ganglia neuromodulation ավելի քան բազմաթիվ ժամանակային եւ կառուցվածքի քանակում - մոդելներ Direct Path MSNs հետազոտել արագ սկսման dopaminergic ազդեցությունների եւ նախընտրել գործը Kv4.2. Front. Neural Circuits 12, 3 (2018). Մեյլոր, M. et al. Synaptic բաղադրիչները գործում են որպես ախտորատորներ ախտորատորների. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Programming Guide. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021): NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021) Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptic amplification by dendritic spines enhances input cooperativity. Nature 491, 599–602 (2012) Chiu, C. Q. եւ այլն: GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Պլաստիկությունը փոշի փոշի կարգավորում է սինպսերի կախվածությունը: Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: From spines to spikes via models. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritic spines. in Biophysics of Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. Neural Comput. 4, 518–533 (1992). Հենսը, Մ. Ապրանքային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգչի համակարգչային համակարգչային համակարգչային համակարգչային համակարգչային համակարգ Nayebi, A. & Ganguli, S. Biologically inspired protection of deep networks from adversarial attacks. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Large-Scale Simulation Using Parallel GENESIS. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (հարկված է Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel ցանցային մոդելներ Neuron. J. Comput. Neurosci. 21, 119 (2006) Lytton, W. W. et al. Հիմնական neuroscience տեխնոլոգիաների առաջադեմ հողազոտությունների համար: Neural Comput. 28, 2063–2090 (2016). Valero-Lara, P. et al. cuHinesBatch: Մասնավոր Hines համակարգերի լուծում GPU- ում Human Brain Project. In Proc. 2017 International Conference on Computational Science 566–575 (IEEE, 2017). Akar, N. A. et al. Arbor — Մորֆոլոլոգիական մոդելային ցանցի մոդելային գրասենյակ, որը մատակարարվում է ժամանակակից բարձր արդյունավետության համակարգչային դիզայնների համար: 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019) Ben-Shalom, R. et al. NeuroGPU: Բարձրացուցիչ multi-compartment, biophysically մանրամասն neuron simulations է GPUs. J. Neurosci. Methods 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. SIAM J. Sci. Comput. 28, 2139–2161 (2006) Kozloski, J. & Wagner, J. A ultra-scalable լուծում է մեծ քանակի սերտիֆիկի մոդել. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Տղամարդկանց ինտրաձայնային լարման գրառումները dendritic spines օգտագործելով quantum-dot-covered nanopipettes. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrane հզորության փոխանցումներ dendritic spines during action potentials and synaptic input. J. Neurosci. 29, 6897–6903 (2009). Nishiyama, J. եւ Yasuda, R. Biochemical calculation for spine structural plasticity. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morphological փոխանցումներ dendritic բաղադրիչների հետ կապված երկար ժամանակի sinaptic plasticity. Annu. Rev. Neurosci. 24, 1071–1089 (2001). Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. Nat. Rev. Neurosci. 10, 647–658 (2009) Caroni, P., Donato, F. & Muller, D. Արդյունաբերական պլաստիկությունը ուսուցման մեջ: կարգավորումը եւ գործառույթներ. Nat. Rev. Neurosci. 13, 478–490 (2012). Keck, T. et al. Հիմնական վերահսկողություն neuronal circuits during functional reorganization of adult visual cortex. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience- ը կախված է cortical circuits- ում տեւող կառուցվածքի նամակը: Nature 457, 313–317 (2009) Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. Nature 420, 788–794 (2002) Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal Dynamics of excitatory and inhibitory neurons in somatosensory cortex. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Բարձր ստեղծման եւ ընտրական stabilization synapses համար տեւող motor memories. Nature 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Բարձրացնել motor learning- ի միջոցով բարձրացնել stability- ի նոր ստեղծված dendritic spines է motor cortex. Neuron 109, 3298–3311 (2021). Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. Neuron 69, 885–892 (2011). Հիմնական, G., Larkum, M. E. & Schiller, J. Ապրանքային հատկանիշները neocortical piramidal neuron dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic գործառույթների հզորություններ եւ համակարգչություն է մարդային փակ 2/3 cortical neurons. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timeed synaptic inhibition forms NMDA spikes, ազդեցություն տեղական dendritic processing եւ ամբողջական I / O հատկանիշները cortical neurons. Cell Rep. 21, 1550–1561 (2017). Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritic խոշորները բարելավում են ռեժիմի Selectivity in cortical neurons in vivo. Nature 503, 115–120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. Nature 492, 247–251 (2012). Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա, Բրիտանիա Sheffield, M. E. & Dombeck, D. A. Calcium transitory prevalence across the dendritic arbour predicts place field properties. Nature 517, 200–204 (2015). Markram, H. եւ այլն: Neocortical microcircuitry- ի վերլուծություն եւ մոդելություն: Cell 163, 456–492 (2015). Billeh, Y. N. եւ այլն: Structural and functional data's systematic integration into multi-scale models of mouse primary visual cortex. Neuron 106, 388–403 (2020) Հորթ, J. et al. The microcircuits of striatum in silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020) Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Հաջորդ հոդվածը E22901 (2017) Iyer, A. et al. Պահպանելով վտանգը: Active dendrites թույլ է տալիս multi-task ուսուցման ինտերնետային միջավայրում. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Ո՞վ կարող է մի միմյանց սերտիֆիկը լուծել հետաքրքրված մեքենայի ուսուցման խնդիրները իր dendritic թռչունի միջոցով: Neural Comput. 33, 1554–1571 (2021). Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic ստանդարտությունը բարելավում է ուսուցման հեշտորեն կապված թվային ռեժիմային ցանցերի. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Բացուցում եւ օգտագործում adversarial օրինակներ. in 3rd International Conference on Learning Representations (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Բարձրացնելը մեքենայի ուսուցում: ֆունկցիաներից սեւ կոճակները օգտագործելով adversarial մոդելներ: Preprint at https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based ուսուցման կիրառվում է գրառույթների ճանաչման. Proc. IEEE 86, 2278–2324 (1998). Սայո, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: մի նոր տեսակի տվյալների բաղադրիչը մեքենայի ուսուցման բաղադրիչների բաղադրիչների համար: Preprint at http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Գնացուցում է biologically-motivated deep learning algorithms եւ դիզայնների scalability. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox անգլերեն: արագ անգլերեն սխալները, որոնք համեմատել են մեքենայի ուսուցման մոդելների հզորությունը PyTorch, TensorFlow, եւ JAX. J. Open Source Softw. 5, 2607 (2020). Paszke, A. et al. PyTorch: A imperative style, բարձր կատարման deep learning libraries. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Ապրիլ 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770–778 (IEEE, 2016). Հիմնական տեղեկություններ Այս աշխատանքը աջակցվել է Guangdong Province National Key R&D Program (No. 2018B030338001) համար TH, National Natural Science Foundation of China (No. 61825101) համար Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), KTH եւ Digital Futures to J.H.K., J.H., A.H., PDIC, Swedish համար մոդելային հետազոտական ծրագրեր (SVK-M-2020-01652), Swedish Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), Չինաստան Չինաստան Չինաստան Չինաստան Չինաստան Չինաստան Չինաստան Չինաստան Այս գրասենյակը հասանելի է CC by 4.0 Deed (Attribution 4.0 International) License- ի տակ: Այս գրասենյակը հասանելի է CC by 4.0 Deed (Attribution 4.0 International) License- ի տակ:
