Автори на: Јанг Џанг Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Јунајтед тој Shenjian Zhang Џенет Хелгрен Коталески Yonghong Tian Стен Грилнер Кога ќе Tiejun Huang Автори на: Јанг Џанг Гани тој Леа Ма Кјаофеј Лиу Џ.Ј. Јоханес Херт Александар Козлов Јунајтед тој Шенџијан Ѓанг Џенет Хелгрен Коталески Јонгхонг Тиан Стен Грилнер Кога ќе Тејон Хуанг апстракција Биофизички детални модели со повеќе оддели се моќни алатки за истражување на пресметковните принципи на мозокот и исто така служат како теоретска рамка за генерирање на алгоритми за системи за вештачка интелигенција (АИ). Меѓутоа, скапите трошоци за пресметка сериозно ги ограничуваат апликациите и во областа на невронауката и АИ. Главната пречка при симулирање на детални модели на оддели е способноста на симулаторот да реши големи системи на линеарни равенки. ендометриумот Иерархија cheduling (DHS) метод за значително забрзување на таков процес. Теоретски докажуваме дека имплементацијата на DHS е компјутерски оптимална и точна. Овој метод базиран на GPU работи со 2-3 налози на големина побрзо од оној на класичниот сериски Hines метод во конвенционалната CPU платформа. Ние градиме DeepDendrite рамка, која ги интегрира методот DHS и GPU компјутерскиот мотор на NEURON симулаторот и демонстрира апликации на DeepDendrite во невронауката задачи. Ние истражуваме како просторните модели на вложувањата на 'рбетот влијаат на невронската возбудливост во детален човечки пирамидален невронски модел со 25.000 спинови. Покрај тоа, обезбедуваме кратка дискусија D H S Воведување Дешифрирањето на кодирањето и компјутерските принципи на невроните е од суштинско значење за невронауката. Мозокот на млекото се состои од повеќе од илјадници различни типови неврони со уникатни морфолошки и биофизички својства. , во која невроните се сметале за едноставни сумирање единици, се уште е широко применуван во невронски пресметки, особено во анализата на невронски мрежи.Во последниве години, модерната вештачка интелигенција (АИ) го искористи овој принцип и разви моќни алатки, како што се вештачки невронски мрежи (АНН). Меѓутоа, покрај сеопфатните пресметки на ниво на еден неврон, субцелуларните одделенија, како што се невронските дендрити, исто така можат да извршуваат нелинеарни операции како независни пресметкови единици. , , , , Покрај тоа, дендритните пршлени, мали протрузии кои густо ги покриваат дендритите во спиналните неврони, можат да ги раздвојат синаптичните сигнали, овозможувајќи им да се одвојат од нивните родителски дендрити ex vivo и in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симулациите со користење на биолошки детални неврони обезбедуваат теоретска рамка за поврзување на биолошките детали со компјутерските принципи. , ни овозможува да моделираме неврони со реални дендритни морфологии, внатрешна јонска спроводливост и екстрински синаптични влезови. , која ги моделира биофизичките мембрански својства на дендритите како пасивни кабли, обезбедува математички опис на тоа како електронските сигнали инвазираат и се шират низ комплексни невронски процеси. , . 12 13 12 4 7 Покрај своето длабоко влијание врз невронауката, неодамна беа искористени биолошки детални модели на неврони за да се преклопи јазот помеѓу структурните и биофизичките детали на невроните и ИИ. Преовладувачката техника во модерното поле на ИИ е ANNs кои се состојат од точкови неврони, аналог на биолошките невронски мрежи. , , човечкиот мозок сè уште ги надминува ANNs во домени кои вклучуваат повеќе динамични и бучни средини , Неодамнешните теоретски студии сугерираат дека дендритската интеграција е од суштинско значење за генерирање на ефикасни алгоритми за учење кои потенцијално го надминуваат бакпроперот во паралелната обработка на информациите. , , Покрај тоа, еден детален мулти-партимент модел може да научи нелинеарни пресметки на ниво на мрежата за точковите неврони со прилагодување само на синаптичната сила. , Демонстрирајќи го целосниот потенцијал на деталните модели во изградбата на помоќни системи на ИИ слични на мозокот, затоа е од висок приоритет да се прошират парадигмите во ИИ слични на мозокот од поединечни детални модели на неврони до големи биолошки детални мрежи. 14 15 16 17 18 19 20 21 22 Еден долгогодишен предизвик на пристапот на детална симулација лежи во нејзините исклучително високи компјутерски трошоци, кои сериозно ја ограничиле нејзината примена на невронауката и вештачката интелигенција. , , За подобрување на ефикасноста, класичниот метод на Хинес ја намалува временската сложеност за решавање на равенките од O(n3) до O(n), што е широко применет како основен алгоритам во популарните симулатори како што е NEURON. и генетиката Сепак, овој метод користи сериски пристап за обработка на секој оддел последователно.Кога симулацијата вклучува повеќе биофизички детализирани дендрити со дендритни прстени, линеарната матрица на равенката (“Hines Matrix”) се скалира соодветно со зголемување на бројот на дендрити или прстени (Слика. ), со што методот на Хинес повеќе не е практичен, бидејќи претставува многу тежок товар на целата симулација. 12 23 24 25 26 1е Реконструиран модел на пирамидален неврон од слој 5 и математичка формула што се користи со детални модели на неврони. Работниот тек при нумеричко симулирање на детални модели на неврони. Фазата на решавање на еднаквоста е стапката во симулацијата. Пример за линеарни равенки во симулацијата. Зависност на податоците од методот Hines при решавање линеарни равенки во . на Големината на Hines матрицата скали со комплексноста на моделот. Бројот на линеарни равенки систем да се реши се соочува со значително зголемување кога модели се зголемува повеќе детали. Компјутерски трошоци (чекори преземени во фазата на решавање на равенките) на серијалниот метод Hines на различни типови на модели на неврони. Илустрација на различни методи за решавање. Различни делови на неврон се доделуваат на повеќе единици за обработка во паралелни методи (средно, десно), прикажани со различни бои. Во серискиот метод (лево), сите оддели се пресметуваат со една единица. Компјутерски трошоци на три методи во при решавање на равенки на пирамидален модел со прстени. Време на извршување на различни методи за решавање на равенки за 500 пирамидални модели со спини. Времето на извршување укажува на потрошувачката на време на симулација од 1 s (решување на равенката 40.000 пати со временски чекор од 0,025 ms). p-Hines паралелен метод во CoreNEURON (на GPU), Branch-базиран паралелен метод (на GPU), DHS Dendritic хиерархиски распоред метод (на GPU). a b c d c e f g h g i Во текот на изминатите децении, беше постигнат огромен напредок во забрзувањето на методот Хинес со користење на паралелни методи на клетково ниво, што овозможува паралелизирање на пресметувањето на различните делови во секоја клетка. , , , , , Сепак, тековните паралелни методи на клеточно ниво често немаат ефикасна стратегија за паралелизација или немаат доволна нумеричка точност во споредба со оригиналниот метод Hines. 27 28 29 30 31 32 Овде, ние развиваме целосно автоматска, нумерички точна и оптимизирана алатка за симулација која може значително да ја забрза ефикасноста на пресметување и да ги намали трошоците за пресметување.Покрај тоа, оваа алатка за симулација може да се прифати беспрекорно за воспоставување и тестирање на невронски мрежи со биолошки детали за машинско учење и АИ апликации. Теорија на паралелните компјутери Демонстрираме дека нашиот алгоритам обезбедува оптимално распоредување без загуба на прецизност. Покрај тоа, го оптимизиравме DHS за моментално најнапредниот GPU чип преку искористување на хиерархијата на меморијата на GPU и механизмите за пристап до меморијата. ) во споредба со класичниот симулатор NEURON Додека се одржува истата точност. 33 34 1 25 За да се овозможат детални дендритни симулации за употреба во АИ, следново ја воспоставуваме DeepDendrite рамката со интегрирање на DHS-вградената платформа CoreNEURON (оптимизиран компјутерски мотор за NEURON). како симулациски мотор и два помошни модули (I/O модул и модул за учење) кои ги поддржуваат алгоритмите за дендритно учење за време на симулациите. DeepDendrite работи на хардверската платформа на GPU, поддржувајќи ги и редовните задачи за симулација во невронауката и задачите за учење во АИ. 35 Последно, но не и најмалку важно, ние исто така презентираме неколку апликации кои користат DeepDendrite, насочени кон неколку критични предизвици во невронауката и АИ: (1) Демонстрираме како просторните модели на вложувањата на дендритниот 'рбет влијаат на невронските активности со неврони кои содржат 'рбетници низ дендритските дрвја (модели со целосен 'рбетник). DeepDendrite ни овозможува да ја истражуваме невронската пресметка во симулиран модел на човечки пирамидален неврон со ~ 25.000 дендритни 'рбетници. (2) Во дискусијата, исто така, го разгледуваме потенцијалот на DeepDendrite во контекст на АИ, конкретно, во создавањето на ANNs со морфолошки детални Сите изворни кодови за DeepDendrite, моделите со целосен 'рбет' и деталниот дендритен модел на мрежата се јавно достапни на интернет (види Достапност на кодот).Нашата рамка за учење со отворен код може лесно да се интегрира со други правила за дендритно учење, како што се правилата за учење за нелинеарни (целосно активни) дендрити Експлозија-зависна синаптична пластичност , и да учат со spike предвидување Општо земено, нашата студија обезбедува комплетен сет на алатки кои имаат потенцијал да го променат тековниот екосистем на компјутерската невронаучна заедница.Со искористување на моќта на GPU компјутерите, предвидуваме дека овие алатки ќе олеснат системско истражување на компјутерските принципи на фините структури на мозокот, како и промовирање на интеракцијата помеѓу невронауката и модерната АИ. 21 20 36 Резултати Дендритско хиерархиско планирање (DHS) Компјутеризирањето на јонските струи и решавањето на линеарните равенки се две критични фази при симулирање на биофизички детални неврони, кои се долготрајни и претставуваат сериозни компјутерски оптоварувања.За среќа, пресметување на јонските струи на секој оддел е целосно независен процес, така што може природно да се паралелизира на уреди со масивни паралелни компјутерски единици како GPUs Како последица на тоа, решавањето на линеарните равенки станува преостаната стапица за процесот на паралелизација (Фиг. ) на 37 1а-ф За да се справат со оваа пречка, се развиени паралелни методи на клетково ниво, кои го забрзуваат едноклеточното пресметување со „споделување“ на една клетка во неколку одделенија кои можат да се пресметуваат паралелно. , , Сепак, таквите методи во голема мера се потпираат на претходното знаење за да генерираат практични стратегии за тоа како да се подели еден неврон во одделенија (Фиг. • Дополнителен фиг. Оттука, станува помалку ефикасен за невроните со асиметрични морфологии, на пример, пирамидалните неврони и Purkinje невроните. 27 28 38 1 г 1 Целта ни е да развиеме поефикасен и прецизен паралелен метод за симулација на биолошки детални невронски мрежи. Прво, ги утврдуваме критериумите за точноста на паралелниот метод на клеточно ниво. , предлагаме три услови за да се осигура дека паралелниот метод ќе даде идентични решенија како методот за сериско пресметување Hines според зависноста на податоците во методот Hines (види Методи). Потоа, за теоретски да се процени времето на извршување, односно ефикасноста, на методите за сериско и паралелно пресметување, го воведуваме и формулираме концептот на пресметувачки трошоци како бројот на чекори што методот ги презема во решавањето на равенките (види Методи). 34 Врз основа на точноста на симулацијата и компјутерските трошоци, проблемот со паралелизацијата го формулираме како проблем со математичко планирање (види Методи). паралелни нишки, можеме да пресметаме најмногу Но, треба да се осигураме дека еден јазол се пресметува само ако сите негови деца јазоли се обработени; нашата цел е да најдеме стратегија со минимален број на чекори за целата постапка. k k За да се генерира оптимална партиција, ние предлагаме метод наречен дендритски хиерархиски распоред (DHS) (теоретскиот доказ е претставен во Методите). Методот DHS вклучува два чекори: анализирање на дендритската топологија и наоѓање на најдобрата партиција: (1) Даден детален модел, прво го добиваме соодветното дрво на зависност и ја пресметуваме длабочината на секој јазол (длабочината на јазол е бројот на неговите предци јазоли) на дрвото (Слика. (2) По анализата на топологијата, ги пребаруваме кандидатите и ги избираме најмногу Најдлабоки кандидатни јазли (јазот е кандидат само ако сите негови деца јазли се обработени). ) на 2а 2б и c k 2Д DHS работен тек. DHS процеси Најдлабоки кандидатни јазли за секоја итерација. Илустрација на пресметување на длабочината на јазолот на моделот на одделот. Моделот прво се конвертира во структура на дрво, а потоа се пресметува длабочината на секој јазол. Анализа на топологијата на различни модели на неврони. Овде се прикажани шест неврони со различни морфологии. За секој модел, сомата е избрана како корен на дрвото, така што длабочината на јазолот се зголемува од сомата (0) до дисталните дендрити. Илустрација на извршување на DHS на моделот во со четири нишки. Кандидати: јазли кои можат да се обработуваат. Избрани кандидати: јазли кои се избрани од страна на DHS, односно Најдлабоки кандидати. Процесирани јазли: јазли кои претходно се обработени. Стратегија за паралелизација добиена од DHS по процесот во Секој јазол е доделен на една од четирите паралелни нишки. DHS ги намалува чекорите на сериската обработка на јазол од 14 на 5 со дистрибуција на јазоли на повеќе нишки. Релативна цена, т.е. процентот на пресметувачката цена на DHS во однос на методот сериски Hines, кога се применува DHS со различен број на нишки на различни типови на модели. a k b c d b k e d f Земете поедноставен модел со 15 одделенија како пример, користејќи го методот за сериско пресметување Hines, потребно е 14 чекори за да се обработат сите јазли, додека користејќи DHS со четири паралелни единици може да ги подели своите јазли во пет подсетови (Слика. Бидејќи јазлите во истиот поднабор може да се обработуваат паралелно, потребно е само пет чекори за да се обработат сите јазли со користење на DHS (Слика 5). ) на 2Д 2е Следно, ние го применуваме DHS методот на шест репрезентативни детални модели на неврони (избрани од ModelDB). ) со различен број на жици (Фиг. ): вклучувајќи ги и кортикалните и хипокампалните пирамидални неврони , , Церебеларни Purkinje неврони Стриатски проекциски неврони (SPN) ), и митралните клетки на митралната сијалица , кои ги покриваат главните главни неврони во сензорните, кортикалните и субкортикалните области. Потоа ги измеривме пресметувачките трошоци. Релативната пресметувачка цена тука е дефинирана со процентот на пресметувачките трошоци на DHS во однос на серијалниот метод Hines. пресметувачките трошоци, односно бројот на чекори преземени во решавањето на равенките, драматично паѓаат со зголемување на бројот на нишките. На пример, со 16 нишки, пресметувачката цена на DHS е 7%-10% во споредба со серискиот метод Hines. Интригантно, методот DHS ги достигнува пониските граници на нивните пресметувачки трошоци за презентираните неврони кога се дадени 16 или дури 8 паралелни ), сугерирајќи дека додавањето на повеќе нишки не ги подобрува перформансите понатаму поради зависностите меѓу одделенијата. 39 2Ф 40 41 42 43 44 45 2Ф Заедно, генерираме DHS метод кој овозможува автоматска анализа на дендритската топологија и оптимална партиција за паралелно пресметување. Вреди да се напомене дека DHS ја наоѓа оптималната партиција пред да започне симулацијата и не е потребна дополнителна пресметка за решавање на равенките. Забрзување на DHS со зголемување на меморијата на GPU DHS пресметува секој неврон со повеќе нишки, кои консумираат огромна количина на нишки при извршување на симулации на невронски мрежи. Графички единици за обработка (GPUs) се состојат од масивни единици за обработка (т.е. процесори за стриминг, SPs, Фиг. за паралелни компјутери Во теорија, многу SPs на GPU треба да поддржуваат ефикасна симулација за големи неурални мрежи (Слика. Сепак, постојано сме забележале дека ефикасноста на DHS значително се намалува кога се зголемува големината на мрежата, што може да резултира со расфрлано складирање на податоци или дополнителен пристап до меморија предизвикан од вчитање и пишување на интермедиум резултати (Слика. на левата страна). 3а, б 46 3C 3Д Архитектурата на GPU и нејзината хиерархија на меморија. Секој GPU содржи огромни единици за обработка (процесори за протокот). Различни типови на меморија имаат различен проток. Архитектура на стриминг мултипроцесори (SMs). Секој SM содржи повеќе стриминг процесори, регистри и L1 кеш. Примена на DHS на два неврони, секој со четири нишки. За време на симулацијата, секоја нишка работи на еден процесор. Стратегија за оптимизација на меморијата на GPU. Врвот на панелот, доделувањето на нишките и складирањето на податоците на DHS, пред (лево) и по (десно) зголемување на меморијата. Процесорите испраќаат барање за податоци за да ги вчитаат податоците за секоја нишка од глобалната меморија.Без зголемување на меморијата (лево), се потребни седум трансакции за да се вчитаат сите податоци за барање и некои дополнителни трансакции за интермедиумски резултати.Со зголемување на меморијата (десно), се потребни само две трансакции за да се вчитаат сите податоци за барање, се користат регистри за интермедиумски резултати, што дополнително го подобрува пропустот на меморијата. Време на работа на DHS (32 нишки секоја клетка) со и без меморија зголемување на повеќе слоеви 5 пирамидални модели со спинови. Забрзување на меморијата за забрзување на повеќе слоеви 5 пирамидални модели со спинови. a b c d d e f Ние го решаваме овој проблем со зголемување на меморијата на GPU, метод за зголемување на меморискиот проток преку искористување на мемориската хиерархија и механизмот за пристап на GPU. Врз основа на механизмот за полнење на меморијата на GPU, последователните нишки за полнење на споени и последователно складирани податоци доведуваат до висок проток на меморијата во споредба со пристапот до податоци складирани со расфрлање, што го намалува пропустот на меморијата. , За да се постигне висок проток, прво ги усогласуваме компјутерските наредби на јазли и ги реорганизираме жиците според бројот на јазли на нив. Потоа го пермутираме складирањето на податоците во глобалната меморија, конзистентно со компјутерските наредби, т.е. јазлите кои се обработуваат на ист чекор се складираат последователно во глобалната меморија. Покрај тоа, користиме GPU регистри за складирање на интермедиумски резултати, понатаму зајакнување на меморискиот проток. Понатаму, експерименти на повеќе броеви на пирамидални неврони со пршлени и типичните модели на неврони (Слика. • Дополнителен фиг. ) покажуваат дека засилувањето на меморијата постигнува 1.2-3.8 пати забрзување во споредба со наивниот DHS. 46 47 3Д 3 Е, Ф 2 За сеопфатно тестирање на перформансите на DHS со зголемување на меморијата на GPU, ние избираме шест типични модели на неврони и го проценуваме времето на работа на решавање на кабелските равенки на масивни броеви на секој модел (Слика. Ние ги испитавме DHS со четири нишки (DHS-4) и шестнаесет нишки (DHS-16) за секој неврон, соодветно. Покрај тоа, во споредба со конвенционалниот серијален метод Hines во NEURON кој работи со една нишка на процесорот, DHS ја забрзува симулацијата за 2-3 реда на големина (Дополнителна фигура. ), со задржување на идентична нумеричка точност во присуство на густи прстени (Дополнителни фигури. и ), активни дендрити (Дополнителна Фиг. ) и различни стратегии за сегментација (Дополнителна фигура. ) на 4 4а 3 4 8 7 7 Време на работа за решавање на равенки за 1 s симулација на GPU (dt = 0,025 ms, вкупно 40.000 итерации). CoreNEURON: паралелниот метод кој се користи во CoreNEURON; DHS-4: DHS со четири нишки за секој неврон; DHS-16: DHS со 16 нишки за секој неврон. , на Визуализација на партицијата од страна на DHS-4 и DHS-16, секоја боја укажува на една нишка. a b c DHS создава оптимално партиционирање специфично за типот на клетката За да добиеме увид во механизмот на работа на методот DHS, го визуализиравме процесот на партиционирање со мапирање на прегради на секоја нишка (секоја боја претставува една нишка на фигура. Визуализацијата покажува дека една нишка често се префрлува помеѓу различни гранки (Слика. Интересно е дека DHS генерира поделени прегради во морфолошки симетрични неврони како што се стријатскиот проекциски неврон (SPN) и митралната клетка (Слика 1). Наспроти тоа, генерира фрагментирани прегради на морфолошки асиметрични неврони како пирамидалните неврони и клетката на Пуркинџ (Слика 4). ), што укажува на тоа дека DHS го дели невронското дрво на индивидуална скала на одделение (т.е. дрво јазол) наместо скала на гранка. 4б и c 4б и c 4б и c 4б и c Накратко, DHS и засилувањето на меморијата генерираат теоретски докажано оптимално решение за решавање линеарни равенки паралелно со невидена ефикасност. Користејќи го овој принцип, ја изградивме отворената платформа DeepDendrite, која може да се користи од страна на невронаучниците за имплементација на модели без специфично знаење за програмирање на GPU. Подолу, демонстрираме како можеме да го користиме DeepDendrite во невронски задачи. DHS овозможува моделирање на нивото на 'рбетот Бидејќи дендритните пршлени примаат најголем дел од возбудливиот внес на кортикалните и хипокампалните пирамидални неврони, стријатните проекциски неврони итн., нивните морфологии и пластичност се од клучно значење за регулирање на нервната возбудливост. , , , , Сепак, прстените се премногу мали (~ 1 μm должина) за да бидат директно мерени експериментално во однос на процесите зависни од напонот. 10 48 49 50 51 Можеме да моделираме еден 'рбетот' со два оддела: 'рбетот' каде се наоѓаат синапсите и 'рбетот' кој ја поврзува 'рбетот' со дендритите. Теоријата предвидува дека многу тенкиот врат на 'рбетот (0,1-0,5 μm во дијаметар) електронски ја изолира 'рбетот од неговиот родителски дендрит, со што ги одделува сигналите генерирани на 'рбетот. Сепак, деталниот модел со целосно дистрибуирани прстени на дендрити (“модел со целосен прстен”) е компјутерски многу скап. Фактор на спин , наместо да ги моделирате сите прстени експлицитно. спиналниот фактор има за цел да го приближи ефектот на 'рбетот врз биофизичките својства на клеточната мембрана . 52 53 F 54 F 54 Инспириран од претходната работа на Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5а F 5b, c 5Д 5d 5Д Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in Задната бучава е поврзана. Run time of experiments in со различни методи на симулација. NEURON: конвенционален NEURON симулатор кој работи на едно јадро на процесорот. CoreNEURON: CoreNEURON симулатор на еден GPU. DeepDendrite: DeepDendrite на еден GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. и ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5е 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. При симулирање на голем број на неврони со сложени морфологии, ДХС со подобрување на меморијата постигнува 15-кратно забрзување (Дополнителна Табела). ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table Понатаму, ја развиваме DeepDendrite рамката базирана на GPU со интегрирање на DHS во CoreNEURON. Конечно, како демонстрација на капацитетот на DeepDendrite, претставуваме репрезентативна апликација: да ги испитаме пресметките на 'рбетот' во детален пирамидален модел на неврони со 25.000 спини. Понатаму, во овој дел, разгледуваме како ја проширивме DeepDendrite рамката за да овозможиме ефикасна обука на биофизички детални невронски мрежи. , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers Во последниве години, GPU се користи за детална симулација на мрежата. Бидејќи GPU содржи масивни компјутерски единици, една нишка обично е доделена на една клетка наместо на група на клетки. , , Со понатамошна оптимизација, методите базирани на GPU постигнуваат многу поголема ефикасност во мрежната симулација. Сепак, пресметката во клетките се уште е сериска во методите на ниво на мрежата, така што тие сè уште не можат да се справат со проблемот кога "Hines матрицата" на секоја клетка скала е голема. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , со што се зголемуваат струите на NMDA и струите на јонските канали во 'рбетот . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries Овој пристап може да ги компензира тековите за течење и струите за капацитетација за спините. Сепак, не може да ја репродуцира високата импотенција на влезот на главата на 'рбетот, што може да ги ослаби возбудливите синаптични влезови, особено струите на NMDA, со што се намалува нелинеарноста во кривата за влез и излез на невронот. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , Моторниот кортекс , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice или дури и човечки кортикални неврони in vitro, што може да понуди разни логички операции , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Неодамнешните работи за разоткривање на дендритските улоги во учењето специфично за задачите постигнаа извонредни резултати во две насоки, односно решавање на предизвикувачки задачи како што е сет на податоци за класификација на слики ImageNet со поедноставени дендритски мрежи. , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ) на 6а и б 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks Нашите експериментални резултати со користење на HPC-Net ја поддржуваат оваа хипотеза, бидејќи забележавме дека мрежите обдарени со детални дендритни структури покажаа зголемена отпорност кон пренесување на противнички напади. во споредба со стандардните ANNs, како што е јасно во MNIST и модата-MNIST datasets (Fig. Овој доказ имплицира дека инхерентните биофизички својства на дендритите би можеле да бидат клучни во зголемувањето на робусноста на ANNs против спротивставени мешања. сепак, неопходно е да се спроведат понатамошни студии за да се потврдат овие наоди користејќи повеќе предизвикувачки збирки на податоци како ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON Анализа на состојбата ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu Опциите за користење се како во Табела . 1 Точност на симулацијата со користење на паралелно пресметување на клеточно ниво To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Врз основа на зависноста од податоците на методот за сериски компјутери Hines, предлагаме три услови за да се осигура дека паралелниот метод ќе даде идентични решенија како методот за сериски компјутери Hines: (1) морфологијата на дрвото и почетните вредности на сите јазли се идентични со оние во методот за сериски компјутери Hines; (2) во фазата на триаголизација, јазот може да се обработува ако и само ако сите негови деца јазли се веќе обработени; (3) во фазата на замена назад, јазол може да се обработува само ако неговиот родителски јазол е веќе обработен. Компјутерски трошоци на методот за паралелно пресметување на клеточно ниво За теоретски да се оцени времето на работа, односно ефикасноста, на методите за сериски и паралелни пресметки, го воведуваме и го формулираме концептот на пресметка на трошоците како што следува: and жици (основни компјутерски единици) за да се изврши триаголизација, паралелната триаголизација е еднаква за да се подели зглобниот сет of into subsets, i.e., = во , на , … } where the size of each subset | Имено, во најголем nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , и нодули во истиот подсек може да се обработува паралелно. Значи, ние дефинираме | (the size of set , i.e., овде) како пресметувачка цена на методот за паралелно пресметување. Накратко, ние ја дефинираме пресметувачката цена на паралелниот метод како бројот на чекори што ги зема во фазата на триангуларизација. Бидејќи задната замена е симетрична со триангуларизацијата, вкупната цена на целата фаза на решавање на еднаквоста е двојно поголема од фазата на триангуларизација. T k V T n V V1 V2 ВН Vi k k k V1 во V2 во Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = во , на } и позитивен целина , where Тоа е node-set и е опсегот. Дефинирање на партиција ( ) = во , на ... ... , 1 ≤ ≤ n, where | Кардиналниот број на подсетот , т.е. бројот на јазли во и за секој нод ∈ Сите нејзини деца нодули | ∈children( )} must in a previous subset , where 1 ≤ < Нашата цел е да најдеме оптимална партиција ( ) чија компјутерска цена ( (Ова е минимална вредност. T V E k V E P V V1 во V2 во ВН Ви k i Ви Ви Ви v Ви c c v VJ j i P* V П * V Еве го подрачјето consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute секој чекор најмногу затоа што бројот на достапни нишки е . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset каде што 1 ≤ „ Ова укажува на тоа дека нодот can be processed only if all its child nodes are processed. Ви i 2е Ви k k k v Vi c c v VJ j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ се доделува на подсет: (1) пронајдете ги сите кандидатски јазли и ставете ги овие јазли во кандидатскиот сет . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into Во спротивно, отстранете deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , одете на чекор (1) за да го пополните следниот подсет . d v v V v V Q Q k Q V * I k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , на , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 во Vn Ви k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to Како што е прикажано во имплементацијата на DHS, сите јазли во подсетот are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from двајца . As shown before, the child nodes of all nodes in Тие се во , на , … }, so parent nodes of nodes in are in { , ... ... }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 во V2 Vi-1 ВН V1 во Vi V1 V2 Ви-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. За секој дел од во ( DHS се движи (број на низа) најдлабоки јазли од соодветниот кандидатски сет двајца Ако бројот на нодули во Помал е од Преместете ги сите нодули од двајца За поедноставување, ние воведуваме со цел да се покаже длабочината на Најдлабоки нодули во Сите подрачја во ( ) ги исполнуваат критериумите за максимална длабочина (Дополнителна фигура. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) така што сите подсетови се состојат од најдлабоките јазли од and the number of subsets ( | ( б) останува иста по модификацијата. Ви P V k Чи Ви Чи k Чи Ви на k Чи P V 6а П (в) P*(V) V * 1 V*2 V*s P* V Q П * V Без загуба на генерализација, почнуваме од првиот подсет not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | „Одлука“ and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V * I V * I V*i k Qi V*i V*i k V*i k Qi За случај (1), бидејќи некои кандидатски јазли не се поставени на , овие јазли мора да бидат во подоцнежните подсети. Ѓаволот , we can move the corresponding nodes from the subsequent subsets to кој нема да го зголеми бројот на подсети и ќе направи да ги исполнат критериумите (Дополнителна фигура. , top). For case (2), | | = , овие подлабоки јазли кои не се преместени од кандидатот сет во мора да се додаде на подоцнежните подсети (Дополнителна фигура. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , на е избран и еден од -th deepest nodes is still in , thus will be put into a subsequent subset ( на > на Прво се движиме од двајца + во Потоа се менува подредот + Како што следува: ако + во and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + во as follows (Supplementary Fig. ): ако родителскиот јазол на е во + Преместете го родителскиот јазол на + Инаку, преместете го јазолот со минимална длабочина од + двајца + во . After adjusting , modify subsequent subsets + во , на + , … со истата стратегија. на крајот, се движи from to . V*i V * I < k V*i V * I 6б V*i k Qi V * I 6b V*i V * I v k v’ Qi V“ V * J j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V * I 1 6C v V * I 1 V * I 2 V*i 1 V * I 2 V*i V*i 1 V * I 2 V*j-1 v’ V * J V * I Со стратегијата за модификација опишана погоре, можеме да ги замениме сите помали јазли во with the -th deepest node in and keep the number of subsets, i.e., | ( Можеме да ги модифицираме јазлите со истата стратегија за сите подсетови во ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( (Б) не се менува по модификацијата. V*i k Чи П * V П * V V*i P* V П * V На крајот, DHS генерира партиција ( ) и сите подрачја ∈ ( ) задоволување на условите на максималната длабочина: . за било која друга оптимална партиција ( ) можеме да ги модифицираме неговите подсетови за да ја направиме неговата структура иста како ( ), т.е. секој поднабор се состои од најдлабоките јазли во сет на кандидати, и држи ( ) истото по модификацијата. Значи, поделбата ( ) добиени од DHS е еден од оптималните партиции. P V Ви P V П * V P V П * V | P V GPU имплементација и зајакнување на меморијата За да се постигне висок проток на меморија, GPU ја користи мемориската хиерархија на (1) глобална меморија, (2) кеш, (3) регистар, каде што глобалната меморија има голем капацитет, но низок проток, додека регистрите имаат низок капацитет, но висок проток. GPU користи SIMT (Single-Instruction, Multiple-Thread) архитектура. Warps се основните единици за планирање на GPU (warp е група од 32 паралелни нишки). Правилно да се организираат јазлите е од суштинско значење за оваа серија на пресметки во варпи, за да се осигураме дека DHS добива идентични резултати како серискиот метод Hines. Кога ги имплементираме DHS на GPU, прво ги групираме сите клетки во повеќе варпи врз основа на нивните морфологии. Клетките со слични морфологии се групираат во иста варпи. Потоа го применуваме DHS на сите неврони, доделувајќи ги одделите на секој неврон на повеќе нишки. Бидејќи невроните се групирани во варпи, нишките за истиот неврон се во иста варпи. Затоа, внатрешната синхронизација во варпи го одржува редоследот на пресметката конзистентен со зависноста од податоците на серискиот метод 46 Кога дефектот ќе ги вчита податоците кои се претходно приспособени и последователно складирани од глобалната меморија, тој може целосно да го искористи кеширањето, што доведува до висок проток на меморија, додека пристапот до податоците што се складирани со расфрлање ќе го намали проток на меморија. По доделувањето на одделенијата и реорганизацијата на нишките, ние ги променуваме податоците во глобалната меморија за да ги направиме конзистентни со компјутерските наредби, така што дефектот може да ги вчита последователно складираните податоци при извршување на програмата. Биофизички модели на целосно и малку 'рбетот We used the published human pyramidal neuron Капацитетот на мембраната m = 0,44 μF cm-2, отпорност на мембраната m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ионски канали како Na+ и K+ беа вметнати на сома и почетен аксон, и нивните обратни потенцијали беа Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 Во моделот со неколку 'рбети, капацитетот на мембраната и максималната проводливост на флуктуацијата на дендритните жици на 60 μm од сомата се множи со на спиналниот фактор за приближување на дендритските спинови. Во овој модел, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Густината на 'рбетот беше поставена на 1,3 μm-1, а секоја клетка содржи 24994 спинови на дендрити на 60 μm од сомата. 51 Морфологијата и биофизичките механизми на 'рбетот биле исти во моделите со малку 'рбетот и целосно 'рбетот. вратот = 1.35 μm и дијаметар neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. Специфичниот капацитет на мембраната, отпорот на мембраната и аксиалната отпорност беа исти како и за дендритите. L D El Синаптички влез We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, Подигање и Пропуштањето беше поставено на 8.019 и 34.9884 ms, респективно.Максималната спроводливост на AMPA и NMDA беа 0.73 nS и 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at почеток = 10 ms и траеше до крајот на симулацијата. Ние генериравме 400 шумски пик возови за секоја клетка и ги поврзавме со случајно избрани синапси. , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Извршување на ИИ задачи со платформата DeepDendrite Конвенционалните детални симулатори на неврони немаат две функционалности важни за современите ИИ задачи: (1) алтернативно извршување на симулации и ажурирања на тежината без тешка реиницијализација и (2) истовремено обработување на повеќе примероци на стимули на серијален начин. DeepDendrite се состои од три модули (Дополнителна слика. ): (1) I/O модул; (2) DHS-базиран симулациски модул; (3) модул за учење. Кога тренираат биофизички детален модел за извршување на задачи за учење, корисниците прво го дефинираат правилото за учење, а потоа ги внесуваат сите примероци за обука во детален модел за учење. Во секој чекор за време на обуката, I/O модулот избира специфичен стимул и соодветен учителски сигнал (ако е потребно) од сите примероци за обука и го поврзува стимулот со мрежниот модел. Потоа, DHS-базираниот симулациски модул го инициализира моделот и ја започнува симулацијата. По симулацијата, модулот за учење ги ажурира сите синаптички тегови според разли 5 HPC-Net model Класификацијата на сликата е типична задача во областа на АИ. Во оваа задача, моделот треба да научи да го препознае содржината на дадена слика и да го изведе соодветниот етикет.Овде го претставуваме HPC-Net, мрежа која се состои од детални човечки пирамидални невронски модели кои можат да научат да извршуваат задачи за класификација на сликата со користење на платформата DeepDendrite. HPC-Net има три слоеви, односно, влезен слој, скриен слој и излезен слој. Невроните во влезниот слој примаат пик возови конвертирани од слики како нивен влез. Скриениот слој неврони примаат излез на влезниот слој неврони и даваат одговори на невроните во излезниот слој. Одговорите на излезниот слој неврони се земаат како конечен излез на HPC-Net. Невроните меѓу соседните слоеви се целосно поврзани. За секоја слика стимул, прво го конвертираме секој нормализиран пиксел во хомогена пик воз. ) in the image, the corresponding spike train has a constant interspike interval Инаку ( ) (во ms) кој се одредува со вредноста на пикселот ( ) како што е прикажано во Ек. ( ) на X и Y τ X и Y p X и Y 1 Во нашиот експеримент, симулацијата за секој стимул траеше 50 ms. Сите пик возови почнаа на 9 + ISI ms и траеше до крајот на симулацијата. Потоа ги прицврстивме сите пик возови на влезниот слој на невроните на еден-на-еден начин. е дадена од τ Т0 Каде е постсинаптичниот напон, обратниот потенцијал syn = 1 mV, максималната синаптична спроводливост max = 0.05 μS, а временската константа = 0,5 мс v E g τ Невроните во влезниот слој беа моделирани со пасивен модел со едно одделение. Специфичните параметри беа поставени како што следува: мембрана капацитет m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, потенцијал за враќање на пасивниот оддел l = 0 mV c r r E Скриениот слој содржи група на човечки пирамидални модели на неврони, кои ги примаат соматските напони на влезниот слој на невроните. , и сите неврони се моделирани со пасивни кабли. m = 1.5 μF cm-2, отпорност на мембраната m = 48,300 Ω cm2, аксиална отпорност a = 261,97 Ω cm, и потенцијалот за враќање на сите пасивни кабли l = 0 mV. Влезниот неврон може да направи повеќе врски до случајно избрани локации на дендритите на скриените неврони. -th synapse of the Влезот на неврони на неврони „Дендритот е дефиниран како во Еq. ( ) каде е синоптичкото водење, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the Влезот на неврони во времето . 51 c r r E k i j 4 Гај Вики i t Невроните во излезниот слој исто така беа моделирани со пасивен модел со едно одделение, а секој скриен неврон направи само една синаптична врска со секој излезен неврон. Сите специфични параметри беа поставени исти како и оние на влезните неврони. ) на 4 Класификација на слики со HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation Каде Тоа е веројатноста за -th класа предвидена од страна на HPC-Net, е просечниот соматски напон од 20 ms до 50 ms на Неврони за излез и Класата со максималната предвидена веројатност е конечниот резултат од класификацијата. Во оваа статија, го изградивме HPC-Net со 784 влезни неврони, 64 скриени неврони и 10 излезни неврони. 6 Пи i i C Правила за синаптична пластичност за HPC-Net Инспириран од претходната работа Покрај тоа, ние ги користиме правилата за учење базирани на градиент за да ги обучиме нашите HPC-Net за да ја извршиме задачата за класификација на сликите. ) каде е предвидената веројатност за класа , на укажува на вистинската класа на која припаѓа имиџот на стимулот, = 1 ако влезната слика припаѓа на класата и 0 ако не е. 36 7 Пи i ИИ ИИ i ИИ Кога тренираме HPC-Net, го пресметуваме ажурирањето за тежина (Синаптичката тежина на Синапсата поврзува неврони Неврони ) во секое време чекор.По симулацијата на секој стимул на сликата, се ажурира како што е прикажано во Еq. ( ) во : Вики k i j Вики 8 Еве ја стапката на учење, е вредноста на ажурирање во времето , , на Соматски напони на невроните и Според тоа, Тоа е -th synaptic current activated by neuron Неврони , на its synaptic conductance, е преносот на отпорот помеѓу Поврзан оддел на неврони Неврони Dendrite на невроните од сома, s = 30 ms Покрај тоа, се препорачува да се преземат мерки за намалување на нивото на тежината и да се преземат мерки за намалување на нивото на тежината. ( Покрај тоа, за да се постигне тоа, потребно е да се преземат мерки за отстранување на грешките во исхраната, како и да се преземат мерки за отстранување на грешките во исхраната ( ) на t VJ Ви i j Икони k i j Гај Кралот k i j j t t 10 11 Бидејќи сите излезни неврони се едноделни, еднакви на влезниот отпор на соодветниот оддел, преносот и влезниот отпор се пресметуваат од страна на НЕУРОН. Mini-batch обука е типичен метод во длабоко учење за постигнување на поголема точност на предвидување и забрзување на конвергенцијата. DeepDendrite, исто така, поддржува mini-batch обука. Батцх, ние правиме патни копии на HPC-Net. За време на обуката, секоја копија се храни со различен примерок за обука од партијата. DeepDendrite прво го пресметува ажурирањето на тежината за секоја копија одделно. По сите копии во тековната партија за обука се направени, се пресметува просечното ажурирање на тежината и тежините во сите копии се ажурираат со истиот износ. N N Робусност против противнички напади со HPC-Net За да ја демонстрираме робусноста на HPC-Net, ја тестиравме неговата точност на предвидување на противречни примероци и ја споредивме со аналогна ANN (една со иста структура 784-64-10 и РеЛУ активација, за фер споредба во нашата HPC-Net секој влезен неврон направи само една синаптичка врска со секој скриен неврон). Прво ги обучивме HPC-Net и ANN со оригиналниот тренинг сет (оригинални чисти слики). Потоа додадовме противречна бучава на тестот и ја измеривме нивната точност на предвидувањето на бучниот тест. , за генерирање на непријателски бучава со методот FGSM ANN беше обучен со PyTorch , и HPC-Net беше обучен со нашиот DeepDendrite. За фер, генериравме непријателски бучава на значително поинаков модел на мрежата, 20-слој ResNet Нивото на бучава варираше од 0,02 до 0,2. Експериментиравме со два типични сетови на податоци, MNIST и модата-MNIST Резултатите покажуваат дека точноста на предвидувањето на HPC-Net е 19% и 16.72% повисока од онаа на аналогниот ANN, односно. 98 99 93 100 101 95 96 Известување за резиме Дополнителни информации за дизајнот на истражувањето се достапни во поврзани со оваа статија. Преглед на портфолиото на природата Достапност на податоци Податоците кои ги поддржуваат наодите од оваа студија се достапни во документот, Дополнителни информации и изворни податоци датотеки обезбедени со овој документ. – Достапни се на MNIST сет на податоци е јавно достапен на Податотеката Fashion-MNIST е јавно достапна на . на се обезбедени со овој документ. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Извор на податоци Достапност на кодот Изворниот код на DeepDendrite, како и моделите и кодот што се користат за репродукција на Figs. – Во оваа студија се достапни на . 3 6 https://github.com/pkuzyc/DeepDendrite Референци McCulloch, W. S. & Pitts, W. Логички пресметка на идеите имманентни во нервната активност. Лекун, Ј., Бенгио, Ј. и Хинтон, Г. Длабоко учење. Природа 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Аритметички на под-праг синаптички сумирање во модел CA1 пирамидална клетка. London, M. & Häusser, M. Dendritic computation. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранко, Т. & Häusser, М. Една дендритна гранка како фундаментална функционална единица во нервниот систем. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стјуарт, Г. Џ. & Спристон, Н. Дендритската интеграција: 60 години напредок. Поарази, П. и Папучи, А. Осветлување на дендритската функција со компјутерски модели. Yuste, R. & Denk, W. Dendritic пршлени како основни функционални единици на невронски интеграција. Engert, F. & Bonhoeffer, T. Dendritic промени на 'рбетот поврзани со хипокампула долгорочна синаптична пластичност. природа 399, 66-70 (1999). Иуст, Р. Дендритни прстени и дистрибуирани кругови. Неврон 71, 772–781 (2011). Иуст, Р. Електрична депоментализација во дендритските пршлени. Ану. рев. Невроси. 36, 429–449 (2013). Рал, В. Раздвојување на дендритни дрвја и мотонеуронска мембрана отпорност. Експ. Неврол. 1, 491-527 (1959). Segev, I. & Rall, W. Компјутерска студија на возбудлив дендритен 'рбетот. J. Neurophysiol. 60, 499-523 (1988). Силвер, D. et al. Мастеринг на играта на оди со длабоки невронски мрежи и дрво пребарување. Силвер, D. et al. Општ алгоритам за учење за зајакнување кој го совлада шах, шоги и поминува низ самоигра. McCloskey, M. & Cohen, N. J. Катастрофално мешање во поврзувачките мрежи: проблемот со последователното учење. Француски, Р. М. Катастрофално заборавување во поврзувачките мрежи. трендови Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse експлозии оптимизираат пренос на информации во мултиплексиран невронски код. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits приближуваат алгоритам за репродукција. во Напредоци во системите за обработка на невронски информации 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Бурст-зависна синаптична пластичност може да го координира учењето во хиерархиски кола. Bicknell, B. A. & Häusser, M. Синаптичко правило за учење за искористување на нелинеарното дендритно пресметување. Moldwin, T., Kalmenson, M. & Segev, I. Кластерот на градиентот: модел на неврон кој учи да ги реши задачите на класификација преку дендритни нелинеарности, структурна пластичност и градиентно паѓање. Ходжкин, А. Л. и Хаксли, А. Ф. Квантитативен опис на мембранската струја и нејзината примена на проводливоста и возбудувањето во нервот. Rall, W. Теорија на физиолошките својства на дендрити. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Неврон симулација на животната средина. невронски компјутер 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. во Книгата на GENESIS: Истражување на реалистички невронски модели со генерален невронски симулациски систем (eds Bower, J. M. & Beeman, D.) 17–27 (Springer Њујорк, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Неврон поделба во компјутерски обврзани паралелни мрежни симулации овозможува скалирање на работното време со двојно повеќе процесори. Hines, M. L., Markram, H. & Schürmann, F. Целосно имплицитна паралелна симулација на еден неврон. J. Comput. Neurosci. 25, 439-448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. Забрзување на одделно моделирање на графичка единица за обработка. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Ефективна нумеричка симулација на модели на неврони со просторна структура на графички обработувачки единици. во Проц. 2016 Меѓународна конференција за обработка на невронски информации (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Ефикасен дрво решавач за hines матрици на GPU. Препечатете на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Комбинаторна теорија за оптимизација и алгоритми 6 edn (Springer, 2018). Gebali, Ф. Алгоритми и паралелни компјутери (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Оптимизиран компјутерски мотор за симулатор на НЕУРОН. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Учење од дендритско предвидување на соматско пикирање. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Оптимизирање на модели на јонски канали со користење на паралелен генетски алгоритам на графички процесори. Маскани, М. Алгоритам за паралелизирање на компјутерски решенија за произволно разгранети модели на кабелски неврони. McDougal, R. A. et al. Дваесет години на моделDB и понатаму: градење на основни алатки за моделирање за иднината на невронауката. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih селективно го блокира временското сумирање на несинхронизирани дистални влезови во CA1 пирамидалните неврони. Hemond, P. et al. Различни класи на пирамидални клетки покажуваат меѓусебно исклучувачки модели на пукање во хипокампусот CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Модели на неокортикалниот слој 5b пирамидални клетки зафаќаат широк спектар на дендритни и перисоматски активни својства. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Процесирање на потенцијалот за акција во детален модел на пуркињ клетки открива критична улога за аксонална одделение. Lindroos, R. et al. Невромодулација на базалните ганглии на повеќе временски и структурни скали – симулации на директни патеки MSNs го истражуваат брзиот почеток на допаминергичните ефекти и ја предвидуваат улогата на Kv4.2. Migliore, M. et al. Синаптичките кластери функционираат како оператори на мирисот во мирисна сијалица.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Програмирање Водич. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Најдобри практики Водич. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Синаптичкото зголемување со дендритни прстени ја подобрува кооперативноста на влезот. Природа 491, 599–602 (2012). Chiu, C. Q. et al. Компартиментализација на GABAergic инхибиција од дендритни пршлени. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Пластичноста на вратот на 'рбетот ја регулира одделноста на синапсите. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Човечки кортикални пирамидални неврони: од пршлени до врвови преку модели. Кох, К. и Задор, А. Функцијата на дендритските прстени: уреди кои служат за биохемиска наместо електрична одделение. Кох, C. Dendritic spines. во биофизиката на компјутерите (Oxford University Press, 1999). Рап, М., Јаром, И. & Сегев, I. Влијанието на паралелната позадина на влакно активност на кабелските својства на церебеларните пуркински клетки. Хинес, М. Ефективно пресметување на разгранети нервни равенки. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Биолошки инспирирана заштита на длабоките мрежи од непријателски напади. Препечатете на https://arxiv.org/abs/1703.09202 (2017). Годард, Н. Х. и Худ, Г. Голема скала симулација со користење на паралелна генеза. во Книгата на генеза: Истражување на реалистички невронски модели со генерален невронски симулациски систем (eds Bower Џејмс М. и Биман Дејвид) 349-379 (Springer Њујорк, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Паралелни мрежни симулации со NEURON. Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: Решавање на повеќе Hines системи на проектот на човечкиот мозок на GPUs. In Proc. 2017 Меѓународна конференција за компјутерски науки 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Морфолошки-детална библиотека за симулација на невронски мрежи за современи архитектури за високо перформанси. во Процент 27th Euromicro Меѓународна конференција за паралелна, дистрибуирана и мрежна обработка (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Забрзување на мулти-партимент, биофизички детални симулации на неврони на GPUs. J. Neurosci. Методи 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Предвидник-коректор алгоритам за реакција-дифузија равенки поврзани со нервната активност на разгранети структури. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Козлоски, Ј. & Вагнер, Ј. Ултраскалабилно решение за симулација на големо невронско ткиво. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Целенасочени записи на интрацелуларниот напон од дендритни прстени со користење на квантни нанопипети. Нат. Nanotechnol. 12, 335–342 (2017). Палмер, Л. М. и Стјуарт, Г. Џ. Мембраните потенцијални промени во дендритните пршлени за време на потенцијалите за дејство и синаптички влез. Nishiyama, J. & Yasuda, R. Биохемиски пресметки за структурна пластичност на 'рбетот. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Морфолошки промени во дендритни пршлени поврзани со долгорочна синаптична пластичност. Holtmaat, A. & Svoboda, K. Искуство-зависна структурна синаптична пластичност во мозокот на млекото. Caroni, P., Donato, F. & Muller, D. Структурна пластичност при учење: регулација и функции. Keck, T. et al. Масивно реструктурирање на невронските кола за време на функционалната реорганизација на зрелиот визуелен кортекс. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Искуството остава траен структурен траг во кортикалните кола. Trachtenberg, J. T. et al. Долгорочно in vivo сликање на искуствено-зависна синаптична пластичност во возрасниот кора. Природа 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Аксонална динамика на возбудливи и инхибирачки неврони во соматосензорниот кортекс. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Брзо формирање и селективна стабилизација на синапсите за трајни моторни сеќавања. природа 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Подобрување на моторното учење со зголемување на стабилноста на новоформираните дендритни пршлени во моторниот кортекс. Neuron 109, 3298-3311 (2021). Бранко, Т. & Хаусер, М. Синаптички интеграциски градиенти во еднокорални пирамидални дендрити. Neuron 69, 885–892 (2011). Мајор, Г., Ларкум, М. Е. & Шилер, Ј. Активни својства на неокортикални пирамидални невронски дендрити. Gidon, A. et al. Dendritic дејство потенцијали и пресметка во човечкиот слој 2/3 кортикални неврони. науката 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Навремената синаптичка инхибиција ги обликува врвовите на NMDA, влијаејќи на локалната дендритна обработка и глобалните својства на И / О на кортикалните неврони. Du, K. et al. Цел-тип-специфична инхибиција на дендритниот плато потенцијал во стријатната спинална проекција неврони. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Смит, С. Л., Смит, И. Т., Бранко, Т. & Häusser, М. Дендритни врвови ја зголемуваат селективноста на стимулите во кортикалните неврони in vivo. Природа 503, 115-120 (2013). Xu, N.-l et al. Нелинеарна дендритна интеграција на сензорни и моторни влезови за време на активна сензорна задача. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Активни кортикални дендрити модулира перцепција. Наука 354, 1587–1590 (2016). Шефилд, М. Е. & Dombeck, Д. А. Преоден преваленција на калциум во текот на дендритен дрво предвидува својства на полето место. Природа 517, 200-204 (2015). Markram, H. et al. Реконструкција и симулација на неокортикална микроциркулација. Цел 163, 456-492 (2015). Billeh, Y. N. et al. Систематска интеграција на структурни и функционални податоци во мулти-скала модели на глувчето примарна визуелна кора. Neuron 106, 388-403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. кон длабоко учење со сегрегирани дендрити. elife 6, e22901 (2017). Iyer, A. et al. Избегнување на катастрофа: активните дендрити овозможуваат учење со повеќе задачи во динамични средини. Џонс, И. С. & Кординг, К. П. Може ли еден неврон да реши интересни проблеми со машинско учење преку последователни пресметки на своето дендритно дрво? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic нормализација го подобрува учењето во ретко поврзани вештачки невронски мрежи. Goodfellow, I. J., Shlens, J. & Szegedy, C. Објаснување и искористување на противречни примери. во III Меѓународна конференција за учење претставништва (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Преносливост во машинското учење: од феномени до напади со црни кутии со користење на противнички примероци. Препечатете на https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-базирано учење се применува на препознавање на документи. Proc. IEEE 86, 2278-2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Мода-MNIST: нов сет на податоци за слики за бенчмаркирање на алгоритмите за машинско учење. Препечатете го на http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Оценување на скалабилноста на биолошки мотивирани алгоритми и архитектури за длабоко учење. во Напредоци во системите за обработка на невронски информации 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. во Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: брзи противречни напади за да се спореди робусноста на моделите за машинско учење во PyTorch, TensorFlow и JAX. Paszke, A. et al. PyTorch: Императивен стил, библиотека за длабоко учење со високи перформанси. во Напредоци во системите за обработка на невронски информации 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Длабоко преостанато учење за препознавање на слики. во Проц. 2016 IEEE конференција за компјутерска визија и препознавање на модели (CVPR) 770-778 (IEEE, 2016). Признанија Авторите на Советот искрено им се заблагодаруваат на д-р Рита Занг, Даокен Ши и членовите на NVIDIA за вредната техничка поддршка на GPU компјутерите. Оваа работа беше поддржана од страна на Националната клучна програма за истражување и развој на Кина (No. 2020AAA0130400) до К.Д. и Т.Х., Националната фондација за природни науки на Кина (No. 6182588102) до Т.Х., Шведскиот совет за истражување (VR-M-2020-01652), Шведскиот центар за истражување на е-науката (No. 2022ZD01163005) до Л.М., Програмата за истражување и развој на клучните области на провинцијата Гуангдонг (No. 2018B030338001) до Т.Х., Националната Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International). Оваа статија е достапна во природа под лиценца CC by 4.0 Deed (Attribution 4.0 International).
