Autori : Иицхен Зханг Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov ЈУТАО HE Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Стене Грилнер Kai Du Tiejun Huang Autori : Иицхен Зханг ган он Леа Ма Ксиаофеи Лиу Ј. Ј. Јоханес Хјорт Александар Козлов ЈУТАО HE Шенџијан Зханг Џенет Хелгрен Коталески Јонгхонг Тиан Стене Грилнер Кад ти Тијун Хуанг апстракт Биофизички детаљни мулти-департмент модели су моћни алати за истраживање рачунарских принципа мозга и такође служе као теоријски оквир за генерисање алгоритма за системе вештачке интелигенције (АИ). Међутим, скупи рачунарски трошкови озбиљно ограничавају апликације у оба неуронауке и АИ поља. Главна бочица током симулације детаљних модела одјељења је способност симулатора да реши велике системе линеарних једначина. ендометријум Иерархија Цхедулинг (ДХС) метод за значајно убрзање таквог процеса. Теоретски доказујемо да је имплементација ДХС-а рачунарски оптимална и прецизна. Овај метод заснован на ГПУ-у обавља са 2-3 реда величине већу брзину од класичног серијалног Хинес метода у конвенционалној ЦПУ платформи. Ми градимо DeepDendrite оквир, који интегрише ДХС методу и ГПУ рачунарски мотор НЕУРОН симулатора и демонстрира апликације DeepDendrite у неуронаучним задацима. Истражујемо како просторни обрасци уноса кичме утичу на неуронску узбуђеност у детаљном људском пирамидалном неуронском моделу са 25.000 спинова. Штавише, пружа D H S Увод Дешифровање кодирања и рачунарских принципа неурона је од суштинског значаја за неуронауку. Мозак млијечника састоји се од више од хиљада различитих типова неурона са јединственим морфолошким и биофизичким својствима. , in which neurons were regarded as simple summing units, is still widely applied in neural computation, especially in neural network analysis. In recent years, modern artificial intelligence (AI) has utilized this principle and developed powerful tools, such as artificial neural networks (ANN) Међутим, поред свеобухватних прорачуна на нивоу једног неурона, субцелуларни одјељци, као што су неуронски дендрити, такође могу да обављају нелинеарне операције као независне рачунарске јединице. , , , , Даље, дендритни пршљенови, мале протрузије које густо покривају дендрите у спиналним неуронима, могу да одвоје синаптичке сигнале, омогућавајући им да се одвоје од њихових родитељских дендрита ex vivo и in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симулације које користе биолошки детаљне неуроне пружају теоријски оквир за повезивање биолошких детаља са рачунарским принципима. , омогућава нам да моделирамо неуроне са реалним дендритским морфологијама, унутрашњом јонском проводљивошћу и екстринским синаптичким уносима. , који моделира биофизичке мембране својства дендрита као пасивних каблова, пружајући математички опис како електронски сигнали нападају и шире кроз сложене неуронске процесе.Укључујући кабелску теорију са активним биофизичким механизмима као што су јонски канали, узбудљиве и инхибиторне синаптичке струје, итд., детаљан мулти-компонентни модел може постићи ћелијске и субцелуларне неуронске израчуне изван експерименталних ограничења , . 12 13 12 4 7 Поред свог дубоког утицаја на неуронауку, биолошки детаљни модели неурона недавно су коришћени за преклапање празнине између неуронских структурних и биофизичких детаља и АИ. Преовлађујућа техника у савременом пољу АИ је АНН-ови који се састоје од тачке неурона, аналогни биолошким неуронским мрежама. , , људски мозак и даље надмашује АНН-ове у доменима који укључују динамичније и бучне окружења , Недавне теоријске студије сугеришу да је дендритна интеграција кључна у генерисању ефикасних алгоритама за учење који потенцијално превазилазе бацкпроп у паралелној обради информација. , , Поред тога, један детаљан мулти-партиментни модел може научити нелинеарна израчунавања на нивоу мреже за точкове неурона подешавајући само синаптичку снагу. , , демонстрирајући пуни потенцијал детаљних модела у изградњи моћнијих система АИ-а сличних мозгу.Због тога је од великог приоритета да се прошире парадигме у АИ-у сличном мозгу од појединачних детаљних модела неурона до великих биолошки детаљних мрежа. 14 15 16 17 18 19 20 21 22 Један дугогодишњи изазов детаљног симулационог приступа лежи у његовим изузетно високим рачунарским трошковима, што је озбиљно ограничило његову примену на неуронауку и АИ. , , Да би се побољшала ефикасност, класична Хинес метода смањује сложеност времена за рјешавање једначина од О(н3) до О(н), који је широко примењен као основни алгоритам у популарним симулаторима као што је НЕУРОН. и генетике Међутим, овај метод користи серијски приступ за обраду сваког одјељка секвенцијално.Када симулација укључује више биофизички детаљних дендрита са дендритским спиновима, матрица линеарне једначине ("Хинес Матрицс") скалира према томе са повећаним бројем дендрита или спинова (Слика. ), чинећи Хинесов метод више непрактичним, јер представља веома тешко оптерећење на целој симулацији. 12 23 24 25 26 1е Реконструисани модел пирамидалног неурона слоја 5 и математичка формула која се користи са детаљним моделима неурона. Радни ток приликом нумеричке симулације детаљних неуронских модела. Фаза решавања једначина је бочица у симулацији. Пример линеарних једначина у симулацији. Зависност података методе Хинес приликом рјешавања линеарних једначина у . . Величина Хинес матрице скала са комплексношћу модела. Број линеарних система једначина које треба решити доживљава значајно повећање када модели расту детаљније. Рачунарски трошкови (кораци узети у фази рјешавања једначина) Сериал Хинес методе на различитим типовима неуронских модела. Илустрација различитих метода рјешавања. Различити делови неурона су додељени вишеструким јединицама за обраду у паралелним методама (седиште, десно), приказани различитим бојама. Рачунарски трошкови три методе у приликом рјешавања једначина пирамидалног модела са спинима. Време покретања различитих метода на решавању једначина за 500 пирамидалних модела са спиновима. Време покретања указује на потрошњу времена симулације 1 с (решавајући једначину 40.000 пута са временским кораком од 0,025 мс). п-Хинес паралелна метода у ЦореНЕУРОН (на ГПУ), метода паралелне методе засноване на гранама (на ГПУ), метода ДХС дендритског хијерархијског распореда (на ГПУ). a b c d c e f g h g i Током протеклих деценија постигнут је огроман напредак у убрзању методе Хинес користећи паралелне методе на ћелијском нивоу, што омогућава паралелизовање израчунавања различитих делова у свакој ћелији. , , , , , Међутим, тренутне паралелне методе на ћелијском нивоу често немају ефикасну стратегију паралелизације или немају довољну нумеричку тачност у поређењу са оригиналним методом Хинес. 27 28 29 30 31 32 Овде развијамо потпуно аутоматизовану, нумерички прецизну и оптимизовану симулациону алатку која може значајно убрзати рачунарску ефикасност и смањити рачунарске трошкове.Поред тога, овај симулациони алат се може беспрекорно прихватити за успостављање и тестирање неуронских мрежа са биолошким детаљима за апликације машинског учења и АИ. Критички, формулишемо паралелно израчунавање методе Хинес као проблем математичког планирања и генеришемо методу дендритског хијерархијског распореда (ДХС) заснован на комбинаторној оптимизацији Паралелна компјутерска теорија Демонстрирамо да наш алгоритам пружа оптимално распоређивање без икаквог губитка прецизности.Поред тога, оптимизовали смо ДХС за тренутно најнапреднији ГПУ чип користећи графичку меморијску хијерархију и механизме за приступ меморији. ) у поређењу са класичним симулатором НЕУРОН уз одржавање идентичне тачности. 33 34 1 25 Да бисмо омогућили детаљне дендритске симулације за употребу у АИ, ми ћемо накнадно успоставити DeepDendrite оквир интегрисањем платформе ЦореНЕУРОН (оптимизовани рачунарски мотор за НЕУРОН) који је уграђен у ДХС као симулациони мотор и два помоћна модула (модул И / О и модул за учење) који подржавају алгоритме дендритног учења током симулација. 35 На крају, представили смо и неколико апликација које користе ДеепДендрит, циљајући неколико критичних изазова у неуронауци и АИ: (1) Демонстрирамо како просторни обрасци дендритних спиналних уноса утичу на неуронске активности са неуронима који садрже спине широм дендритних стабала (пуни спинални модели). ДеепДендрит нам омогућава да истражимо неуронско израчунавање у симулираном човековом пирамидалном неуронском моделу са ~25.000 дендритних спинова. (2) У дискусији такође разматрамо потенцијал ДеепДендрита у контексту АИ, конкретно, у креирању АНН-а са морфолошки детаљним људским пирамидалним неуронима. Сви изворни код за DeepDendrite, модели пуног кичмењака и детаљни модел дендритне мреже су јавно доступни на мрежи (види Доступност кода). Наш оквир за учење отвореног кода може се лако интегрисати са другим правилима дендритног учења, као што су правила учења за нелинеарне (потпуно активне) дендрите експлозивно зависна синаптичка пластичност , и учење са спејк предвиђањем Свеукупно, наша студија пружа комплетан скуп алата који имају потенцијал да промене тренутни екосистем рачунарске неуронауке заједнице. Користећи моћ ГПУ рачунарства, предвиђамо да ће ови алати олакшати системско истраживање рачунарских принципа финих структура мозга, као и промовисати интеракцију између неуронауке и модерне АИ. 21 20 36 Резултати Дендритско хијерархијско распоређивање (ДХС) Израчунавање јонских струја и решавање линеарних једначина су две критичне фазе приликом симулације биофизички детаљних неурона, који су дуготрајни и представљају озбиљна рачунарска оптерећења. Као последица тога, рјешавање линеарних једначина постаје преостала бочица за процес паралелизације (Фиг. ) 37 1а-ф Да би се ријешило ово заглавље, развијене су паралелне методе на ћелијском нивоу, које убрзавају израчунавање појединачних ћелија "раздвајањем" једне ћелије у неколико одјељака који се могу израчунати паралелно. , , Међутим, такве методе се у великој мери ослањају на претходно знање како би генерисале практичне стратегије о томе како поделити један неурон у одјељке (Слика. • Додатни фиг. Сходно томе, постаје мање ефикасан за неуроне са асиметричним морфологијама, на пример, пирамидалне неуроне и Пуркинже неуроне. 27 28 38 1 г 1 Циљ нам је да развијемо ефикаснију и прецизнију паралелну методу за симулацију биолошки детаљних неуронских мрежа. Прво, постављамо критеријуме за тачност паралелне методе на ћелијском нивоу. , предлажемо три услова како би се осигурало да ће паралелна метода дати идентична решења као и метода серијског рачунања Хинес према зависности података у методу Хинес (види Методе). Затим да теоретски проценимо време покретања, односно ефикасност, метода серијског и паралелног рачунања, уводимо и формулишемо концепт израчунавања трошкова као број корака који метод узима у рјешавању једначина (види Методе). 34 На основу тачности симулације и рачунарских трошкова, формулишемо проблем паралелизације као проблем математичког распореда (види Методе). паралелне нити, можемо израчунати највише Нодули се обрађују на сваком кораку, али морамо осигурати да се један чвор израчунава само ако су обрађени сви његови дечији чворови; наш циљ је да пронађемо стратегију са минималним бројем корака за целу процедуру. k k Да бисмо генерисали оптималну партицију, предлажемо метод који се зове дендритско хијерархијско распоређивање (ДХС) (теоретски доказ је представљен у методама). Метода ДХС укључује два корака: анализу дендритне топологије и проналажење најбоље партиције: (1) Дајући детаљан модел, прво добијамо његово одговарајуће дрво зависности и израчунавамо дубину сваког чвора (дубина чвора је број његових предака чворова) на дрвету (Слика. 2) Након анализе топологије, претражујемо кандидате и бирамо највише најдубљи кандидатни чворови (нод је кандидат само ако су сви његови дечији чворови обрађени).Ова процедура се понавља док се сви чворови не обраде (Слика. ) 2а 2б, Ц k 2Д DHS Workflow - DHS процеси Најдубљи нодули кандидата сваке итерације. Илустрација израчунавања дубине чвора одсечног модела. Модел се прво претвара у структуру дрвета, а затим се израчунава дубина сваког чвора. Анализа топологије на различитим моделима неурона. Овде је приказано шест неурона са различитим морфологијама. За сваки модел, сома је изабрана као корен дрвета тако да се дубина чвора повећава од соме (0) до дисталних дендрита. Илустрација извођења ДХС на моделу у са четири нити. кандидати: чворови који се могу обрадити. изабрани кандидати: чворови који су одабрани од стране ДХС-а, тј. Најдубљи кандидати. Обрађени чворови: чворови који су претходно обрађени. Стратегија паралелизације добијена од стране ДХС-а након процеса у Сваки чвор је додељен једној од четири паралелне нити.ДХС смањује кораке серијске обраде чворова са 14 на 5 тако што дистрибуира чворове на више нити. Релативни трошкови, тј. однос рачунарских трошкова ДХС-а према методу серијског Хинес-а, када се ДХС примењује са различитим бројем нити на различитим типовима модела. a k b c d b k e d f Узмите поједностављени модел са 15 одјељака као пример, користећи метод серијског рачунања Хинес, потребно је 14 корака за обраду свих чворова, док користећи ДХС са четири паралелне јединице може поделити своје чворове у пет подсетова (Слика. ): {{9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Пошто чворови у истом подсету могу да се обрађују паралелно, потребно је само пет корака за обраду свих чворова помоћу ДХС-а (Слика. ) 2Д 2а Затим примењујемо методу ДХС на шест представничких детаљних модела неурона (изабраних из МоделДБ-а) ) са различитим бројем жица (Фиг. ): укључујући кортикалне и хипокампалне пирамидалне неуроне , , Церебеларијски неврони Purkinje Стријатни пројекциони неурони (СПН) ), и митралне ћелије митралне сијалице , покривајући главне главне неуроне у сензорним, кортикалним и субкортикалним областима. Затим смо мерили рачунарске трошкове. Релативни рачунарски трошкови овде су дефинисани пропорцијом рачунарских трошкова ДХС-а у односу на методу серијског Хинес-а. рачунарски трошкови, односно број корака у решавању једначина, драматично пада са повећањем броја нити. На пример, са 16 нити, рачунарски трошкови ДХС-а су 7%-10% у поређењу са серијским методом Хинес-а. Интригантно, метод ДХС достиже ниже границе рачунарских трошкова за представљене неуроне када се дају 16 или чак 8 паралелних нити (Слика. ), што сугерише да додавање више нити не побољшава перформансе даље због зависности између одјељака. 39 2Ф 40 41 42 43 44 45 2Ф Заједно, генеришемо методу ДХС која омогућава аутоматизовану анализу дендритне топологије и оптималну партицију за паралелно израчунавање. Вреди напоменути да ДХС проналази оптималну партицију пре почетка симулације, а није потребно додатно израчунавање за решавање једначина. Убрзање ДХС-а помоћу повећања меморије ГПУ ДХС израчунава сваки неурон са више нити, која троши огромну количину нити приликом покретања симулација неуронске мреже. Графичке процесне јединице (ГПУ) се састоје од масивних процесних јединица (тј. ) за паралелно рачунање У теорији, многи СПс на ГПУ треба да подрже ефикасну симулацију за велике неуронске мреже (Слика. Међутим, конзистентно смо посматрали да се ефикасност ДХС-а значајно смањује када се величина мреже повећава, што може резултирати расипаним складиштењем података или додатним приступом меморији узрокованим учитавањем и писањем интермедијалних резултата (слика). у лево ) 3а, б 46 3Ц 3Д ГПУ архитектура и његова хијерархија меморије. Сваки ГПУ садржи масивне јединице за обраду (процесори протока). Различити типови меморије имају различите пропуснице. Архитектура стреаминг мултипроцесора (СМС). Сваки СМ садржи вишеструке стреаминг процесоре, регистре и Л1 кеш. Примењујући ДХС на два неурона, сваки са четири нити.Током симулације, свака нит се изводи на једном протоку процесора. Стратегија оптимизације меморије на ГПУ-у. Врх панела, додељивање нити и складиштење података ДХС-а, пре (лево) и после (десно) повећања меморије. Процесори шаљу захтев за податке за учитавање података за сваку нит из глобалне меморије. Без повећања меморије (лево), потребно је седам трансакција да се учитају сви подаци захтјева и неке додатне трансакције за интермедијске резултате. Време покретања ДХС (32 нити сваке ћелије) са и без меморије повећања на више слојева 5 пирамидалних модела са спиновима. Убрзање повећања меморије на више слојева 5 пирамидалних модела са спиновима. a b c d d e f Решавамо овај проблем помоћу повећања меморије ГПУ-а, методе за повећање пропусности меморије користећи хијерархију меморије ГПУ-а и механизам приступа.На основу механизма пуњења меморије ГПУ-а, узастопне нити које учитавају усклађене и узастопно складиштене податке доводе до високог пропуста меморије у поређењу са приступом подацима који се чувају у размаку, што смањује пропуст меморије. , Да бисмо постигли висок проток, прво поравнамо рачунарске налоге чворова и реорганизујемо жице према броју чворова на њима. Затим променујемо складиштење података у глобалном меморији, у складу са рачунарским налозима, тј. чворови који се обрађују на истом кораку се складиште у глобалном меморији. Штавише, користимо ГПУ регистре за складиштење интермедијумских резултата, даље јачајући меморијски проток. Поред тога, експерименти на вишеструким бројевима пирамидалних неурона са пршљеновима и типичним моделима неурона (Фиг. • Додатни фиг. ) показују да повећање меморије постиже 1.2-3.8 пута убрзање у поређењу са наивним ДХС-ом. 46 47 3Д 3а , f 2 Да бисмо свеобухватно тестирали перформансе ДХС-а са повећањем меморије ГПУ-а, одабрали смо шест типичних модела неурона и проценили време покретања рјешавања кабловских једначина на масивним бројевима сваког модела (Слика. ). испитали смо ДХС са четири нити (ДХС-4) и шеснаест нити (ДХС-16) за сваки неурон, респективно.У поређењу са методом ГПУ у ЦореНЕУРОН-у, ДХС-4 и ДХС-16 могу убрзати око 5 и 15 пута, респективно (слика. Осим тога, у поређењу са конвенционалним серијалним методом Хинес у НЕУРОН-у који ради са једним жицом ЦПУ-а, ДХС убрзава симулацију за 2-3 реда величине (Додатна слика. ), задржавајући идентичну нумеричку прецизност у присуству густих пршљенова (Додатне фигуре. и ), активни дендритис (Додатни Фиг. ) и различите стратегије сегментације (Допуна Фиг. ) 4 4а 3 4 8 7 7 Радно време рјешавања једначина за симулацију 1 с на ГПУ (дт = 0,025 мс, укупно 40.000 итерација). ЦореНЕУРОН: паралелна метода која се користи у ЦореНЕУРОН-у; ДХС-4: ДХС са четири нити за сваки неурон; ДХС-16: ДХС са 16 нити за сваки неурон. , Визуализација партиције од стране ДХС-4 и ДХС-16, свака боја указује на једну нит. a b c DHS kreira optimalno particioniranje specifično za tip ćelije Да бисмо добили увид у механизам рада методе ДХС-а, визуализовали смо процес партиционисања тако што смо мапирали одјељке на сваку нит (свака боја представља једну нит на слици. Визуализација показује да се једна нит често пребацује између различитих грана (Слика. Занимљиво је да ДХС генерише усклађене партиције у морфолошки симетричним неуронима као што су стријатни пројекцијски неурон (СПН) и Митрална ћелија (слика). ). By contrast, it generates fragmented partitions of morphologically asymmetric neurons like the pyramidal neurons and Purkinje cell (Fig. ), што указује на то да ДХС дели неуролошко дрво на скали појединачног одјељка (тј. дрво чвор) уместо скале грана.Ова фино зрнана партиција специфична за тип ћелије омогућава ДХС-у да у потпуности искористи све доступне нити. 4Б, Ц 4Б, Ц 4Б, Ц 4Б, Ц Ukratko, DHS i unapređenje memorije stvaraju teorijski dokazano optimalno rešenje za rešavanje linearnih jednadžbi paralelno sa neviđenom efikasnošću. Koristeći ovaj princip, izgradili smo platformu DeepDendrite otvorenog pristupa, koju neuroznanstvenici mogu da iskoriste za implementiranje modela bez ikakvog specifičnog znanja o programiranju GPU-a. Ispod ćemo pokazati kako možemo da koristimo DeepDendrite u neuroznanstvenim zadatcima. ДХС омогућава моделирање на нивоу кичме Пошто дендритни пршљенови примају већину узбудљивог уноса на кортикалне и хипокампске пирамидалне неуроне, стријатне пројекционе неуроне итд., Њихове морфологије и пластичност су кључне за регулисање неуронске узбудљивости. , , , , Међутим, пршљенови су сувише мали (~ 1 μм дужине) да би се директно измерили експериментално у односу на процесе зависне од напона. 10 48 49 50 51 Можемо моделирати једну кичму са два одјељка: главу кичме где се налазе синапсе и врат кичме који повезује главу кичме са дендритима Теорија предвиђа да врло танак врат кичме (0,1-0,5 ум у пречнику) електронски изолује главу кичме од свог родитеља дендрита, чиме се сегментирају сигнали генерисани на глави кичме. Међутим, детаљан модел са потпуно дистрибуираним спиновима на дендритима („фулл-спине модел“) је рачуначки веома скуп. Спине фактор , уместо да експлицитно моделирају све спине. спинални фактор има за циљ приближавање ефекта кичме на биофизичка својства ћелијске мембране . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. 2) Вредност од spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) и шпиц вероватноћа (фиг. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Соматски напони записани за случајеве у . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , или праве приближавања на неким кључним одјељцима, решавајући линеарне једначине , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries Овај приступ може надокнадити струје цурења и струје капацитета за спине.Ипак, не може репродуковати високу импотенцију улаза на глави кичме, што може ослабити узбудљиве синаптичке улазе, нарочито НМДА струје, чиме се смањује нелинеарност у кривини улаза и излаза неурона.Наши резултати моделирања су у складу са овом интерпретацијом. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, који може понудити различите логичке операције , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 Као одговор на ове изазове, развили смо ДеепДендрите, алат који користи Дендрит Хиерархијски распоред (ДХС) метод за значајно смањење рачунарских трошкова и укључује И / О модул и модул за учење за руковање великим скуповима података. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ) 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Прво генеришемо противничке узорке теста постављене на 20-слој ResNet. Затим користите ове противничке узорке (бучне слике) да бисте тестирали тачност класификације модела обучених чистим сликама. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , паралелни алгоритам ће дати идентичан резултат као и његов одговарајући серијски алгоритам, ако и само ако је ред процеса података у паралелном алгоритуму у складу са зависношћу података у серијском методу. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d На основу зависности података метода серијског рачунарства Хинес, предлажемо три услова како би се осигурало да паралелни метод даје идентична решења као метод серијског рачунарства Хинес: (1) Морфологија дрвета и почетне вредности свих чворова су идентичне онима у методу серијског рачунарства Хинес; (2) У фази триангуларизације, чвор се може обрадити ако и само ако су сви његови дечији чворови већ обрађени; (3) У фази замене, чвор се може обрадити само ако је његов родитељски чвор већ обрађен. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → → → → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., овде) као рачунарски трошак метода паралелног рачунарства. Укратко, дефинишемо рачунарски трошак паралелног метода као број корака који се узима у фази триангуларизације. Пошто је позадинска замена симетрична са триангуларизацијом, укупан трошак целе фазе решења једначине је два пута већи од фазе триангуларизације. T k V T n V V1 V2 Vn Vi k k k V1 В2 Vn vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer Где је is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( ) мора у претходном подсету , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi vi Vi v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. , тако да | ≤ ukazuje da možemo da izračunamo nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { Отац ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | ≤ ≤ ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Доказ исправности за ДХС After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset ће се рачунати паралелно, узимајући steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n Дистрибуција ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( 2) задовољава услове исправности. ( ) is obtained from the given neural tree Операције у ДХС-у не мењају топологију дрвета и вриједности дрвених чворова (одговарајуће вредности у линеарним једначинама), тако да се морфологија дрвета и почетне вредности свих чворова не мењају, што задовољава услов 1: морфологија дрвета и почетне вредности свих чворова су идентичне онима у серијском Хинесовом методу. to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in су у { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS Идеја доказа је да ако постоји још једно оптимално решење, може се трансформисати у наше ДХС решење без повећања броја корака који алгоритам захтева, чиме се указује на то да је ДХС решење оптимално. For each subset in ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to Ако је број нодула у je manji od , move all nodes from два . To simplify, we introduce , указујући на дубину суме deepest nodes in . All subsets in ( ) задовољити критеријуме максималне дубине (Додатна фигура. ): . We then prove that selecting the deepest nodes in each iteration makes Оптимална партиција Ако постоји оптимална партиција = { , , ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. vi P V k Qi Vi Qi k Qi Vi у k Qi P V 6a П(В) П * (В) V * 1 V * 2 V * s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in To se ne stavlja na ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the Најдубљи нодули još uvek je u , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + to + + . After adjusting , modify subsequent subsets + + , + , ... with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6b V*i k Qi V*i 6b V*i V*i v k V » Qi v’ V*j j i v V*i V * i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V * i V*i 1 V*i 2 V*j-1 v’ V * J V*i With the modification strategy described above, we can replace all shallower nodes in Са оним -th deepest node in и држите број подсетова, тј. ( ) Да ли је исти након модификације. Можемо модификовати чворове са истом стратегијом за све подсете у ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V На крају, ДХС генерише партицију ( ), и све подсети ∈ ( ) задовољити услов максималне дубине: . за било коју другу оптималну партицију ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) исто након модификације. тако, партиција ( ) obtained from DHS is one of the optimal partitions. P V vi P V P* V P V P* V | P V ГПУ имплементација и побољшање меморије Да би се постигао висок проток меморије, ГПУ користи хијерархију меморије (1) глобалне меморије, (2) кеша, (3) регистар, где глобална меморија има велики капацитет, али низак проток, док регистри имају низак капацитет, али висок проток. GPU koristi SIMT (Single-Instruction, Multiple-Thread) arhitekturu. Warps su osnovne vremenske jedinice na GPU (warp je grupa od 32 paralelne niti). Правилно организовање чворова је од суштинског значаја за ову партију израчунавања у варпима, како би се осигурало да ДХС добије идентичне резултате као и серијални метод Хинес. Када имплементирамо ДХС на ГПУ-у, прво груписамо све ћелије у више варпима на основу њихових морфологија. ћелије са сличним морфологијама су груписане у истом варпу. Затим примењујемо ДХС на све неуроне, додјељујући одсеке сваког неурона на више нити. Пошто су неурони груписани у варпе, нити за исти неурон су у истом варпу. Стога, унутрашња синхронизација у варпима одржава рачунарски поредак у складу са зависношћу података серијског метода 46 Када варп учита унапред поравнане и узастопно складиштене податке из глобалне меморије, може у потпуности искористити кеш, што доводи до високог пропусног капацитета меморије, док би приступ подацима са разбацањем смањио пропусни капацитет меморије. Након додељивања одјељака и реорганизације жица, ми променујемо податке у глобалној меморији како бисмо га направили у складу са рачунарским налозима тако да варпс могу учитати узастопно складиштене податке приликом извршавања програма. Full-spine and few-spine biophysical models We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2 и аксиална отпорност a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 Морфологије и биофизички механизми кичме су били исти у моделима са мало кичме и пуним кичмом. neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Извођење АИ задатака са DeepDendrite платформом Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval Изаберите ( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, и τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time Даје се од τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 Gejk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where Da li je verovatnoća -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ) где is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i yi yi i ИИ When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron to neuron ) у сваком тренутку корака. након симулације сваког стимулуса слике, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , његова синаптичка проводљивост, is the transfer resistance between the - повезани одјељак неурона on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j ИИИ k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make серијске копије ХПЦ-Нет-а. Током тренинга, свака копија се храни различитим обрасцима тренинга из серије. DeepDendrite прво израчунава ажурирање тежине за сваку копију одвојено. Након што су све копије у тренутној серији тренинга направљене, израчунава се просечно ажурирање тежине и тежине у свим копијама се ажурирају за исти износ. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , и ХПЦ-Нет је обучен са нашим ДеепДендритом. За поштење, генерисали смо непријатељску буку на значајно другачијем мрежном моделу, 20-слојном Ресенту . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST и Мода-Мнист Резултати показују да је прецизност предвиђања ХПЦ-Нет-а 19% и 16.72% већа од аналогног АНН-а, респективно. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Data availability Подаци који подржавају налазе ове студије доступни су у папиру, додатним информацијама и датотекама изворних података који су обезбеђени са овим папиром. изворни код и подаци који су коришћени за репродукцију резултата у сликама. – are available at . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at . obezbeđen je ovim dokumentom. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. Logic calculus of the ideas immanent in nervous activity. Булл. ЛеЦун, И., Бенгио, И. & Хинтон, Г. Дубоко учење. Природа 521, 436–444 (2015). Пуарази, П., Бреннон, Т. & Мел, Б. В. Аритметичка суб-праг синаптичке сумације у моделу ЦА1 пирамидалне ћелије. London, M. & Häusser, M. Dendritic computation. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранко, Т. & Хаусер, М. Једна дендритна грана као основна функционална јединица у нервном систему. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стјуарт, Г. Ј. & Спрустон, Н. Дендритска интеграција: 60 година напретка. Нат. Неуросци. 18, 1713–1721 (2015). Poirazi, P. & Papoutsi, A. Осветљавање дендритне функције рачунарским моделима. Nat. Rev. Neurosci. 21, 303–321 (2020). Иусте, Р. & Денк, В. Дендритни пршљенови као основне функционалне јединице неуронске интеграције. Природа 375, 682-684 (1995). Енгерт, Ф. & Бонхоеффер, Т. Дендритне промене у кичми повезане са дуготрајном синаптичком пластичношћу хипокампа. природа 399, 66–70 (1999). Иусте, Р. Дендритички пршљенови и дистрибуирани кругови. Неурон 71, 772–781 (2011). Иусте, Р. Електрична одвојеност у дендритским пршљеновима. Ану. рев. Неуросци. 36, 429–449 (2013). Ралл, В. Раздвајање дендритних стабала и отпорност мотонеуронске мембране. Експ. Неурол. 1, 491–527 (1959). Сегев, И. & Ралл, В. Рачунарска студија узбудљиве дендритне кичме.Ј. Неурофисиол. 60, 499-523 (1988). Силвер, Д. и др. Мастеринг игре хода са дубоким неуронским мрежама и тражењем дрвећа. Природа 529, 484–489 (2016). Силвер, Д. и др. Општи алгоритам за учење ојачања који овлада шахом, шогијем и пролази кроз самоигру. McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 Француски, Р. М. Катастрофално заборављање у конекционистичким мрежама. трендови Цонг. Сци. 3, 128-135 (1999). Науд, Р. & Спрекелер, Х. Спарсе експлозије оптимизују пренос информација у мултиплексном неуралном коду. Проц. Сакраменто, Ј., Коста, Р. П., Бенгио, И. & Сенн, В. Дендритни кортикални микроциркули приближавају алгоритам за бацкпропагатион. у Напредности у неуралним системима за обраду информација 31 (НевИПС 2018) (НевИПС*,* 2018). Пајер, А., Гергујев, Ј., Зенке, Ф., Ричардс, Б. А. & Науд, Р. Бурст-зависна синаптичка пластичност може координирати учење у хијерархијским круговима. Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. Gradientni klusteron: modelni neuron koji uči da reši zadatke klasifikacije kroz dendrične nelinearnosti, strukturnu plastičnost i gradientni pad. Ходгкин, А. Л. и Хаксли, А. Ф. Квантитативни опис мембранске струје и његова примена на проводљивост и узбуђење у нерву. Ралл, В. Теорија физиолошких својстава дендрита. Анн Н. И. Академија Сци. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. Neural Comput. 9, 1179-1209 (1997). Бовер, Ј.М. & Биеман, Д. у књизи ГЕНЕЗИСА: Истраживање реалистичних неуралних модела са генералним неуралним симулационим системом (Едс Бовер, Ј.М. & Биеман, Д.) 17–27 (Спрингер Њујорк, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. Потпуно имплицитна паралелна симулација појединачних неурона. Бен-Схалом, Р., Либерман, Г. & Корнгрен, А. Убрзавање моделовања одсека на графичкој јединици за обраду. Тсуиуки, Т., Јамамото, И. & Иамазаки, Т. Ефикасна нумеричка симулација неуронских модела са просторном структуром на уређајима за обраду графике. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Хубер, Ф. Ефикасан решење дрвећа за хине матрице на ГПУ. Препринт на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Комбинациона теорија оптимизације и алгоритми 6 edn (Springer, 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. Learning by the dendritic prediction of somatic spiking. , 521–528 (2014). Neuron 81 Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizing ion channel models using a parallel genetic algorithm on graphical processors. , 183–194 (2012). J. Neurosci. Methods 206 Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. , 105–114 (1991). J. Neurosci. Methods 36 McDougal, R. A. et al. Двадесет година моделаДБ и даље: изградња есенцијалних алата за моделирање за будућност неуронауке. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektivno blokira vremensko sažimanje nesinhronizovanih distalnih ulazaka u piramidalnim neuronima CA1. Хемонд, П. и др. Различите класе пирамидалних ћелија показују међусобно искључиве обрасце пуцања у хипокампуларном региону ЦА3б. Хаи, Е., Хилл, С., Сцхурманн, Ф., Маркрам, Х. & Сегев, И. Модели неокортикалног слоја 5б пирамидалних ћелија који хватају широк спектар дендритних и перисоматских активних својстава. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Обрада потенцијала акције у детаљном моделу пуркиње ћелија открива критичну улогу за аксоналну одвојеност. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct path MSNs investigate the rapid onset of dopaminergic effects and predict the role of Kv4.2. Миглеоре, М. и др. Синаптички кластери функционишу као оператори мириса у мирисној сијалици.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). НВИДИА. ЦУДА Ц++ Програмски водич. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). НВИДИА. ЦУДА Ц++ Најбоља пракса Водич. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Харнетт, М.Т., Макара, Ј.К., Спрустон, Н., Катх, В.Л. & Магее, Ј.Ц. Синаптичко појачање од стране дендритних пршљенова побољшава кооперативност уноса. Природа 491, 599–602 (2012). Цхиу, Ц. К. и др. Компартиментализација ГАБАергиц инхибиције од стране дендритских пршљенова. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Еиал, Г. и др. Људски кортикални пирамидални неурони: од кичме до врхова преко модела. фронт. ћелија. Неуроси. 12, 181 (2018). Кох, Ц. & Задор, А. Функција дендритних пршљенова: уређаји који служе биохемијској, а не електричној одвојености. Кох, Ц. Дендритиц спинес. у биофизици рачунарства (Оксфорд Университи Пресс, 1999). Рапп, М., Јаром, И. & Сегев, И. Утицај паралелне позадинске активности влакана на кабловске особине церебеларних пуркињских ћелија. Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Наиеби, А. & Гангули, С. Биолошки инспирисана заштита дубоких мрежа од непријатељских напада. Препринт на https://arxiv.org/abs/1703.09202 (2017). Годард, Н.Х. & Худ, Г. Симулација великих размера користећи паралелни ГЕНЕЗИС. у књизи ГЕНЕЗИС: Истраживање реалистичних неуралних модела са генералним неуралним симулационим системом (Едс Бовер Џејмс М. & Биеман Давид) 349-379 (Спрингер Њујорк, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Paralelne mrežne simulacije sa NEURON-om. Lytton, W. W. et al. Симулацијске неуротехнологије за унапређење истраживања мозга: паралелизовање великих мрежа у НЕУРОН-у. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Ремпе, М. Ј. & Цхопп, Д. Л. Алгоритам предиктора-коректора за једначине реакције-дифузије повезане са неуронском активношћу на разгранатим структурама. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Козлоски, Ј. & Вагнер, Ј. Ултраскалабилно решење за симулацију великих неуралних ткива. Фронт. Неуроинформ. 5, 15 (2011). Јајант, К. и др. Циљане интрацелуларне напонске евиденције из дендритних спинова користећи квантне нанопипете. Нат. Нанотехнол. 12, 335-342 (2017). Палмер, Л. М. & Стјуарт, Г. Ј. Мембране потенцијалне промене у дендритским пршљеновима током потенцијала деловања и синаптичког уноса. Нисхииама, Ј. и Иасуда, Р. Биохемијски рачунар за структурну пластичност кичме. Неурон 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Карони, П., Донато, Ф. & Муллер, Д. Структурна пластичност на учењу: регулација и функције. Кек, Т. et al. Масивна реструктурирање неуронских кола током функционалне реорганизације одрасле визуелног кортекса. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Трацхтенберг, Ј. Т. и др. Дугорочно ин виво сликање искуства зависне синаптичке пластичности у одраслој кортексу. Природа 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 Xu, T. et al. Брзо формирање и селективна стабилизација синапса за трајне меморије мотора. Природа 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Побољшање моторног учења повећањем стабилности новоформираних дендритних пршљенова у моторном кортексу. Neuron 109, 3298–3311 (2021). Бранко, Т. & Хаусер, М. Синаптички интеграциони градијенти у једним пирамидалним дендритима. Неурон 69, 885–892 (2011). Мајор, Г., Ларкум, М. Е. & Сцхилер, Ј. Активна својства неокортикалног пирамидалног неурона дендрита. Гидон, А. и др. Дендритички потенцијали деловања и израчунавање у људском слоју 2/3 кортикалних неурона. Наука 367, 83–87 (2020). Дорон, М., Цхиндеми, Г., Муллер, Е., Маркрам, Х. & Сегев, И. Тимед синаптичка инхибиција обликује НМДА врхове, утичући на локалну дендритску обраду и глобалне И / О својства кортикалних неурона. Ду, К. и др. ћелијско-специфична инхибиција потенцијала дендритног платоа у неуронима пројекције стријатне кичме. Проц. Смитх, С. Л., Смитх, И. Т., Бранко, Т. & Хаусер, М. Дендритички врхови повећавају селективност стимулуса у кортикалним неуронима ин виво. Природа 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. Природа 492, 247-251 (2012). Такахасхи, Н., Оертнер, Т. Г., Хегеман, П. & Ларкум, М. Е. Активни кортикални дендрити модулирају перцепцију. Наука 354, 1587–1590 (2016). Шефилд, М. Е. & Домбецк, Д. А. Прелазна преваленција калцијума преко дендритног дрвета предвиђа својства поља места. Природа 517, 200–204 (2015). Маркрам, Х. и др. Реконструкција и симулација неокортикалне микроциркулације. ћелија 163, 456-492 (2015). Billeh, Y. N. et al. Систематска интеграција структурних и функционалних података у мулти-скале моделе миша примарног визуелног кортекса. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Ииер, А. и сл. Избегавање катастрофе: активни дендрити омогућавају учење са више задатака у динамичким окружењима. фронт. Неуроробот. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Acknowledgements Аутори Савета искрено захваљују др Рита Зханг, Даокен Схи и члановима НВИДИА за вриједну техничку подршку за рачунарство ГПУ. Овај рад је подржан од стране Националног кључног програма истраживања и развоја Кине (No. 2020AAA0130400) до К.Д. и Т.Х., Националног фондације за природне науке Кине (No. 6182588102) до Т.Х., Националног кључног програма истраживања и развоја Кине (No. 2022ZD01163005) до Л.М., Програма за истраживање и развој кључних подручја у провинцији Гуангдонг (No. 2018B030338001) до Т.Х., Националног фонда за природне науке Кине (No. 6182510101) Овај чланак је доступан у природи под лиценцом CC by 4.0 Deed (Attribution 4.0 International). Ovaj papir je под лиценцом CC by 4.0 Deed (Attribution 4.0 International). available on nature
