Autori : Иицхен Зханг ган он Леа Ма Ксиаофеи Лиу Ј. Ј. Јоханес Хјорт Александар Козлов ЈУТАО HE Shenjian Zhang Jeanette Hellgren Kotaleski Јонгхонг Тиан Стене Грилнер Кад ти Тијун Хуанг Autori : Иицхен Зханг ган он Леа Ма Ксиаофеи Лиу Ј. Ј. Јоханес Хјорт Александар Козлов ЈУТАО HE Шенџијан Зханг Џенет Хелгрен Коталески Јонгхонг Тиан Стене Грилнер Кад ти Тијун Хуанг апстракт Биофизички детаљни мулти-департмент модели су моћни алати за истраживање рачунарских принципа мозга и такође служе као теоријски оквир за генерисање алгоритма за системе вештачке интелигенције (АИ). Међутим, скупи рачунарски трошкови озбиљно ограничавају апликације у оба неуронауке и АИ поља. Главна бочица током симулације детаљних модела одјељења је способност симулатора да реши велике системе линеарних једначина. ендометријум Иерархија Цхедулинг (ДХС) метод за значајно убрзање таквог процеса. Теоретски доказујемо да је имплементација ДХС-а рачунарски оптимална и прецизна. Овај метод заснован на ГПУ-у обавља са 2-3 реда величине већу брзину од класичног серијалног Хинес метода у конвенционалној ЦПУ платформи. Ми градимо DeepDendrite оквир, који интегрише ДХС методу и ГПУ рачунарски мотор НЕУРОН симулатора и демонстрира апликације DeepDendrite у неуронаучним задацима. Истражујемо како просторни обрасци уноса кичме утичу на неуронску узбуђеност у детаљном људском пирамидалном неуронском моделу са 25.000 спинова. Штавише, пружа D H S Увод Дешифровање кодирања и рачунарских принципа неурона је од суштинског значаја за неуронауку. Мозак млијечника састоји се од више од хиљада различитих типова неурона са јединственим морфолошким и биофизичким својствима. , у којем су неурони сматрани једноставним сумирајућим јединицама, још увек се широко примењује у неуронском рачунању, посебно у анализи неуронских мрежа.У последњих неколико година, модерна вештачка интелигенција (АИ) је искористила овај принцип и развила моћне алате, као што су вештачке неуронске мреже (АНН) Међутим, поред свеобухватних прорачуна на нивоу једног неурона, субцелуларни одјељци, као што су неуронски дендрити, такође могу да обављају нелинеарне операције као независне рачунарске јединице. , , , , Даље, дендритни пршљенови, мале протрузије које густо покривају дендрите у спиналним неуронима, могу да одвоје синаптичке сигнале, омогућавајући им да се одвоје од њихових родитељских дендрита ex vivo и in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симулације које користе биолошки детаљне неуроне пружају теоријски оквир за повезивање биолошких детаља са рачунарским принципима. , омогућава нам да моделирамо неуроне са реалним дендритским морфологијама, унутрашњом јонском проводљивошћу и екстринским синаптичким уносима. , који моделира биофизичке мембране својства дендрита као пасивних каблова, пружајући математички опис како електронски сигнали нападају и шире кроз сложене неуронске процесе.Укључујући кабелску теорију са активним биофизичким механизмима као што су јонски канали, узбудљиве и инхибиторне синаптичке струје, итд., детаљан мулти-компонентни модел може постићи ћелијске и субцелуларне неуронске израчуне изван експерименталних ограничења , . 12 13 12 4 7 Поред свог дубоког утицаја на неуронауку, биолошки детаљни модели неурона недавно су коришћени за преклапање празнине између неуронских структурних и биофизичких детаља и АИ. Преовлађујућа техника у савременом пољу АИ је АНН-ови који се састоје од тачке неурона, аналогни биолошким неуронским мрежама. , , људски мозак и даље надмашује АНН-ове у доменима који укључују динамичније и бучне окружења , Недавне теоријске студије сугеришу да је дендритна интеграција кључна у генерисању ефикасних алгоритама за учење који потенцијално превазилазе бацкпроп у паралелној обради информација. , , Поред тога, један детаљан мулти-партиментни модел може научити нелинеарна израчунавања на нивоу мреже за точкове неурона подешавајући само синаптичку снагу. , , демонстрирајући пуни потенцијал детаљних модела у изградњи моћнијих система АИ-а сличних мозгу.Због тога је од великог приоритета да се прошире парадигме у АИ-у сличном мозгу од појединачних детаљних модела неурона до великих биолошки детаљних мрежа. 14 15 16 17 18 19 20 21 22 Један дугогодишњи изазов детаљног симулационог приступа лежи у његовим изузетно високим рачунарским трошковима, што је озбиљно ограничило његову примену на неуронауку и АИ. , , Да би се побољшала ефикасност, класична Хинес метода смањује сложеност времена за рјешавање једначина од О(н3) до О(н), који је широко примењен као основни алгоритам у популарним симулаторима као што је НЕУРОН. и генетике Међутим, овај метод користи серијски приступ за обраду сваког одјељка секвенцијално.Када симулација укључује више биофизички детаљних дендрита са дендритским спиновима, матрица линеарне једначине ("Хинес Матрицс") скалира према томе са повећаним бројем дендрита или спинова (Слика. ), чинећи Хинесов метод више непрактичним, јер представља веома тешко оптерећење на целој симулацији. 12 23 24 25 26 1е Реконструисани модел пирамидалног неурона слоја 5 и математичка формула која се користи са детаљним моделима неурона. Радни ток приликом нумеричке симулације детаљних неуронских модела. Фаза решавања једначина је бочица у симулацији. Пример линеарних једначина у симулацији. Зависност података методе Хинес приликом рјешавања линеарних једначина у . . Величина Хинес матрице скала са комплексношћу модела. Број линеарних система једначина које треба решити доживљава значајно повећање када модели расту детаљније. Рачунарски трошкови (кораци узети у фази рјешавања једначина) Сериал Хинес методе на различитим типовима неуронских модела. Илустрација различитих метода рјешавања. Различити делови неурона су додељени вишеструким јединицама за обраду у паралелним методама (седиште, десно), приказани различитим бојама. Рачунарски трошкови три методе у приликом рјешавања једначина пирамидалног модела са спинима. Време покретања различитих метода на решавању једначина за 500 пирамидалних модела са спиновима. Време покретања указује на потрошњу времена симулације 1 с (решавајући једначину 40.000 пута са временским кораком од 0,025 мс). п-Хинес паралелна метода у ЦореНЕУРОН (на ГПУ), метода паралелне методе засноване на гранама (на ГПУ), метода ДХС дендритског хијерархијског распореда (на ГПУ). a b c d c e f g h g i Током протеклих деценија постигнут је огроман напредак у убрзању методе Хинес користећи паралелне методе на ћелијском нивоу, што омогућава паралелизовање израчунавања различитих делова у свакој ћелији. , , , , , Међутим, тренутне паралелне методе на ћелијском нивоу често немају ефикасну стратегију паралелизације или немају довољну нумеричку тачност у поређењу са оригиналним методом Хинес. 27 28 29 30 31 32 Овде развијамо потпуно аутоматизовану, нумерички прецизну и оптимизовану симулациону алатку која може значајно убрзати рачунарску ефикасност и смањити рачунарске трошкове.Поред тога, овај симулациони алат се може беспрекорно прихватити за успостављање и тестирање неуронских мрежа са биолошким детаљима за апликације машинског учења и АИ. Критички, формулишемо паралелно израчунавање методе Хинес као проблем математичког планирања и генеришемо методу дендритског хијерархијског распореда (ДХС) заснован на комбинаторној оптимизацији Паралелна компјутерска теорија Демонстрирамо да наш алгоритам пружа оптимално распоређивање без икаквог губитка прецизности.Поред тога, оптимизовали смо ДХС за тренутно најнапреднији ГПУ чип користећи графичку меморијску хијерархију и механизме за приступ меморији. ) у поређењу са класичним симулатором НЕУРОН уз одржавање идентичне тачности. 33 34 1 25 Да бисмо омогућили детаљне дендритске симулације за употребу у АИ, ми ћемо накнадно успоставити DeepDendrite оквир интегрисањем платформе ЦореНЕУРОН (оптимизовани рачунарски мотор за НЕУРОН) који је уграђен у ДХС као симулациони мотор и два помоћна модула (модул И / О и модул за учење) који подржавају алгоритме дендритног учења током симулација. 35 Last but not least, we also present several applications using DeepDendrite, targeting a few critical challenges in neuroscience and AI: (1) We demonstrate how spatial patterns of dendritic spine inputs affect neuronal activities with neurons containing spines throughout the dendritic trees (full-spine models). DeepDendrite enables us to explore neuronal computation in a simulated human pyramidal neuron model with ~25,000 dendritic spines. (2) In the discussion we also consider the potential of DeepDendrite in the context of AI, specifically, in creating ANNs with morphologically detailed human pyramidal neurons. Our findings suggest that DeepDendrite has the potential to drastically reduce the training duration, thus making detailed network models more feasible for data-driven tasks. Сви изворни код за DeepDendrite, модели пуног кичмењака и детаљни модел дендритне мреже су јавно доступни на мрежи (види Доступност кода). Наш оквир за учење отвореног кода може се лако интегрисати са другим правилима дендритног учења, као што су правила учења за нелинеарне (потпуно активне) дендрите експлозивно зависна синаптичка пластичност , и учење са спејк предвиђањем Свеукупно, наша студија пружа комплетан скуп алата који имају потенцијал да промене тренутни екосистем рачунарске неуронауке заједнице. Користећи моћ ГПУ рачунарства, предвиђамо да ће ови алати олакшати системско истраживање рачунарских принципа финих структура мозга, као и промовисати интеракцију између неуронауке и модерне АИ. 21 20 36 Резултати Дендритско хијерархијско распоређивање (ДХС) Израчунавање јонских струја и решавање линеарних једначина су две критичне фазе приликом симулације биофизички детаљних неурона, који су дуготрајни и представљају озбиљна рачунарска оптерећења. Као последица тога, рјешавање линеарних једначина постаје преостала бочица за процес паралелизације (Фиг. ) 37 1а-ф Да би се ријешило ово заглавље, развијене су паралелне методе на ћелијском нивоу, које убрзавају израчунавање појединачних ћелија "раздвајањем" једне ћелије у неколико одјељака који се могу израчунати паралелно. , , Међутим, такве методе се у великој мери ослањају на претходно знање како би генерисале практичне стратегије о томе како поделити један неурон у одјељке (Слика. • Додатни фиг. Сходно томе, постаје мање ефикасан за неуроне са асиметричним морфологијама, на пример, пирамидалне неуроне и Пуркинже неуроне. 27 28 38 1 г 1 Циљ нам је да развијемо ефикаснију и прецизнију паралелну методу за симулацију биолошки детаљних неуронских мрежа. Прво, постављамо критеријуме за тачност паралелне методе на ћелијском нивоу. , предлажемо три услова како би се осигурало да ће паралелна метода дати идентична решења као и метода серијског рачунања Хинес према зависности података у методу Хинес (види Методе). Затим да теоретски проценимо време покретања, односно ефикасност, метода серијског и паралелног рачунања, уводимо и формулишемо концепт израчунавања трошкова као број корака који метод узима у рјешавању једначина (види Методе). 34 На основу тачности симулације и рачунарских трошкова, формулишемо проблем паралелизације као проблем математичког распореда (види Методе). паралелне нити, можемо израчунати највише Нодули се обрађују на сваком кораку, али морамо осигурати да се један чвор израчунава само ако су обрађени сви његови дечији чворови; наш циљ је да пронађемо стратегију са минималним бројем корака за целу процедуру. k k Да бисмо генерисали оптималну партицију, предлажемо метод који се зове дендритско хијерархијско распоређивање (ДХС) (теоретски доказ је представљен у методама). Метода ДХС укључује два корака: анализу дендритне топологије и проналажење најбоље партиције: (1) Дајући детаљан модел, прво добијамо његово одговарајуће дрво зависности и израчунавамо дубину сваког чвора (дубина чвора је број његових предака чворова) на дрвету (Слика. 2) Након анализе топологије, претражујемо кандидате и бирамо највише најдубљи кандидатни чворови (нод је кандидат само ако су сви његови дечији чворови обрађени).Ова процедура се понавља док се сви чворови не обраде (Слика. ) 2а 2б, Ц k 2Д DHS Workflow - DHS процеси Најдубљи нодули кандидата сваке итерације. Илустрација израчунавања дубине чвора одсечног модела. Модел се прво претвара у структуру дрвета, а затим се израчунава дубина сваког чвора. Анализа топологије на различитим моделима неурона. Овде је приказано шест неурона са различитим морфологијама. За сваки модел, сома је изабрана као корен дрвета тако да се дубина чвора повећава од соме (0) до дисталних дендрита. Илустрација извођења ДХС на моделу у са четири нити. кандидати: чворови који се могу обрадити. изабрани кандидати: чворови који су одабрани од стране ДХС-а, тј. Најдубљи кандидати. Обрађени чворови: чворови који су претходно обрађени. Стратегија паралелизације добијена од стране ДХС-а након процеса у Сваки чвор је додељен једној од четири паралелне нити.ДХС смањује кораке серијске обраде чворова са 14 на 5 тако што дистрибуира чворове на више нити. Релативни трошкови, тј. однос рачунарских трошкова ДХС-а према методу серијског Хинес-а, када се ДХС примењује са различитим бројем нити на различитим типовима модела. a k b c d b k e d f Узмите поједностављени модел са 15 одјељака као пример, користећи метод серијског рачунања Хинес, потребно је 14 корака за обраду свих чворова, док користећи ДХС са четири паралелне јединице може поделити своје чворове у пет подсетова (Слика. ): {{9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Пошто чворови у истом подсету могу да се обрађују паралелно, потребно је само пет корака за обраду свих чворова помоћу ДХС-а (Слика. ) 2Д 2а Затим примењујемо методу ДХС на шест представничких детаљних модела неурона (изабраних из МоделДБ-а) ) са различитим бројем жица (Фиг. ): укључујући кортикалне и хипокампалне пирамидалне неуроне , , Церебеларијски неврони Purkinje Стријатни пројекциони неурони (СПН) ), и митралне ћелије митралне сијалице , покривајући главне главне неуроне у сензорним, кортикалним и субкортикалним областима. Затим смо мерили рачунарске трошкове. Релативни рачунарски трошкови овде су дефинисани пропорцијом рачунарских трошкова ДХС-а у односу на методу серијског Хинес-а. рачунарски трошкови, односно број корака у решавању једначина, драматично пада са повећањем броја нити. На пример, са 16 нити, рачунарски трошкови ДХС-а су 7%-10% у поређењу са серијским методом Хинес-а. Интригантно, метод ДХС достиже ниже границе рачунарских трошкова за представљене неуроне када се дају 16 или чак 8 паралелних нити (Слика. ), што сугерише да додавање више нити не побољшава перформансе даље због зависности између одјељака. 39 2Ф 40 41 42 43 44 45 2Ф Заједно, генеришемо методу ДХС која омогућава аутоматизовану анализу дендритне топологије и оптималну партицију за паралелно израчунавање. Вреди напоменути да ДХС проналази оптималну партицију пре почетка симулације, а није потребно додатно израчунавање за решавање једначина. Убрзање ДХС-а помоћу повећања меморије ГПУ ДХС израчунава сваки неурон са више нити, која троши огромну количину нити приликом покретања симулација неуронске мреже. Графичке процесне јединице (ГПУ) се састоје од масивних процесних јединица (тј. ) за паралелно рачунање У теорији, многи СПс на ГПУ треба да подрже ефикасну симулацију за велике неуронске мреже (Слика. Међутим, конзистентно смо посматрали да се ефикасност ДХС-а значајно смањује када се величина мреже повећава, што може резултирати расипаним складиштењем података или додатним приступом меморији узрокованим учитавањем и писањем интермедијалних резултата (слика). у лево ) 3а, б 46 3Ц 3Д ГПУ архитектура и његова хијерархија меморије. Сваки ГПУ садржи масивне јединице за обраду (процесори протока). Различити типови меморије имају различите пропуснице. Архитектура стреаминг мултипроцесора (СМС). Сваки СМ садржи вишеструке стреаминг процесоре, регистре и Л1 кеш. Примењујући ДХС на два неурона, сваки са четири нити.Током симулације, свака нит се изводи на једном протоку процесора. Стратегија оптимизације меморије на ГПУ-у. Врх панела, додељивање нити и складиштење података ДХС-а, пре (лево) и после (десно) повећања меморије. Процесори шаљу захтев за податке за учитавање података за сваку нит из глобалне меморије. Без повећања меморије (лево), потребно је седам трансакција да се учитају сви подаци захтјева и неке додатне трансакције за интермедијске резултате. Време покретања ДХС (32 нити сваке ћелије) са и без меморије повећања на више слојева 5 пирамидалних модела са спиновима. Убрзање повећања меморије на више слојева 5 пирамидалних модела са спиновима. a b c d d e f Решавамо овај проблем помоћу повећања меморије ГПУ-а, методе за повећање пропусности меморије користећи хијерархију меморије ГПУ-а и механизам приступа.На основу механизма пуњења меморије ГПУ-а, узастопне нити које учитавају усклађене и узастопно складиштене податке доводе до високог пропуста меморије у поређењу са приступом подацима који се чувају у размаку, што смањује пропуст меморије. , Да бисмо постигли висок проток, прво поравнамо рачунарске налоге чворова и реорганизујемо жице према броју чворова на њима. Затим променујемо складиштење података у глобалном меморији, у складу са рачунарским налозима, тј. чворови који се обрађују на истом кораку се складиште у глобалном меморији. Штавише, користимо ГПУ регистре за складиштење интермедијумских резултата, даље јачајући меморијски проток. Поред тога, експерименти на вишеструким бројевима пирамидалних неурона са пршљеновима и типичним моделима неурона (Фиг. • Додатни фиг. ) показују да повећање меморије постиже 1.2-3.8 пута убрзање у поређењу са наивним ДХС-ом. 46 47 3Д 3а , f 2 Да бисмо свеобухватно тестирали перформансе ДХС-а са повећањем меморије ГПУ-а, одабрали смо шест типичних модела неурона и проценили време покретања рјешавања кабловских једначина на масивним бројевима сваког модела (Слика. ). испитали смо ДХС са четири нити (ДХС-4) и шеснаест нити (ДХС-16) за сваки неурон, респективно.У поређењу са методом ГПУ у ЦореНЕУРОН-у, ДХС-4 и ДХС-16 могу убрзати око 5 и 15 пута, респективно (слика. Осим тога, у поређењу са конвенционалним серијалним методом Хинес у НЕУРОН-у који ради са једним жицом ЦПУ-а, ДХС убрзава симулацију за 2-3 реда величине (Додатна слика. ), задржавајући идентичну нумеричку прецизност у присуству густих пршљенова (Додатне фигуре. и ), активни дендритис (Додатни Фиг. ) и различите стратегије сегментације (Допуна Фиг. ) 4 4а 3 4 8 7 7 Радно време рјешавања једначина за симулацију 1 с на ГПУ (дт = 0,025 мс, укупно 40.000 итерација). ЦореНЕУРОН: паралелна метода која се користи у ЦореНЕУРОН-у; ДХС-4: ДХС са четири нити за сваки неурон; ДХС-16: ДХС са 16 нити за сваки неурон. , Визуализација партиције од стране ДХС-4 и ДХС-16, свака боја указује на једну нит. a b c DHS kreira optimalno particioniranje specifično za tip ćelije Да бисмо добили увид у механизам рада методе ДХС-а, визуализовали смо процес партиционисања тако што смо мапирали одјељке на сваку нит (свака боја представља једну нит на слици. Визуализација показује да се једна нит често пребацује између различитих грана (Слика. Занимљиво је да ДХС генерише усклађене партиције у морфолошки симетричним неуронима као што су стријатни пројекцијски неурон (СПН) и Митрална ћелија (слика). Насупрот томе, генерише фрагментиране партиције морфолошки асиметричних неурона као што су пирамидални неурони и Пуркињева ћелија (Слика. ), што указује на то да ДХС дели неуролошко дрво на скали појединачног одјељка (тј. дрво чвор) уместо скале грана.Ова фино зрнана партиција специфична за тип ћелије омогућава ДХС-у да у потпуности искористи све доступне нити. 4Б, Ц 4Б, Ц 4Б, Ц 4Б, Ц Ukratko, DHS i unapređenje memorije stvaraju teorijski dokazano optimalno rešenje za rešavanje linearnih jednadžbi paralelno sa neviđenom efikasnošću. Koristeći ovaj princip, izgradili smo platformu DeepDendrite otvorenog pristupa, koju neuroznanstvenici mogu da iskoriste za implementiranje modela bez ikakvog specifičnog znanja o programiranju GPU-a. Ispod ćemo pokazati kako možemo da koristimo DeepDendrite u neuroznanstvenim zadatcima. ДХС омогућава моделирање на нивоу кичме Пошто дендритни пршљенови примају већину узбудљивог уноса на кортикалне и хипокампске пирамидалне неуроне, стријатне пројекционе неуроне итд., Њихове морфологије и пластичност су кључне за регулисање неуронске узбудљивости. , , , , Међутим, пршљенови су сувише мали (~ 1 μм дужине) да би се директно измерили експериментално у односу на процесе зависне од напона. 10 48 49 50 51 Можемо моделирати једну кичму са два одјељка: главу кичме где се налазе синапсе и врат кичме који повезује главу кичме са дендритима Теорија предвиђа да врло танак врат кичме (0,1-0,5 ум у пречнику) електронски изолује главу кичме од свог родитеља дендрита, чиме се сегментирају сигнали генерисани на глави кичме. Међутим, детаљан модел са потпуно дистрибуираним спиновима на дендритима („фулл-спине модел“) је рачуначки веома скуп. Спине фактор , уместо да експлицитно моделирају све спине. спинални фактор има за циљ приближавање ефекта кичме на биофизичка својства ћелијске мембране . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , истражили смо како различити просторни обрасци узбудљивих уноса формираних на дендритским пршљеновима обликују неуронске активности у људском пирамидалном неуронском моделу са експлицитно моделираним пршљеновима (Слика. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. 2) Вредност од spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) и шпиц вероватноћа (фиг. ) у моделима са пуним кичмом и малим кичмом, открили смо да је модел са пуним кичмом много цурење него модел са малим кичмом.Поред тога, вероватноћа врха изазвана активирањем кластеризованих кичма изгледала је више нелинеарна у моделу са пуним кичмом (солидна плава линија на слици. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5а F 5а F 5б и Ц 5d 5Д 5Д Експериментално подешавање. Испитујемо два главна типа модела: модели са мало кичме и модели са пуним кичмом. Модели са малим кичмом (два на левој страни) су модели који су уградили кичму на глобалном нивоу у дендрите и само причвршћују појединачне кичме заједно са активираним синапсима. У моделима са пуним кичмом (два на десној страни), сви кичми су експлицитно причвршћени преко читавих дендрита. Истражујемо ефекте груписаних и случајно дистрибуираних синаптичких уноса на моделе са мало кичме и моделе са пуним кичмом, респективно. Соматски напони записани за случајеве у Боје кривина напона одговарају , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in у одређеним временима. боје указују на величину напона. Соматска вероватноћа врха као функција броја истовремено активираних синапса (као у раду Еиал и др.) за четири случаја у Позадина бука је приложена. Време је за експерименте у са различитим методама симулације. НЕУРОН: конвенционални НЕУРОН симулатор који ради на једном ЦПУ језгру. ЦореНЕУРОН: ЦореНЕУРОН симулатор на једном ГПУ. ДеепДендрит: ДеепДендрит на једном ГПУ. a b a a c b d a e d У платформи ДеепДендрите, и модели са пуним кичмом и модели са малим кичмом постигли су осам пута већу брзину у поређењу са ЦореНЕУРОном на платформи ГПУ-а и 100 пута већу брзину у поређењу са серијским НЕУРОном на платформи ЦПУ-а (Слика. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5е 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method i matematički demonstriramo da DHS pruža optimalno rešenje bez ikakvog gubitka preciznosti.Dalje, implementiramo DHS na GPU hardverskoj platformi i koristimo tehnike unapređenja GPU memorije da bismo rafinirali DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. Додатни стол ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , Са методама на нивоу мреже, можемо симулирати детаљне мреже на кластерима или суперкомпјутерима . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Са даљом оптимизацијом, методе засноване на ГПУ-у постижу много већу ефикасност у симулацији мреже. Међутим, израчунавање унутар ћелија је и даље серијски у методама на нивоу мреже, тако да се и даље не могу носити са проблемом када је "Хинес матрица" сваке ћелије велике скале. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , Међутим, типичне методе на ћелијском нивоу (нпр. метода "мулти-сплит" ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Дендритни пршљенови су најобилније микроструктуре у мозгу за пројекцију неурона у кортексу, хипокампусу, церебелуму и базалним ганглијама. Како пршљенови примају већину узбудљивих уноса у централни нервни систем, електрични сигнали генерисани од стране пршљенова су главна покретачка снага за велике неуронске активности у предмозгу и церебелуму , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , Моторни кортекс , hippocampus , and the basal ganglia in vivo. Они играју критичну улогу у моторном и просторном учењу, као и формирању меморије. Међутим, због рачунарских трошкова, скоро сви детаљни мрежни модели искористе приступ "Ф-фактор" како би заменили стварне спине, и стога нису у стању да истраже функције кичме на нивоу система. Користећи наш оквир и ГПУ платформу, можемо покренути неколико хиљада детаљних модела неурона, сваки са десетинама хиљада спина на једном ГПУ-у, док одржава ~100 пута брже од традиционалне серијске методе на једном ЦПУ-у (Слика. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5е Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , Такви дендритни догађаји се широко посматрају код мишева. или чак људских кортикалних неурона in vitro, који може понудити различите логичке операције , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , и истраживање пуних потенцијала за учење на реалистичнијим неуронима , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 Такође је постигнут напредак у улози активних дендрита у АНН-у за задатке рачунарске визије. Предложио је нову АНН архитектуру са активним дендритима, демонстрирајући конкурентне резултате у мултитаск и континуираном учењу. Користио је бинарно дрво да би приближио разгранавање дендрита и пружио вриједан увид у утицај структуре дрвета на рачунарски капацитет појединачних неурона. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Ова мрежа је показала ефикасне могућности обуке у задацима класификације слика, постижући приближно 25 пута убрзање у поређењу са обуком на традиционалној платформи заснованој на ЦПУ-у (Слика. ; Supplementary Table ) 6а, б 6f 1 Илустрација хумане пирамидалне ћелијске мреже (ХПЦ-нет) за класификацију слике. Слике се трансформишу у пике возове и хране се у модел мреже. Учење је изазвано сигналима грешака који се шире од соме до дендрита. Обука са мини-бацх. више мрежа се симулира истовремено са различитим сликама као улаз. Укупна тежина ажурирања ΔW се израчунава као просек ΔWi из сваке мреже. Упоређивање ХПЦ-нет пре и после тренинга. Лево, визуелизација скривених неуронских одговора на одређени улаз пре (врху) и после (доле) тренинга. Десно, скривене тежине слоја (од улаза до скривеног слоја) дистрибуције пре (врху) и после (доле) тренинга. Прво генеришемо противничке узорке теста постављене на 20-слој ResNet. Затим користите ове противничке узорке (бучне слике) да бисте тестирали тачност класификације модела обучених чистим сликама. Прецизност предвиђања сваког модела на противречним узорцима након обуке 30 епоха на МНИСТ (лево) и Мода-МНИСТ (десно) скуповима података. Вожње време обуке и тестирања за ХПЦ-Нет. Величина партије је постављена на 16. Лево, вожње време обуке једну епоху. Десно, вожње време тестирања. Паралелни НЕУРОН + Питхон: обука и тестирање на једном ЦПУ са више језгара, користећи 40-процес-паралелни НЕУРОН за симулацију ХПЦ-Нет и додатни Питхон код за подршку мини-бацк обуке. ДеепДендрите: обука и тестирање ХПЦ-Нет на једном ГПУ са ДеепДендрите. a b c d e f Поред тога, широко је признато да перформансе вештачких неуронских мрежа (АНН) могу бити оштећене нападима противника. —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks у поређењу са стандардним АНН-има, као што је очигледно у МНИСТ-у и Мода-Мнист Списак података (фиг. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6Д и 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Методе Simulation with DHS CoreNEURON simulator ( • Користите неурон architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Тачност симулације користећи паралелно израчунавање на ћелијском нивоу Да би се осигурала тачност симулације, прво морамо дефинисати исправност паралелног алгоритма на ћелијском нивоу како бисмо проценили да ли ће генерисати идентична решења у поређењу са доказаним исправним серијским методама, као што је метод Хинес који се користи у платформи за симулацију НЕУРОНА. , паралелни алгоритам ће дати идентичан резултат као и његов одговарајући серијски алгоритам, ако и само ако је ред процеса података у паралелном алгоритуму у складу са зависношћу података у серијском методу. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. Тако можемо израчунати чворове на различитим гранама паралелно, јер њихове вредности нису зависне. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method Да бисмо теоретски проценили време трајања, односно ефикасност, метода серијског и паралелног рачунарства, уводимо и формулишемо концепт рачунарског трошкова на следећи начин: and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set о into subsets, i.e., = { , , ... } где је величина сваког подсета ≤ ≤ ≤ То јест, највише Нодули се могу обрадити сваки корак, јер постоје само Процес фазе триангуларизације следи редослед: → → → → → → , and nodes in the same subset може да се обради паралелно. дакле, дефинишемо | (the size of set То јест, here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 В2 Vn Vi k k k V1 В2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer Где је is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, где | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { Отац ∈children( ) мора у претходном подсету , where 1 ≤ < Наш циљ је да пронађемо оптималну партицију ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v vi c c v Vj j i П * V P* V Овде подсетимо састоји се од свих чворова који ће се рачунати на -th step (Fig. ), so | | ≤ ukazuje da možemo da izračunamo нодула сваки корак највише јер је број доступних нити Ограничење „за сваки чвор“ ∈ Све њене децу нодуле | Деца ( )} must in a previous subset , где 1 ≤ » ” indicates that node може се обрадити само ако се обраде сви његови дечији чворови. Vi i 2а vi k k k v vi c c v Vj j i v DHS implementation Циљ нам је да пронађемо оптималан начин да паралелизујемо израчунавање рјешавања линеарних једначина за сваки неуронски модел рјешавањем проблема математичког распореда изнад. ( за све нодуле ∈ Затим, следећа два корака ће се извршити итеративно док сваки чвор ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | ≤ ≤ ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in i stavi ih u , otherwise, remove Најдубљи нодули из Додајте их у подкатегорије Означите ове чворове као обрађене чворове (Фиг. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q vi 2d Vi Ви + 1 Correctness proof for DHS After applying DHS to a neural tree = { , }, добијамо партицију ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking Затим демонстрирамо да ће реорганизација израчунавања у ДХС резултирати резултатом идентичним серијском Хинесовом методу. T V E P V V1 V2 Vn Vi k i n vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( 2) задовољава услове исправности. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in су у { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 В2 Vi-1 Vi Vi+1 Ви + 2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. За сваку подгрупу in ( ), DHS moves (број нити) најдубљи чворови из одговарајућег сета кандидата два . If the number of nodes in je manji od , move all nodes from to . To simplify, we introduce , указујући на дубину суме deepest nodes in Сви потписи у ( ) satisfy the max-depth criteria (Supplementary Fig. Затим доказујемо да одабир најдубљих чворова у свакој итерацији an optimal partition. If there exists an optimal partition • { , , ... } који садрже подсети који не задовољавају критеријуме максималне дубине, можемо модификовати подсети у ( ) тако да се сви подсетови састоје од најдубљих чворова од and the number of subsets ( | ( )|) remain the same after modification. vi P V k Qi vi Qi k Qi Vi у k Qi P V 6а P(V) П * (В) V*1 V*2 V * s П * V Q П * V Without any loss of generalization, we start from the first subset не испуњава критеријуме, односно, постоје два могућа случаја која ће not satisfy the max-depth criteria: (1) | Отац » and there exist some valid nodes in that are not put to ; (2) | = Ноте у are not the Најдубљи нодули у . V*i V*i V*i k Qi V * i V * i k V*i k Qi За случај (1), јер неки нодули кандидата нису постављени на , ови чворови морају бити у наредним подсетовима. као Отац , можемо да преместимо одговарајуће чворове из наредних подсета на који неће повећати број подсетова и учинити satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set у must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to на следећи начин. Претпоставимо да након попуњавања , Изабрана је и једна од -th deepest nodes is still in , thus will be put into a subsequent subset ( » ). We first move from to + , а затим промените подсекцију + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + као што следи (Додатни Фиг. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + + два + + Након прилагођавања , modify subsequent subsets + , + + , ... са истом стратегијом. на крају, крените od to . V * i V * i < k V * i V * i 6b V*i k Qi V*i 6b V * i V*i v k V » Qi v’ V*j j i v V * i V*i 1 V*i 1 V * i 1 k V * i 1 v V*i 1 6c v V*i 1 V*i 2 V * i 1 V*i 2 V * i V*i 1 V*i 2 V*j 1 v’ V*j V*i Уз стратегију модификације описану горе, можемо заменити све површне чворове у Са оним Најдубљи чвор у и држите број подсетова, тј. ( ) Да ли је исти након модификације. Можемо модификовати чворове са истом стратегијом за све подсете у ( ) који не садрже најдубље чворове. на крају, сви подсети ∈ ( ) може задовољити критеријуме максималне дубине, и ( (Дан се не мења након модификације. V * i k Qi П * V П * V V * i П * V П * V На крају, ДХС генерише партицију ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) можемо модификовати његове подсете да би његова структура била иста као ( ), тј. сваки подсет се састоји од најдубљих чворова у сету кандидата, и држи ( ) исто након модификације. тако, партиција ( ) добијен од ДХС је један од оптималних партиција. P V vi P V П * V P V П * V | P V ГПУ имплементација и побољшање меморије Да би се постигао висок проток меморије, ГПУ користи хијерархију меморије (1) глобалне меморије, (2) кеша, (3) регистар, где глобална меморија има велики капацитет, али низак проток, док регистри имају низак капацитет, али висок проток. GPU koristi SIMT (Single-Instruction, Multiple-Thread) arhitekturu. Warps su osnovne vremenske jedinice na GPU (warp je grupa od 32 paralelne niti). Правилно организовање чворова је од суштинског значаја за ову партију израчунавања у варпима, како би се осигурало да ДХС добије идентичне резултате као и серијални метод Хинес. Када имплементирамо ДХС на ГПУ-у, прво груписамо све ћелије у више варпима на основу њихових морфологија. ћелије са сличним морфологијама су груписане у истом варпу. Затим примењујемо ДХС на све неуроне, додјељујући одсеке сваког неурона на више нити. Пошто су неурони груписани у варпе, нити за исти неурон су у истом варпу. Стога, унутрашња синхронизација у варпима одржава рачунарски поредак у складу са зависношћу података серијског метода 46 Када варп учита унапред поравнане и узастопно складиштене податке из глобалне меморије, може у потпуности искористити кеш, што доводи до високог пропусног капацитета меморије, док би приступ подацима са разбацањем смањио пропусни капацитет меморије. Након додељивања одјељака и реорганизације жица, ми променујемо податке у глобалној меморији како бисмо га направили у складу са рачунарским налозима тако да варпс могу учитати узастопно складиштене податке приликом извршавања програма. Биофизички модели пуне и мале кичме We used the published human pyramidal neuron Капацитет мембране m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 У моделу са неколико пршљенова, капацитет мембране и максимална проводљивост цурења дендритних каблова на удаљености од 60 μм од соме су помножени са spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter врат = 0,25 μм, док су дужина и пречник главе кичме били 0,944 μм, тј. површина главе кичме је постављена на 2,8 μм2. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Синаптички улаз Истражили смо неуронску ексцитабилност за дистрибуиране и кластерисане синаптичке улазе. Све активиране синапсе су биле везане за терминал кичмене главе. За дистрибуиране улазе, све активиране синапсе су биле насумично распоређене на све дендрите. За кластерисане улазе, сваки кластер се састојао од 20 активираних синапса који су били равномерно распоређени на једном случајно одабраном одјељку. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, Подигните и decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise Приложили смо позадинску буку на сваку ћелију како бисмо симулирали реалистичније окружење. Обрасци буке су имплементирани као Поиссон пике возови са константном брзином од 1.0 Хз. start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ) x, y τ x, y p x, и 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ИСИ мс и трајао до краја симулације. Затим смо прикључили све пике возове на неуроне улазног слоја на један-на-један начин. is given by τ Т0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, а временска константа = 0,5 мс v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, отпорност мембране m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , и сви неурони су моделирани са пасивним кабловима. m = 1.5 μF cm-2, отпорност мембране m = 48,300 Ω cm2, axial resistivity a = 261,97 Ω cm, и обрнути потенцијал свих пасивних каблова л = 0 мВ. Уносни неурони могу направити вишеструке везе са насумично одабраним локацијама на дендритима скривених неурона. Синапсе на -тх улазни неурон на неурон ’с дендрит је дефинисан као у Ек. ( ), where То је синаптичка проводљивост, је синаптичка тежина, је функција соматске активације попут РеЛУ-а, и је соматски напон -th input neuron at time . 51 c r r E k i j 4 gijk Wijk i t Неурони у излазном слоју су такође моделирани пасивном моделом једне партиције, а сваки скривени неурон је направио само једну синаптичку везу са сваким излазним неуроном. ) 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation Где је is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and Класа са максималном предвиђеном вероватноћом је коначни резултат класификације.У овом документу, изградили смо ХПЦ-Мрежу са 784 улазних неурона, 64 скривених неурона и 10 излазних неурона. 6 Пи i i C Синаптичка правила пластичности за ХПЦ-нет Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where је предвиђена вероватноћа за класу , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and 0 ако није. 36 7 pi i yi ИИ i ИИ When training HPC-Net, we compute the update for weight (the synaptic weight of the Синапса која повезује неурон Два неурона ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Ево стопе учења, је вредност ажурирања у времену , , су соматски напони неурона и Према томе, То је -th synaptic current activated by neuron on neuron , its synaptic conductance, је пренос отпорности између -th connected compartment of neuron Неурон је ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j Gejk rijk k i j j t t 10 11 Пошто су сви излазни неурони једнострани, једнаки улазном отпору одговарајућег одјељења, пренос и улазни отпор израчунавају се од стране НЕУРОНА. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make серијске копије ХПЦ-Нет-а. Током тренинга, свака копија се храни различитим обрасцима тренинга из серије. DeepDendrite прво израчунава ажурирање тежине за сваку копију одвојено. Након што су све копије у тренутној серији тренинга направљене, израчунава се просечно ажурирање тежине и тежине у свим копијама се ажурирају за исти износ. N N Robustness against adversarial attack with HPC-Net Да бисмо демонстрирали робусност ХПЦ-Нет-а, тестирали смо његову прецизност предвиђања на противничким узорцима и упоредили га са аналогним АНН-ом (једним са истом структуром 784-64-10 и РеЛУ активацијом, за фер поређење у нашем ХПЦ-Нет-у сваки улазни неурон направио је само једну синаптичку везу са сваким скривеним неуроном). Прво смо обучили ХПЦ-Нет и АНН са оригиналним тренингом (оригиналне чисте слике). Затим смо додали противничку буку тесту и измерили њихову прецизност предвиђања на бучном тесту. , да генерише непријатељску буку помоћу методе ФГСМ ANN je trenirao sa PyTorch , и ХПЦ-Нет је обучен са нашим ДеепДендритом. За поштење, генерисали смо непријатељску буку на значајно другачијем мрежном моделу, 20-слојном Ресенту Ниво буке варирао је од 0,02 до 0,2. Експериментисали смо са два типична сета података, МНИСТ и Мода-Мнист Резултати показују да је прецизност предвиђања ХПЦ-Нет-а 19% и 16.72% већа од аналогног АНН-а, респективно. 98 99 93 100 101 95 96 Izveštaj sažetak Више информација о дизајну истраживања доступно је у Povezano sa ovim člankom. Природни портфолио извештавање резиме Dostupnost podataka Подаци који подржавају налазе ове студије доступни су у папиру, додатним информацијама и датотекама изворних података који су обезбеђени са овим папиром. изворни код и подаци који су коришћени за репродукцију резултата у сликама. – Dostupni su na MNIST dataset je javno dostupan na Dataset Fashion-MNIST je javno dostupan na . obezbeđen je ovim dokumentom. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Извор података Доступност кода The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite Референце McCulloch, W. S. & Pitts, W. Logic calculus of the ideas immanent in nervous activity. Булл. ЛеЦун, И., Бенгио, И. & Хинтон, Г. Дубоко учење. Природа 521, 436–444 (2015). Пуарази, П., Бреннон, Т. & Мел, Б. В. Аритметичка суб-праг синаптичке сумације у моделу ЦА1 пирамидалне ћелије. London, M. & Häusser, M. Dendritic computation. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранко, Т. & Хаусер, М. Једна дендритна грана као основна функционална јединица у нервном систему. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стјуарт, Г. Ј. & Спрустон, Н. Дендритска интеграција: 60 година напретка. Нат. Неуросци. 18, 1713–1721 (2015). Poirazi, P. & Papoutsi, A. Осветљавање дендритне функције рачунарским моделима. Nat. Rev. Neurosci. 21, 303–321 (2020). Иусте, Р. & Денк, В. Дендритни пршљенови као основне функционалне јединице неуронске интеграције. Природа 375, 682-684 (1995). Енгерт, Ф. & Бонхоеффер, Т. Дендритне промене у кичми повезане са дуготрајном синаптичком пластичношћу хипокампа. природа 399, 66–70 (1999). Иусте, Р. Дендритички пршљенови и дистрибуирани кругови. Неурон 71, 772–781 (2011). Иусте, Р. Електрична одвојеност у дендритским пршљеновима. Ану. рев. Неуросци. 36, 429–449 (2013). Ралл, В. Раздвајање дендритних стабала и отпорност мотонеуронске мембране. Експ. Неурол. 1, 491–527 (1959). Сегев, И. & Ралл, В. Рачунарска студија узбудљиве дендритне кичме.Ј. Неурофисиол. 60, 499-523 (1988). Силвер, Д. и др. Мастеринг игре хода са дубоким неуронским мрежама и тражењем дрвећа. Природа 529, 484–489 (2016). Силвер, Д. и др. Општи алгоритам за учење ојачања који овлада шахом, шогијем и пролази кроз самоигру. McCloskey, M. & Cohen, N. J. Katastrofalno mešanje u konekcionističke mreže: problem sekvencijalnog učenja. Француски, Р. М. Катастрофално заборављање у конекционистичким мрежама. трендови Цонг. Сци. 3, 128-135 (1999). Науд, Р. & Спрекелер, Х. Спарсе експлозије оптимизују пренос информација у мултиплексном неуралном коду. Проц. Сакраменто, Ј., Коста, Р. П., Бенгио, И. & Сенн, В. Дендритни кортикални микроциркули приближавају алгоритам за бацкпропагатион. у Напредности у неуралним системима за обраду информација 31 (НевИПС 2018) (НевИПС*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits. , 1010–1019 (2021). Nat. Neurosci. 24 Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. The gradient clusteron: a model neuron that learns to solve classification tasks via dendritic nonlinearities, structural plasticity, and gradient descent. , e1009015 (2021). PLoS Comput. Biol. 17 Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. , 500–544 (1952). J. Physiol. 117 Rall, W. Theory of physiological properties of dendrites. , 1071–1092 (1962). Ann. N. Y. Acad. Sci. 96 Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. in (eds Bower, J.M. & Beeman, D.) 17–27 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. Fully implicit parallel simulation of single neurons. , 439–448 (2008). J. Comput. Neurosci. 25 Бен-Схалом, Р., Либерман, Г. & Корнгрен, А. Убрзавање моделовања одсека на графичкој јединици за обраду. Тсуиуки, Т., Јамамото, И. & Иамазаки, Т. Ефикасна нумеричка симулација неуронских модела са просторном структуром на уређајима за обраду графике. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Хубер, Ф. Ефикасан решење дрвећа за хине матрице на ГПУ. Препринт на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Комбинациона теорија оптимизације и алгоритми 6 edn (Springer, 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Урбанчик, Р. & Сенн, В. Учење по дендритском предвиђању соматског пикирања. Неурон 81, 521-528 (2014). Бен-Схалом, Р., Авив, А., Разон, Б. & Корнгрен, А. Оптимизација модела јонских канала користећи паралелни генетски алгоритам на графичким процесорима. Маскањи, М. Паралелизујући алгоритам за израчунавање решења произвољно разгранатим кабловским неуронским моделима. McDougal, R. A. et al. Двадесет година моделаДБ и даље: изградња есенцијалних алата за моделирање за будућност неуронауке. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektivno blokira vremensko sažimanje nesinhronizovanih distalnih ulazaka u piramidalnim neuronima CA1. Hemond, P. et al. Distinct classes of pyramidal cells exhibit mutually exclusive firing patterns in hippocampal area CA3b. , 411–424 (2008). Hippocampus 18 Хаи, Е., Хилл, С., Сцхурманн, Ф., Маркрам, Х. & Сегев, И. Модели неокортикалног слоја 5б пирамидалних ћелија који хватају широк спектар дендритних и перисоматских активних својстава. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct path MSNs investigate the rapid onset of dopaminergic effects and predict the role of Kv4.2. Миглеоре, М. и др. Синаптички кластери функционишу као оператори мириса у мирисној сијалици.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). НВИДИА. ЦУДА Ц++ Програмски водич. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptic amplification by dendritic spines enhances input cooperativity. , 599–602 (2012). Nature 491 Цхиу, Ц. К. и др. Компартиментализација ГАБАергиц инхибиције од стране дендритских пршљенова. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Пластичност кичменог врата регулише одвојеност синапса. Нат. Неуроси. 17, 678–685 (2014). Еиал, Г. и др. Људски кортикални пирамидални неурони: од кичме до врхова преко модела. фронт. ћелија. Неуроси. 12, 181 (2018). Кох, Ц. & Задор, А. Функција дендритних пршљенова: уређаји који служе биохемијској, а не електричној одвојености. Koch, C. Dendritic spines. In (Oxford University Press, 1999). Biophysics of Computation Рапп, М., Јаром, И. & Сегев, И. Утицај паралелне позадинске активности влакана на кабловске особине церебеларних пуркињских ћелија. Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Наиеби, А. & Гангули, С. Биолошки инспирисана заштита дубоких мрежа од непријатељских напада. Препринт на https://arxiv.org/abs/1703.09202 (2017). Годард, Н.Х. & Худ, Г. Симулација великих размера користећи паралелни ГЕНЕЗИС. у књизи ГЕНЕЗИС: Истраживање реалистичних неуралних модела са генералним неуралним симулационим системом (Едс Бовер Џејмс М. & Биеман Давид) 349-379 (Спрингер Њујорк, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Paralelne mrežne simulacije sa NEURON-om. Lytton, W. W. et al. Симулацијске неуротехнологије за унапређење истраживања мозга: паралелизовање великих мрежа у НЕУРОН-у. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Ремпе, М. Ј. & Цхопп, Д. Л. Алгоритам предиктора-коректора за једначине реакције-дифузије повезане са неуронском активношћу на разгранатим структурама. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Козлоски, Ј. & Вагнер, Ј. Ултраскалабилно решење за симулацију великих неуралних ткива. Фронт. Неуроинформ. 5, 15 (2011). Јајант, К. и др. Циљане интрацелуларне напонске евиденције из дендритних спинова користећи квантне нанопипете. Нат. Нанотехнол. 12, 335-342 (2017). Палмер, Л. М. & Стјуарт, Г. Ј. Мембране потенцијалне промене у дендритским пршљеновима током потенцијала деловања и синаптичког уноса. Нисхииама, Ј. и Иасуда, Р. Биохемијски рачунар за структурну пластичност кичме. Неурон 87, 63–75 (2015). Иусте, Р. & Бонхоеффер, Т. Морфолошке промене у дендритским пршљеновима повезане са дугорочном синаптичком пластичношћу. Holtmaat, A. & Svoboda, K. Структурна синаптичка пластичност зависна од искуства у мозгу сисара. Nat. Rev. Neurosci. 10, 647–658 (2009). Карони, П., Донато, Ф. & Муллер, Д. Структурна пластичност на учењу: регулација и функције. Кек, Т. et al. Масивна реструктурирање неуронских кола током функционалне реорганизације одрасле визуелног кортекса. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Iskustvo ostavlja trajan strukturni trag u kortikalnim krugovima. Трацхтенберг, Ј. Т. и др. Дугорочно ин виво сликање искуства зависне синаптичке пластичности у одраслој кортексу. Природа 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rapid formation and selective stabilization of synapses for enduring motor memories. , 915–919 (2009). Nature 462 Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Побољшање моторног учења повећањем стабилности новоформираних дендритних пршљенова у моторном кортексу. Neuron 109, 3298–3311 (2021). Бранко, Т. & Хаусер, М. Синаптички интеграциони градијенти у једним пирамидалним дендритима. Неурон 69, 885–892 (2011). Мајор, Г., Ларкум, М. Е. & Сцхилер, Ј. Активна својства неокортикалног пирамидалног неурона дендрита. Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Дорон, М., Цхиндеми, Г., Муллер, Е., Маркрам, Х. & Сегев, И. Тимед синаптичка инхибиција обликује НМДА врхове, утичући на локалну дендритску обраду и глобалне И / О својства кортикалних неурона. Ду, К. и др. ћелијско-специфична инхибиција потенцијала дендритног платоа у неуронима пројекције стријатне кичме. Проц. Смитх, С. Л., Смитх, И. Т., Бранко, Т. & Хаусер, М. Дендритички врхови повећавају селективност стимулуса у кортикалним неуронима ин виво. Природа 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. Природа 492, 247-251 (2012). Такахасхи, Н., Оертнер, Т. Г., Хегеман, П. & Ларкум, М. Е. Активни кортикални дендрити модулирају перцепцију. Наука 354, 1587–1590 (2016). Шефилд, М. Е. & Домбецк, Д. А. Прелазна преваленција калцијума преко дендритног дрвета предвиђа својства поља места. Природа 517, 200–204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Систематска интеграција структурних и функционалних података у мулти-скале моделе миша примарног визуелног кортекса. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Оцењивање скалабилности биолошки мотивисаних алгоритма и архитектура дубоког учења. у Напредности у системима неуралне обраде информација 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: брзи непријатељски напади за упоређивање робусности модела машинског учења у PyTorch, TensorFlow, и JAX. Пасцке, А. et al. ПиТорцх: Императивни стил, библиотека дубоког учења високих перформанси. у Напредности у системима за обраду неуралних информација 32 (НевРИПС 2019) (НевРИПС, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) признања Аутори Савета искрено захваљују др Рита Зханг, Даокен Схи и члановима НВИДИА за вриједну техничку подршку за рачунарство ГПУ. Овај рад је подржан од стране Националног кључног програма истраживања и развоја Кине (No. 2020AAA0130400) до К.Д. и Т.Х., Националног фондације за природне науке Кине (No. 6182588102) до Т.Х., Националног кључног програма истраживања и развоја Кине (No. 2022ZD01163005) до Л.М., Програма за истраживање и развој кључних подручја у провинцији Гуангдонг (No. 2018B030338001) до Т.Х., Националног фонда за природне науке Кине (No. 6182510101) Овај чланак је доступан у природи под лиценцом CC by 4.0 Deed (Attribution 4.0 International). Ovaj papir je под лиценцом CC by 4.0 Deed (Attribution 4.0 International). Доступно у природи
