І аўтары: Чанг Чанг Гана ён Леў Ма Xiaofei Liu Дж.Дж.Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Чыгун Хуан І аўтары: Чанг Чанг Гана ён Леў Ма Лявон Лявон Дж.Дж.Johannes Hjorth Аляксандр Козлов Яўген ён Шэньчжэнь Чжан Жанэт Hellgren Kotaleski Іван Тян Стэйн Грыльнер Калі ты Чыгун Хуан Абстрактныя Іншая справа, як раскрыць душу героя... Калі мы кажам пра кіно, каб захаваць гэтую натуральнасць паўсядзённасці і выявіць драму, неабходны моцны сцэнарый. Эндрыка Іерархія Дадатковыя функцыі ўключаюць у сябе джакузі для поўнай рэлаксацыі і камінам, каб трымаць вас у цяпле і трымаць вас у цяпле, каб трымаць вас у цяпле і трымаць вас у цяпле, каб трымаць вас у цяпле і трымаць вас у цяпле. D H S Уваход Дакладней будзе назваць яго арт-праектам, пабудаваным на навуковых фактах і гістарычных даследаваннях. У 1930 годзе было выяўлена, што калі высокаэнергетычных альфа-часціцы трапляюць на некаторыя лёгкія элементы, то апошнія выпраменьваюць прамяні з незвычайна вялікай пранікальнай здольнасцю. Тым не менш, у дадатак да комплексных вылічэнняў на ўзроўні адзіночнага нейрону, падклікальныя аддзялення, такія як нейронныя дендрыты, могуць таксама праводзіць нелінейныя аперацыі як незалежныя вылічаныя адзінкі. , , , , Да таго ж, дендрытычныя шпіны, маленькія выцяжкі, якія густа пакрываюць дендрыты ў шпінічных нейронах, могуць раздзяліць сінаптычныя сігналы, дазваляючы іх аддзяліць ад іх бацькоўскіх дендрытаў ex vivo і in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Магчыма, якраз ліберальнае і добрае экспертнае рэнаме выдання падштурхнула антыглабалістаў падрабіць менавіта «Die Zeit». , дазваляе нам мадэляваць нейроны з рэальнымі дендрытычнымі морфалогіямі, ўнутраным іонным праводзеннем, і экстрынічнымі сінаптычнымі ўваходнімі. , які мадэляваў біяфізічныя мембранныя ўласцівасці дендрыт як пасіўныя кабелі, забяспечваючы матэматычнае апісанне таго, як электронныя сігналы ўварваюцца і распаўсюджваюцца на працягу складаных нейронных працэсаў.Уключэннем тэорыі кабелю з актыўнымі біяфізічнымі механізмамі, такімі як іённыя каналы, узбуджальныя і інгібітарыяльныя сінаптычныя струмы і г.д., падрабязная мульты-парцінгная мадэль можа дасягнуць клеточных і падклікальных нейронных вылікаў за межы эксперыментальных абмежаванняў , . 12 13 12 4 7 Тым часам, як у нас словы “грамадскае” і “занядбанае” часам успрымаюцца як сінонімы, у Каталоніі грамадскія тэрыторыі — тыя ж пляжы — даглядаюцца так, як у іншых краінах VIP-аўскія. , Іх унікальная здольнасць да эхолокации літаральна ў тысячы разоў больш эфектыўна, чым у любой падобнай сістэмы, створанай людзьмі. , Эксперты адзначаюць, што збор соку з бярозы зусім не шкодзіць дрэве, так як падчас гэтага працэс выдаляецца толькі 1% вадкасці. , , Дадатковыя функцыі ўключаюць у сябе джакузі для поўнай рэлаксацыі і камінам, каб трымаць вас у цяпле і сытна. , Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO. 14 15 16 17 18 19 20 21 22 Яны паказалі, што звычайны закон Пашэна для прабоя газу ў сталым электрычным полі выконваецца толькі для кароткіх разрадных трубак, у якіх стаўленне міжэлектроднага прамежку да радыусу трубкі L/R ≤ 1. , , Для павышэння эфектыўнасці, класічны метад Hines зніжае цяжкасць часу для вырашэння аб'екцый з O(n3) да O(n), які быў шырока ўжыты як асноўны алгарытм у папулярных сімулятарах, такіх як NEURON. і генезіс Гэтая знаходка атрымала назву «Хлопчык з Турканы»[4]. ), што робіць метад Hines больш непрактычны, так як ён складае вельмі цяжкую нагрузку на ўсю сімуляцыю. 12 23 24 25 26 1е Рэконструявана пластыка-5 пірамідная мадэль нейрону і матэматычная формула, якая выкарыстоўваецца з падрабязнай нейроннай мадэлі. У гэтым выпадку пешаходы, якія сканчаюць пераход, уяўляюць істотную небяспеку (мал. Вырашэнне лінейных вырашэнняў у сімуляцыі. Дадатковая залежнасць метаду Hines пры вырашэнні лінейных вырашэнь у І Раней ужо было даказана, што помпы значна больш эфектыўна звычайных ін'екцый пры лячэнні дыябету 1 тыпу. Вылічаная кошт (паступкі, узятыя ў фазе вырашэння параўнанняў) серыйнага методу Hines на розных тыпах мадэляў нейронаў. Рымская імперыя распалася на 2 самастойныя часткі, кожная са сваім імператарам – Заходнюю і Усходнюю. Кошт трох методаў Пры рашэнні параўнанняў піраміднай мадэлі з шпінамі. Працуе час розных метадаў на вырашэнні паралельных метадаў для 500 пірамідальных мадэляў з спінамі. Працуе час паказвае часовы расход сімуляцыі 1 с (вырашэньне параўнання 40 000 разоў з часовым крокам 0,025 мс). p-Hines паралельны метад у CoreNEURON (на GPU), Branch-базавы паралельны метад на аснове галіны (на GPU), DHS іерархічны метад графікавання (на GPU). a b c d c e f g h g i На працягу апошніх дзесяцігоддзяў быў дасягнуты вялікі працэс паскоражэння метаду Hines, выкарыстоўваючы паралельныя метады на клеткавым узроўні, які дазваляе паралелізаваць вылічэнне розных частак у кожнай клетцы. , , , , , Тут мы можам паказаць сваю творчасць без абмежаванняў у ідэальных экспазіцыйных умовах, якія створаны ў новым Палацы культуры. 27 28 29 30 31 32 Спадзяёмся, што матэрыяльная падтрымка будзе і з боку Міністэрства культуры, а таксама фонду краін СНД, цяпер складаем праграму, якую павязём у Маскву на ўзгадненне, будзем там адстойваць свае пазіцыі. Паралельная вылічаная тэорыя Мы паказваем, што наш алгарытм забяспечвае аптымальны графік без згублення дакладнасці. Да таго ж, мы аптымізавалі DHS для найбольш перададзеных у цяперашні час чіпаў GPU, выкарыстоўваючы іерархію памяці GPU і механізмы доступу да памяці. ) у параўнанні з класічным сімулятарам NEURON І ўсё ж у той жа час існавала такая ж самая точнасць. 33 34 1 25 Для таго, каб дазволіць падрабязныя дендрытычныя сімуляцыі для выкарыстання ў AI, мы наступным чынам усталявалі рамку DeepDendrite, уключаючы платформу CoreNEURON (аптымізаваны вылічальны рухавік для NEURON), убудаваную DHS. Як сімуляцыйны рухавік і два дапаможныя модулі (модуль I/O і модуль навучання), якія падтрымліваюць дэндрытычныя алгарытмы навучання падчас сімуляцый. 35 Апошняе, але не менш важнае, мы таксама прадстаўляем некалькі прыкладанняў з выкарыстаннем DeepDendrite, накіраваных на некалькі крытычных вынікаў у неўранауцы і AI: (1) Мы дэманструем, як прасторавыя мадэлі дэндрытычных хрысціянскіх ўносаў ўплываюць на нейронную дзейнасць з нейронамі, якія змяшчаюць шпіны на працягу дэндрытычных дрэў (поўныя шпінавыя мадэлі). DeepDendrite дазваляе нам вывучаць нейронныя вылічэння ў сіміляванай чалавечай пірамідальнай нейроннай мадэлі з ~25 000 дэндрытычных шпінаў. (2) У рашэнні мы таксама разглядаем магчымасць DeepDendrite ў канцэпце AI, у прыватнасці, у Усе крынічныя коды для DeepDendrite, мадэлі поўнага спіне і падрабязная dendritic сеткавая мадэль з'яўляюцца публічна даступнымі ў інтэрнэце (см. Код Даступнасць). Наша рамка навучання з адкрытым кодам можа быць лёгка інтэграваная з іншымі правіламі навучання dendritic, такімі як правілы навучання для нелінейных (паўнаактыўных) dendrites Бурэс-залежная сінаптычная пластыка Узнагароджанне з Spike Prediction Спадзяёмся, што матэрыяльная падтрымка будзе і з боку Міністэрства культуры, а таксама фонду краін СНД, цяпер складаем праграму, якую павязём у Маскву на ўзгадненне, будзем там адстойваць свае пазіцыі. 21 20 36 Вынікі Дэндратычны іерархічны графік (Dendritic Hierarchical Scheduling, DHS) Іх унікальная здольнасць да эхолокации літаральна ў тысячы разоў больш эфектыўна, чым у любой падобнай сістэмы, створанай людзьмі. Як следства, рашэнне лінейных адносін становіцца застаецца бутэлькі для працэсу паралелізацыі (Фіг. ) 37 1а-ф Для забеспячэння работы мікра-ГЭС, водны струмень мусіць быць штучна створаны. , , Тым не менш, такія метады вельмі залежыць ад папярэдніх ведаў, каб стварыць практычныя стратэгіі пра тое, як падзяліць адзін нейрон на камп'ютары (Фіг. • дадатковыя фігуры. Таму гэта становіцца менш эфектыўным для нейронаў з асіметрычнымі морфалогіямі, напрыклад, пірамідных нейронаў і Purkinje нейронаў. 27 28 38 1 г 1 Мы імкнемся распрацаваць больш эфектыўны і дакладны паралельны метад для сімуляцыі біялагічна падрабязнай нейроннай сеткі.Перш за ўсё, мы усталявалі крэдыты для дакладнасці паралельнага метаду на клеточным узроўні. Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO. 34 На аснове точнасці і вылічанай коштам сімуляцыі, мы формулюем праблему паралелізацыі як праблему матэматычнага гравіравання (см. Методы). У параўнанні з іншымі, мы можам вылічыць найбольш Шкадую, што не рашыўся дадаць сюды ў тэму свае думки пра дэмакратыю, але першы іх k k Для стварэння ідэальнай партыцыі мы прапаноўваем метад, які называецца Dendritic Hierarchical Scheduling (DHS) (тэарэтычны доказ прадстаўлены ў Методах). Дадатковыя функцыі ўключаюць у сябе джакузі для поўнай рэлаксацыі і камінам, каб трымаць вас у цяпле і сытна. [2] Пасля аналізу топалогіі, мы шукаем кандыдаты і выбіраем найбольш Найлепшая траекторыя руху пры змене паласы - гэта вельмі плыўная, але не занадта расцягнутая па даўжыні крывая. ) 2а 2 Б, С k 2D DHS працэс, DHS працэс Найбольш глыбокія кандыдатскія вузлы кожнага ітэрацыі. «Аналіз паказаў, што выдатак кармавых адзінак на 1 кг прыбаўлення на старых комплексах значна перавышае гэтае значэнне на новых. Аналіз топалогіі на розных мадэлях нейронаў. Тут паказаны шэсць нейронаў з розных морфалогій. Для кожнай мадэлі, сома выбрана як корын дрэва, так што глыбіня вузла павялічваецца ад сомы (0) да дыстальных дендрытаў. У азначаным выпадку адказнасць за Кандыдаты: вузлы, якія могуць быць апрацаваны. Кандыдаты: вузлы, якія выбіраюцца DHS, т.е. вузлы, якія могуць быць апрацаваны DHS Найбольш вядомымі з іх з'яўляюцца ўспаміны пра тое, што з'яўляюцца ўспамінамі, якія былі зроблены раней. Уступнае слова і пераклад Уладзіміра Правасуда. // Братэрства 87. Кожны вузол прызначаны да аднаго з чатырох паралельных праяваў. DHS зніжае крокі серыйнай апрацоўкі вузаў з 14 да 5 шляхам распаўсюджвання вузаў на многія праявы. Праведзеная праверка паказала, што ўстанова не працуе ўжо некалькі месяцаў. a k b c d b k e d f Узяўшы падрабязнае мадэль з 15 аддзяленнямі як прыклад, выкарыстоўваючы метад серыйнага вылічэння Hines, ён займае 14 крокаў, каб апрацаваць усе вузлы, у той час як выкарыстоўваючы DHS з чатырьмя паралельнымі адзінствамі можна раздзяліць яго вузлы на пяць падсетак (Фіг. Паводле яго слоў, паводле інфармацыі, прадстаўленай камандай эксперыментаў, прадстаўленай камандай навуковых работнікаў, барацьба з інфекцыйнымі хваробамі штогод становіцца прычынай смерці тысяч людзей з усяго свету. ) 2D 2е Далей мы выкарыстоўваем метад DHS на шэсць прадстаўнікоў падрабязнай нейронных мадэляў (выбраныя з ModelDB ) з розных колькасцяў трэў (Фіг. ), уключаючы пірамідныя нейроны і гіпокампа , , Нейронныя церебеллары Стрыатныя нейроны праекцыі (SPN) ), і ароматыўныя шампуні мітральныя клеткі , якія ахопліваюць асноўныя асноўныя нейроны ў сенсорных, коркальных і падкоркавых раёнах. Мы затым вымяралі вылічаныя кошт. Правільная вылічаная кошт тут вызначаецца пропорцыяй вылічанай кошту DHS да таго серийного методу Hines. Вылічаная кошт, т.е. колькасць крокаў, прынятых у вырашэнні параўнанняў, падае драматычна з узрастаючым колькасцю праяваў. Напрыклад, з 16 праявам, вылічаная кошт DHS складае 7%-10% у параўнанні з серыйным методам Hines. Інтрыгаўна, DHS метад дасягае ніжніх межаў іх вылічанай кошту для прадстаўленых нейронаў, калі дадзены 16 Мае назіранні прывялі да высновы, што нагрузка на доктара не можа быць такой, якая яна ёсць цяпер. 39 2F 40 41 42 43 44 45 2F У нас функцыянуюць таварыствы “Разумнікі і разумніцы”, “Даследчык”, а таксама адзіная ў Магілёўскай вобласці астранамічная пляцоўка. Загрузіць GPU Memory Boost DHS вылічвае кожны нейрон з некалькімі праявамі, якія выкарыстоўваюць вялікую колькасць праяваў пры запуску сімуляцый нейронных сетак. Графічныя працэсуары (GPUs) складаюцца з масіўных абслугоўванняў (г.з. працэсуары, SPs, Фіг. для паралельных вылічэнняў У тэорыі, многія SPs на GPU павінны падтрымліваць эфектыўную сімуляцыю для буйных нейронных сетак (Фіг. «Аналіз паказаў, што выдатак кармавых адзінак на 1 кг прыбаўлення на старых комплексах значна перавышае гэтае значэнне на новых. І ў левым). 3а, б 46 3С 3D GPU архітэктура і яго іерархія памяці. Кожны GPU змяшчае масіўныя працэсары (працэсары праток). Архітэктура праток мультыпрацэсараў (SMS). Кожны SM змяшчае некалькі праток працэсараў, рэгістры і L1 кэш. Усяго за дзень можна выпіць 1 літр соку без уліку колькасці вады. Памятаеце, у казках Баба-Яга збірае вакол сябе жывых істот, каб даведацца пра незвычайныя навіны свету. У нашай багатай беларускай літаратуры няма другога такога твора, які па энцыклапедычнасці выяўлення ў ім нацыянальнага, так набліжаўся б да "Новай зямлі". Працоўны час DHS (32 праявы кожнай клініцы) з і без памяці пабудовы на шматслойных 5 пірамідальных мадэлях з шпінамі. Узровень памяці павялічваецца на некалькіх пластах 5 пірамідальных мадэляў з спінамі. a b c d d e f Варта адзначыць, што ў Call of Duty 4 місіі даюць вельмі шмат бонусаў і ачкоў развіцця, да таго ж, яны досыць цікавыя і незвычайныя - выконваць іх лёгка і нясумна. , Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO. Дадатковыя эксперыменты на шматлікія нумары пірамідальных нейронаў з спінамі і тыпныя мадэлі нейронаў (Фіг. • дадатковыя фігуры. ) паказваюць, што памяць пабудовы дасягае 1,2-3,8-кратнага паскоражэння ў параўнанні з наіўнымі DHS. 46 47 3D 3а, f 2 Для комплекснага выпрабавання працэдуры DHS з GPU памяці пабудовы, мы выбіраем шэсць тыповых мадэляў нейронаў і ацэньваем працоўны час вырашэння кабельных аб'екцый на масіўных колькасцях кожнай мадэлі (Фіг. Мы выпрабавалі DHS з чатырох праяваў (DHS-4) і шестнадцаць праяваў (DHS-16) для кожнага нейрону, адпаведна. Да таго ж, у параўнанні з традыцыйным серыйным спосабам Hines у NEURON, які працуе з адной праявай працэсара, DHS паскорыць сімуляцыю на 2-3 ордэны магнітуды (Додатковая фігура. ), у той час як захоўванне ідэнтычнасці лічбавай дакладнасці ў прысутнасці густых спінаў (Додатковыя фігуры. і ), актыўныя дендрыты (Додатковая фігура. ) і розныя стратэгіі сегментацыі (Додатковая фігура. ) 4 4а 3 4 8 7 7 Працоўны час вырашэння параўнанняў для 1 с сімуляцыі на GPU (dt = 0,025 мс, 40 000 ітэрацый усяго). CoreNEURON: паралельны метад, які выкарыстоўваецца ў CoreNEURON; DHS-4: DHS з чатырьмя праявымі для кожнага нейрона; DHS-16: DHS з 16 праявымі для кожнага нейрона. І Узнікае пытанне: калі іх ведае увесь свет, ці можна назваць іх няўдачнікамі? a b c DHS стварае клінічна-спецыфічны оптимальный размяшчэнне Для атрымання разумення пра механізм працы метаду DHS, мы візуалізавалі працэс партызацыі, мапаючы камп'ютары на кожную нітку (кожны колер прадстаўляе адзіную нітку на фігуры. У гэтым выпадку пешаходы, якія сканчаюць пераход, уяўляюць істотную небяспеку (мал. Цікаво, што DHS генеруе паралельныя аддзялення ў морфалагічна сіметрычных нейронах, такіх як стрыятальны нейрон праекцыі (SPN) і мітральная клетка (Фіг. Напрыклад, ён генеруе фрагментарныя партыцыі морфалагічна асіметрычных нейронаў, такіх як пірамідальныя нейроны і клетка Пуркінжа (Фіг. Гэтая знаходка атрымала назву «Хлопчык з Турканы»[4]. 4 Б, С 4 Б, С 4 Б, С 4 Б, С Як адзначалася на многіх іншых сайтах, ён таксама можа ўнесці значны ўклад у распрацоўку электраэнергіі праз поле ў месцах, дзе навальнічных разрадаў не працуе наогул. DHS дае магчымасць мадэляваць ўзровень спіна Паколькі дендрытычныя спінні атрымліваюць большую частку збудавальнага ўводу да пірамідальных нейронаў коркі і гіпокампа, стрыятальных праекцыйных нейронаў і г.д., іх морфалогіі і пластыкавы характар вельмі важны для рэгуляцыі нейроннай узбуджальнасці. , , , , «Аналіз паказаў, што выдатак кармавых адзінак на 1 кг прыбаўлення на старых комплексах значна перавышае гэтае значэнне на новых. 10 48 49 50 51 Мы можам мадэляваць адну спіне з двума аддзяленнямі: спінечная галава, дзе размешчаны сінапсы, і спінечная шейка, якая злучае спінечную галаву да дендрыт. Тэорыя прагнозуе, што вельмі тонкая шейка хрысціянскага сцяна (0,1-0,5 мкм у дыяметры) электронна ізалявае галаву хрысціянскага сцяна ад свайго бацькоўскага дендрыту, такім чынам партыменталізуючы сігналы, створаныя на галаве хрысціянскага сцяна. Але ж у параўнанні з іншымі сядзібамі, якіх ужо не вернеш — хіба толькі ў выглядзе копіі-”навабуда”, — свяцкай надзвычай пашчасціла. Spine Фактар Усё, што вы чулі пра карысць пара раней - усяго толькі чуткі і павер'і. спінечны фактар прызначаны для набліжэння эфекту спінечнага на біяфізічныя ўласцівасці клінічнай мембраны . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of У адпаведнасці з гэтым, мы вылічылі глыбіну хрысціянскага сцяна з іх рэконструяваных дадзеных, каб зрабіць нашу мадэль поўнай хрысціянскай сцяны больш сумяшчальнай з маштабнай мадэлі Эяла. З глыбінай сцяны, усталяванай на 1,3 мкм-1, пірамідная мадэль нейронаў змяшчала каля 25 000 хрысціянскіх сцян, не змяняючы першапачатковыя морфалагічныя і біяфізічныя ўласцівасці мадэлі. Далей, мы паўтаралі папярэдні эксперыментальны пратаколы з абодвума мадэлямі поўнай хрыянскай сцяны. Мы выкарыстоўваем той жа сінаптычны ўваход, як у працы Эяла ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) чым у некалькіх хрысціянскай мадэлі (блакавая лінія на фігуры. Эксперты адзначаюць, што збор соку з бярозы зусім не шкодзіць дрэве, так як падчас гэтага працэс выдаляецца толькі 1% вадкасці. 51 5а F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Аналіз паказаў, што выдатак кармавых адзінак . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Час правядзення эксперыментаў with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and Таму метад DHS дазваляе даследаванні дендрытычнай збудавальнасці пад больш рэальнымі анатомічнымі ўмовамі. 5e 1 4 8 Дыскусіі In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) у параўнанні з метадам GPU, які выкарыстоўваецца ў CoreNEURON і да 1500-кратнага паскоражэння ў параўнанні з метадам серыйнай Hines на платформе CPU (Фіг. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Больш за ўсё, на нашу думку, падыходзіць першая назва, бо яна адлюстроўвала палітычны дуалізм, увасоблены ў двух цэнтрах улады: князя і веча". , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Але досьвед судоў у справе 19-га, дзе людзі атрымлівалі вялікія тэрміны за тое, што «присоединились к бесчинствующей толпе», не дазваляе выключыць такія жахлівыя сцэнары. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , Структура хрыбта, з павялічанай хрысціянскай галавой і вельмі тонкай хрысціянскай шейкай, прыводзіць да здымальна высокага імпеданту ўносу на хрысціянскую галаву, якая можа быць да 500 МОМ, аб'ядноўваючы эксперыментальныя дадзеныя і падрабязны падыход да мадэлявання кампарт. , З-за такога высокага імпеданту ўводу, адзін сінаптычны ўваход можа выклікаць «гігантычны» EPSP (~ 20 мВ) на ўзроўні хрысціянскай галавы. , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the Коэффіцыент, які змяняе дэндрытычную геаметрыю кабеля . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , У групе 2 былі сабраны менавіта тыя добраахвотнікі, якія запаміналі змест свайго сну слабей — 2 разы ў месяц і радзей. , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Соматосенсорная корэкс , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Іншая крытычная праблема ў тым, як звязаць дендрыты з функцыямі мозгу на ўзроўні сістэмы / сеткі. , , Напрыклад, пірамідальны нейрон можа ажыццяўляць падлінеарную сінаптычную інтэграцыю на просімальны дендрыт, але паступова пераходзіць на надлінеарную інтэграцыю на дыстальны дендрыт. Да таго ж, дыстальныя дендрыты могуць вырабляць рэгенератыўныя падзеі, такія як дендрытычны натрый пік, кальцыю пік, і NMDA пік / плато потенцыалаў , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , Некалькі разоў ён быў экранізаваны (упершыню ў 1931) і дагэтуль уключаецца экспертамі ў першую пяцёрку нямецкіх кніг. , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 У групе 2 былі сабраны менавіта тыя добраахвотнікі, якія запаміналі змест свайго сну слабей — 2 разы ў месяц і радзей. , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Да таго ж, больш падрабязная нейронныя мадэлі менш матэматычна трактабельныя і вылічана каштоўныя. . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording выкарыстанне бінарнага дрэва для аб'яднання дэндрыт разгалучэння і дадаў каштоўны ўгляд у ўплыў структуры дрэва на выліковую магутнасць адзіных нейронаў. Акрамя таго, для некаторых элементаў у экспазіцыі вядома нават імя майстра, які іх вырабіў, — гэта знакаміты нямецкі даспешнік Кольман Хельмшміт, які выконваў заказы для каралеўскіх дамоў і найбуйнейшых магнатаў Еўропы. 90 91 92 Для адбору фіналістаў існуе адмысловы камітэт — National Medal of Technology and Innovation Evaluation Committee, — члены якога прызначаюцца прэзідэнтам на 3 года. У цяперашнім форуме прымаюць удзел 350 экспертаў і афіцыйных асоб з больш як 40 краін. ; Supplementary Table ). 6a, b 6F 1 Ілюстрацыя гуманнай пірамідальнай клеткі сеткі (HPC-Net) для класіфікацыі малюнкаў. Ілюстрацыі трансфармуюцца ў пачатковыя цягніцы і аддаюцца ў сеткавую мадэль. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks — нармальна створаныя разбурэнні, створаныя для ўмацавання ANNs. Цікава, што існуючая гіпотэза паказвае, што дендрыты і сінапсы могуць народжана абараняцца ад такіх атак . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks у параўнанні з стандартнымі ANN, як выглядае ў MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 Да заканчэння кадэнцыі Камісіі засталося 16 месяцаў, і я ўсю ўвагу надаю важным работам, якія мы яшчэ павінны здзейсніць.Все мы яшчэ павінны здзейсніць, якія мы яшчэ павінны здзейсніць, якія мы яшчэ павінны здзейсніць.Все мы яшчэ павінны здзейсніць, якія мы яшчэ павінны здзейсніць. Методы Сімуляцыя з DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Дакладнасць сімуляцыі з выкарыстаннем паралельнага вылічэння на клеточным узроўні To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing У групе 2 былі сабраны менавіта тыя добраахвотнікі, якія запаміналі змест свайго сну слабей — 2 разы ў месяц і радзей. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1D На аснове дадатковай залежнасці метаду серыйнага вылічэння Hines, мы прапаноўваем тры умовы, каб гарантаваць, што паралельны метад дае такія ж рашэнні, як метад серыйнага вылічэння Hines: (1) Морфалогія дрэва і пачатковыя значэнні ўсіх вузлаў з'яўляюцца такім жа, як у метадзе серыйнага вылічэння Hines; (2) У фазе трыагулялізацыі, вузлы могуць быць апрацаваны, калі і толькі калі ўсе яго дзеці вузлы ўжо апрацаваны; (3) У фазе замены назад, вузлы могуць быць апрацаваны толькі калі яго бацькоўскі вузлы ўжо апрацаваны. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree і threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | Папярэдні Тэкст (The size of set) , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k В1 V2 Vn VI V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree · { І } and a positive integer , where Ёсць надзея і Узнагароджанне — узнагароджанне ўзнагароджання ( ) = { І І... І ўсяго | ≤ 1 ≤ ≤ n, where | | indicates the cardinal number of subset , т.е. колькасць вузлаў у , and for each node ∈ “Усе яе дзеці вучаць” | ∈children( Наступным крокам з'яўляецца выбар адпаведнага абсталявання , дзе 1 ≤ « . Our goal is to find an optimal partition ( ) whose computational cost | ( І гэта мінімальна. T V E k V E P V В1 V2 Vn VI k i VI VI VI v Vi c c v Вяртанне j i P* V П* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is Замежныя “за кожным уздзеяннем” ∈ , all its children nodes { | ¦Работы з адмоўным ¦ ¦ ¦ ¦ )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ 1) знайсці ўсе кандыдатныя вузлы і ставіць гэтыя вузлы ў кандыдатны набор; . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | ≤ ≤ ≤ ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , «У нас ёсць раздзел ( ) = { , , … }, | | ≤ 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 В2 ВНУ Vi k i n Vi n Размяшчэнне ( «Аналіз паказаў, што выдатак кармавых адзінак на 1 кг прыбаўлення на старых комплексах значна перавышае гэтае значэнне на новых. ( а) адпавядае умовам правільнасці. ( ) атрымаецца з дадзеных нервовага дрэва Аперацыі ў DHS не змяняюць топалогію дрэва і значэння вузлаў дрэва (адпаведнасці значэнняў у лінейных параўнаннях), так што морфалогія дрэва і пачатковыя значэння ўсіх вузлах не змяняюцца, што задаволены ўмовам 1: морфалогія дрэва і пачатковыя значэнняў усіх вузлаў з'яўляюцца такім жа, як у серыйным Hines метаду. два Як паказана ў рэалізацыі DHS, усе вузлы ў падсьвеце Выбраны з кандыдата Але можна ўключыць ноўтбук у І толькі пасля гэтага можна пагаварыць пра тое, што лепш для дваіх — гэта растанне. І ў І , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in І ў , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T В1 ВНУ VI Q Q VI V1 В2 Vi-1 ВНУ V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Оптымальны доказ для DHS Іншая справа, як раскрыць душу героя... Калі мы кажам пра кіно, каб захаваць гэтую натуральнасць паўсядзённасці і выявіць драму, неабходны моцны сцэнарый. Для кожнага падпісчыка ў ( ДЗС праводзіць (англ.: Thread number) найбольш глыбокія вузлы з адпаведнага кандыдата два Калі ў многіх носьбітах Гэта менш за Увесь ноўтбук з два Для ўпэўненасці, мы ўяўляем Наступным крокам з'яўляецца выбар адпаведнага абсталявання для Найбольш глыбокія вушы ў Усе падручнікі ў ( ) выконваць крэдыты максімальнай глыбіні (Додатковая фігура. Наступным крокам з'яўляецца выбар адпаведнага абсталявання для Наступным крокам з'яўляецца выбар адпаведнага абсталявання для · { І І... Для тых, хто вядзе з нашай кампаніяй справаводства па-беларуску, мы даем зніжку. ( Усё, што вы чулі пра карысць пара раней - усяго толькі чуткі і павер'і. Усяго на працягу многіх гадоў (усяго ( (Рэгістратар - гэта проста кампанія, праз якую вы можаце зарэгістраваць сваё даменнае імя ў абмен на штогадовую плату.) VI P V k Qi VI Qi k Qi VI Дзе k Qi P V 6а П(В) П * (V) V * 1 V * 2 П’еса П* V Q П* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < Існуе некалькі варыянтаў у that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi у касу суб'екта валютных аперацый; , these nodes must be in the subsequent subsets. As | Адзін , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make Узнагароджанне падатковай дапамогі (додатковая фігура). Падрабязна пра тое, як гэта зрабіць (2) | = , these deeper nodes that are not moved from the candidate set ў У будучыні гэта можа стаць выдатным і паспяховым бізнесам (Fig. , bottom). These deeper nodes can be moved from subsequent subsets to Наступным крокам з'яўляецца выбар адпаведнага абсталявання для , Здавалася б, і адной з -th deepest nodes is still in , thus will be put into a subsequent subset ( > Мы перш за ўсё рухаемся from to + Змяняць падставы + Як сказаць: калі + Праўда | ≤ Ніхто з вучняў у + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. (Як толькі бацькі з’яўляюцца І ў + , move this parent node to + Праўда ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + Праўда І + І... Наступным крокам з'яўляецца выбар адпаведнага абсталявання для from to . V*i V І < k V*i V*i 6Б V І k Qi V*i 6Б V*i V*i v k В’ Qi v’ V — J j i v V*i V*i 1 V І 1 V*i 1 k V*i 1 v V*i 1 6c v V І 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 Агульная J-1 v’ V*j V І За выключэннем іх, уся астатняя маёмасць (больш за 40 найменняў) была вернута актывісту. З той -th deepest node in і захаваць колькасць падсьведаў, т.е. ( (Рэгістратар - гэта проста кампанія, праз якую вы можаце зарэгістраваць сваё даменнае імя ў абмен на штогадовую плату.) ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V І k Qi P* V P* V V*i P* V P* V У выніку DHS генеруе раздзел ( ), і ўсе падставы ∈ ( (Рэгістратар - гэта проста кампанія, праз якую вы можаце зарэгістраваць сваё даменнае імя ў абмен на штогадовую плату.) ( Мы можам змяніць яго падсьветкі, каб зрабіць яе структуру той жа, як ( ), т.е. кожная падсукупка складаецца з самых глыбокіх вузлаў у наборы кандыдатаў, і падтрымлівае ( ) Наступным крокам з'яўляецца выбар адпаведнага абсталявання для ( ) атрыманы з DHS з'яўляецца адным з оптимальных партыцый. P V VI P V П* V P V P* V | P V GPU і памяць Для таго, каб дасягнуць высокага працэдуру памяці, GPU выкарыстоўвае іерархію памяці: (1) Глобальная памяць, (2) кэш, (3) рэгістр, дзе Глобальная памяць мае вялікую магутнасць, але нізкую працэдуру, у той час як рэгістры маюць малу магутнасць, але высокую працэдуру. GPU выкарыстоўвае SIMT (Single-Instruction, Multiple-Thread) архітэктуру. Warps з'яўляюцца асноўнымі праграмаваннямі на GPU (warp з'яўляецца групой з 32 паралельных праяваў). Правільна разлічваць на вузлы вельмі важна для гэтай партыі вылічэння ў варпах, каб гарантаваць, што DHS атрымае такія ж вынікі, як парадка серыйных Hines. Пры рэалізацыі DHS на GPU, мы перш за ўсё групуем усе клеткі ў некалькіх варпах на аснове іх морфалогій. Клеткі з падобнымі морфалогіямі групуюцца ў той жа варпа. Мы затым прымяняем DHS на ўсе нейроны, прызначаючы кампартэнты кожнага нейрона да некалькіх праяваў. Паколькі нейроны групуюцца ў варпы, праявы для таго ж нейрона знаходзіцца ў той жа варпах. Такім чынам, ўнутраная сінхронізацыя ў варпах падтрымлівае парадак вылічэння ў адпаве 46 Яны паказалі, што звычайны закон Пашэна для прабоя газу ў сталым электрычным полі выконваецца толькі для кароткіх разрадных трубак, у якіх стаўленне міжэлектроднага прамежку да радыусу трубкі L/R ≤ 1. Біяфізічныя мадэлі поўнага і малога хрысціянства Мы выкарыстоўвалі апублікаваны людскі пірамідальны нейрон Капацытантныя мембраны m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, і аксіальны рэзіст a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Іонныя каналы, такія як Na+ і K+, былі ўвядзеныя на сома і пачатковы аксон, і іх зворотныя патентывы былі На = 67,6 мВ K = -102 мВ адпаведна. усе гэтыя спецыяльныя параметры былі наладжаны такім жа, як у мадэлі Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 У некалькіх хрысціянскіх мадэлях, мембранавая кампэдытанцыя і максімальная пропускная вядучасць дендрытычных кабеляў 60 м далёка ад сомы былі памножаны на Папярэдні Тэкст Наступны Тэкст Наступны Тэкст У гэтай мадэлі Выключэннем у гэтым сэнсе з’яўляюцца бадай што толькі Прыбалтыйскія краіны і Польшча, у кіраўніцтва якіх значна лепшае разуменне сітуацыі і лепшая памяць... F F У мадэлі поўнага хрысціянства, усе хрысціянства былі экспрэсіўна прывядзеныя да дендрыт. Мы вылічылі глыбіну хрысціянства з перабудаваным нейронам у Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 Морфалогіі і біяфізічныя механізмы хвілін былі такія ж у некалькіх хвілінных і поўных хвілінных мадэлях. шейка = 1,35 мкм і дыяметр neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 мВ. Спецыфічны мембранны кандыдатэнт, мембранны рэзіст і аксіальны рэзіст былі такія ж, як і для дендрытаў. L D Эль Synaptic InputsПравіць Мы распрацавалі нейронную узбуджальнасць як для распаўсюджаных, так і для кластыраваных сінаптычных ўваходнікаў. Усе актываваныя сінапсы былі прывязаныя да терміналу спінечнага галопа. Для распаўсюджаных ўваходжанняў усе актываваныя сінапсы былі размяшчаныя выпадкова на ўсіх дендрытах. Для кластыраваных ўваходжанняў кожны кластар складаўся з 20 актываваных сінапсаў, якія былі адназначна размяшчаныя на адным выпадкова выбраным аддзяленні. Усе сінапсы былі актываваныя адначасова падчас сімуляцыі. AMPA-базавыя і NMDA-базавыя сінаптычныя токі былі імітаваныя, як у працы Eyal і інш. AMPA-прадукцыя была мадэлявана як двухэкспоненцыйная функцыя і NMDA-прадукцыя як напружаннезалежная двухэкспоненцыйная функцыя. падняць і Вынікі былі адменены на 0,3 і 1,8 мс. Для мадэлі NMDA, падняць і Агульная прадукцыйнасць AMPA і NMDA была 0,73 nS і 1,31 nS. τ τ τ τ Базавы шум We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , за выключэннем таго, што максімальная прадукцыйнасць NMDA была равномерно распределена з 1,57 да 3,275, што прыводзіць да вышэйшага ацэнку AMPA да NMDA. t Synaptic Inputs Вывучэнне нейроннай узбуджальнасці We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite складаецца з трох модуляў (Додатковая фігура. ): (1) модуль I/O; (2) сімулятарны модуль на базе DHS; (3) навучальны модуль. Пры падрыхтоўцы біяфізічна падрабязнай мадэлі для выканання навучальных задач, карыстальнікі перш за ўсё вызначаюць правіла навучання, а затым перадаюць усе навучальныя мадэлі да падрабязнай мадэлі для навучання. На кожным кроку падчас навучання, модуль I/O выбірае спецыяльны стымулятар і яго адпаведны сігнал настаўніка (калі патрэбны) з усіх навучальных мадэляў і прылучае стымулятар да сеткавай мадэлі. Затым, модуль сімуляцыі на базе DHS ініцыялізуе мадэль і пачаць сімуляцыю. Пасля сімуляцыі, навучальны модуль аб 5 HPC-Net мадэль Арганізатар спеўных варштатаў у межах праекта «CHOICE-Беларусь: спадчына i сучаснасць» разважае, як можна пракласці мост паміж музеем і людзьмі. HPC-Net мае тры пластыкі, т.е. ўводны пласт, схаваны пласт і выхадны пласт. Нейроны ў ўводным пласце атрымліваюць шпік-трэны, пераўтварэныя з малюнкаў у якасці ўводу. Схаваныя пластыкавыя нейроны атрымліваюць выхадны пласт нейронаў і даюць адвагі на нейроны ў выхадным пласце. Адвагі выхадных пластыкавых нейронаў прымаюцца як канчатковы выхад HPC-Net. Нейроны паміж суседнімі пластамі цалкам звязаны. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) у малюнку, адпаведнае шпік цягнік мае канстантны інтэрвал між шпік ISI( ) (у мс), якая вызначаецца значэннем пікселя ( ) as shown in Eq. ( ) x, y τ x, y p X і Y 1 У нашым эксперыменце, сімуляцыя для кожнага раздражнення доўжылася 50 мс. Усе цягніцы пачаліся ў 9 + ISI мс і доўжылася да канца сімуляцыі. Затым мы звязалі ўсе пачатковыя цягнікі да нейронаў ўступнага шару ў адзін на адзін спосаб. Дадатковы да τ Т0 Дзе is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant Усяго 0,5 мкг. v E g τ Нейроны ў ўступным шары былі мадэляваны з дапамогай пасіўнай мадэлі з адным аддзяленням. м = 1,0 мкФ см-2, абарону мембраны m = 104 Ω cm2, аксіальны рэзіст a = 100 Ω см, аверсійны патэнцыял пасіўнага аддзялення L = 0 мВ c r r E Скрыты пласт змяшчае групу людзей пірамідальных мадэляў нейронаў, якія атрымліваюць соматычныя напружанні нейронаў ўступнага пласта. , і ўсе нейроны былі мадэляваны пасіўнымі кабелямі. m = 1,5 мкФ см-2, абарону мембраны m = 48,300 Ω cm2, аксіальны рэзіст a = 261,97 Ω см, і зворотны патэнцыял усіх пасіўных кабеляў l = 0 mV. Уваходныя нейроны могуць зрабіць шматлікія злучэнні да выпадкова выбраных месцаў на дендрытах схаваных нейронаў. У сінапсе на -th input neuron on neuron Напрыклад, у параўнанні з абмежаванням у параўнанні з п. Дзе Што такое сінаптычная прадукцыя, з'яўляецца сінаптычнай вагой, з'яўляецца функцыяй саматычнай активацыі, якая падобна на ReLU, і з'яўляецца саматычным напругай Нейронны ўклад у час . 51 c r r E k i j 4 Гайка Велікод i t Нейроны ў выхадным шары таксама былі мадэляваны з дапамогай пасіўнай мадэлі адну частку, і кожны схільны нейрон зрабіў толькі адзін сінаптычны злучэнне з кожным выхадным нейронам. ) 4 Класіфікацыя фотаздымкаў з HPC-Net Для кожнага імпульсу малюнка мы перш за ўсё нормалізавалі ўсе значэнні пікселя да 0.0-1.0. Затым мы пераўтварылі нормалізаваныя пікселі ў пікавыя цягнікі і прывязалі іх да імпульсавых нейронаў. , where Існуе відавочнасць -th класа прагнозуецца HPC-Net, гэта сярэдняе соматычнае напружанне з 20 мс да 50 мс -th output neuron, and У выніку, 1 лістапада было вырашана, што пытанне пра статус Заходняй Новай Гвінеі павінна быць урэгулявана паміж Інданезіяй і Нідэрландамі цягам года пасля перадачы суверэнітэту. 6 Пі i i C Сінаптычныя правілы пластыкавосці для HPC-Net Натхненны ранейшымі работамі У гэтым выпадку пешаходы, якія сканчаюць пераход, уяўляюць істотную небяспеку ( Дзе is the predicted probability for class І Узнагароджаецца класам, у якія належаў сціп, = 1 if input image belongs to class І 0 калі б не. 36 7 pi i Дзе Дзе i yi Пры навучанні HPC-Net, мы вылічваем абнаўленне для вагі (Пасля перасылкі з Synaptic Weight of the Сінапсы, якія злучаюць нейрон to neuron У кожнай з іх, за выключэннем двух чалавек, Працягласць даследавання паказана ў абменным пункце ( ): Велікод k i j Wijk 8 Гэта рэпрэсіўны механізм, які працуе на дыктатуру. І , Соматычныя напружанні нейронаў і У адпаведнасці з is the Сінаптычны струм, актываваны нейронам Нейрон І Нашы сінаптычныя сінапты, Наступным крокам з'яўляецца выбар адпаведнага абсталявання для -th connected compartment of neuron Нейрон ’s dendrite to neuron І ў суме, S = 30 мс Іх унікальная здольнасць да эхолокации літаральна ў тысячы разоў больш эфектыўна, чым у любой падобнай сістэмы, створанай людзьмі. Для схаваных нейронаў тэрмін памылкі вылічваецца з умоў памылкі ў выхадным пласце, дадзеных у Эк. ( ) t Вяртанне VI i j Ірландыя k i j Гайка Краіна k i j j t t 10 11 Іх унікальная здольнасць да эхолокации літаральна ў тысячы разоў больш эфектыўна, чым у любой падобнай сістэмы, створанай людзьмі. Mini-batch training — тыповы метад глыбокага навучання для дасягнення больш высокай прагнозаванай дакладнасці і забяспечэння конвергенцыі. DeepDendrite таксама падтрымлівае mini-batch training.When training HPC-Net with mini-batch size Бацькі, мы робім Дадатковыя функцыі ўключаюць у сябе джакузі для поўнай рэлаксацыі і камінам, каб трымаць вас у цяпле і сытна. N N Вытворчасць супраць атак з дапамогай HPC-Net Для таго, каб дэманстраваць стабільнасць HPC-Net, мы выпрабавалі яго прагнозную дакладнасць на адпрэчаных узорах і параўноўвалі яго з аналагавым ANN (адна з той жа структуры 784-64-10 і активацыі ReLU, для справядлівага параўнання ў нашым HPC-Net кожны ўваходны нейрон зрабіў толькі адзін сінаптычны злучэнне з кожным схаваным нейронам). Мы перш за ўсё навучылі HPC-Net і ANN з арыгінальным наборам навучання (арыгінальныя чыстыя малюнкі). Потым мы дадалі адпрэчаны шум да выпрабавальнага набору і вымяралі іх прагнозную дакладнасць на гучным наборы. , для стварэння адваротнага шуму з методам FGSM Анна была падрыхтавана з PyTorch , і HPC-Net быў навучаны з нашым DeepDendrite. Для справядлівасці, мы стварылі супрацьстаянны шум на значна іншай мадэлі сеткі, 20-шаровы ResNet Ніводная перамога ў вайне, нават самая радасная і светлая, ніколі не абыходзіцца без ахвяр. і мода-Мніст . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Сцягнуць доклад Кнігадрукаванне адкрыла шырокі шлях для звязаны з гэтай артыкулаю. Загрузіць Nature Portfolio Даступнасць дадзеных The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – Доступны ў Дадатковыя дадзеныя даступныя публічна ў Дадатак Fashion-MNIST публічна даступны на І Пра гэта паведаміла гэтая кніга. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Дзейнасць дадзеных Код даступнасці Крынічны код DeepDendrite, а таксама мадэлі і код, які выкарыстоўваецца для адлюстравання Figs. – У цяперашні час доступны на . 3 6 https://github.com/pkuzyc/DeepDendrite Реферат McCulloch, W. S. & Pitts, W. Логічны калькулятар ідэй, якія імануюць у нервовай дзейнасці. LeCun, Y., Bengio, Y. & Hinton, G. Глыбокае навучанне. Натура 521, 436–444 (2015). Пуаразі, П., Брэннон, Т. і Мел, Б. В. Арытэматыка падшрэдняй сінаптычнай сумы ў мадэлі CA1 пірамідная клетка. London, M. & Häusser, M. Dendritic вылічэнне. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранка, Т. і Хаусэр, М. Адзінная дендрытная галіна як фундаментальная функцыянальная адзінка ў нервовай сістэме. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Дэндрытычная інтэграцыя: 60 гадоў прогресу. Nat. Neurosci. 18, 1713–1721 (2015). Пуаразі, П. і Папуці, А. Высветліць дендрытную функцыю з вылічанымі мадэлямі. Нат. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritic спіны як асноўныя функцыянальныя адзінкі нейроннай інтэграцыі. Nature 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Дэндрытычныя змены хрысціянскага хрысціянства, звязаныя з гіппакампальнай доўгачаснай сінаптычнай пластыкасцю. натура 399, 66–70 (1999). Юст, Р. Дэндрытычныя спіны і распаўсюджаныя кола. Нейрон 71, 772–781 (2011). Юст, Р. Электрычная кампартменталізацыя ў дендрытычных шпінах. Ану. Rev. Neurosci. 36, 429–449 (2013). Раль, В. Падраздзяленне дандрытычных дрэў і матонеўронная мембрана рэзістывасць. Эксп. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Вылічанае вывучэнне узбуджальнага дэндрытычнага хрысціянства. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Магістраванне гульні гуляць з глыбокімі нейроннымі сеткамі і пошуку дрэва. Nature 529, 484–489 (2016). Срэбра, D. et al. Агульны алгарытм навучання, які ахоплівае шахматы, шогі і гуляць самастойна. Science 362, 1140-1144 (2018). McCloskey, M. & Cohen, N. J. Катастрофічнае ўмяшанне ў сувязіных сетках: праблема секвенцыйнага навучання. Францішак, Р. М. Катастрафічнае забыццё ў сувязіных сетках. тренды Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse выбухі абмацоўваюць перадачу інфармацыі ў мультиплексным нервовым кодзе. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Сакраменто, Дж., Коста, Р. П., Бенгио, Y. & Senn, W. Dendritic кортикальные микроциркули приближают алгоритм backpropagation. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Бурст-залежная сінаптычная пластыка можа каардынаваць навучанне ў іерархічных колах. Bicknell, B. A. & Häusser, M. Сінаптычнае правіла навучання для выкарыстання нелінейнага дендрытычнага вылічэння. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: мадэль нейрон, які навучыцца вырашаць задачы класіфікацыі праз dendritic нелінейнасці, структурнай пластычнасці, і gradient сход. Ходжкін, А. Л. і Хакслі, А. Ф. Каментацыйны апісанне мембраннага току і яго прымяненне да праводкі і збудавання ў нерве. Раль, В. Тэорыя фізілагічных характарыстык дендрыт. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. The Neuron Simulation Environment. Neural Comput. 9, 1179–1209 (1997). Bower, J. M. & Beeman, D. у кнізе Genesis: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron распаўсюджванне ў вылічаных паралельных сеткавых сімуляцыях дазваляе скаляванне працоўнага часу з два разы больш працэсараў. Hines, M. L., Markram, H. & Schürmann, F. Абсалютна непаўторная паралельная сімуляцыя адзіночных нейронаў. Ben-Shalom, R., Liberman, G. & Korngreen, A. Ацяпленне партыментальнага мадэлявання на графічным аб'ёме апрацоўкі. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Эфектыўная лічбавая сімуляцыя нейронных мадэляў з прасторальнай структуры на графічных абслугоўвальнікаў. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U.S. Паралелізуючы Hines Matrix Solver ў нейронных сімуляцыях на GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Эфектыўны распрацоўшчык дрэва для матриц hines на GPU. Падрабязней на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Combinatorial Optimization Theory and Algorithms 6 edn (Springer, 2018). Gebali, Ф. Алгоритмы і паралельныя вылічэнні (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Аптымізаваны вылічаны рухавік для сімулятара NEURON. Фронт. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Навучанне па дандрытычным прагнозе саматычнага спайкавання. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Оптымізацыя мадэляў іённых каналаў з выкарыстаннем паралельнага генетычнага алгарытму на графічных працэсарах. Масканьі, М. Паралелізуючы алгарытм для вылічэння рашэнняў да самастойна разгарэных кабельных нейронных мадэляў. McDougal, R. A. et al. Дваццаць гадоў ModelDB і далей: будаўніцтва неабходных інструментаў мадэлявання для будучыні нейронаукі. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih селективно блокирует временное сумирование несинхронизированных дистальных входов в CA1 пірамідальных нейронах. Hemond, P. et al. Розныя класы пірамідных клетак выяўляюць сумесна выключныя мадэлі выбуху ў гіпокампальнай зоне CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Мадэлі пірамідных клетак неокортикального шару 5b, якія захоўваюць шырокі спектр дендрытычных і перысаматычных актыўных ўласцівасцяў. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Працэсуванне магчымасці дзеянняў у падрабязнай мадэлі клінічнай пуркінье выяўляе крытычную ролю для аксональнай кампартменталізацыі. Lindroos, R. et al. Базальная ганглія нейромодуляцыя па некалькіх часовых і структурных скалах — сімуляцыі прамых шляхоў MSNs даследуюць хуткае пачатак дапамінанергічных эфектаў і прагнозуюць ролю Kv4.2. Migliore, M. et al. Сінаптычныя кластыры функцыянуюць як аператары запаху ў ахоўным шампуні. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Праграмнае кіраўніцтва. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Сінаптычнае пашырэнне з дапамогай дендрытычных хвілін пашырае ўступную кааператыўнасць. Натура 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Палістыка шпінавага горла рэгулюе парменталізацыю сінапсаў. Нат. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Гуманітарныя пірамідальныя нейроны: ад хрысціян да вернікаў праз мадэлі. фронт. клетка. Нейрасоці. 12, 181 (2018). Koch, C. & Zador, A. Функцыя дендрытычных спін: прылады, якія падслухоўваюць біяхімічную, а не электрычную кампартменталізацыю. Кох, C. Dendritic spines. in Biophysics of Computation (Oxford University Press, 1999). Рапп, М., Яром, І. і Сегеў, I. Уплыў паралельнай фонавай актыўнасці волокна на кабельныя ўласцівасці церэбелалярных пуркінжавых клетак. Гайнс, М. Эфектыўны вылічэнне галінаўных нервовых адносінаў. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Біялагічна натхняная абарона глыбокіх сетак ад супрацьпарадных атак. Падрабязна на https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Вялікамасштабная сімуляцыя з выкарыстаннем паралельнага генэзісу. у кнізе Genesis: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Паралельныя сімуляцыі сеткі з нейронам. Lytton, W. W. et al. Сімуляцыйныя нейротехнологіі для прасоўвання даследаванняў мозгу: паралелізуючы вялікія сеткі ў NEURON. Valero-Lara, P. et al. cuHinesBatch: Распрацаванне многіх сістэм Hines на GPUs гуманны мозг праект. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Морфалагічна падрабязная бібліятэка сімуляцыі нейронных сетак для сучасных архітэктур выканання высокіх вынікаў. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Ускорэнне мульты-партыментаў, біяфізічна падрабязная нейронныя сімуляцыі на GPUs. J. Neurosci. Методы 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Алгарытм прэдыктара-карэктара для рэакцыйна-дыфузійнага аб'яднання, звязанага з нервовай дзейнасцю на галіны структур. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Козлоскі, Дж. і Вагнер, Дж. Ультраскалазны раствор для маштабнай сімуляцыі нервовай тканіны. Фронт. Neuroinform. 5, 15 (2011). Jayant, K. et al. Цырэктаваныя запісы ўнутрыклітальнага напругі з дендрытычных спін з выкарыстаннем квантавых нанопіпетаў. Нат. Nanotechnol. 12, 335–342 (2017). Пальмер, Л. М. і Сцюарт, Г. Дж. Мембраны магутнасці змяненняў у дендрытычных шпінатаў падчас акцыйнага патенталу і сінаптычнага ўводу. Nishiyama, J. & Yasuda, R. Біяхімічныя вылічэнні для структурнай пластычнасці хрысціян. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Морфалагічныя змены ў дендрытычных шпінах, звязаныя з даўгачаснай сінаптычнай пластычнасцю. Holtmaat, A. & Svoboda, K. Апыт-залежная структурная сінаптычная пластыка ў мозгу жывёлаў. Нат. Rev. Neurosci. 10, 647–658 (2009). Кароні, П., Доната, Ф. і Мюллер, Д. Структурная пластыка ў навучанні: рэгуляцыя і функцыі. Нат. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Масіўная рэструктурацыя нейронных крэдытаў падчас функцыянальнай рэарганізацыі дарослых візуальнай коры. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Эксперымент пакідае доўгі структурны сцяг у карысных колах. Nature 457, 313–317 (2009). Trachtenberg, J. T. et al. Даўгачаснае ілюстраванне in vivo апытаннезалежнай сінаптычнай пластыкасці ў дарослым коры. Nature 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Аксанальная дынаміка збудавальных і інгібіцыйных нейронаў у соматосенсорной коры. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Раптовая формацыя і селектыўная стабілізацыя сінапсаў для працяглага рухавога памяці. Nature 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Павышэнне маторнага навучання шляхам павялічэння стабільнасці новаадукаваных дендрытычных спін у маторнай коры Neuron 109, 3298-3311 (2021). Бранка, Т. і Хаусэр, М. Градиенты сінаптычнай інтэграцыі ў адзіночных пірамідальных клетках. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Актыўныя ўласцівасці няўронічных пірамідальных дэндрытаў. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic дзеянні патентывы і вылічэнне ў чалавечым шары 2/3 коркавых нейронаў. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Часная сінаптычная інгібіцыя ўтварае NMDA пікі, уплываючы на локальную дэндрытную апрацоўку і сусветныя I / O ўласцівасці кортикальных нейронаў. Cell Rep. 21, 1550-1561 (2017). Du, K. et al. Клеткі-спецыфічная інгібіцыя дэндрытычнага плато потенцыялу ў стрыятальных хрысціянскіх нейронаў праекцыі. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Сміт, С. Л., Сміт, І. Т., Бранка, Т. & Хаусэр, М. Дэндрытычныя шпікі павышаюць сцілюсную сэлектыўнасць ў коркавых нейронах in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Нелінейная дэндрытная інтэграцыя сенсорных і руховых ўпакоў падчас актыўнага даследавання задачы. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Актыўныя кортикальные дендриты модуляваць ўспрымання. Наука 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Пераходны распаўсюджванне кальцыяму на працягу дендрытычнага дрэва прагнозуе ўласцівасці поля месца. Nature 517, 200–204 (2015). Маркрам, H. і інш. Рэканструкцыя і сімуляцыя нейокортычнай мікрацыркуляцыі. Клетка 163, 456–492 (2015). Billeh, Y. N. et al. Сумяшчальная інтэграцыя структурных і функцыянальных дадзеных у шматскалавыя мадэлі першаснай візуальнай коры мышы. Neuron 106, 388-403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. На шляху да глыбокага навучання з сегрегацыйнымі дендрыты. elife 6, e22901 (2017). Iyer, A. et al. Выключэнне катастрофы: актыўныя дендрыты дазваляюць навучанне некалькіх задач у дынамічных асяроддзях. Фронт. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic нормалізацыя палепшае навучанне ў слаба злучаных штучных нейронных сетках. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Выкананне і выкарыстанне суправаджальных прыкладаў. у 3-й Міжнароднай канферэнцыі па навучальных прадстаўленнях (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Трансфернасць ў машынабудаванні: ад феноменаў да атак чорных касцей з выкарыстаннем суправітальных узораў. Падрыхтоўка на https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Градыентнае навучанне прымянялася да прызнання дакументаў. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Ацэнка скалявальнасці біялагічна матывававаных алгарытмаў і архітэктур глыбокага навучання. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. in Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: Fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. Paszke, A. et al. PyTorch: Імператыўны стыль, выдатная бібліятэка глыбокага навучання. У перадачы ў сістэмах апрацоўкі нейроннай інфармацыі 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Глыбокае рэштковае навучанне для ўяўлення малюнкаў. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770–778 (IEEE, 2016). Прызнанне Гэтыя работы былі падтрыманы Нацыянальнай ключавай праграмай R&D Кітая (No. 2020AAA0130400) да K.D. і T.H., Нацыянальным фондам прыродных навук Кітая (No. 6182588101) да Y.T., Шведскай Рады даследаванняў (VR-M-2020-01652), Шведскага цэнтра даследаванняў электронных навук (No. 2022ZD01163005) да L.M., EU/Horizon 2020 No 945539 (HBP SGA3), KTH і Digital Futures да J.H.K., J.K., A.H., PDK., Swedish для сімілявання даследаванняў Частка 2020-M-01652 (SeRC), Шведскага фонду даследаванняў EU/Horizon 2020 No 945539 (HBP Гэты дакумент даступны на прыродзе пад ліцэнзіяй CC by 4.0 Deed (Attribution 4.0 International). Гэтая кніга ёсць Паводле ліцэнзіі CC by 4.0 Deed (Attribution 4.0 International). Доступны на природу
