на авторите: Джинджи Чанг Гън той Lei Ma Шайофий Лиу J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Тръмп Хуан на авторите: Джинджи Чанг Гън той Лео Ма Шайофий Лиу J. J. Йоханес Хърт Александър Козлов Юда той Шенджиян Чанг Жанет Хелгрен Коталески Йонгхун Тиан Стейн Гриндър Когато ти Тръмп Хуан абстрактна Биофизически подробните мулти-департаментни модели са мощни инструменти за изследване на изчислителните принципи на мозъка и също така служат като теоретична рамка за генериране на алгоритми за системи за изкуствен интелект (AI). Въпреки това, скъпите изчислителни разходи сериозно ограничават приложенията както в областта на невронауката, така и в областта на ИИ. Основният недостатък при симулирането на подробни модели на отделения е способността на симулатора да решава големи системи от линейни уравнения. ендокрин йерархична Чедулинг (DHS) метод за значително ускоряване на такъв процес. Теоретично доказваме, че изпълнението на DHS е изчислително оптимално и точно. Този GPU-базиран метод изпълнява с 2-3 порядъка на величина по-висока скорост от тази на класическия сериен метод Hines в конвенционалната CPU платформа. Ние изграждаме DeepDendrite рамка, която интегрира метода DHS и GPU компютърния двигател на симулатора NEURON и демонстрира приложенията на DeepDendrite в невронаучните задачи. Ние изследваме как пространствените модели на гръбначните входове засягат невронната възбудимост в подробен човешки пирамиден невронен модел с 25 000 спина. Освен това предоставяме кратка дискусия за потенциала на DeepD D H S Въведение Дешифрирането на кодирането и изчислителните принципи на невроните е от съществено значение за невронауката.Мозъците на бозайниците се състоят от повече от хиляди различни видове неврони с уникални морфологични и биофизични свойства. , в който невроните се разглеждат като прости сумируеми единици, все още се прилага широко в невронните изчисления, особено в анализа на невронните мрежи. През последните години съвременният изкуствен интелект (AI) е използвал този принцип и е разработил мощни инструменти, като изкуствени невронни мрежи (ANN). Въпреки това, в допълнение към всеобхватните изчисления на ниво един неврон, субцелуларните отделения, като например невроналните дендрити, също могат да извършват нелинейни операции като независими изчислителни единици. , , , , Освен това дендритните спини, малки протрузии, които плътно покриват дендритите в гръбначните неврони, могат да разделят синаптичните сигнали, позволявайки им да бъдат отделени от техните родителски дендрити ex vivo и in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симулациите, използващи биологично детайлни неврони, осигуряват теоретична рамка за свързване на биологичните детайли с изчислителните принципи. , позволява ни да моделираме неврони с реалистични дендритни морфологии, вътрешна йонна проводимост и екстринни синаптични входове. , който моделира биофизичните мембранни свойства на дендритите като пасивни кабели, като предоставя математическо описание на това как електронните сигнали нахлуват и се разпространяват в сложни невронни процеси. Чрез включването на кабелната теория с активни биофизични механизми като йонни канали, възбуждащи и инхибиторни синаптични токове и т.н., подробен многокомпонентен модел може да постигне клетъчни и подклетъчни невронни изчисления извън експерименталните ограничения , . 12 13 12 4 7 В допълнение към дълбокото си въздействие върху невронауката, наскоро бяха използвани биологично подробни модели на неврони, за да се преодолее пропастта между структурните и биофизичните детайли на невроните и ИИ. Преобладаващата техника в съвременното поле на ИИ е ANN, състояща се от точкови неврони, аналог на биологичните невронни мрежи. , , човешкият мозък все още превъзхожда ANNs в области, които включват по-динамични и шумни среди , Последните теоретични проучвания показват, че дендритната интеграция е от решаващо значение за генерирането на ефективни алгоритми за обучение, които потенциално надхвърлят задръстванията в паралелната обработка на информация. , , Освен това един детайлен мулти-раздел модел може да научи нелинейни изчисления на нивото на мрежата за точковите неврони, като регулира само синаптичната сила. , Поради това е от висок приоритет да се разширят парадигмите в областта на мозъчното изкуство от единични подробни модели на неврони до широкомащабни биологично подробни мрежи. 14 15 16 17 18 19 20 21 22 Едно дългогодишно предизвикателство на подхода за детайлна симулация се крие в изключително високата си изчислителна цена, която сериозно е ограничила приложението му към невронауката и AI. , , За да се подобри ефективността, класическият метод Hines намалява сложността на времето за решаване на уравнения от O(n3) до O(n), който е широко използван като основен алгоритъм в популярни симулатори като NEURON. от Genesis Когато симулацията включва множество биофизически детайлни дендрити с дендритни спини, матрицата на линейното уравнение (“Hines Matrix”) скалира съответно с нарастващ брой дендрити или спини (Фиг. ), което прави метода на Хинес вече непрактичен, тъй като представлява много тежка тежест върху цялата симулация. 12 23 24 25 26 1е Реконструиран модел на пирамидален неврон от слой 5 и математическата формула, използвана с подробни модели на неврони. Работен поток при цифрово симулиране на детайлни модели на неврони.Фазата на решаване на уравнението е капана в симулацията. Пример за линейни уравнения в симулацията. Зависимост на данните от метода Hines при решаване на линейни уравнения в . от Броят на системата от линейни уравнения, които трябва да бъдат решени, претърпява значително увеличение, когато моделите растат по-подробно. Изчислителни разходи (стъпки, предприети във фазата на решаване на уравнението) на серийния метод Hines върху различни видове невронни модели. Илюстрация на различни методи за решаване. Различни части на един неврон се разпределят към множество единици за обработка в паралелни методи (средно, дясно), показани с различни цветове. Изчислителни разходи на три метода в Решаване на уравнения на пирамидалния модел със спини. Време за изпълнение на различни методи за решаване на уравнения за 500 пирамидални модели с спини. Времето за изпълнение показва времето, изразходвано за симулация от 1 s (решаване на уравнението 40 000 пъти с времева стъпка от 0,025 ms). p-Hines паралелен метод в CoreNEURON (на GPU), Branch-базиран паралелен метод (на GPU), DHS Dendritic йерархично планиране метод (на GPU). a b c d c e f g h g i През последните десетилетия е постигнат огромен напредък в ускоряването на метода на Хинес чрез използване на паралелни методи на клетъчно ниво, което позволява да се паралелизира изчислението на различните части във всяка клетка. , , , , , Въпреки това, текущите паралелни методи на клетъчно ниво често нямат ефективна стратегия за паралелизиране или нямат достатъчна числена точност в сравнение с оригиналния метод Hines. 27 28 29 30 31 32 Тук разработваме напълно автоматичен, нумерически точен и оптимизиран симулационен инструмент, който може значително да ускори изчислителната ефективност и да намали изчислителните разходи.В допълнение, този симулационен инструмент може да бъде безпроблемно приет за установяване и тестване на невронни мрежи с биологични детайли за приложения за машинно обучение и AI. Критично, формулираме паралелното изчисляване на метода Hines като проблем с математическото планиране и генерираме метод Dendritic Hierarchical Scheduling (DHS) въз основа на комбинаторната оптимизация Теория на паралелните компютри Ние демонстрираме, че нашият алгоритъм осигурява оптимално планиране без загуба на точност.В допълнение, ние оптимизираме DHS за най-напредналите в момента GPU чипове, като използваме йерархията на GPU паметта и механизмите за достъп до паметта.Заедно DHS може да ускори изчисленията 60-1500 пъти (Допълнителна таблица ) в сравнение с класическия симулатор NEURON Поддържане на еднаква точност. 33 34 1 25 За да позволим подробни дендритни симулации за използване в AI, ние след това създаваме рамката DeepDendrite чрез интегриране на DHS-вградената платформа CoreNEURON (оптимизиран изчислителен двигател за NEURON). като симулационен двигател и два спомагателни модула (модул I/O и модул за обучение), които поддържат дендритни алгоритми за обучение по време на симулации. DeepDendrite работи на хардуерната платформа на GPU, като поддържа както редовни симулационни задачи в невронауката, така и задачи за обучение в AI. 35 Последно, но не на последно място, ние също така представяме няколко приложения, използващи DeepDendrite, насочени към няколко критични предизвикателства в невронауката и AI: (1) Ние демонстрираме как пространствените модели на дендритни гръбначни входове засягат невронните дейности с неврони, съдържащи спини в целия дендритни дървета (пълни гръбначни модели). DeepDendrite ни позволява да изследваме невронните изчисления в симулиран човешки пирамиден невронен модел с ~ 25 000 дендритни спини. (2) В дискусията ние също разглеждаме потенциала на DeepDendrite в контекста на AI, по-специално, в създаването на ANNs с морфологично подробни човешки пирамидни неврони. Всички изходни кодове за DeepDendrite, моделите с пълен гръбнак и подробния дендритен модел на мрежата са публично достъпни онлайн (вижте Code Availability).Нашата рамка за обучение с отворен код може лесно да бъде интегрирана с други правила за дендритно обучение, като например правила за обучение за нелинейни (пълноактивни) дендрити експлозия-зависима синаптична пластичност , и да се учат с предсказание Spike Като цяло, нашето проучване предоставя пълен набор от инструменти, които имат потенциала да променят сегашната екосистема на общността за изчислителни невронауки.С оползотворяването на силата на GPU изчисленията, ние предвиждаме, че тези инструменти ще улеснят изследванията на системно ниво на изчислителните принципи на фините структури на мозъка, както и ще насърчат взаимодействието между невронауката и съвременния ИИ. 21 20 36 Резултати Дендритен йерархичен график (DHS) Изчисляването на йонни токове и решаването на линейни уравнения са две критични фази при симулирането на биофизически подробни неврони, които са отнемащи време и представляват тежки изчислителни тежести. В резултат на това решаването на линейни уравнения се превръща в остатъчна бутилка за процеса на паралелизация (Фиг. ) на 37 1а – f За да се преодолее тази бариера, са разработени паралелни методи на клетъчно ниво, които ускоряват едноклетъчните изчисления, като „разделят“ една клетка на няколко отделения, които могат да бъдат изчислени паралелно. , , Въпреки това, такива методи разчитат силно на предварителни знания, за да генерират практически стратегии за това как да се раздели един неврон на отделения (Фиг. • Допълнителна фигура. Следователно той става по-малко ефективен за неврони с асиметрични морфологии, напр. пирамидални неврони и неврони на Пуркинж. 27 28 38 1 г 1 Целта ни е да разработим по-ефективен и точен паралелен метод за симулиране на биологично детайлни невронни мрежи. Първо, установяваме критериите за точност на паралелен метод на клетъчно ниво. , предлагаме три условия, за да се гарантира, че паралелният метод ще даде идентични решения като серийния изчислителен метод Hines според зависимостта на данните в метода Hines (вж. методи). След това, за да се оцени теоретично времето на изпълнение, т.е. ефективността, на серийните и паралелните изчислителни методи, въвеждаме и формулираме концепцията за изчислителната цена като броя стъпки, които методът предприема при решаването на уравнения (вж. методи). 34 Въз основа на точността на симулацията и изчислителната цена формулираме проблема с паралелизацията като проблем с математическото планиране (виж Методи). паралелни нишки, можем да изчислим максимално Но ние трябва да гарантираме, че един възел се изчислява само ако всички негови възли са били обработени; нашата цел е да намерим стратегия с минимален брой стъпки за цялата процедура. k k За да се генерира оптимално разделяне, ние предлагаме метод, наречен дендритно йерархично планиране (DHS) (теоретичното доказателство е представено в Методите). Методът DHS включва два етапа: анализ на дендритната топология и намиране на най-добрия раздел: (1) Като се даде подробен модел, първо получаваме съответното зависимо дърво и изчисляваме дълбочината на всеки възел (дълбочината на един възел е броят на неговите предшественици) на дървото (фиг. (2) След анализ на топологията търсим кандидатите и избираме най-много Най-дълбоките кандидатни възли (възелът е кандидат само ако всички негови деца са били обработени). ) на 2а 2б, в k 2д DHS работен поток. DHS процеси Най-дълбокият кандидатен възел на всяка итерация. Илюстрация за изчисляване на дълбочината на възела на отделния модел. Моделът първо се преобразува в структура на дърво, след което се изчислява дълбочината на всеки възел. Анализ на топологията на различни модели неврони. Тук са показани шест неврони с различни морфологии. За всеки модел, сомата е избрана като корен на дървото, така че дълбочината на възела се увеличава от сома (0) до дисталните дендрити. Илюстрация на изпълнението на DHS върху модела в с четири нишки. кандидати: възли, които могат да бъдат обработени. избрани кандидати: възли, които се избират от DHS, т.е. Най-дълбоки кандидати. Обработени възли: възли, които са били обработени преди. Стратегия за паралелизиране, получена от DHS след процеса в DHS намалява стъпките на серийната обработка на възли от 14 на 5 чрез разпределение на възлите на множество нишки. Относителни разходи, т.е. съотношението на изчислителните разходи на DHS към този на серийния метод Hines, при прилагане на DHS с различен брой нишки върху различни видове модели. a k b c d b k e d f Да вземем за пример опростен модел с 15 отделения, като използваме метода на серийното изчисление Hines, той отнема 14 стъпки, за да обработи всички възли, докато с помощта на DHS с четири паралелни единици може да раздели своите възли на пет поднабора (Фиг. Защото възлите в една и съща подсъвкупност могат да бъдат обработвани паралелно, е необходимо само пет стъпки, за да се обработят всички възли с помощта на DHS (Фиг. ) на 2д 2д След това прилагаме метода DHS върху шест представителни детайлни модели на неврони (избрани от ModelDB). ) с различен брой нишки (фиг. • Кортикални и хипокампални пирамидални неврони , , Мозъчни неврони Purkinje Стриатни проекционни неврони (SPN) , и митрални митрални клетки , обхващащи основните главни неврони в сензорни, кортикални и субкортикални области. След това измерихме изчислителните разходи. Относителната изчислителна цена тук се определя от дела на изчислителните разходи на DHS към този на серийния метод Hines. Изчислителните разходи, т.е. броят на стъпките, предприети за решаване на уравнения, намаляват драстично с увеличаването на броя на нишките. Например, с 16 нишки, изчислителните разходи на DHS са 7%-10% в сравнение със серийния метод Hines. Интересно е, че методът DHS достига до по-ниските граници на изчислителните разходи за представените неврони, когато се дават 16 или дори 8 паралелни нишки (Ф ), което предполага, че добавянето на повече нишки не подобрява производителността допълнително поради зависимостите между отделенията. 39 2f 40 41 42 43 44 45 2f Заедно генерираме DHS метод, който позволява автоматичен анализ на дендритната топология и оптимално разделяне за паралелни изчисления.Заслужава да се отбележи, че DHS намира оптималното разделяне преди започване на симулацията и не се изисква допълнително изчисление за решаване на уравнения. Ускоряване на DHS чрез ускоряване на GPU паметта DHS изчислява всеки неврон с множество нишки, които консумират огромно количество нишки при изпълнение на симулации на невронни мрежи. Графични обработващи единици (GPU) се състоят от масивни обработващи единици (т.е. стрийминг процесори, SPs, Фиг. за паралелни изчисления Теоретично много SPs на GPU трябва да поддържат ефективна симулация за мащабни невронни мрежи (Фиг. Въпреки това, ние последователно наблюдаваме, че ефективността на DHS значително намалява, когато размерът на мрежата се увеличава, което може да се дължи на разпръснато съхранение на данни или допълнителен достъп до памет, причинен от зареждане и писане на междинни резултати (Фиг. от лявата страна). 3а, б 46 3С 3D GPU architecture and its memory hierarchy. Each GPU contains massive processing units (stream processors). Different types of memory have different throughput. Архитектура на стрийминг мултипроцесори (SMs). Всеки SM съдържа множество стрийминг процесори, регистри и L1 кеш. Прилагане на DHS върху два неврона, всеки с четири нишки.По време на симулацията, всеки нишка изпълнява на един процесор поток. Стратегия за оптимизиране на паметта на GPU. Горният панел, разпределението на нишките и съхранението на данни на DHS, преди (ляво) и след (дясно) повишаване на паметта. Процесорите изпращат искане за данни за зареждане на данни за всеки проводник от глобалната памет. Без увеличаване на паметта (ляво), се изискват седем транзакции за зареждане на всички данни за искане и някои допълнителни транзакции за междинни резултати. С увеличаване на паметта (дясно), отнема само две транзакции за зареждане на всички данни за искане, регистрите се използват за междинни резултати, което допълнително подобрява капацитета на паметта. Време за изпълнение на DHS (32 нишки всяка клетка) с и без повишаване на паметта на многослойни пирамидални модели с спини. Ускоряване на ускоряването на паметта на многослойни 5-пирамидни модели с въртящи се спини. a b c d d e f Решаваме този проблем чрез увеличаване на паметта на GPU, метод за увеличаване на капацитета на паметта чрез използване на йерархията на паметта и механизма за достъп на GPU. Въз основа на механизма за зареждане на паметта на GPU, последователните нишки, зареждащи подравнени и последователно съхранявани данни, водят до висок капацитет на паметта в сравнение с достъпа до данни, съхранявани от разсейване, което намалява капацитета на паметта. , За да постигнем висок пропуск, първо подравняваме изчислителните поръчки на възлите и пренареждаме нишките според броя на възлите върху тях. След това променяме съхранението на данни в глобалната памет, съответстващо на изчислителните поръчки, т.е. възлите, които се обработват на същия етап, се съхраняват последователно в глобалната памет. Освен това използваме GPU регистри за съхранение на междинни резултати, допълнително укрепвайки пропускната способност на паметта. В допълнение, експерименти върху множество числа на пирамидални неврони с прешлени и типичните модели на неврони (Фиг. • Допълнителна фигура. ) показват, че повишаването на паметта постига 1.2-3.8-кратно ускорение в сравнение с наивния DHS. 46 47 3D 3 е, f 2 За да тестваме изчерпателно производителността на DHS с усилване на GPU паметта, ние избираме шест типични модели на неврони и оценяваме времето за изпълнение на решаването на кабелни уравнения на масивни числа на всеки модел (Фиг. Ние изследвахме DHS с четири нишки (DHS-4) и шестнадесет нишки (DHS-16) за всеки неврон, съответно.В сравнение с GPU метод в CoreNEURON, DHS-4 и DHS-16 може да се ускори около 5 и 15 пъти, съответно (фиг. Освен това, в сравнение с конвенционалния сериен метод Hines в NEURON, работещ с единична нишка на CPU, DHS ускорява симулацията с 2-3 реда на величина (Допълнителна фигура. ), като същевременно запазва идентичната числена точност в присъствието на плътни спини (Допълнителни фигури. и , активни дендрити (Допълнителна фигура. ) и различни стратегии за сегментиране (Допълнителна фигура. ) на 4 4а 3 4 8 7 7 Време на изпълнение за решаване на уравнения за 1 s симулация на GPU (dt = 0,025 ms, 40 000 итерации общо). CoreNEURON: паралелният метод, използван в CoreNEURON; DHS-4: DHS с четири нишки за всеки неврон; DHS-16: DHS с 16 нишки за всеки неврон. , Визуализация на разделянето от DHS-4 и DHS-16, всеки цвят показва една нишка. a b c DHS създава клетъчно-специфично оптимално разделяне За да получим представа за механизма на работа на метода DHS, ние визуализираме процеса на разделяне чрез картографиране на отделения към всяка нишка (всеки цвят представя една нишка на фигура. Визуализацията показва, че една нишка често се превключва между различни клонове (Фиг. Интересното е, че DHS генерира подравнени раздели в морфологично симетрични неврони като стрииталния проекционен неврон (SPN) и митралната клетка (Фиг. Напротив, той генерира фрагментирани раздели на морфологично асиметрични неврони като пирамидалните неврони и клетката на Пуркинж (фиг. ), което показва, че DHS разделя невронното дърво по скалата на отделните отделения (т.е. дърво възел) вместо скалата на клона. 4б, в 4б, в 4б, в 4б, в В обобщение, DHS и подобряването на паметта генерират теоретично доказано оптимално решение за решаване на линейни уравнения паралелно с безпрецедентна ефективност. Използвайки този принцип, ние изградихме платформата с отворен достъп DeepDendrite, която може да бъде използвана от невролози за внедряване на модели без специфични познания за програмиране на GPU. По-долу демонстрираме как можем да използваме DeepDendrite в невронаучните задачи. DHS позволява моделиране на нивото на гръбначния стълб Тъй като дендритните прешлени получават по-голямата част от възбудителния вход към кортикалните и хипокампалните пирамидални неврони, стриаталните проекционни неврони и т.н., техните морфологии и пластичност са от решаващо значение за регулирането на невронната възбудимост. , , , , Въпреки това, върбовете са твърде малки ( ~ 1 μm дължина), за да бъдат директно измерени експериментално по отношение на процесите, зависими от напрежението. 10 48 49 50 51 Можем да моделираме един гръбначен стълб с два отделения: гръбначната глава, където се намират синапсите, и гръбначния врат, който свързва гръбначния стълб с дендритите. Теорията предвижда, че много тънката гръбначна шия (0,1-0,5 um в диаметър) електронно изолира гръбначната глава от нейния родителски дендрит, като по този начин разделя сигналите, генерирани от гръбначната глава. Въпреки това, подробният модел с напълно разпределени спини върху дендрити („пълен спин модел“) е изчислително много скъп. Факторът Spine , вместо да моделирате всички спини изрично. тук, Факторът на гръбначния стълб има за цел да приближи ефекта на гръбначния стълб върху биофизичните свойства на клетъчната мембрана . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. Забележително е, че Eyal et al. са използвали spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) и вероятност за скок (фиг. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5а F 5a F 5b, c 5д 5d 5д Ние разглеждаме два основни типа модели: модели с малък брой гръбначни клетки и модели с пълен брой гръбначни клетки. Модели с малък брой гръбначни клетки (две отляво) са моделите, които включват областта на гръбначния мозък глобално в дендрити и само прикрепят отделни гръбначни клетки заедно с активирани синапси. В модели с пълен брой гръбначни клетки (две отдясно) всички гръбначни клетки са изрично прикрепени към цели дендрити. Ние изследваме ефектите от групирани и случайно разпределени синаптични входове върху моделите с малък брой гръбначни клетки и моделите с пълен брой гръбначни клетки, съответно. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Цветно кодирани напрежения по време на симулацията в Цветовете показват величината на напрежението. Соматичен пик на вероятността като функция на броя на едновременно активирани синапси (както в работата на Eyal и др.) за четири случая в . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table При запазване на идентичните резултати от симулацията (Допълнителни фигури. and Следователно, методът DHS позволява изследвания на дендритна възбудимост при по-реалистични анатомични условия. 5е 1 4 8 Discussion В тази работа ние предлагаме метода DHS за паралелизиране на изчислението на метода Hines и математически демонстрираме, че DHS осигурява оптимално решение без загуба на точност. След това внедряваме DHS на хардуерната платформа на GPU и използваме техники за увеличаване на паметта на GPU, за да усъвършенстваме DHS (Фиг. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers През последните години GPU се използва за детайлна мрежова симулация.Тъй като GPU съдържа масивни изчислителни единици, една нишка обикновено се възлага на една клетка, а не на група клетки. , , С по-нататъшна оптимизация, методите, базирани на GPU постигат много по-висока ефективност в мрежовата симулация.Въпреки това, изчисленията в клетките все още са серийни в методите на нивото на мрежата, така че те все още не могат да се справят с проблема, когато "матрицата Hines" на всяка клетка скала е голяма. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , Въпреки това, типичните методи на клетъчно ниво (напр. методът „multi-split“ ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , Тези стратегии за паралелизиране с по-фини зърна могат да получат по-висока ефективност, но нямат достатъчна числена точност, както в оригиналния метод на Hines. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , което води до драстично увеличаване на вътрешния [Ca2+], в гръбначния стълб и каскада от молекулни процеси, включващи синаптична пластичност от значение за ученето и паметта.Интригуващо, биохимичният процес, предизвикан от ученето, от своя страна, преобразува морфологията на гръбначния стълб, увеличавайки (или свивайки) гръбначната глава, или удължавайки (или съкращавайки) гръбначния врат, което значително променя електрическия капацитет на гръбначния стълб , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. Следователно, тя ни позволява да изследваме структурната пластичност в мащабни модели на вериги в различни области на мозъка. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Друг критичен въпрос е как да се свържат дендритите с мозъчните функции на ниво системи/мрежи.Добре е установено, че дендритите могат да извършват изчерпателни изчисления на синаптичните входове поради обогатените йонни канали и местните биофизични мембранни свойства. , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, което може да предложи различни логически операции , или да изпълняват функциите , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , сензорно-моторна интеграция в системата на вискозите , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , Освен това, използвайки нашата рамка, една единствена GPU карта като Tesla A100 може лесно да поддържа работата на детайлни модели на вериги до 10 000 неврона, като по този начин осигурява въглеродно-ефективни и достъпни планове за обикновените лаборатории за разработване и оптимизиране на собствените си мащабни детайлни модели. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 Също така е постигнат напредък в ролята на активните дендрити в ANNs за задачи с компютърно зрение. . предложи нова архитектура ANN с активни дендрити, демонстриращи конкурентни резултати в мулти-задачи и непрекъснато обучение. използва двоично дърво, за да приближи разклоняването на дендрита и да даде ценни прозрения за влиянието на структурата на дървото върху изчислителната способност на единичните неврони. Те предлагат правило за дендритна нормализация, основаващо се на биофизично поведение, което предлага интересна перспектива за приноса на структурата на дендритните дървета към изчисленията.Докато тези проучвания предлагат ценни прозрения, те се основават главно на абстракции, получени от пространствено разширени неврони, и не използват напълно подробните биологични свойства и пространствената информация на дендритите.Необходими са по-нататъшни изследвания, за да се разкрие потенциалът за използване на по-реалистични модели на неврони за разбиране на общите механизми, които са в основата на мозъчните изчисления и дълбокото обучение. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. Допълнителна маса ). 6a, b 6f 1 Илюстрацията на човешката пирамидална клетъчна мрежа (HPC-Net) за класификация на изображенията. Изображенията се трансформират в пикови влакове и се хранят в мрежовия модел. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Работен поток на експеримента за атака на прехвърляне на противника.Първо генерираме проби от противника на теста, настроен на 20-слоен ResNet.След това използвайте тези проби от противника (шумни изображения), за да тествате точността на класификацията на моделите, обучени с чисти изображения. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Освен това е широко признато, че ефективността на изкуствените невронни мрежи (ANN) може да бъде подкопана от атаки на противници. —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks в сравнение със стандартните ANNs, както е видно в MNIST и мода-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Методи Simulation with DHS CoreNEURON simulator ( Използвайте неврон architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Точност на симулацията с паралелни изчисления на клетъчно ниво За да се гарантира точността на симулацията, първо трябва да определим коректността на паралелен алгоритъм на клетъчно ниво, за да преценим дали той ще генерира идентични решения в сравнение с доказаните правилни серийни методи, като метода Hines, използван в платформата за симулация NEURON. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. По този начин можем да изчислим възли на различни клонове паралелно, тъй като техните стойности не зависят. 34 55 1d Въз основа на зависимостта на данните от метода на сериалното изчисление Hines, ние предлагаме три условия, за да се гарантира, че паралелният метод ще даде идентични решения като метода на сериалното изчисление Hines: (1) Морфологията на дървото и първоначалните стойности на всички възли са идентични с тези в метода на сериалното изчисление Hines; (2) В триъгълната фаза, един възел може да бъде обработен, ако и само ако всичките му детски възли вече са обработени; (3) В фазата на обратно заместване, един възел може да бъде обработен само ако неговият родителски възел вече е обработен. Изчислителни разходи на паралелни изчислителни методи на клетъчно ниво To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , ... } where the size of each subset | | ≤ т.е. най-много от nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset могат да бъдат обработвани паралелно. така че, ние определяме (размерът на сет , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 ВН Vi k k k V1 V2 ВН Ви V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = на , } and a positive integer където is the node-set and е крайната настройка. Дефиниране на разделяне ( ) = на , , … В крайна сметка, ≤ ≤ ≤ , 1 ≤ ≤ n, where | Кардиналният брой на подсъвкупността , т.е. броят на възлите в За всеки един възел ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 от В2 ВН Ви k i Ви Ви Vi v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ Всичките му деца нодулират | За децата ( )} must in a previous subset където 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Ви k k k v Ви c c v Vj j i v Изпълнение на DHS We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( за всички нодули ∈ . Then, the following two steps will be executed iteratively until every node ∈ е присвоено на поднабор: (1) намерете всички кандидатни възли и поставете тези възли в кандидатен набор Един възел е кандидат само ако всички негови детски възли са обработени или няма никакви детски възли. | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Ви 2d Vi Vi+1 Correctness proof for DHS След прилагане на DHS към невронно дърво = { , Ние получаваме разделяне ( ) = { , , … В крайна сметка, | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 от V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( отговаря на условията за коректност. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset две . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, което означава, че един възел се изчислява само след като всичките му деца са били обработени, което отговаря на условие 2: при триъгълност, един възел може да бъде обработен, ако и само ако всичките му детски възли са вече обработени. две . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in Те са в , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 от V2 Vi-1 Vn V1 Vi V1 от V2 Vi-1 Ви Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. За всяка подсистема в ( DHS се движи (номер на нишката) най-дълбоките възли от съответния набор от кандидати две Ако броят на възелите в Той е по-малък от Преместете всички възли от две За да се опрости, ние въвеждаме Определяне на дълбочината на Най-дълбоките възли в Всички подкатегории в ( - да отговарят на критериите за максимална дълбочина (Допълнителна фигура. След това доказваме, че избирането на най-дълбоките възли във всяка итерация прави Оптимално разделяне, ако има оптимално разделяне = на , , ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( Така че всички подсети се състоят от най-дълбоките възли от and the number of subsets ( | ( б) остават същите след изменението. Ви P V k Чи Ви Чи k Чи Ви на k Чи P V 6а П (в) П * (в) V*1 V*2 V * С P* V Q P* V Without any loss of generalization, we start from the first subset не отговаря на критериите, т.е. има два възможни случая, които ще не отговарят на критериите за максимална дълбочина: (1) | < and there exist some valid nodes in Това не се поставя на ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi В случая (1), тъй като някои кандидати възли не са поставени на , these nodes must be in the subsequent subsets. As | Дяволът , можем да преместим съответните възли от следващите поднабори към , which will not increase the number of subsets and make отговаря на критериите (допълнителна фигура. , top). For case (2), | Кърджали = , these deeper nodes that are not moved from the candidate set в must be added to subsequent subsets (Supplementary Fig. Тези по-дълбоки възли могат да бъдат преместени от следващите подкомплекти към through the following method. Assume that after filling , is picked and one of the Най-дълбокият възел Все още е в Така че Те ще бъдат включени в следващата подгрупа. ( от > Първо се движим from две + След това модифицирайте подсети + от Следваща Статия Ако + от ≤ ≤ ≤ and none of the nodes in + от is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. Ако родителският възел на is in + , move this parent node to + от ; else move the node with minimum depth from + от две + . After adjusting , modify subsequent subsets + от , + , ... with the same strategy. Finally, move от две . V*i V * I < k V * I V*i 6б V * I k Чи V*i 6b V*i V*i v k v’ Чи V“ V*j j i v V*i V * I 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6С v V*i 1 V * I 2 V * I 1 V * I 2 V * I V * I 1 V*i 2 V*j-1 V“ V*j V * I With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) може да отговаря на критериите за максимална дълбочина и ( (В) не се променя след модифициране. V * I k Чи P* V P* V V*i П * V P* V В заключение, DHS генерира разделяне ( ) и всички подкатегории ∈ ( Максимална дълбочина: За всяка друга оптимална секция ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Ви P V P* V P V П * V | P V Внедряване на GPU и подобряване на паметта За да се постигне висок капацитет на паметта, GPU използва йерархията на паметта на (1) глобална памет, (2) кеш, (3) регистър, където глобалната памет има голям капацитет, но нисък капацитет, докато регистрите имат нисък капацитет, но висок капацитет. GPU използва SIMT (Single-Instruction, Multiple-Thread) архитектура. Warps са основните единици за планиране на GPU (warp е група от 32 паралелни нишки). Правилното подреждане на възлите е от съществено значение за това партидиране на изчисленията в варпи, за да се гарантира, че DHS получава идентични резултати като серийния метод на Hines. Когато прилагаме DHS върху GPU, първо групираме всички клетки в множество варпи въз основа на техните морфологии. Клетки с подобни морфологии са групирани в една и съща варпа. След това прилагаме DHS към всички неврони, като разпределяме отделенията на всеки неврон към множество нишки. Тъй като невроните са групирани в варпи, нишките за един и същ неврон са в една и съща варпа. Следователно вътрешната синхронизация в варпи поддържа изчислителния ред в съответствие с зависимостта от данните на серийния метод на 46 Когато варп зарежда предварително подредени и последователно съхранени данни от глобалната памет, той може да използва пълноценно кеша, което води до висок пропуск на паметта, докато достъпът до данни, съхранени в разсейване, ще намали пропуск на паметта. След разпределяне на отделенията и пренареждане на нишките, ние променяме данните в глобалната памет, за да ги направим съвместими с изчислителните поръчки, така че варпът да може да зарежда последователно съхранените данни при изпълнение на програмата. Биофизични модели на пълен и малко гръбначен стълб Използвахме публикувания човешки пирамидален неврон Капацитет на мембраната m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2 и аксиална съпротива a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV съответно. Всички тези специфични параметри са зададени същите като в модела на Eyal, et al. , за повече подробности, моля, обърнете се към публикувания модел (ModelDB, достъп No 238347). 51 c r r E E E 51 В модела с няколко прешлени, капацитетът на мембраната и максималната проводимост на изтичане на дендритни кабели на разстояние 60 μm от сома са умножени по spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Плътността на гръбначния стълб е зададена на 1,3 μm-1, а всяка клетка съдържа 24994 спини на дендрити на разстояние 60 μm от сомата. 51 Морфологията и биофизичните механизми на прешлените са едни и същи в моделите с малък и пълен прешлен. шия = 1,35 μm и диаметър шията = 0.25 μm, докато дължината и диаметърът на гръбначния стълб са 0.944 μm, т.е. областта на гръбначния стълб е зададена на 2.8 μm2. = -86 mV. Специфичният капацитет на мембраната, съпротивлението на мембраната и аксиалната съпротива са същите като за дендритите. L D El Synaptic inputs Ние изследвахме невронната възбудимост както за разпределени, така и за групирани синаптични входове. Всички активирани синапси бяха прикрепени към терминала на гръбначния стълб. За разпределени входове всички активирани синапси бяха разпределени на случаен принцип върху всички дендрити. За групирани входове всеки клъстер се състоял от 20 активирани синапси, които бяха равномерно разпределени върху един случайно подбран отсек. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ фонов шум Ние прикрепихме фонов шум към всяка клетка, за да симулираме по-реалистична среда.Моделите на шума бяха внедрени като влакове с връх на Poisson с постоянна скорост от 1,0 Hz. Всеки модел започва на начало = 10 ms и продължи до края на симулацията. Ние генерирахме 400 влака за шум за всяка клетка и ги прикрепихме към случайно избрани синапси. Моделът и специфичните параметри на синаптичните токове бяха същите, както са описани в , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Изследване на невронната възбудимост Ние изследвахме вероятността за пик, когато няколко синапси бяха активирани едновременно. За разпределени входове тествахме 14 случая, от 0 до 240 активирани синапси. За групирани входове тествахме общо 9 случая, активирайки съответно от 0 до 12 клъстера. Всеки клъстер се състоя от 20 синапси. За всеки случай както в разпределени, така и в групирани входове изчислихме вероятността за пик с 50 случайни проби. Вероятността за пик беше определена като съотношение на броя на изстреляните неврони към общия брой проби. Всички 1150 проби бяха симулирани едновременно на нашата платформа DeepDendrite, намалявайки времето за симулация от дни до минути. Изпълнение на AI задачи с платформата DeepDendrite Конвенционалните детайлни невронни симулатори нямат две функционалности, важни за съвременните задачи на ИИ: (1) алтернативно извършване на симулации и актуализации на теглото без тежка реинициализация и (2) едновременно обработване на множество проби от стимули по партиден начин. DeepDendrite consists of three modules (Supplementary Fig. ): (1) модул I/O; (2) модул за симулация на базата на DHS; (3) модул за обучение. Когато обучават биофизически детайлен модел за изпълнение на задачи за обучение, потребителите първо определят правилото за обучение, след това подават всички образци за обучение към детайлния модел за обучение. На всеки етап по време на обучението, модулът I/O избира специфичен стимул и съответния му учителски сигнал (ако е необходимо) от всички образци за обучение и прикрепя стимула към мрежовия модел. След това модулът за симулация на базата на DHS инициализира модела и започва симулацията. След симулацията модулът за обучение актуализира всички синаптични тежести според разликата между отговорите на модела и сигналите на учителя. След обучението 5 Модел на HPC-Net Класификацията на изображенията е типична задача в областта на AI. В тази задача моделът трябва да се научи да разпознава съдържанието на дадено изображение и да изведе съответния етикет. Тук представяме HPC-Net, мрежа, състояща се от подробни човешки пирамидални невронни модели, които могат да се научат да изпълняват задачи за класификация на изображенията, като използват платформата DeepDendrite. HPC-Net има три слоя, т.е. входящ слой, скрит слой и изходящ слой. Невроните в входящия слой получават пикове, преобразувани от изображенията като вход. Скритите слоеви неврони получават изхода на входящите слоеви неврони и доставят отговори на невроните в изходящия слой. Отговорите на изходящите неврони се приемат като крайния изход на HPC-Net. Невроните между съседните слоеве са напълно свързани. За всеки пиксел с координати, първо конвертираме всеки нормализиран пиксел в хомогенна пика. ) на изображението, съответният спик влак има постоянен интервал между спиците ЕООД ( (в ms), която се определя от стойността на пиксела ( ) както е показано в ЕК. ( ) на x, и τ x, и p x, и 1 В нашия експеримент симулацията за всеки стимул продължи 50 ms. Всички пикови влакове започнаха на 9 + ISI ms и продължи до края на симулацията. След това прикрепихме всички пикови влакове към входния слой на невроните по един-на-един начин. е дадена от τ Т0 къде е постсинаптичното напрежение, обратният потенциал syn = 1 mV, максималната синаптична проводимост max = 0.05 μS, и времето е постоянна от 0,5 мс. v E g τ Невроните в входния слой са моделирани с пасивен модел с едно отделение. Специфичните параметри са зададени както следва: мембранна капацитетност m = 1,0 μF cm-2, съпротивление на мембраната m = 104 Ω cm2, axial resistivity a = 100 Ω cm, обратен потенциал на пасивното отделение l = 0 mV. c r r E Скритият слой съдържа група човешки пирамидални невронни модели, получаващи соматичните напрежения на входните слоеве на невроните. , и всички неврони са моделирани с пасивни кабели. m = 1.5 μF cm-2, съпротивление на мембраната m = 48,300 Ω cm2, аксиална съпротива a = 261,97 Ω cm, и обратния потенциал на всички пасивни кабели l = 0 mV. Входните неврони могат да направят множество връзки към случайно избрани места на дендритите на скритите неврони. Синапсът на Входни неврони върху неврони „Дендритът се определя като в Еq. ( , където Това е синонимът на синонимът, е синаптичното тегло, е функцията за соматично активиране, подобна на ReLU, и е соматичното напрежение на Влизане на неврони във времето . 51 c r r E k i j 4 Гейк квартал i t Невроните в изходния слой също са моделирани с пасивен модел с едно отделение и всеки скрит неврон е направил само една синаптична връзка с всеки изходен неврон. Всички специфични параметри са зададени същите като тези на входните неврони. ) на 4 Класификация на изображения с HPC-Net За всеки входящ стимул на изображението първо нормализираме всички пикселни стойности до 0.0-1.0. След това конвертираме нормализираните пиксели в пикове и ги прикрепяме към входящите неврони. където Вероятността за -th клас, предсказан от HPC-Net, е средното соматично напрежение от 20 ms до 50 ms на Изходът на невроните и Определя броя на класовете, който е равен на броя на изходните неврони. Класът с максимална прогнозирана вероятност е окончателният резултат от класификацията.В тази статия, ние изградихме HPC-Net с 784 входни неврони, 64 скрити неврони и 10 изходни неврони. 6 pi i i C Правила за синаптична пластичност за HPC-Net Вдъхновение от предишна работа , използваме правило за обучение, основано на градиент, за да обучим нашата HPC-Net да изпълнява задачата за класифициране на изображенията. , където е прогнозната вероятност за класа , показва действителния клас, към който принадлежи изображението на стимула, = 1 ако въвежданото изображение принадлежи към класа и 0 ако не е така. 36 7 Пи i Джи Джи i Джи Когато обучаваме HPC-Net, изчисляваме актуализацията за тегло (Синаптичното тегло на Синапсисът свързва невроните Невронът След като симулирате всеки образ на стимула, е актуализиран, както е показано в Еq. ( ) на : квартал k i j Wijk 8 Ето коефициентът на обучение, стойността на актуализацията във времето , , Соматични напрежения на невроните и съответно Това е Синаптичен ток, активиран от неврони Невронът , нейната синаптична проводимост, Прехвърлянето на съпротивлението между - свързан отдел на неврона Невронът „Дендрит към неврон“ „Със сома, s = 30 ms За да се постигне това, е необходимо да се изчислят стойностите, посочени в т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 2, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 1, т. 2 и т. 2, т. 2, т. 2 и т. 2. При изчисляване на грешките се изчислява терминът за грешка за скритите неврони от термина за грешка в изходния слой. ( ) на t VJ Ви i j Ивайло k i j Гейк царство k i j j t t 10 11 Тъй като всички изходни неврони са единични отделения, равни на входното съпротивление на съответния отделение, трансферните и входното съпротивление се изчисляват от НЕУРОН. Mini-batch обучение е типичен метод в дълбокото обучение за постигане на по-висока точност на прогнозиране и ускоряване на конвергенцията. DeepDendrite също така поддържа mini-batch обучение. Ботев, ние правим серийни копия на HPC-Net. По време на обучението всяко копие се захранва с различен тренировъчен образец от партидата. DeepDendrite първо изчислява актуализацията на теглото за всяко копие поотделно. След като всички копия в текущата тренировъчна партида са направени, се изчислява средното актуализиране на теглото и теглото във всички копия се актуализира със същото количество. N N Устойчивост срещу атаки с HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , за генериране на шум с помощта на метода FGSM Ан беше обучен с PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet Нивото на шума варира от 0,02 до 0,2. Експериментирахме с два типични набора от данни, MNIST и мода-MNIST Резултатите показват, че точността на прогнозата на HPC-Net е съответно 19% и 16.72% по-висока от тази на аналоговия ANN. 98 99 93 100 101 95 96 Докладване на резюме Допълнителна информация за проекта е на разположение в Връзка към тази статия. Резюме на портфолиото на Nature Наличност на данните Данните, които подкрепят констатациите на това проучване, са достъпни в хартия, Допълнителна информация и файлове с източници, предоставени с тази хартия. – Налични са на Наборът от данни на MNIST е публично достъпен на Наборът от данни на Fashion-MNIST е публично достъпен на . от Те са предоставени с този документ. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Източници на данни Наличност на кода Източният код на DeepDendrite, както и моделите и кодовете, използвани за възпроизвеждане на Figs. – В това проучване са налични . 3 6 https://github.com/pkuzyc/DeepDendrite Референции McCulloch, W. S. & Pitts, W. Логически изчисления на идеите, присъщи на нервната дейност. LeCun, Y., Bengio, Y. & Hinton, G. Дълбоко обучение. Природа 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Аритметиката на сумирането на синаптичните суми под прага в пирамидална клетка модел CA1. London, M. & Häusser, M. Dendritic computing. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранко, T. & Häusser, M. Една дендритна клонка като основна функционална единица в нервната система. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стюарт, Г. Дж. и Спристън, Н. Дендритската интеграция: 60 години напредък. Poirazi, P. & Papoutsi, A. Осветяване на дендритната функция с изчислителни модели. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Дендритни прешлени като основни функционални единици на невронната интеграция. Engert, F. & Bonhoeffer, T. Дендритни промени в гръбначния стълб, свързани с хипокампусната дългосрочна синаптична пластичност. Юст, Р. Дендритни спини и разпределени вериги. Neuron 71, 772–781 (2011). Юст, Р. Електрическа сектантизация в дендритни прешлени. Annu. Rev. Neurosci. 36, 429–449 (2013). Рал, У. Разклоняване на дендритни дървета и съпротивление на мотоневронната мембрана. Експ. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Изчислително изследване на възбудителен дендритен гръбначен стълб. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Мастеризиране на играта на хода с дълбоки невронни мрежи и търсене на дървета. Silver, D. et al. Общ алгоритъм за укрепване на ученето, който овладява шахмата, шоги и преминава през самоигра. McCloskey, M. & Cohen, N. J. Катастрофална намеса в свързващите мрежи: проблемът със последователното обучение. Френски, Р. М. Катастрофалното забравяне в свързващите мрежи. Тенденции Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse взривове оптимизират предаването на информация в мултиплексиран невронен код. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic кортикални микросхеми приближават алгоритъма на обратното разпространение. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Зависимата от Burst синаптична пластичност може да координира ученето в йерархични вериги. Bicknell, B. A. & Häusser, M. Синаптично правило за учене за използване на нелинейно дендритно изчисление. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Кластеронът на градиента: модел на неврона, който се учи да решава задачи за класификация чрез дендритни нелинейности, структурна пластичност и градиентно спускане. Ходжкин, А. Л. и Хъксли, А. Ф. Количествено описание на мембранния ток и неговото приложение към проводимостта и възбуждането в нерва. Rall, W. Теория на физиологичните свойства на дендритите. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Невронната среда за симулация Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. в Книгата на GENESIS: Изследване на реалистични невронни модели с общата система за невронна симулация (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron разделянето в компютърно обвързани успоредни мрежови симулации позволява мащабиране на времето за изпълнение с два пъти повече процесори. Hines, M. L., Markram, H. & Schürmann, F. Напълно имплицитна паралелна симулация на единични неврони. Ben-Shalom, R., Liberman, G. & Korngreen, A. Ускоряване на отделителното моделиране на графичен процесор. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Ефективна цифрова симулация на невронни модели с пространствена структура върху графични обработващи единици. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Ефективен дърво разтворител за хини матрици на GPU. Препечатан на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Комбинационна оптимизация теория и алгоритми 6 edn (Springer, 2018). Gebali, F. Алгоритми и паралелни изчисления (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Оптимизиран изчислителен двигател за симулатора NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Обучение чрез дендритно предсказване на соматичното пикиране. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Оптимизиране на модели на йонни канали с помощта на паралелен генетичен алгоритъм върху графични процесори. Маскани, М. Паралелизиращ алгоритъм за изчисляване на решения на произволно разклонени кабелни невронни модели. McDougal, R. A. et al. Двадесет години моделDB и след това: изграждане на основни инструменти за моделиране за бъдещето на невронауката. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively blocks temporal summation of unsynchronized distal inputs in CA1 pyramidal neurons. , 5–13 (2004). J. Comput. Neurosci. 16 Hemond, P. et al. Различни класове пирамидални клетки показват взаимно изключващи се модели на стрелба в хипокампусната област CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Модели на неокортикален слой 5b пирамидални клетки, улавящи широк спектър от дендритни и перисоматични активни свойства. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Обработката на потенциала за действие в подробен модел на клетките на Purkinje разкрива критична роля за аксоналната отсечка. Lindroos, R. et al. Базална ганглия невромодулация на множество времеви и структурни мащаби – симулации на директен път MSN изследват бързото начало на допаминергичните ефекти и предсказват ролята на Kv4.2. Migliore, M. et al. Синаптичните клъстери функционират като миризми в миризмата на луковицата.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Ръководство за програмиране. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Ръководство за най-добри практики. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Синаптично усилване от дендритни прешлени подобрява входното сътрудничество. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Компартиментализация на GABAergic инхибиране от дендритни прешлени. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Пластичността на гръбначния врат регулира отделителната структура на синапсите. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Човешки кортикални пирамидни неврони: от гръбнака до върховете чрез модели. Front. Cell. Neurosci. 12, 181 (2018). Кох, C. и Задор, А. Функцията на дендритните спини: устройства, подчиняващи се на биохимичната, а не на електрическата отсечка. Кох, C. Dendritic spines. в биофизиката на изчисленията (Oxford University Press, 1999). Рап, М., Яром, Й. и Сегев, I. Влиянието на паралелната фонова активност на влакното върху кабелните свойства на церебралните пуркиниеви клетки. Hines, M. Ефективно изчисляване на разклонени нервни уравнения. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Биологично вдъхновена защита на дълбоките мрежи от враждебни атаки. Предпечатан на https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Широкомащабна симулация с помощта на паралелен генезис. в Книгата на генезиса: изследване на реалистични невронни модели с общата невронна симулационна система (Ed Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Паралелни мрежови симулации с NEURON. Lytton, W. W. et al. Симулационни невротехнологии за напреднали изследвания на мозъка: паралелизиране на големи мрежи в NEURON. Valero-Lara, P. et al. cuHinesBatch: Решаване на множество Hines системи на GPU човешкия мозък проект. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Морфологично подробна библиотека за симулация на невронни мрежи за съвременни архитектури за високопроизводителни изчисления. в Процент 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Ускоряване на многокомпонентни, биофизически подробни симулации на неврони на GPUs. J. Neurosci. Методи 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Предсказващ-коректор алгоритъм за реакционно-дифузионни уравнения, свързани с невронната активност върху разклонени структури. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Ultrascalable решение за мащабно симулация на невронна тъкан. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Целеви записи на вътреклетъчно напрежение от дендритни спини с помощта на квантово-точково покрити нанопипети. Nat. Nanotechnol. 12, 335-342 (2017). Палмър, Л. М. и Стюарт, Г. Джей. мембранни потенциални промени в дендритни прешлени по време на потенциали за действие и синаптичен вход. Nishiyama, J. & Yasuda, R. Биохимични изчисления за структурна пластичност на гръбначния стълб. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Морфологични промени в дендритни прешлени, свързани с дългосрочна синаптична пластичност. Holtmaat, A. & Svoboda, K. Опит-зависима структурна синаптична пластичност в мозъка на бозайниците. Caroni, P., Donato, F. & Muller, D. Структурна пластичност при учене: регулиране и функции. Keck, T. et al. Масивно преструктуриране на невронните вериги по време на функционална реорганизация на зрителната кора за възрастни. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Опитът оставя трайна структурна следа в кортикалните вериги. Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Аксонална динамика на възбуждащите и инхибиторни неврони в соматосензорната кора. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Бързо образуване и селективна стабилизиране на синапси за трайни двигателни спомени. Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Подобряване на двигателното обучение чрез увеличаване на стабилността на новообразуваните дендритни прешлени в моторната кора. Neuron 109, 3298-3311 (2021). Бранко, T. & Häusser, M. Синаптични интеграционни градиенти в единични кортикални пирамидни клетъчни дендрити. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Активни свойства на неокортикални пирамидални невронни дендрити. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic потенциални действия и изчисления в човешкия слой 2/3 кортикални неврони. Наука 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Навременното синаптично инхибиране оформя NMDA пикове, влияещи върху локалната дендритна обработка и глобалните I/O свойства на кортикалните неврони. Du, K. et al. Клетъчно-специфично инхибиране на потенциала на дендритното плато в стрииталните гръбначни проекционни неврони. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Дендритни пикове повишават селективността на стимулите в кортикалните неврони in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Нелинейна дендритна интеграция на сензорния и двигателния вход по време на активна задача за сензориране. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Активните кортикални дендрити модулират възприятието. Наука 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Реконструкция и симулация на неокортикалната микроциркулация. Клетка 163, 456-492 (2015). Billeh, Y. N. et al. Систематична интеграция на структурни и функционални данни в многомащабни модели на мишка първична визуална кора. Neuron 106, 388–403 (2020). Hjorth, J. et al. Микроциркулите на стриит в силикон. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Към дълбокото обучение с отделени дендрити. elife 6, e22901 (2017). Iyer, A. et al. Избягване на бедствия: активните дендрити позволяват многозадачно обучение в динамична среда. фронт. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Може ли един единствен неврон да реши интересни проблеми с машинното обучение чрез последователни изчисления на своето дендритно дърво? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic нормализация подобрява ученето в слабо свързани изкуствени невронни мрежи. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Обясняване и използване на противоположни примери. в III Международна конференция за представяне на ученето (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Преносимост в машинното обучение: от феномени до атаки с черни кутии, използващи противникови проби. Предварително отпечатване на https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-базирано обучение, приложено към разпознаване на документи. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Мода-MNIST: нов набор от данни за изображения за сравняване на алгоритмите за машинно обучение. Предварително отпечатано на http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Оценка на мащабируемостта на биологично мотивирани алгоритми и архитектури за дълбоко обучение. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: бързи атаки за сравняване на надеждността на моделите за машинно обучение в PyTorch, TensorFlow и JAX. Paszke, A. et al. PyTorch: Императивен стил, високопроизводителна библиотека за дълбоко обучение. В напредъка в системите за обработка на невронна информация 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Дълбоко остатъчно обучение за разпознаване на изображения. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). Признания Авторите на Съвета искрено благодарят на д-р Rita Zhang, Daochen Shi и членовете на NVIDIA за ценната техническа подкрепа на компютърните GPU. Тази работа е подкрепена от Националната ключова научноизследователска и развойна програма на Китай (No. 2020AAA0130400) на K.D. и T.H., Националната фондация за естествени науки на Китай (No. 6182588102) на Y.T., Националната ключова научноизследователска и развойна програма на Китай (No. 2022ZD01163005) на L.M., Програма за научноизследователска и развойна дейност в ключови области на провинция Гуандун (No. 2018B030338001) на T.H., Националната фондация за естествени науки на Китай (No. 6 Тази статия е достъпна в натура под лиценза CC by 4.0 Deed (Attribution 4.0 International). Тази статия е достъпна в натура под лиценза CC by 4.0 Deed (Attribution 4.0 International).
