Авторы : Яхен Чжан Ган он Лео Ма Шяофей Лю J. J. Йоханнес Хьорт Александр Козлов Ютуб он Шэньчжэнь Чжан Жаннетта Хеллгрен Коталески Йонгхун Тян Стена Грильнер Когда ты Тийон Хуанг Авторы : Яхен Чжан Ган он Лео Ма Шяофей Лю J. J. Йоханнес Хьорт Александр Козлов Ютуб он Шэньчжэнь Чжан Жаннетта Хеллгрен Коталески Йонгхун Тян Стена Грильнер Когда ты Тийон Хуанг абстрактный Биофизически детализированные многокомпонентные модели являются мощными инструментами для изучения вычислительных принципов мозга и также служат теоретической основой для создания алгоритмов для систем искусственного интеллекта (ИИ). Тем не менее, дорогостоящая вычислительная стоимость резко ограничивает приложения как в области нейронауки, так и в области ИИ. Основным барьером при моделировании детальных моделей комнат является способность симулятора решать большие системы линейных уравнений. эндокринная Иерархическая Cheduling (DHS) метод, чтобы значительно ускорить такой процесс. Мы теоретически доказываем, что внедрение DHS является вычислительно оптимальным и точным. Этот метод на основе GPU выполняет с 2-3 порядка величины более высокой скорости, чем у классического серийного метода Hines в обычной платформе CPU. Мы строим рамку DeepDendrite, которая интегрирует метод DHS и GPU вычислительный двигатель симулятора NEURON и демонстрирует приложения DeepDendrite в нейронаучных задачах. Мы исследуем, как пространственные паттерны входов позвоночника влияют на нейронную возбудимость в детальной модели человеческого пирамидного нейрона с 25 000 спинами. Кроме того, мы предоставляем краткую дискуссию о потенциале DeepDendrite для ИИ, D H S Введение Расшифровка кодирующих и вычислительных принципов нейронов имеет важное значение для нейронауки. Мозг млекопитающих состоит из более чем тысячи различных типов нейронов с уникальными морфологическими и биофизическими свойствами. , в котором нейроны рассматривались как простые суммирующие единицы, все еще широко применяется в нейронных вычислениях, особенно в анализе нейронных сетей.В последние годы современный искусственный интеллект (ИИ) использовал этот принцип и разработал мощные инструменты, такие как искусственные нейронные сети (АНН). Однако, помимо комплексных вычислений на уровне одного нейрона, субклеточные отсеки, такие как нейронные дендриты, также могут осуществлять нелинейные операции в качестве независимых вычислительных единиц. , , , , Кроме того, дендритные спины, небольшие выпячивания, которые плотно покрывают дендриты в спинных нейронах, могут разделять синаптические сигналы, позволяя им отделяться от их родительских дендритов ex vivo и in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симуляции с использованием биологически детализированных нейронов обеспечивают теоретическую основу для связывания биологических деталей с вычислительными принципами. , позволяет нам моделировать нейроны с реалистичной дендритной морфологией, внутренней ионной проводимостью и экстринными синаптическими входами. , который моделирует биофизические мембранные свойства дендритов в виде пассивных кабелей, предоставляя математическое описание того, как электронные сигналы вторгаются и распространяются через сложные нейронные процессы.Включая теорию кабеля с активными биофизическими механизмами, такими как ионные каналы, возбуждающие и ингибирующие синаптические течения и т. д., подробная многокомпонентная модель может достичь клеточных и субклеточных нейронных вычислений за пределами экспериментальных ограничений , . 12 13 12 4 7 Помимо его глубокого влияния на нейронауку, биологически детализированные модели нейронов недавно были использованы для преодоления разрыва между нейронными структурными и биофизическими деталями и ИИ. Преобладающая техника в современной области ИИ - это ANN, состоящие из точечных нейронов, аналогом биологических нейронных сетей. , , человеческий мозг по-прежнему превосходит ANN в областях, которые включают в себя более динамичные и шумные среды , Недавние теоретические исследования показывают, что дендритная интеграция имеет решающее значение для создания эффективных алгоритмов обучения, которые потенциально превышают задний проход в параллельной обработке информации. , , Кроме того, одна подробная многокомпонентная модель может изучать нелинейные вычисления на уровне сети для точечных нейронов, корректируя только синаптическую силу. , Это демонстрирует полный потенциал детальных моделей в построении более мощных систем ИИ, подобных мозгу, поэтому приоритетным направлением является расширение парадигм ИИ, подобных мозгу, от единичных детальных моделей нейронов до крупномасштабных биологически детальных сетей. 14 15 16 17 18 19 20 21 22 Одной из давних проблем подхода к детальному моделированию является его чрезвычайно высокая вычислительная стоимость, которая серьезно ограничила его применение к нейронауке и ИИ. Основным барьером моделирования является решение линейных уравнений на основе фундаментальных теорий детального моделирования. , , Для повышения эффективности классический метод Hines сокращает сложность времени для решения уравнений от O(n3) до O(n), который широко применяется в качестве основного алгоритма в популярных симуляторах, таких как NEURON. и Генезис Однако этот метод использует серийный подход для обработки каждого отсека последовательно.Когда симуляция включает в себя несколько биофизически детализированных дендритов с дендритными спинами, матрица линейного уравнения («Hines Matrix») соответственно масштабируется с увеличением числа дендритов или спинов (рис. ), что делает метод Хинеса более непрактичным, так как он представляет собой очень тяжелую нагрузку на всю симуляцию. 12 23 24 25 26 1е Реконструированная пирамидальная модель нейронов 5 слоя и математическая формула, используемая при детальных моделях нейронов. Рабочий процесс при численном моделировании детальных нейронных моделей.Фаза решения уравнений является барьером в моделировании. Пример линейных уравнений в моделировании. Зависимость данных метода Хинеса при решении линейных уравнений в . . Количество систем линейных уравнений, которые должны быть решены, значительно увеличивается, когда модели растут более детально. Вычислительная стоимость (ступления, предпринятые в фазе решения уравнений) серийного метода Хинес на различных типах моделей нейронов. Различные части нейрона присваиваются нескольким процессорам параллельными методами (середина, справа), показанными различными цветами. Расчетная стоимость трех методов при решении уравнений пирамидальной модели с помощью спин. Время запуска различных методов по решению уравнений для 500 пирамидальных моделей с спинами. Время запуска указывает время потребления симуляции 1 с (решение уравнения 40 000 раз с шагом времени 0,025 мс). p-Hines параллельный метод в CoreNEURON (на GPU), метод параллельного планирования на основе ветви (на GPU), DHS иерархический метод планирования (на GPU). a b c d c e f g h g i За последние десятилетия был достигнут огромный прогресс в ускорении метода Хинеса, используя параллельные методы на клеточном уровне, что позволяет параллелизовать вычисления различных частей в каждой клетке. , , , , , Однако современные параллельные методы на клеточном уровне часто не имеют эффективной стратегии параллелизации или не имеют достаточной численной точности по сравнению с оригинальным методом Hines. 27 28 29 30 31 32 Здесь мы разрабатываем полностью автоматический, численно точный и оптимизированный инструмент моделирования, который может значительно ускорить вычислительную эффективность и снизить вычислительные затраты.Кроме того, этот инструмент моделирования может быть беспрепятственно принят для создания и тестирования нейронных сетей с биологическими деталями для машинного обучения и приложений ИИ. Критически, мы формулируем параллельное вычисление метода Hines как проблему математического планирования и генерируем метод Dendritic Hierarchical Scheduling (DHS) на основе комбинаторной оптимизации теория параллельных вычислений Мы демонстрируем, что наш алгоритм обеспечивает оптимальное планирование без потери точности. Кроме того, мы оптимизировали DHS для наиболее продвинутого в настоящее время чипа GPU, используя иерархию памяти GPU и механизмы доступа к памяти. ) по сравнению с классическим симулятором NEURON при сохранении одинаковой точности. 33 34 1 25 Чтобы позволить детальные дендритные симуляции для использования в ИИ, мы в дальнейшем устанавливаем рамки DeepDendrite, интегрируя встроенную DHS платформу CoreNEURON (оптимизированный вычислительный двигатель для NEURON). как симуляционный двигатель и два вспомогательных модуля (модуль I/O и модуль обучения), поддерживающие алгоритмы дендритного обучения во время симуляций. 35 Последнее, но не менее важное, мы также представляем несколько приложений с использованием DeepDendrite, нацеленных на несколько критических вызовов в области нейронауки и ИИ: (1) Мы демонстрируем, как пространственные паттерны входов дендритного позвоночника влияют на нейронную деятельность с нейронами, содержащими спины на протяжении всех деревьев дендрита (модели полного позвоночника). DeepDendrite позволяет нам исследовать нейронные вычисления в модели человеческого пирамидного нейрона с 25 000 дендритных спинов. (2) В дискуссии мы также рассматриваем потенциал DeepDendrite в контексте ИИ, в частности, в создании ANN с морфологически подробными человеческими пирамидными нейронами. Все исходные коды для DeepDendrite, модели полного позвоночника и подробная модель дендритной сети общедоступны онлайн (см. Код Доступность).Наша система обучения с открытым исходным кодом легко интегрируется с другими правилами дендритного обучения, такими как правила обучения для нелинейных (полноактивных) дендритов взрывозависимая синаптическая пластичность Изучение с помощью предсказания Spike В целом, наше исследование предоставляет полный набор инструментов, которые имеют потенциал для изменения текущей экосистемы сообщества вычислительной нейронауки.Используя мощь вычислений GPU, мы предполагаем, что эти инструменты будут способствовать системному исследованию вычислительных принципов тонких структур мозга, а также способствовать взаимодействию между нейронаукой и современным ИИ. 21 20 36 Результаты Метод дендритального иерархического планирования (DHS) Вычисление ионных токов и решение линейных уравнений являются двумя критическими фазами при моделировании биофизически детализированных нейронов, которые занимают много времени и несут тяжелую вычислительную нагрузку. К счастью, вычисление ионных токов каждого отсека является полностью независимым процессом, поэтому его можно природно параллелизовать на устройствах с массивными параллельными вычислительными единицами, такими как GPU. Как следствие, решение линейных уравнений становится остаточным барьером для процесса параллелизации (рис. ) 37 1а - f Для решения этой проблемы были разработаны параллельные методы на клеточном уровне, которые ускоряют одноклеточные вычисления, «разделяя» одну клетку на несколько отделений, которые можно вычислить параллельно. , , Однако такие методы сильно полагаются на предварительные знания, чтобы генерировать практические стратегии, как разделить один нейрон на отделы (рис. • Дополнительная фигура. Следовательно, он становится менее эффективным для нейронов с асимметричной морфологией, например, пирамидальных нейронов и нейронов Пуркинже. 27 28 38 1 г 1 Мы стремимся разработать более эффективный и точный параллельный метод для моделирования биологически детализированных нейронных сетей. во-первых, мы устанавливаем критерии для точности параллельного метода на клеточном уровне. , мы предлагаем три условия, чтобы убедиться, что параллельный метод даст одинаковые решения как метод серийного вычисления Hines в соответствии с зависимостью данных в методе Hines (см. Методы). затем теоретически оценить время запуска, т.е. эффективность, серийных и параллельных методов вычисления, мы вводим и формулируем концепцию вычислительной стоимости как количество шагов, которые метод принимает в решении уравнений (см. Методы). 34 Основываясь на точности моделирования и вычислительной стоимости, мы формулируем проблему параллелизации как проблему математического планирования (см. Методы). параллельные нити, мы можем рассчитать максимум Узлы на каждом шагу, но мы должны убедиться, что узел вычисляется только в том случае, если все его детские узлы были обработаны; наша цель состоит в том, чтобы найти стратегию с минимальным количеством шагов для всей процедуры. k k Чтобы генерировать оптимальный раздел, мы предлагаем метод под названием Dendritic Hierarchical Scheduling (DHS) (теоретическое доказательство представлено в Методах). Метод DHS включает в себя два этапа: анализ дендритной топологии и поиск наилучшего раздела: (1) При наличии детальной модели мы сначала получаем его соответствующее зависимое дерево и рассчитываем глубину каждого узла (глубина узла — число его предков) на дереве (рис. (2) После анализа топологии мы ищем кандидатов и выбираем максимум Наиболее глубокие кандидата узлы (узл является кандидатом только в том случае, если все его детские узлы были обработаны). ) 2а 2б, с k 2D DHS Workflow - процессы работы DHS Наиболее глубокие кандидата узлы для каждой итерации. Иллюстрация вычисления глубины узла отсечной модели. Модель сначала преобразуется в деревянную структуру, затем вычисляется глубина каждого узла. Анализ топологии на различных моделях нейронов. Здесь показаны шесть нейронов с разными морфологиями. Для каждой модели сома выбирается как корень дерева, так что глубина узла увеличивается от сомы (0) до дистальных дендритов. Иллюстрация выполнения DHS на модели в с четырьмя нитями. Кандидаты: узлы, которые могут быть обработаны. Выбранные кандидаты: узлы, которые выбираются DHS, т.е. Обработанные узлы: узлы, которые были обработаны ранее. Стратегия параллелизации, полученная DHS после процесса в Каждый узел присваивается одной из четырех параллельных нитей. DHS сокращает этапы серийной обработки узлов с 14 до 5, распределяя узлы на несколько нитей. Относительная стоимость, т.е. соотношение вычислительной стоимости DHS к серийному методу Hines при применении DHS с разным числом нитей на разные типы моделей. a k b c d b k e d f Возьмите упрощенную модель с 15 отсеками в качестве примера, используя метод серийного вычисления Hines, для обработки всех узлов требуется 14 шагов, в то время как с помощью DHS с четырьмя параллельными единицами можно разделить ее узлы на пять подсетей (рис. Поскольку узлы в одной и той же подгруппе могут обрабатываться параллельно, для обработки всех узлов с использованием DHS требуется всего пять шагов (рис. ) 2D 2е Далее мы применяем метод DHS к шести представительным детальным моделям нейронов (выбранным из ModelDB). ) с различным числом нитей (фиг. (включая корковые и гиппокампальные пирамидальные нейроны) , , Церебральные нейроны Purkinje Стриатные проекционные нейроны (SPN) ), и обонятельные луковицы митральные клетки , охватывая основные основные нейроны в сенсорных, корковых и подкорковых областях. Затем мы измерили вычислительные затраты. Относительная вычислительная стоимость здесь определяется пропорцией вычислительной стоимости DHS к пропорции серийного метода Hines. Вычислительная стоимость, то есть количество шагов, предпринятых в решении уравнений, резко падает с увеличением числа нитей. Например, с 16 нитями вычислительная стоимость DHS составляет 7%-10% по сравнению с серийным методом Hines. Интересно, что метод DHS достигает более низких границ их вычислительной стоимости для представленных нейронов, когда дается 16 или даже 8 параллельных нитей (рисунок. ), предполагая, что добавление большего количества нитей не улучшает производительность еще больше из-за зависимости между отделами. 39 2f 40 41 42 43 44 45 2f Вместе мы генерируем метод DHS, который позволяет автоматически анализировать дендритную топологию и оптимальный раздел для параллельных вычислений.Стоит отметить, что DHS находит оптимальный раздел перед началом симуляции, и для решения уравнений не требуется дополнительных вычислений. Ускорение DHS с помощью ускорения памяти GPU DHS вычисляет каждый нейрон с несколькими нитями, которые потребляют огромное количество нитей при выполнении нейронных сетевых симуляций. Графические процессоры (GPU) состоят из массивных процессоров (т.е. потоковых процессоров, SP, Фиг. для параллельного вычисления В теории многие СП на GPU должны поддерживать эффективное моделирование для крупномасштабных нейронных сетей (рис. Однако мы последовательно наблюдали, что эффективность DHS значительно снижалась, когда размер сети увеличивался, что может быть результатом рассеянного хранения данных или дополнительного доступа к памяти, вызванного загрузкой и написанием промежуточных результатов (рис. В левом ) 3а, б 46 3С 3D Архитектура GPU и ее иерархия памяти. Каждый GPU содержит массивные процессоры (процессоры потока). Архитектура потоковых мультипроцессоров (SM).Каждый SM содержит несколько потоковых процессоров, регистров и кеша L1. Применение DHS на два нейрона, каждый с четырьмя нитями.Во время симуляции каждая нить выполняет на одном процессоре потока. Стратегия оптимизации памяти на GPU. Верхняя панель, присвоение нитей и хранение данных DHS, до (слева) и после (справа) повышения памяти. Процессоры отправляют запрос на данные для загрузки данных для каждого нити из глобальной памяти. Без ускорения памяти (слева) требуется семь транзакций для загрузки всех данных запроса и некоторые дополнительные транзакции для промежуточных результатов. С ускорением памяти (справа) требуется только две транзакции для загрузки всех данных запроса, реестры используются для промежуточных результатов, что еще больше улучшает пропускную способность памяти. Время запуска DHS (32 нити каждая клетка) с и без ускорения памяти на многослойных пирамидальных моделях с спинами. Ускорение ускорения памяти на многослойных 5-пирамидных моделях со спинами.Ускорение памяти приносит ускорение в 1,6-2 раза. a b c d d e f Мы решаем эту проблему с помощью ускорения памяти GPU, метода увеличения пропускной способности памяти, используя иерархию памяти и механизм доступа GPU. На основе механизма загрузки памяти GPU последовательные нити загрузки выровненных и последовательно сохраненных данных приводят к высокой пропускной способности памяти по сравнению с доступом к данным, хранящимся в рассеке, что снижает пропускную способность памяти. , Чтобы достичь высокой пропускной способности, мы сначала выравниваем вычислительные порядки узлов и перестраиваем нити в соответствии с числом узлов на них. Затем мы перемещаем хранилище данных в глобальной памяти, согласованное с вычислительными заказами, т.е. узлы, которые обрабатываются на том же этапе, хранятся последовательно в глобальной памяти. Кроме того, мы используем реестры GPU для хранения промежуточных результатов, дополнительно укрепляя пропускную способность памяти. Кроме того, эксперименты на нескольких числах пирамидных нейронов с позвонками и типичные модели нейронов (рис. • Дополнительная фигура. ) показывают, что ускорение памяти достигает 1,2-3,8-кратного ускорения по сравнению с наивной DHS. 46 47 3D 3 е, f 2 Чтобы всесторонне протестировать производительность DHS с ускорением памяти GPU, мы выбираем шесть типичных моделей нейронов и оцениваем время выполнения решения кабельных уравнений на массивных числах каждой модели (рис. Мы исследовали DHS с четырьмя нитями (DHS-4) и шестнадцатью нитями (DHS-16) для каждого нейрона, соответственно.По сравнению с методом GPU в CoreNEURON, DHS-4 и DHS-16 могут ускориться примерно в 5 и 15 раз соответственно (рис. Кроме того, по сравнению с традиционным серийным методом Hines в NEURON, работающем с одной нитью процессора, DHS ускоряет симуляцию на 2-3 порядка величины (Дополнительная фигура. ), сохраняя при этом одинаковую численную точность в присутствии плотных спинов (Дополнительные фигуры. и ), активные дендриты (Дополнительный Фиг. ) и различные стратегии сегментации (Дополнительная фигура. ) 4 4а 3 4 8 7 7 Время выполнения решения уравнений для 1-секундного моделирования на GPU (dt = 0,025 мс, 40 000 итераций в общей сложности).CoreNEURON: параллельный метод, используемый в CoreNEURON; DHS-4: DHS с четырьмя нитями для каждого нейрона; DHS-16: DHS с 16 нитями для каждого нейрона. , Визуализация раздела DHS-4 и DHS-16, каждый цвет указывает на одну нить. a b c DHS создает оптимальное разделение, специфическое для типа ячейки Чтобы получить представление о рабочем механизме метода DHS, мы визуализировали процесс разделения, отображая отсеки на каждый нить (каждый цвет представляет одну нить на Фиг. Визуализация показывает, что одна нить часто переключается между различными ветвями (рис. Интересно, что DHS генерирует выровненные разделы в морфологически симметричных нейронах, таких как стриатальный проекционный нейрон (SPN) и митральная клетка (рис. Напротив, он генерирует фрагментированные разделы морфологически асимметричных нейронов, таких как пирамидальные нейроны и клетка Пуркинже (рис. ), указывая на то, что DHS разделяет нейронное дерево по шкале отдельных отделов (т.е. деревянный узел) вместо шкалы ветвей. 4б, с 4б, с 4б, с 4б, с Подводя итог, DHS и повышение памяти генерируют теоретически доказанное оптимальное решение для решения линейных уравнений параллельно с беспрецедентной эффективностью. Используя этот принцип, мы построили платформу DeepDendrite с открытым доступом, которую неврологи могут использовать для реализации моделей без каких-либо специфических знаний по программированию GPU. Ниже мы демонстрируем, как мы можем использовать DeepDendrite в нейронаучных задачах. DHS позволяет моделировать уровень позвоночника Поскольку дендритные позвонки получают большую часть возбуждающего входа к пирамидальным нейронам коры и гиппокампа, стриатальным проекционным нейронам и т. д., их морфология и пластичность имеют решающее значение для регулирования нервной возбудимости. , , , , Однако спины слишком малы (~1 мкм в длину), чтобы непосредственно измерять экспериментально в отношении напряженно-зависимых процессов. 10 48 49 50 51 Мы можем моделировать один позвоночник с двумя отделами: головку позвоночника, где расположены синапсы, и шейку позвоночника, который связывает головку позвоночника с дендритами. Теория предсказывает, что очень тонкая шейка позвоночника (0,1-0,5 мкм в диаметре) электронно изолирует спинномозговую головку от ее родительского дендрита, таким образом, отделяя сигналы, генерируемые на спинномозговой голове. Однако подробная модель с полностью распределенными спинами на дендритах («полная спинная модель») вычислительно очень дорогая. Спинный фактор , вместо того, чтобы модифицировать все спины явно. спинномозговой фактор направлен на приближение эффекта позвоночника на биофизические свойства клеточной мембраны . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. Мы исследовали, как различные пространственные паттерны возбуждающих входов, образовавшихся на дендритных позвонках, формируют нейронную деятельность в модели человеческого пирамидного нейрона с явно моделируемыми позвонками (рис. Примечательно, что Eyal et al. использовали Фактор позвоночника для включения позвонков в дендриты, в то время как только несколько активированных позвонков были явно прикреплены к дендритам («небольшая модель позвоночника» на Фиг. ) ценность в spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) и спик вероятности (фиг. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) чем в модели с несколькими позвонками (срезанная синяя линия на Фиг. Эти результаты указывают на то, что традиционный метод F-фактора может недооценивать влияние плотного позвоночника на вычисления дендритной возбудимости и нелинейности. 51 5а F 5а F 5б, с 5D 5D 5D Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Соматические напряжения, зафиксированные для случаев . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Соматический пик вероятности как функция количества одновременно активированных синапсов (как в работе Eyal et al.) для четырех случаев в Задний шум прикреплен. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table при сохранении одинаковых результатов симуляции (Дополнительные фигуры. и ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5е 1 4 8 Дискуссия В этой работе мы предлагаем метод DHS для параллелизации вычисления метода Hines. and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) по сравнению с методом GPU, используемым в CoreNEURON и до 1500-кратного ускорения по сравнению с методом серийного Hines на платформе CPU (рис. ; Supplementary Fig. and Supplementary Table Кроме того, мы разрабатываем графическую структуру DeepDendrite, интегрируя DHS в CoreNEURON. Наконец, в качестве демонстрации возможностей DeepDendrite мы представляем представительное приложение: изучение вычислений позвоночника в детальной модели пирамидных нейронов с 25 000 спинов. Далее в этом разделе мы разрабатываем, как мы расширили структуру DeepDendrite, чтобы обеспечить эффективную подготовку биофизически детализированных нейронных сетей. , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers В последние годы GPU использовался для детального сетевого моделирования.Поскольку GPU содержит массивные вычислительные единицы, одна нить обычно присваивается одной ячейке, а не группе ячеек. , , При дальнейшей оптимизации методы, основанные на GPU, достигают гораздо более высокой эффективности в сетевой симуляции. Однако вычисления внутри клеток по-прежнему являются серийными методами на уровне сети, поэтому они все еще не могут справиться с проблемой, когда «матрица Hines» каждой клетки имеет большие масштабы. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , Однако типичные методы на клеточном уровне (например, метод «мультисплит» Отсутствие тонкой стратегии параллелизации приводит к неудовлетворительной производительности.Для достижения более высокой эффективности некоторые исследования пытаются получить более тонкую параллелизацию путем введения дополнительных вычислительных операций , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Дендритные позвонки являются наиболее обильными микроструктурами в мозге для проекционных нейронов в коры, гиппокампе, церебелле и базальных ганглиях. Поскольку позвонки получают большинство возбуждающих входов в центральную нервную систему, электрические сигналы, генерируемые позвонками, являются основной движущей силой для крупномасштабной нейронной деятельности в предсердии и церебелле. , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , Из-за такой высокой импотенции ввода, один синаптический вход может вызвать «гигантский» EPSP ( ~ 20 мВ) на уровне позвоночника. , , тем самым повышая ток NMDA и ток ионных каналов в позвоночнике Тем не менее, в классических модификациях детального отделения все спины заменяются Коэффициент модификации дендритной геометрии кабеля . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , что приводит к резкому увеличению внутреннего [Ca2+], внутри позвоночника и каскаду молекулярных процессов, включающих синаптическую пластичность, важную для обучения и памяти.Интригующе, биохимический процесс, вызванный обучением, в свою очередь, переделывает морфологию позвоночника, увеличивая (или сокращая) головку позвоночника, или удлиняя (или сокращая) шейку позвоночника, что значительно изменяет электрическую емкость позвоночника , , , Такие изменения, зависящие от опыта, в морфологии позвоночника, также известные как «структурная пластичность», широко наблюдаются в зрительной коре. , , somatosensory cortex , Двигатель Cortex , hippocampus и базальная ганглия in vivo. Они играют критическую роль в двигательном и пространственном обучении, а также в формировании памяти. Однако из-за вычислительных затрат почти все детализированные сетевые модели используют подход «F-фактора», чтобы заменить фактические спины, и поэтому не могут исследовать функции позвоночника на уровне системы. Используя нашу рамку и платформу GPU, мы можем запускать несколько тысяч детализированных моделей нейронов, каждый с десятками тысяч спинов на одном GPU, при этом поддерживая ~100 раз быстрее, чем традиционный серийный метод на одном процессоре (рис. Таким образом, он позволяет нам исследовать структурную пластичность в крупномасштабных моделях схем в различных областях мозга. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Еще одним критическим вопросом является то, как связывать дендриты с функциями головного мозга на уровне систем/сетей.Установлено, что дендриты могут выполнять комплексные вычисления на синаптических входах из-за обогащенных ионных каналов и местных биофизических мембранных свойств. , , Например, корковые пирамидальные нейроны могут осуществлять подлинейную синаптическую интеграцию на проксимальном дендрите, но постепенно переходить к надлинейной интеграции на дистальном дендрите. Кроме того, дистальные дендриты могут производить регенеративные явления, такие как дендритные пики натрия, пики кальция и пики NMDA/плато потенциала. , . Such dendritic events are widely observed in mice или даже человеческие кортикальные нейроны in vitro, которая может предлагать различные логические операции , or gating functions , В последнее время записи in vivo у бодрствующих или поведенческих мышей дают убедительные доказательства того, что дендритные пики/платовые потенциалы имеют решающее значение для селективности ориентации в зрительной коре. , сенсорно-моторная интеграция в систему виски , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Более того, более подробные модели нейронов менее математически трактуемы и вычислительно дороги. . 20 21 22 19 20 89 21 Было также достигнуто прогресса в роли активных дендритов в АНН для задач компьютерного зрения. Предложил новую архитектуру ANN с активными дендритами, демонстрируя конкурентные результаты в многозадачности и непрерывном обучении. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . предложил правило дендритной нормализации, основанное на биофизическом поведении, предлагая интересную перспективу о вкладе структуры дендритного дерева в вычисления. Хотя эти исследования предлагают ценные знания, они в основном опираются на абстракции, полученные от пространственно расширенных нейронов, и не полностью используют подробные биологические свойства и пространственную информацию дендритов. Необходимо дальнейшее исследование, чтобы раскрыть потенциал использования более реалистичных моделей нейронов для понимания общих механизмов, лежащих в основе вычислений мозга и глубокого обучения. 90 91 92 В ответ на эти вызовы мы разработали DeepDendrite, инструмент, который использует метод Dendritic Hierarchical Scheduling (DHS) для значительного снижения вычислительных затрат и включает модуль I/O и модуль обучения для обработки больших наборов данных. Эта сеть продемонстрировала эффективные возможности обучения в задачах классификации изображений, достигнув примерно в 25 раз большей скорости по сравнению с обучением на традиционной платформе на основе процессора (рис. • Дополнительный стол ). 6a, b 6f 1 Иллюстрация сети человеческих пирамидных клеток (HPC-Net) для классификации изображений. Изображения трансформируются в пиковые поезда и подаются в сетевую модель. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Сравнение HPC-Net до и после тренировки. Слева, визуализация скрытых реакций нейронов на конкретный ввод до (верхний) и после (нижний) тренировки. Правый, скрытый слой весов (от ввода к скрытому слою) распределение до (верхний) и после (нижний) тренировки. Рабочий процесс эксперимента передачи атаки противника.Мы сначала генерируем образцы противника теста, установленного на 20-слойном ResNet. Затем используем эти образцы противника (шумные изображения), чтобы проверить точность классификации моделей, обученных с помощью чистых изображений. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks Наши экспериментальные результаты с использованием HPC-Net поддерживают эту гипотезу, поскольку мы наблюдали, что сети, наделенные подробными дендритными структурами, демонстрировали некоторую повышенную устойчивость к переносу атак сопротивления. compared to standard ANNs, as evident in MNIST and Fashion-MNIST Сбор данных (фиг. Это свидетельство подразумевает, что присущие биофизические свойства дендритов могут быть ключевыми в повышении прочности АНН против сопротивляемого вмешательства. тем не менее, необходимо провести дальнейшие исследования для подтверждения этих результатов с использованием более сложных наборов данных, таких как ImageNet . 93 56 94 95 96 6d, e 97 В заключение, DeepDendrite продемонстрировал замечательный потенциал в задачах классификации изображений, открывая мир захватывающих будущих направлений и возможностей. Для дальнейшего продвижения DeepDendrite и применения биологически детализированных дендритных моделей в задачах ИИ, мы можем сосредоточиться на разработке мульти-GPU систем и изучении приложений в других областях, таких как обработка естественного языка (NLP), где свойства дендритных фильтров хорошо соответствуют шумной и двусмысленной природе человеческого языка. Вызовы включают тестирование масштабируемости в более крупных проблемах, понимание производительности в различных задачах и областях, а также решение проблем с вычислительной сложностью, введенных новыми биологическими принципами, такими как активные дендриты. Methods Симуляция с DHS Корейский simulator ( ) uses the NEURON Мы внедряем наш метод Dendritic Hierarchical Scheduling (DHS) в среде CoreNEURON, модифицируя его исходный код.Все модели, которые могут быть симулированы на GPU с CoreNEURON, также могут быть симулированы с DHS, выполнив следующую команду: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e время --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Точность моделирования с использованием параллельного вычисления на клеточном уровне Чтобы обеспечить точность моделирования, мы сначала должны определить правильность параллельного алгоритма на клеточном уровне, чтобы судить о том, будет ли он генерировать идентичные решения по сравнению с проверенными правильными серийными методами, такими как метод Hines, используемый в платформе моделирования NEURON. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , мы обнаруживаем, что его зависимость от данных может быть сформулирована как структура дерева, где узлы на дереве представляют собой отделения детальной модели нейрона.В процессе треуголизации значение каждого узла зависит от его детских узлов. Таким образом, мы можем вычислять узлы на разных ветвях параллельно, так как их значения не зависят. 34 55 1D Исходя из зависимости данных метода серийного вычисления Hines, мы предлагаем три условия для обеспечения того, чтобы параллельный метод дал одинаковые решения, как метод серийного вычисления Hines: (1) Морфология дерева и начальные значения всех узлов идентичны тем, что в методе серийного вычисления Hines; (2) В фазе треуголизации узл может быть обработан, если и только если все его детские узлы уже обработаны; (3) В фазе обратной замены узл может быть обработан только в том случае, если его родительский узел уже обработан. Computational cost of cellular-level parallel computing method Чтобы теоретически оценить время работы, т.е. эффективность, серийных и параллельных вычислительных методов, мы вводим и формулируем концепцию вычислительной стоимости следующим образом: и нити (основные вычислительные единицы) для выполнения триангуляризации, параллельная триангуляризация равна разделению набора узлов от в Подсети, т.е. = « , , ... где размер каждого подсета. ≤ ≤ ≤ ≤ То есть, по крайней мере Узлы можно обрабатывать каждый шаг, так как есть только Процесс фазы триангуляризации следует следующему порядку: → → → → → → , и узлы в том же подсчете можно обрабатывать параллельно. так, мы определяем | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V В1 В2 ВН VI k k k В1 В2 ВН VI V V n Проблемы математического планирования Исходя из точности моделирования и вычислительной стоимости, мы формулируем проблему параллелизации как проблему математического планирования: Подари дерево = « , } и положительный целый Где Это нод-сет и является краеугольным набором. Определить раздел ( ) = { , , ... ≤ ≤ ≤ ≤ , 1 ≤ ≤ n, где Иоанн указывает кардинальное число подгруппы , т.е. количество узлов в и для каждого узла ∈ «Все ее дети узлы» Игорь Детский сад ( должно быть в предыдущем подсчете где 1 ≤ « Наша цель - найти оптимальный раздел ( чья вычислительная стоимость ( А это значит минимально. T V E k V E P V В1 В2 ВН VI k i VI VI VI v VI c c v VJ j i П * V P* V Here subset Состоит из всех узлов, которые будут вычислены на Первый шаг (фиг. ), so | | ≤ Это говорит о том, что мы можем рассчитать nodes each step at most because the number of available threads is Ограничение «для каждого узла» ∈ , all its children nodes { | Детский сад ( должно быть в предыдущем подсчете , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. VI i 2е VI k k k v VI c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) для всех узлов ∈ Затем следующие два шага будут выполнены итеративно до тех пор, пока каждый узел ∈ присваивается подгруппе: (1) найдите все узлы кандидата и поместите эти узлы в набор кандидата. . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , т.е. число кандидатурных узлов меньше или эквивалентно количеству доступных нитей, удаляют все узлы в and put them into , otherwise, remove deepest nodes from Добавьте их в подставку Маркируйте эти узлы как обработанные узлы (фиг. После заполнения в субсчете , перейдите к шагу (1) для заполнения следующего поднабора . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Вы + 1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , ... ≤ ≤ ≤ ≤ , 1 ≤ ≤ . Nodes in the same subset Он будет вычисляться параллельно, принимая steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn VI k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset Выбираются из состава кандидатов , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , ... }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to Как было показано ранее, детские узлы всех узлов в are in { , , ... , так что родительские узлы узлов в are in { , , … , которое удовлетворяет условию 3: при обратной замене узел может быть обработан только в том случае, если его родительский узел уже обработан. P V P V P V T V1 Vn VI Q Q Vi V1 V2 Vi-1 ВН V1 Vi В1 V2 ВИ-1 VI Vi+1 Vi+2 Vn Optimality proof for DHS Идея доказательства заключается в том, что если есть другое оптимальное решение, оно может быть преобразовано в наше решение DHS без увеличения количества шагов, требуемых алгоритмом, тем самым указывая на то, что решение DHS является оптимальным. Для каждого подсектора В ( DHS перемещается (номер нити) самые глубокие узлы из соответствующего набора кандидатов Два Если количество узлов в Она меньше, чем переместить все узлы от Два Для упрощения мы вводим , указывая сумму глубины Самые глубокие узлы в Все подгруппы в ( ) удовлетворяют критериям максимальной глубины (Дополнительная фигура. Затем мы докажем, что выбор самых глубоких узлов в каждой итерации делает an optimal partition. If there exists an optimal partition = { , , ... } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) так что все подгруппы состоят из самых глубоких узлов из И число подсетей () ( 2) остаются прежними после внесения изменений. VI P V k Чи VI Чи k Чи VI Ди k Чи P V 6а П(В) P*(V) V*1 V*2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make не удовлетворяют критериям максимальной глубины: (1) | < Существуют некоторые действующие узлы в Это не ставится на ; (2) | | = Но ноты в are not the Самые глубокие узлы в . В*и V*i В*и k Qi В*и V*i k V*i k Qi Для случая (1), поскольку некоторые кандидата узлы не ставятся на , эти узлы должны находиться в последующих подкомплектах. Игорь , мы можем переместить соответствующие узлы из последующих подкомплектов на которое не увеличит количество подсетей и сделает Дополнительные критерии выполнения (фиг. , верхняя). Для случая (2) Вьетнам = , эти более глубокие узлы, которые не перемещаются из набора кандидатов в должны быть добавлены к последующим подгруппам (Дополнительная фигура. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , Он был выбран и одним из Самые глубокие узлы is still in Таким образом will be put into a subsequent subset ( > Мы сначала перемещаемся от Два + Затем измените субпозицию + Следующая запись: Если + + | ≤ Ни один из узлов в + + is the parent of node , перестаньте изменять последние подгруппы. В противном случае, модифицируйте + + следующим образом (дополнительная фиг. Если родительский узел is in + + Переместите этот родительский узел на + + • перемещение узла с минимальной глубиной от + to + + . After adjusting Изменить последующие подгруппы + + , + + , ... с той же стратегией. в конце концов, двигаться from Два . В*и V*i < k В*и В*и 6б В*и k Чи V*i 6б В*и V*i v k В’ Чи v’ В * J j i v V*i В*и 1 В*и 1 В*и 1 k V*i 1 v В*и 1 6С v V*i 1 V*i 2 В*и 1 В*и 2 В*и В*и 1 V*i 2 V*j-1 В’ В * J V*i С помощью стратегии модификации, описанной выше, мы можем заменить все более плоские узлы в С этим Самый глубокий узел в и сохранить число подсетей, т.е. ( Мы можем модифицировать узлы с одной и той же стратегией для всех подкомплектов в ( которые не содержат глубинных узлов. наконец, все подкомплекты ∈ ( ) может удовлетворять критериям максимальной глубины, и ( В) не изменяется после изменения. В*и k Чи П * V П * V В*и П * V П * V В заключение, DHS генерирует раздел ( ) и все подгруппы ∈ ( удовлетворять условию максимальной глубины: для любого другого оптимального раздела ( ) мы можем изменить его подкомплекты, чтобы сделать его структуру такой же, как ( ), т.е. каждый поднабор состоит из самых глубоких узлов в наборе кандидатов, и держит ( ) то же самое после модификации. так, разделение ( ) полученный из DHS является одним из оптимальных разделов. P V VI P V П * V P V П * V | P V Внедрение GPU и укрепление памяти Чтобы достичь высокой пропускной способности памяти, GPU использует иерархию памяти (1) глобальной памяти, (2) кэша, (3) реестра, где глобальная память имеет большую емкость, но низкую пропускную способность, в то время как реестры имеют низкую емкость, но высокую пропускную способность. GPU использует SIMT (Single-Instruction, Multiple-Thread) архитектуру. Warps являются основными плановыми единицами на GPU (warp — группа из 32 параллельных нитей). Правильное упорядочение узлов имеет важное значение для этой партии вычислений в варпах, чтобы убедиться, что DHS получает одинаковые результаты как серийный метод Hines. При внедрении DHS на GPU мы сначала группируем все клетки в несколько варп на основе их морфологий. Клетки с похожими морфологиями группируются в одну и ту же варпу. Мы затем применяем DHS ко всем нейронам, присваивая отделения каждого нейрона к нескольким нитям. Поскольку нейроны группируются в варпы, нити для одного и того же нейрона находятся в той же варпе. Таким образом, внутренняя синхронизация в варпах держит вычислительный порядок согласованным с зависимостью данных серийного метода Hines. Наконец, ни 46 Когда варп загружает предварительно выровненные и последовательно сохраненные данные из глобальной памяти, он может в полной мере использовать кэш, что приводит к высокой пропускной способности памяти, в то время как доступ к данным, хранящимся в рассеке, уменьшит пропускную способность памяти. После выделения отсеков и переустройства нитей мы перемещаем данные в глобальную память, чтобы сделать их согласованными с вычислительными заказами, чтобы варпы могли загружать последовательно сохраненные данные при выполнении программы. Полные и немногие биофизические модели позвоночника We used the published human pyramidal neuron • емкость мембраны m = 0,44 μF cm-2, мембранное сопротивление m = 48,300 Ω cm2 и аксиальная сопротивляемость a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ионные каналы, такие как Na+ и K+, были вставлены на сома и начальный аксон, и их обратные потенциалы были Na = 67.6 mV, K = -102 мВ соответственно.Все эти конкретные параметры были установлены так же, как и в модели Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 В модели с несколькими позвонками емкость мембраны и максимальная проводимость утечки дендритных кабелей на расстоянии 60 м от сомы были умножены на Облигационный фактор для приближения дендритных позвонков. В этой модели, Только спины, которые получали синаптические входы, были явно прикреплены к дендритам. F F В модели полного позвоночника все позвонки были явно прикреплены к дендритам. Мы рассчитали плотность позвоночника с реконструированным нейроном в Eyal, et al. Плотность позвоночника была установлена на 1,3 мкм-1, и каждая клетка содержала 24994 спины на дендритах на расстоянии 60 мкм от сомы. 51 Морфологии и биофизические механизмы позвонков были одинаковы в моделях с несколькими позвонками и с полными позвонками. шея = 1,35 мкм и диаметр шея = 0,25 мкм, в то время как длина и диаметр головы позвоночника составляли 0,944 мкм, то есть область головы позвоночника была установлена на 2,8 мкм2. = -86 мВ. Специфическая мембранная емкость, мембранное сопротивление и аксиальная сопротивляемость были такими же, как и для дендритов. L D Эль Синаптические входы Мы исследовали нейронную возбудимость как распределенных, так и скопленных синаптических входов. Все активированные синапсы были прикреплены к терминалу головки позвоночника. Для распределенных входов все активированные синапсы распределялись случайно по всем дендритам. Для скопленных входов каждый кластер состоял из 20 активированных синапсов, которые были равномерно распределены по одному случайно выбранному отсеку. На основе AMPA и на основе NMDA были моделированы синаптические токи, как в работе Eyal et al. Проводимость AMPA моделировалась как двойная экспоненциальная функция и проводимость NMDA как напряженно-зависимая двойная экспоненциальная функция. Подниматься и распада были установлены на 0,3 и 1,8 мс. Для модели NMDA, Подниматься и Распад был установлен соответственно на 8 019 и 34 9884 мс. Максимальная проводимость AMPA и NMDA составляла 0,73 нС и 1,31 нС. τ τ τ τ фоновый шум Мы прикрепили фоновый шум к каждой ячейке, чтобы имитировать более реалистичную среду.Шумные шаблоны были реализованы как поезда с пиком Poisson с постоянной скоростью 1,0 Гц. Каждая модель началась на start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , за исключением того, что максимальная проводимость NMDA была равномерно распределена с 1,57 до 3,275, что привело к более высокому соотношению AMPA к NMDA. t Synaptic Inputs Исследование нейронной возбудимости Мы исследовали вероятность пика, когда несколько синапсов были активированы одновременно. Для распределенных входов мы тестировали 14 случаев, от 0 до 240 активированных синапсов. Для кластерных входов мы тестировали 9 случаев в общей сложности, активируя от 0 до 12 кластеров соответственно. Каждый кластер состоял из 20 синапсов. Для каждого случая как в распределенных, так и в кластерных входах мы рассчитали вероятность пика с 50 случайными образцами. Вероятность пика была определена как соотношение количества выпущенных нейронов к общему числу образцов. Все 1150 образцов были симулированы одновременно на нашей платформе DeepDendrite, сокращая время симуляции с дней до минут. Выполнение задач ИИ с помощью платформы DeepDendrite Традиционным детальным нейронным симуляторам не хватает двух функциональностей, важных для современных задач ИИ: (1) альтернативное выполнение симуляций и обновлений веса без тяжелой реитиализации и (2) одновременная обработка многочисленных образцов раздражителей в партийном виде. DeepDendrite состоит из трех модулей (Дополнительная фигура. ): (1) модуль I/O; (2) модуль моделирования на основе DHS; (3) модуль обучения. При обучении биофизически детализированной модели для выполнения учебных задач пользователи сначала определяют правило обучения, а затем подают все образцы обучения к детальной модели обучения. На каждом шагу во время обучения модуль I/O выбирает конкретный стимул и его соответствующий учительский сигнал (при необходимости) из всех образцов обучения и прикрепляет стимул к сетевой модели. Затем модуль моделирования на основе DHS инициализирует модель и начинает моделирование. После моделирования модуль обучения обновляет все синаптические весы в соответствии с разницей между ответами модели и сигналами учителя. После обучения обученная модель может достичь показателей, сопоставимых с ANN. Фаза тестирования похожа на 5 Модель HPC-Net Классификация изображений является типичной задачей в области ИИ. В этой задаче модель должна научиться распознавать содержимое данного изображения и выводить соответствующую этикетку. Здесь мы представляем HPC-Net, сеть, состоящую из детальных моделей человеческих пирамидных нейронов, которые могут научиться выполнять задачи классификации изображений, используя платформу DeepDendrite. HPC-Net имеет три слоя, т.е. входный слой, скрытый слой и выходный слой. Нейроны входного слоя получают пик-поезда, преобразованные из изображений в качестве их входа. Нейроны скрытого слоя получают выход нейронов входного слоя и доставляют ответы к нейронам в выходном слое. Ответы нейронов выходного слоя принимаются в качестве окончательного выхода HPC-Net. Нейроны между прилегающими слоями полностью связаны. Для каждого образного стимула мы сначала преобразуем каждый нормализованный пиксель в однородный пик-трек. ) на изображении соответствующий шпик-поезд имеет постоянный интервал между шпиками Изоляция ( ) (в мс), который определяется значением пикселей ( ) как показано в Эк. ( ) x, и τ x, и p x, и 1 В нашем эксперименте симуляция для каждого раздражителя длилась 50 мс. Все пиковые поезда начались в 9 + ISI мс и продолжался до конца симуляции. Затем мы прикрепили все пиковые поезда к нейронам входного слоя один к одному способом. Ее дают τ Т0 Где является постсинаптическое напряжение, обратный потенциал syn = 1 mV, максимальная синаптическая проводимость max = 0,05 мкС, и постоянное время = 0,5 мс v E g τ Нейроны в входном слое были моделированы с помощью пассивной модели одного отделения.Специфические параметры были установлены следующим образом: емкость мембраны m = 1,0 μF cm-2, мембранное сопротивление m = 104 Ω cm2, аксиальное сопротивление a = 100 Ω cm, обратный потенциал пассивного отсека l = 0 мВ c r r E Скрытый слой содержит группу пирамидальных моделей человеческих нейронов, получающих соматические напряжения нейронов входного слоя. , и все нейроны были моделированы с помощью пассивных кабелей. m = 1,5 мкФ см-2, мембранное сопротивление m = 48,300 Ω cm2, аксиальная сопротивляемость a = 261,97 Ω см, и обратный потенциал всех пассивных кабелей l = 0 мВ. Входные нейроны могут создавать многочисленные соединения с случайно выбранными местами на дендритах скрытых нейронов. «Синапса» в Входный нейрон на нейрон «Дендрит» определяется как Eq. ( ) где Что такое синоптическое руководство, является синаптическим весом, является функцией соматической активации, похожей на ReLU, и является соматическим напряжением Входные нейроны вовремя . 51 c r r E k i j 4 Гейк Вики i t Нейроны в выходном слое также были моделированы с помощью пассивной модели одного отделения, и каждый скрытый нейрон сделал только одно синаптическое соединение с каждым выходной нейроном.Все конкретные параметры были установлены так же, как и входные нейроны.Синаптические течения, активированные скрытыми нейронами, также находятся в форме Eq. ( ) 4 Классификация изображений с помощью HPC-Net Для каждого входного образного стимула мы сначала нормализовали все значения пикселей до 0.0-1.0. Затем мы преобразовали нормализованные пиксели в пиковые поезда и прикрепили их к входным нейронам. Где Это вероятность того, что -th класс, предсказанный HPC-Net, представляет собой среднее соматическое напряжение от 20 мс до 50 мс выходной нейрон, и В этой статье мы построили HPC-Net с 784 входными нейронами, 64 скрытыми нейронами и 10 выходными нейронами. 6 ПИ i i C Правила синаптической пластичности для HPC-Net Вдохновленный предыдущими работами , мы используем правило обучения на основе градиента для обучения нашей HPC-Net выполнению задачи классификации изображений. ) где Предсказуемая вероятность для класса , указывает фактический класс, к которому относится изображение раздражителя, = 1 если вводное изображение принадлежит к классу , и 0 если нет. 36 7 ПИ i Ии Ии i Ии При обучении HPC-Net мы рассчитываем обновление по весу (Синаптический вес в Синапс, соединяющий нейрон Два нейрона ) на каждом этапе времени. после симуляции каждого образного стимула, Как показано в приложении ( ) : Вики k i j Вики 8 Вот скорость обучения, есть значение обновления вовремя , , Соматические напряжения нейронов и соответственно Это то Синаптический ток, активированный нейроном Это нейрон , его синапсическая проводимость, Это трансферное сопротивление между - соединенный отсек нейрона Это нейрон «Дендрит в нейрон» «Сома» s = 30 мс e = 50 мс - это время начала и окончания обучения соответственно. для выходной нейроны термин ошибки можно вычислить, как показано в Эк. ( Для скрытых нейронов термин ошибки рассчитывается из терминов ошибки в выходном слое, приведенном в Эк. ( ) t VJ VI i j Ииии k i j Гейк Рик k i j j t t 10 11 Поскольку все выходные нейроны являются однокомпонентными, равными входным сопротивлениям соответствующего отдела, то переносные и входные сопротивления вычисляются нейроном. Mini-batch training является типичным методом глубокого обучения для достижения более высокой точности прогнозирования и ускорения конвергенции. DeepDendrite также поддерживает mini-batch training. Батч, мы делаем серийные копии HPC-Net. Во время тренировок каждая копия подается с различным образцом тренировок из серии. DeepDendrite сначала вычисляет обновление веса для каждой копии отдельно. После того, как все копии в текущей серии тренировок выполнены, вычисляется среднее обновление веса и весы во всех копиях обновляются на эту же сумму. N N Устойчивость к атакам сопротивления с помощью HPC-Net Чтобы продемонстрировать надежность HPC-Net, мы проверили его точность прогнозирования на пробах противника и сравнили его с аналогом ANN (один с той же структурой 784-64-10 и активацией ReLU, для справедливого сравнения в нашей HPC-Net каждый входный нейрон сделал только одно синаптическое соединение с каждым скрытым нейроном). Мы сначала обучили HPC-Net и ANN с оригинальным набором тренировок (оригинальные чистые изображения). , для генерирования шума с помощью метода FGSM Анн тренировался с PyTorch , и HPC-Net был обучен с нашей DeepDendrite. Для справедливости, мы генерировали шум сопротивления на значительно другой модели сети, 20-слойной ResNet Уровень шума варьировался от 0,02 до 0,2.Мы экспериментировали с двумя типичными наборами данных, MNIST и Мода-Мнист Результаты показывают, что точность предсказания HPC-Net на 19% и 16,72% выше, чем аналогичного ANN, соответственно. 98 99 93 100 101 95 96 Отчет о резюме Дополнительная информация по исследовательскому проекту доступна в Связано с этой статьей. Описание портфеля Nature Portfolio Доступность данных Данные, которые поддерживают результаты этого исследования, доступны в бумаге, файлах дополнительной информации и исходных данных, предоставленных вместе с этой статьей. – Доступны в Набор данных MNIST публично доступен на Набор данных Fashion-MNIST публично доступен по адресу: . . предоставляется с этой бумагой. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Источники данных Код доступности Исходный код DeepDendrite, а также модели и код, используемые для воспроизведения Figs. – В этом исследовании доступны . 3 6 https://github.com/pkuzyc/DeepDendrite Референции McCulloch, W. S. & Pitts, W. Логический расчёт идей, имеющихся в нервной деятельности.Bull. Math. Biophys. 5, 115–133 (1943). Лекун, Й., Бенгио, Й. и Хинтон, Г. Глубокое обучение. Природа 521, 436–444 (2015). Пуарази, П., Брэннон, Т. и Мел, Б. В. Арифметическая арифметическая сумма подпорогового синаптического суммирования в модели пирамидной клетки CA1. London, M. & Häusser, M. Dendritic computation. Annu. Rev. Neurosci. 28, 503–532 (2005). Бранко, Т. и Хауссер, М. Единая дендритная ветвь как фундаментальная функциональная единица нервной системы. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стюарт, Дж. и Спрустон, Н. Дендритическая интеграция: 60 лет прогресса. Нат. Невросоци. 18, 1713–1721 (2015). Пуарази, П. и Папуци, А. Освещение дендритной функции с помощью вычислительных моделей. Нат. Рев. Невроси. 21, 303–321 (2020). Yuste, R. & Denk, W. Дэндритные позвонки как основные функциональные единицы нейронной интеграции. Engert, F. & Bonhoeffer, T. Дэндритные изменения позвоночника, связанные с долгосрочной синаптической пластичностью гиппокампа. Дэндритные спины и распределенные схемы. Нейрон 71, 772–781 (2011). Юст, Р. Электрическая отсека в дендритных позвонках. Annu. Rev. Neurosci. 36, 429–449 (2013). Ралл, В. Разветвление дендритных деревьев и резистивность мембран мотонейронов. Эксп. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Вычислительное исследование возбудимого дендритного позвоночника. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. Овладение игрой ходьбы с помощью глубоких нейронных сетей и поиска деревьев. Nature 529, 484–489 (2016). Silver, D. et al. Общий алгоритм обучения усилению, который осваивает шахматы, шоги и проходит через самоигру. Science 362, 1140–1144 (2018). McCloskey, M. & Cohen, N. J. Катастрофическое вмешательство в конъюнктивистские сети: проблема последовательного обучения. Французский, Р. М. Катастрофическое забывание в коннективистских сетях. тренды Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse взрывы оптимизируют передачу информации в мультиплексированном нейронном коде. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic кортикальные микросхемы приближают алгоритм обратного распространения. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Бурстозависимая синаптическая пластичность может координировать обучение в иерархических схемах. Bicknell, B. A. & Häusser, M. Синаптическое правило обучения для использования нелинейных дендритных вычислений. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: модельный нейрон, который учится решать задачи классификации через дендритные нелинейности, структурную пластичность и градиентный спуск. Ходжкин, А. Л. и Хаксли, А. Ф. Количественное описание мембранного тока и его применение к проводимости и возбуждению в нерве. Ралл, В. Теория физиологических свойств дендритов. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. Симуляционная среда нейронов. Neural Comput. 9, 1179–1209 (1997). Bower, J. M. & Beeman, D. в книге Genesis: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Разделение нейронов в вычислительно-связанных параллельных сетевых симуляциях позволяет масштабировать время выполнения с двукратным числом процессоров. Hines, M. L., Markram, H. & Schürmann, F. Полностью подразумеваемая параллельная симуляция одиночных нейронов. Ben-Shalom, R., Liberman, G. & Korngreen, A. Ускорение компонентного моделирования на графическом процессоре. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Эффективная численная симуляция нейронных моделей с пространственной структурой на графических процессорах. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D.T., Kothapalli, K. & Bhalla, U.S. Параллелизующий матричный растворитель Hines в нейронных симуляциях на GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Эффективный дереворазрешитель для матриц hines на GPU. Предпечатание на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Комбинаторная теория оптимизации и алгоритмы 6 edn (Springer, 2018). Гебали, Ф. Алгоритмы и параллельные вычисления (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Оптимизированный вычислительный двигатель для симулятора NEURON. фронт. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Обучение по дендритному предсказанию соматического пикирования. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Оптимизация моделей ионных каналов с использованием параллельного генетического алгоритма на графических процессорах. Маскагни, М. Параллелизирующий алгоритм вычислительных решений для произвольно разветвленных моделей кабельных нейронов.J. Neurosci. Методы 36, 105-114 (1991). McDougal, R. A. et al. Двадцать лет моделирования DB и далее: создание необходимых инструментов моделирования для будущего нейронауки. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih избирательно блокирует временное суммирование несинхронизированных дистальных входов в пирамидальных нейронах CA1. Hemond, P. et al. Различные классы пирамидных клеток демонстрируют взаимоисключающие схемы стрельбы в области гиппокампа CA3b. Хей, Э., Хилл, С., Шюрман, Ф., Маркрам, Х. и Сегев, I. Модели пирамидных клеток неокортикального слоя 5b, захватывающие широкий спектр дендритных и перисоматических активных свойств. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Обработка потенциала действия в детальной модели клеток purkinje раскрывает критическую роль для аксональной отселения. Lindroos, R. et al. Базальная ганглия нейромодуляция по множеству временных и структурных масштабов — симуляции прямых путей MSN исследуют быстрое начало дофаминергических эффектов и предсказывают роль Kv4.2. Миглиоре, М. и др. Синаптические скопления функционируют как обонятельные операторы в обонятельной лампе. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. Руководство по программированию CUDA C++. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Руководство по лучшим практикам. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Синаптическое усиление дендритными позвонками повышает кооперативность ввода. Природа 491, 599–602 (2012). Чиу, C. Q. и др. Компартиментализация ингибирования ГАБА с помощью дендритных позвонков. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Пластичность шейки позвоночника регулирует разделение синапсов. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. Front. Cell. Neurosci. 12, 181 (2018). Кох, С. и Задор, А. Функция дендритных спинов: устройства, подчиняющиеся биохимической, а не электрической компонементализации. Кох, C. Дэндритные спины. в биофизике вычислений (Oxford University Press, 1999). Рапп, М., Яром, И. и Сегев, I. Влияние параллельной фоновой активности волокна на кабельные свойства клеток церебрального пуркина. Хийнс, М. Эффективное вычисление разветвленных нервных уравнений. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Биологически вдохновленная защита глубоких сетей от враждебных атак. Предпечатать на https://arxiv.org/abs/1703.09202 (2017). Годдард, Н. Х. и Гуд, Г. Большое масштабное моделирование с использованием параллельного генеза. в Книге генеза: Исследование реалистических нейронных моделей с помощью системы генеральной нейронной симуляции (Ed Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Миглиоре, М., Канния, С., Литтон, В. В., Маркрам, H. & Hines, М. Л. Параллельные сетевые симуляции с нейроном. Lytton, W. W. et al. Симуляционные нейротехнологии для продвижения исследований мозга: параллелирование больших сетей в NEURON. Valero-Lara, P. et al. cuHinesBatch: Решение нескольких систем Hines на проекте GPU человеческого мозга. в Proc. 2017 Международная конференция по вычислительной науке 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Морфологически подробная библиотека симуляции нейронных сетей для современных высокопроизводительных вычислительных архитектур. В Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Ускорение многокомпонентных, биофизически детальных нейронных симуляций на GPU. J. Neurosci. Методы 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Алгоритм предсказателя-корректора для уравнений реакции-диффузии, связанных с нейронной активностью на разветвленных структурах. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Ультрамасштабное решение для масштабного моделирования нервной ткани. фронт. Neuroinform. 5, 15 (2011). Jayant, K. et al. Целевые записи внутриклеточного напряжения из дендритных спинов с использованием квантово-точечных нанопипетов. Нат. Nanotechnol. 12, 335–342 (2017). Палмер, Л. М. и Стюарт, Г. Джей. мембранные потенциальные изменения в дендритных позвонках во время потенциала действия и синаптического входа. Nishiyama, J. & Yasuda, R. Биохимические вычисления для структурной пластичности позвоночника. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Морфологические изменения дендритных позвонков, связанные с долгосрочной синаптической пластичностью. Holtmaat, A. & Svoboda, K. Опытно-зависимая структурная синаптическая пластичность в мозге млекопитающих. Карони, П., Донато, Ф. и Мюллер, Д. Структурная пластичность при обучении: регулирование и функции. Нат. Рев. Кек, Т. и др. Массовая перестройка нейронных схем во время функциональной реорганизации зрительной коры взрослого человека.Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Опыт оставляет стойкий структурный след в корковых схемах. Trachtenberg, J. T. et al. Долгосрочное in vivo изображение опытно-зависимой синаптической пластичности в корке взрослого человека. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Аксенальная динамика возбуждающих и ингибирующих нейронов в соматосенсорной коре. PLoS Biol. 8, e1000395 (2010). Сю, Т. и др. Быстрое формирование и селективная стабилизация синапсов для устойчивых двигательных воспоминаний. Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Улучшение двигательного обучения путем повышения стабильности вновь сформированных дендритных позвонков в моторной коре. Бранко, Т. и Хауссер, М. Синаптические интеграционные градиенты в одиночных дендритах пирамидных клеток. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Активные свойства неокортикальных пирамидных нейронных дендритов. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Временное синаптическое угнетение формирует пики NMDA, влияя на местную дендритную обработку и глобальные свойства I/O корковых нейронов. Du, K. et al. Cell-type-specific inhibition dendritic plateau potential in striatal spiny projection neurons. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Смит, С. Л., Смит, И. Т., Бранко, Т. & Häusser, М. Дендритические шипы повышают селективность стимулов в корковых нейронах in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Нелинейная дендритная интеграция сенсорного и двигательного ввода во время активной сенсорной задачи. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Активные корковые дендриты модулируют восприятие. Наука 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Преходящая распространенность кальция по дэндритному дереву предсказывает свойства поля места. Markram, H. et al. Реконструкция и моделирование неокортикальной микроциркуляции. Клетка 163, 456–492 (2015). Billeh, Y. N. et al. Систематическая интеграция структурных и функциональных данных в многомасштабные модели первичной зрительной коры мыши. Neuron 106, 388–403 (2020). Hjorth, J. et al. Микросхемы стриатума в силико. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. На пути к глубокому обучению с отдельными дендритами. elife 6, e22901 (2017). Iyer, A. et al. Избегание катастрофы: активные дендриты позволяют многозадачному обучению в динамических средах. фронт. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Может ли один нейрон решать интересные проблемы машинного обучения посредством последовательных вычислений на своем дендритном дереве? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic нормализация улучшает обучение в слабо связанных искусственных нейронных сетях. Goodfellow, I. J., Shlens, J. & Szegedy, C. Объясняя и используя примеры противостояния. в 3-й Международной конференции по образовательным представительствам (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Переносимость в машинном обучении: от феноменов до атак черных ящиков с использованием противоборствующих образцов. Предзапись на https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Мода-MNIST: новый набор данных изображений для бенчмаркирования алгоритмов машинного обучения. Предпечатать на http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Оценка масштабируемости биологически мотивированных алгоритмов и архитектур глубокого обучения. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: быстрые атаки противника для сравнения надежности моделей машинного обучения в PyTorch, TensorFlow и JAX. Paszke, A. et al. PyTorch: Императивный стиль, высокопроизводительная библиотека глубокого обучения. в Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Глубокое остаточное обучение для распознавания изображений. в 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). Признания Авторы совета искренне благодарят доктора Риту Чжан, Даокен Ши и членов NVIDIA за ценную техническую поддержку вычислений GPU. Эта работа была поддержана Национальной ключевой научно-исследовательской программой Китая (номер 2020AAA0130400) К.Д. и Т.Х., Национальным фондом естественных наук Китая (номер 61825102) К.Т., Национальной ключевой научно-исследовательской программой Китая (номер 2022ZD01163005) К.М., Программой исследований ключевых областей провинции Гуандун (номер 2018B030338001) К.Х., Национальным фондом естественных наук Китая (номер 61825101) К.Т., Шведским научно-исследовательским советом (VR-M-2020 Эта статья доступна на природе под лицензией CC by 4.0 Deed (Attribution 4.0 International). Эта бумага является Лицензия CC by 4.0 Deed (Attribution 4.0 International). Доступно в природе
