Автори : Ющенко Чанг Ган він Лео Ма Шіофей Ліу J. J. Йоханнес Хьорт Олександр Козлов Ющенко він Шеньцзян Чжан Жаннет Hellgren Kotaleski Йонгхун Тіан Стен Грірнер Коли ти Тетяна Хуан Автори : Ющенко Чанг Ган він Лео Ма Шіофей Ліу J. J. Йоханнес Хьорт Олександр Козлов Ющенко він Шеньцзян Чжан Жаннет Hellgren Kotaleski Йонгхун Тіан Стен Грірнер Коли ти Тетяна Хуан абстрактні Біофізично деталізовані багатороздільні моделі є потужними інструментами для вивчення обчислювальних принципів мозку, а також служать теоретичною основою для генерації алгоритмів для систем штучного інтелекту (AI). Однак дорогі обчислювальні витрати серйозно обмежують застосування як в області нейронауки, так і в галузі штучного інтелекту. ендокринний ієрархічний cheduling (DHS) method to markedly accelerate such a process. We theoretically prove that the DHS implementation is computationally optimal and accurate. This GPU-based method performs with 2-3 orders of magnitude higher speed than that of the classic serial Hines method in the conventional CPU platform. We build a DeepDendrite framework, which integrates the DHS method and the GPU computing engine of the NEURON simulator and demonstrate applications of DeepDendrite in neuroscience tasks. We investigate how spatial patterns of spine inputs affect neuronal excitability in a detailed human pyramidal neuron model with 25,000 spines. Furthermore, we provide a brief discussion on the potential of DeepDendrite for AI, specifically highlighting its ability to enable the efficient training of biophysically detailed models in typical image classification tasks. D H S Введення Дешифрування кодування і обчислювальних принципів нейронів є важливим для нейронауки. Мозок ссавців складається з більш ніж тисяч різних типів нейронів з унікальними морфологічними і біофізичними властивостями. , в якому нейрони вважалися простими сумісними одиницями, досі широко застосовується в нейронних обчисленнях, особливо в аналізі нейронних мереж.В останні роки сучасний штучний інтелект (AI) використав цей принцип і розробив потужні інструменти, такі як штучні нейронні мережі (ANN). Однак, крім комплексних обчислень на рівні одного нейрона, субклітинні відділи, такі як нейронні дендрити, також можуть виконувати нелінійні операції як незалежні обчислювальні одиниці. , , , , Крім того, дендритні спини, невеликі протрузії, які щільно покривають дендрити в спинних нейронах, можуть розділяти синаптичні сигнали, дозволяючи їм бути відокремленими від їх батьківських дендритів ex vivo і in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Симуляції з використанням біологічно деталізованих нейронів забезпечують теоретичну основу для зв'язку біологічних деталей з обчислювальними принципами. , дозволяє нам моделювати нейрони з реалістичними дендритними морфологіями, внутрішньоіонною провідністю та екстринними синаптичними входами. , яка моделює біофізичні мембранні властивості дендритів як пасивні кабелі, надаючи математичний опис того, як електронні сигнали вторгаються і розповсюджуються через складні нейронні процеси. , . 12 13 12 4 7 На додаток до його глибокого впливу на нейронауку, біологічно деталізовані моделі нейронів нещодавно були використані для подолання розриву між нейронними структурними та біофізичними деталями та AI. Переважаюча техніка в сучасній галузі AI - це ANN, що складається з точкових нейронів, аналог біологічних нейронних мереж. Хоча ANN з алгоритмом "backpropagation-of-error" (backprop) досягають чудових результатів у спеціалізованих додатках, навіть перемагаючи кращих професійних гравців людини в іграх Go і шахів. , , людський мозок все ще перевершує ANN в областях, які включають в себе більш динамічні та шумні середовища , Останні теоретичні дослідження показують, що дендритна інтеграція має вирішальне значення для генерації ефективних алгоритмів навчання, які потенційно перевищують бакпроп у паралельній обробці інформації. , , Крім того, одна детальна багатороздільна модель може вивчати нелінійні обчислення для точкових нейронів на рівні мережі, регулюючи тільки синусову міцність. , Таким чином, це має високий пріоритет для розширення парадигм в мозково-подібного AI від окремих детальних моделей нейронів до великомасштабних біологічно детальних мереж. 14 15 16 17 18 19 20 21 22 Однією з довготривалих проблем детального підходу до симуляції є надзвичайно високі обчислювальні витрати, які серйозно обмежили його застосування до нейронауки та штучного інтелекту. , , Щоб підвищити ефективність, класичний метод Hines скорочує складність часу для вирішення рівнянь від O(n3) до O(n), який широко застосовується як основний алгоритм у популярних симуляторах, таких як NEURON. і генетики Однак, цей метод використовує серійний підхід для обробки кожного відділу послідовно.Коли симуляція включає в себе кілька біофізично деталізованих дендритів з дендритичними спинами, матриця лінійних рівнянь («Hines Matrix») масштабується відповідно з зростаючою кількістю дендритів або спинів (рис. ), що робить метод Хінеса більше не практичним, оскільки він становить дуже велике навантаження на всю симуляцію. 12 23 24 25 26 1е Реконструйована п'ятишарова пірамідальна модель нейронів і математична формула, що використовується при детальних моделях нейронів. Робочий потік при чисельному симуляції детальних моделей нейронів.Фаза вирішення рівняння є пляшкою в симуляції. Приклад лінійних рівнянь у симуляції. Залежність даних від методу Хінес при вирішенні лінійних рівнянь . . Кількість лінійних рівнянь, що повинні бути вирішені, значно збільшується, коли моделі стають більш детальними. Обчислювальна вартість (кроки, зроблені у фазі вирішення рівняння) методу серійного Гінеса на різних типах моделей нейронів. Різні частини нейрону призначаються до декількох обробних одиниць паралельними методами (середина, справа), відображаються різними кольорами. Обчислювальна вартість трьох методів Розв'язування рівнянь пірамідної моделі з спинами. Час виконання різних методів на вирішення рівнянь для 500 пірамідальних моделей з спинами. Час виконання вказує на витрату часу симуляції 1 с (розв'язання рівняння 40 000 разів з кроком часу 0,025 мс). p-Hines паралельний метод в CoreNEURON (на GPU), метод на базі галузі на основі паралельного методу (на GPU), DHS ієрархічний метод планування (на GPU). a b c d c e f g h g i Протягом останніх десятиліть був досягнутий величезний прогрес у прискоренні методу Гінеса шляхом використання паралельних методів на клітинному рівні, що дозволяє паралелізувати обчислення різних частин в кожній клітині. , , , , , Однак нинішні паралельні методи на клітинному рівні часто не мають ефективної стратегії паралелізації або не мають достатньої чисельної точності в порівнянні з оригінальним методом Hines. 27 28 29 30 31 32 Тут ми розробляємо повністю автоматичний, чисельно точний та оптимізований симуляційний інструмент, який може значно прискорити обчислювальну ефективність та знизити обчислювальні витрати. Крім того, цей симуляційний інструмент може бути бездоганно прийнятий для встановлення та тестування нейронних мереж з біологічними деталями для машинного навчання та додатків AI. Критично, ми формулюємо паралельне обчислення методу Hines як проблему математичного планування та генеруємо метод дендритичного ієрархічного планування (DHS) на основі комбінаторної оптимізації Теорія паралельного обчислення Ми демонструємо, що наш алгоритм забезпечує оптимальне планування без будь-якої втрати точності. Крім того, ми оптимізували DHS для найбільш просунутого в даний час чіпа GPU, використовуючи ієрархію пам'яті GPU та механізми доступу до пам'яті. У порівнянні з класичним симулятором Neuron При цьому зберігається однакова точність. 33 34 1 25 Щоб дозволити детальні дендритні симуляції для використання в AI, ми далі встановлюємо рамку DeepDendrite шляхом інтеграції DHS-вбудованої платформи CoreNEURON (оптимізований обчислювальний двигун для NEURON). як симуляційний двигун і два допоміжні модулі (модуль I/O і модуль навчання), що підтримують алгоритми дендритного навчання під час симуляцій. DeepDendrite працює на апаратній платформі GPU, підтримуючи як регулярні завдання симуляції в неврології, так і завдання навчання в AI. 35 Нарешті, ми також представимо кілька додатків за допомогою DeepDendrite, спрямованих на деякі критичні виклики в галузі нейронауки та штучного інтелекту: (1) Ми демонструємо, як просторові закономірності дендритних входів хребта впливають на нервову діяльність з нейронами, що містять хребти по всіх дендритних деревах (повніх моделей хребта). DeepDendrite дозволяє нам досліджувати нейронні обчислення в моделі симульованого людського пірамідного нейрона з ~25 000 дендритних хребтів. (2) У дискусії ми також розглядаємо потенціал DeepDendrite в контексті штучного інтелекту, зокрема, у створенні ANN з морфологічно детальними людськими пірамідними нейронами Всі вихідні коди для DeepDendrite, моделі повного хребта та детальна модель дендритної мережі публічно доступні онлайн (див. код Доступність). Наша система навчання з відкритим кодом може бути легко інтегрована з іншими правилами дендритного навчання, такими як правила навчання для нелінійних (повністю активних) дендритів Вибухозалежна синаптична пластичність Навчання з передбаченням spike В цілому, наше дослідження надає повний набір інструментів, які мають потенціал для зміни поточної екосистеми обчислювальної нейронауки спільноти.Використовуючи потужність GPU-обчислення, ми передбачаємо, що ці інструменти сприятимуть системному дослідженню обчислювальних принципів тонких структур мозку, а також сприяти взаємодії між нейронаукою та сучасним AI. 21 20 36 Результати Метод дендритного ієрархічного планування (DHS) Обчислення іонних струмів і вирішення лінійних рівнянь є двома критичними фазами при моделюванні біофізично деталізованих нейронів, які займають багато часу і створюють серйозні обчислювальні навантаження.На щастя, обчислення іонних струмів кожного відділу є повністю незалежним процесом, тому його можна паралелізувати на пристроях з масивними паралельними обчислювальними одиницями, такими як GPU. Як наслідок, вирішення лінійних рівнянь стає залишковою пляшкою для процесу паралелізації (рис. ) 37 1а – f To tackle this bottleneck, cellular-level parallel methods have been developed, which accelerate single-cell computation by “splitting” a single cell into several compartments that can be computed in parallel , , Однак такі методи сильно покладаються на попередні знання, щоб генерувати практичні стратегії щодо того, як розділити один нейрон на відділення (рис. • Додаткова фігура. Отже, він стає менш ефективним для нейронів з асиметричними морфологіями, наприклад, пірамідних нейронів і нейронів Пуркінже. 27 28 38 1 г 1 Ми прагнемо розробити більш ефективний і точний паралельний метод для моделювання біологічно деталізованих нейронних мереж. По-перше, ми встановлюємо критерії точності паралельного методу на клітинному рівні. , ми пропонуємо три умови, щоб переконатися, що паралельний метод дасть ідентичні рішення як метод серійного обчислення Hines відповідно до залежності даних в методі Hines (див. методи). Потім, щоб теоретично оцінити час роботи, тобто ефективність, методів серійного і паралельного обчислення, ми вводимо і формулюємо поняття обчислювальних витрат як кількість кроків, які метод приймає у вирішенні рівнянь (див. методи). 34 Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem (see Methods). In simple terms, we view a single neuron as a tree with many nodes (compartments). For паралельні нитки, ми можемо обчислювати максимум Ми повинні забезпечити, щоб вузол обчислювався тільки в тому випадку, якщо всі його дитячі вузли були оброблені; наша мета полягає в тому, щоб знайти стратегію з мінімальною кількістю кроків для всієї процедури. k k Щоб створити оптимальний розділ, ми пропонуємо метод під назвою дендритний ієрархічний графік (DHS) (теоретичні докази представлені в методах). Метод DHS включає в себе два етапи: аналіз дендритної топології і пошук найкращого розділу: (1) Згідно з детальною моделлю, ми спочатку отримуємо його відповідне дерево залежності і обчислюємо глибину кожного вузла (глибина вузла є кількістю його предків вузлів) на дереві (рис. 2) Після топологічного аналізу ми проводимо пошук кандидатів і вибираємо максимум Найглибші кандидатурні вузли (вузл є кандидатом тільки в тому випадку, якщо всі його дитячі вузли були оброблені). ) 2а 2b, c k 2D Процеси роботи DHS, DHS Найбільш глибокі вузли кандидата для кожної ітерації. Ілюстрація обчислення глибини вузлів відсічної моделі. Спочатку модель перетворюється на структуру дерева, потім обчислюється глибина кожного вузла. Кольори вказують різні значення глибини. Топологічний аналіз на різних моделях нейронів. Тут показано шість нейронів з різною морфологією. Для кожної моделі сома вибирається як корінь дерева, так що глибина вузла збільшується від соми (0) до дистальних дендритів. Ілюстрація виконання DHS на моделі в з чотирма нитками. Кандидати: вузли, які можна обробляти. Вибрані кандидати: вузли, які вибирають DHS, тобто Оброблені вузли: вузли, які були оброблені раніше. Стратегія паралелізації, отримана DHS після процесу в DHS скорочує етапи серійної обробки вузлів з 14 до 5 шляхом розподілу вузлів на кілька ниток. Відносна вартість, тобто частка обчислювальних витрат DHS до методу серійних Hines, при застосуванні DHS з різною кількістю ниток на різні типи моделей. a k b c d b k e d f Візьміть спрощену модель з 15 відсіками як приклад, використовуючи метод серійного обчислення Hines, для обробки всіх вузлів потрібно 14 кроків, в той час як за допомогою DHS з чотирма паралельними одиницями можна розділити його вузли на п'ять піднаборів (рис. Оскільки вузли в одному і тому ж піднаборі можуть оброблятися паралельно, потрібно лише п'ять кроків для обробки всіх вузлів за допомогою DHS (рис. ) 2D 2а Далі ми застосовуємо метод DHS до шести представницьких детальних моделей нейронів (вибраних з ModelDB). з різною кількістю видів (рис. (включаючи пірамідні нейрони кору і гіппокампу) , , Церебральний нейрон Purkinje Стріатний проекційний нейрон (SPN) ), а також митральні клітини запальної лампочки , що охоплює основні нейрони в сенсорних, коркових і підкоркових областях. Потім ми виміряли обчислювальні витрати. Відносна обчислювальна вартість тут визначається пропорцією обчислювальних витрат DHS до пропорції методу серійних Hines. Обчислювальні витрати, тобто кількість кроків, зроблених при вирішенні рівнянь, різко падає з збільшенням кількості ниток. Наприклад, при 16 нитках обчислювальні витрати DHS складають 7%-10% в порівнянні з методом серійних Hines. Цікаво, що метод DHS досягає нижчих меж їх обчислювальних витрат для представлених нейронів, коли дається 16 або навіть 8 паралельних ниток (рис. ), припускаючи, що додавання більше ниток не покращує продуктивність ще більше через залежності між відсіками. 39 2f 40 41 42 43 44 45 2f Разом ми генеруємо метод DHS, який дозволяє автоматизований аналіз дендритної топології та оптимальний розділ для паралельного обчислення.Це варто відзначити, що DHS знаходить оптимальний розділ перед початком симуляції, і ніяких додаткових обчислень не потрібно для вирішення рівнянь. Прискорення DHS за допомогою підсилення пам'яті GPU DHS обчислює кожен нейрон з декількома нитками, які споживають велику кількість ниток при виконанні нейронних мережевих симуляцій.Графічні обробні одиниці (GPU) складаються з масивних обробних одиниць (тобто, потокових процесорів, SP, фіг. для паралельного обчислення Теоретично, багато SP на GPU повинні підтримувати ефективне моделювання для великих нейронних мереж (рис. Однак ми послідовно спостерігали, що ефективність DHS значно зменшується, коли розмір мережі зростає, що може бути результатом розсіяного зберігання даних або додаткового доступу до пам'яті, викликаного завантаженням та написанням проміжних результатів (рис. на ліву сторону). 3а, б 46 3С 3D GPU архітектура і її ієрархія пам'яті. Кожен GPU містить масивні обробні одиниці (процесори потоку). Різні типи пам'яті мають різний пропуск. Архітектура потокових мультипроцесорів (SM).Кожен SM містить кілька потокових процесорів, реєстрів та кеш L1. Застосування DHS на двох нейронах, кожен з яких має чотири нитки. Під час симуляції кожна нитка виконує на одному потоковому процесорі. Стратегія оптимізації пам'яті на GPU. Верхня панель, присвоєння ниток та зберігання даних DHS, до (ліворуч) і після (праворуч) підвищення пам'яті. Процесори надсилають запит на дані для завантаження даних для кожного нитка з глобальної пам'яті.Без збільшення пам'яті (ліворуч) потрібно сім транзакцій для завантаження всіх даних запиту і деякі додаткові транзакції для проміжних результатів.При збільшенні пам'яті (праворуч) потрібно лише дві транзакції для завантаження всіх даних запиту, реєстри використовуються для проміжних результатів, що ще більше покращує пропуск пам'яті. Час роботи DHS (32 нитки в кожній клітині) з і без підвищення пам'яті на багатошарових 5 пірамідних моделях з спинами. Прискорення прискорення пам'яті на багатошарових п'яти пірамідних моделях з спинами. a b c d d e f Ми вирішуємо цю проблему за допомогою збільшення пам'яті GPU, методу збільшення пропускної здатності пам'яті, використовуючи ієрархію пам'яті і механізм доступу GPU. Виходячи з механізму завантаження пам'яті GPU, послідовні нитки, що завантажують упорядковані і послідовно збережені дані, призводять до високого пропускного спростування пам'яті в порівнянні з доступом до даних, що зберігаються в диспетчері, що зменшує пропускну здатність пам'яті. , Щоб досягти високої пропускної здатності, ми спочатку вирівнюємо обчислювальні накази вузлів і перерозподіляємо нитки відповідно до кількості вузлів на них. Потім ми переміщуємо зберігання даних у глобальній пам'яті, відповідно до обчислювальних наказів, тобто вузли, які обробляються на одному кроці, зберігаються послідовно у глобальній пам'яті. Крім того, ми використовуємо реєстри GPU для зберігання проміжних результатів, подальше зміцнюючи пропускну здатність пам'яті. Крім того, експерименти на декількох числах пірамідних нейронів з хребцями і типові моделі нейронів (рис. • Додаткова фігура. ) показують, що підвищення пам'яті досягає 1,2-3,8-кратного прискорення в порівнянні з наївною DHS. 46 47 3D 3а, f 2 Для всебічного тестування продуктивності DHS з підсиленням пам'яті GPU ми вибираємо шість типових моделей нейронів і оцінюємо час роботи вирішення кабельних рівнянь на масивних числах кожної моделі (рис. Ми досліджували DHS з чотирма нитками (DHS-4) і шістнадцятьма нитками (DHS-16) для кожного нейрона відповідно.Порівняно з методом GPU в CoreNEURON, DHS-4 і DHS-16 можуть прискорюватися приблизно в 5 і 15 разів відповідно (рис. Крім того, у порівнянні з традиційним методом серійних Hines в NEURON, що працює з однією ниткою процесора, DHS прискорює симуляцію на 2-3 порядку величини (Додаткова фігура. ), зберігаючи при цьому ідентичну чисельну точність за наявності щільних спинів (Додаткові фігури. та ), активні дендрити (Додатковий фіг. ) and different segmentation strategies (Supplementary Fig. ) 4 4а 3 4 8 7 7 Виконавчий час вирішення рівнянь для 1 с моделювання на GPU (dt = 0,025 мс, 40 000 ітерацій загалом).CoreNEURON: паралельний метод, що використовується в CoreNEURON; DHS-4: DHS з чотирма нитками для кожного нейрона; DHS-16: DHS з 16 нитками для кожного нейрона. , Візуалізація розділу DHS-4 і DHS-16, кожен колір вказує на єдину нитку. a b c DHS створює клітинно-специфічне оптимальне розділення Щоб отримати уявлення про робочий механізм методу DHS, ми візуалізували процес розділення шляхом відображення відсіків на кожну нитку (кожен колір представляє одну нитку на фігурі. Візуалізація показує, що одна нитка часто перемикається між різними гілками (рис. ). Interestingly, DHS generates aligned partitions in morphologically symmetric neurons such as the striatal projection neuron (SPN) and the Mitral cell (Fig. На відміну від цього, він генерує фрагментовані розділи морфологічно асиметричних нейронів, таких як пірамідні нейрони і клітина Пуркінже (рис. ), що вказує на те, що DHS розділяє нейронне дерево на індивідуальну шкалу відсіку (тобто, вузол дерева), а не на шкалу гілки. 4б, в 4б, в 4б, в 4б, в У підсумку, DHS і підвищення пам'яті генерують теоретично доведене оптимальне рішення для вирішення лінійних рівнянь паралельно з безпрецедентною ефективністю. Використовуючи цей принцип, ми побудували платформу DeepDendrite з відкритим доступом, яку можуть використовувати нейронауковці для реалізації моделей без будь-яких специфічних знань з програмування GPU. Нижче ми демонструємо, як ми можемо використовувати DeepDendrite в завданнях нейронауки. DHS дозволяє моделювати рівень хребта Оскільки дендритні хребці отримують більшу частину збудливого входу до пірамідних нейронів кору і гіппокампу, стріатних проекційних нейронів і т.д., їх морфологія і пластичність мають вирішальне значення для регулювання нервової збудливості. , , , , Однак спини занадто малі (~ 1 мкм довжини), щоб безпосередньо вимірювати експериментально стосовно процесів, залежних від напруги. 10 48 49 50 51 Ми можемо моделювати єдиний хребет з двома відділами: хребетна голова, де розташовані синапси, і шия хребта, що з'єднує хребетну голову з дендритами. Теорія передбачає, що дуже тонка шия хребта (0,1-0,5 мкм в діаметрі) електронно ізолює хребетну головку від її батьківського дендриту, тим самим розділяючи сигнали, що генеруються на спинній голові. Однак детальна модель з повністю розподіленими спинами на дендритах («повна спинна модель») є обчислювально дуже дорогим. Фактор спинного Натомість, замість того, щоб розшифрувати всі вищезазначені Фактор хребта спрямований на наближення впливу хребта на біофізичні властивості клітинної мембрани . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. Імовірність імовірності (Фіг. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5а F 5a F 5b, c 5d 5d 5d Експериментальна установка. Ми розглядаємо два основних типи моделей: моделі з декількома хребцями і моделі з повним хребцем. Моделі з декількома хребцями (дві зліва) - це моделі, які включають область хребця глобально в дендрити і лише прикріплюють окремі хребці разом з активованими синапсами. У моделях з повним хребцем (дві зліва) всі хребці чітко прикріплюються до цілих дендритів. Ми досліджуємо вплив кластеризованих і випадково розподілених синаптичних входів на моделі з декількома хребцями та моделі з повним хребцем відповідно. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Кольорові напруги під час симуляції at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d На платформі DeepDendrite моделі з повним хребтом і з малою хребтом досягли 8-кратного прискорення порівняно з CoreNEURON на платформі GPU і 100-кратного прискорення порівняно з серійним NEURON на платформі CPU (рис. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks Ми показуємо, що DeepDendrite може підтримувати як симуляції нейронауки, так і пов'язані з AI детальні завдання нейронної мережі з безпрецедентною швидкістю, тим самим значно сприяючи детальним симуляціям нейронауки і потенційно для майбутніх досліджень AI. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , За допомогою методів на рівні мережі ми можемо імітувати детальні мережі на кластерах або суперкомп'ютерах. . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine Однак у класичних моделях деталізованих відсіків всі спини замінюються coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , Однак існує компроміс між розміром моделі та біологічною детальністю, оскільки збільшення масштабу мережі часто жертвується для складності на рівні нейронів. , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. запропонував нову архітектуру ANN з активними дендритами, що демонструє конкурентні результати у багатозадачних і безперервному навчанні. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks у порівнянні зі стандартними ANN, як видно в MNIST and Fashion-MNIST Огляд даних (фіг. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method Для теоретичної оцінки часу роботи, тобто ефективності, методів серійного і паралельного обчислення ми вводимо і формулюємо концепцію обчислювальних витрат наступним чином: and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ Тобто, принаймні nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → → → → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree • { , } and a positive integer , where Це вузол і is the edge set. Define partition ( ) = { , , … Наприклад, у | ≤ , 1 ≤ ≤ n, де | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn VI k i Vi Vi VI v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | ≤ ≤ ≤ ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn VI Q Q Vi V1 V2 Vi-1 Vn V1 VI V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Для кожного підрозділу in ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in Це менше, ніж , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( 2) залишається таким же після внесення змін. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s П* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make не відповідає критеріям максимальної глибини: (1) | < Існує кілька дійсних вузлів в that are not put to ; (2) | | = but nodes in are not the Найглибші вузли в . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in Таким чином will be put into a subsequent subset ( > ). We first move from to + , then modify subset + + as follows: if | + | ≤ and none of the nodes in + + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + Перемістити батьківський вузол на + + ; else move the node with minimum depth from + to + + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V * I V*i < k V*i V*i 6b V*i k Qi V * I 6b V*i V*i v k V» Qi V» V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V * I 1 6c v V * I 1 V * I 2 V*i 1 V * I 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V In conclusion, DHS generates a partition ( ) і всі підрозділи ∈ ( 2) задовольняє умови максимальної глибини: для будь-якого іншого оптимального розділу ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) Подібне відбувається і після модифікації. ( ) отриманий з DHS є одним з оптимальних розділів. P V VI P V П* V P V P* V | P V GPU implementation and memory boosting Для досягнення високої пропускної здатності пам'яті, GPU використовує ієрархію пам'яті (1) глобальної пам'яті, (2) кеші, (3) реєстру, де глобальна пам'ять має велику місткість, але низьку пропускну здатність, тоді як реєстри мають низьку місткість, але високу пропускну здатність. GPU employs SIMT (Single-Instruction, Multiple-Thread) architecture. Warps are the basic scheduling units on GPU (a warp is a group of 32 parallel threads). A warp executes the same instruction with different data for different threads Правильне розташування вузлів є важливим для цієї партії обчислень у варпах, щоб переконатися, що DHS отримує ідентичні результати як метод серійних Hines. Коли ми впроваджуємо DHS на GPU, ми спочатку групуємо всі клітини в кілька варп на основі їх морфологій. Клітини з подібними морфологіями групуються в одну варпу. Потім ми застосовуємо DHS до всіх нейронів, приділяючи відділення кожного нейрона до декількох ниток. Оскільки нейрони групуються в варпи, нитки для одного і того ж нейрона знаходяться в одній варпі. Тому внутрішня синхронізація у варпах тримає обчислювальний порядок узгодженим з залежністю даних методу серійних Hines. 46 Коли варп завантажує попередньо узгоджені та послідовно збережені дані з глобальної пам'яті, він може повністю використовувати кеш, що призводить до високого пропускного рівня пам'яті, при цьому доступ до даних, що зберігаються в розсіяному режимі, зменшить пропускний рівень пам'яті. Після присвоєння відділень та перерозподілу ниток ми переміщуємо дані в глобальну пам'ять, щоб зробити їх узгодженими з обчислювальними замовленнями, щоб варпи могли завантажувати послідовно збережені дані при виконанні програми. Біофізичні моделі повної та малої хребта Ми використовували опублікований людський пірамідальний нейрон . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 мВ відповідно. Всі ці специфічні параметри були встановлені так само, як і в моделі Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck шия = 1,35 мкм і діаметр шия = 0,25 мкм, тоді як довжина і діаметр спинної голови становили 0,944 мкм, тобто площа спинної голови була встановлена на 2,8 мкм2. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ фоновий шум We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 Модель HPC-Net Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ Т0 де є постсинаптична напруга, зворотний потенціал syn = 1 mV, максимальна синаптична провідність max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1,0 μF cm-2, мембранний опір m = 104 Ω cm2, аксіальна резистентність a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 gijk райони i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Класифікація зображень за допомогою HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation де is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and показує кількість класів, що дорівнює кількості вихідних нейронів. Клас з максимальною передбаченою ймовірністю є кінцевим результатом класифікації. У цій статті ми побудували HPC-Net з 784 вхідними нейронами, 64 прихованими нейронами і 10 вихідними нейронами. 6 pi i i C Synaptic plasticity rules for HPC-Net Натхненний попередньою роботою Для того, щоб зробити це, ми використовуємо правило навчання, засноване на градієнті, щоб навчити нашу HPC-Net виконувати завдання класифікації зображень. ), where is the predicted probability for class , вказує фактичний клас, до якого належить образ стимулу, = 1 if input image belongs to class І = 0 if not. 36 7 pi i yi yi i yi Під час тренування HPC-Net ми обчислюємо оновлення для ваги (the synaptic weight of the -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and Відповідно до is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net Щоб продемонструвати міцність HPC-Net, ми перевірили точність його прогнозування на пробах противника і порівняли його з аналоговим ANN (один з однаковою структурою 784-64-10 і активацією ReLU, для справедливого порівняння в нашій HPC-Net кожен вхідний нейрон зробив тільки одне синаптичне з'єднання з кожним прихованим нейроном). Ми спочатку тренували HPC-Net і ANN з оригінальним набором тренувань (оригінальні чисті зображення). Потім ми додали шум противника до набору тесту і виміряли їх точність прогнозування на наборі шумового тесту. , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , і HPC-Net було навчено з нашим DeepDendrite. Для справедливості, ми генерували супротивний шум на значно іншій моделі мережі, 20-шаровий ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Доступність даних Дані, які підтримують висновки цього дослідження, доступні в папері, Додаткові відомості та файли Дані джерела, надані разом з цією статтею. – are available at . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – У цьому дослідженні доступні . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. Логічний розрахунок ідей, невід'ємних нервовій діяльності. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436–444 (2015). Nature 521 Пуаразі, П., Бреннон, Т. і Мель, Б. В. Арифметичне підсумкове синаптичне підсумування в моделі пірамідної клітини CA1. London, M. & Häusser, M. Dendritic computation. , 503–532 (2005). Annu. Rev. Neurosci. 28 Бранко, Т. & Хауссер, М. Одиночна дендритна гілка як фундаментальна функціональна одиниця нервової системи. Curr. Opin. Neurobiol. 20, 494–502 (2010). Стюарт, Дж. і Спрістон, Н. Дендритична інтеграція: 60 років прогресу. Нат. Невросоці. 18, 1713–1721 (2015). Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. , 303–321 (2020). Nat. Rev. Neurosci. 21 Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. Зміни дендритного хребта, пов'язані з довготривалою синаптичною пластичністю гіппокампуса. Юст, Р. Дендритичні спини та розподілені схеми. Нейрон 71, 772–781 (2011). Юст, Р. Електрична відсічність в дендритних хребтах. Рев. Neurosci. 36, 429–449 (2013). Rall, W. Branching dendritic trees and motoneuron membrane resistivity. , 491–527 (1959). Exp. Neurol. 1 Segev, I. & Rall, W. Комп'ютерне дослідження збудливого дендритного хребта. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Mastering the game of go with deep neural networks and tree search. , 484–489 (2016). Nature 529 Срібло, Д. та ін. Загальний алгоритм навчання підкріплення, який освоює шахи, шогі та проходить через самостійну гру. McCloskey, M. & Cohen, N. J. Катастрофічне втручання в зв'язкові мережі: проблема послідовного навчання. French, R. M. Catastrophic forgetting in connectionist networks. , 128–135 (1999). Trends Cogn. Sci. 3 Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. , E6329–E6338 (2018). Proc. Natl Acad. Sci. USA 115 Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic кортикальні мікрокруги наближають алгоритм зворотного поширення. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits. , 1010–1019 (2021). Nat. Neurosci. 24 Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. Градієнтний кластерон: модельний нейрон, який вчиться вирішувати завдання класифікації за допомогою дендритних нелінійностей, структурної пластичності та градієнтного сходження. Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. , 500–544 (1952). J. Physiol. 117 Ралл, В. Теорія фізіологічних властивостей дендритів. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. Нейронне середовище симуляції Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. in (eds Bower, J.M. & Beeman, D.) 17–27 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. Повністю непряме паралельне моделювання одиночних нейронів. Ben-Shalom, R., Liberman, G. & Korngreen, A. Прискорення моделювання відсіків на графічній обробній одиниці. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Ефективне чисельне моделювання моделей нейронів з просторовою структурою на графічних обробних одиницях. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Паралелізуючи Hines Matrix Solver в нейронних симуляціях на GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Ефективний дерев'яний розбирач для гінних матриць на GPU. Препринт на https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Теорія комбінаційної оптимізації та алгоритми 6 edn (Springer, 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. Навчання за дендритним передбаченням соматичного сп'яніння. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Оптимізація моделей іонних каналів за допомогою паралельного генетичного алгоритму на графічних процесорах. Маскані, М. Паралелізуючий алгоритм для обчислювальних рішень до довільно розгалужених моделей кабельних нейронів. McDougal, R. A. et al. Twenty years of modelDB and beyond: building essential modeling tools for the future of neuroscience. , 1–10 (2017). J. Comput. Neurosci. 42 Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively blocks temporal summation of unsynchronized distal inputs in CA1 pyramidal neurons. , 5–13 (2004). J. Comput. Neurosci. 16 Hemond, P. et al. Різні класи пірамідних клітин виявляють взаємовиключні закономірності вибуху в області гіппокампу CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Models of neocortical layer 5b pyramidal cells capturing a wide range of dendritic and perisomatic active Properties. , e1002107 (2011). PLoS Comput. Biol. 7 Masoli, S., Solinas, S. & D’Angelo, E. Обробка потенціалу дії в детальній моделі клітин пуркіньє розкриває критичну роль для аксональної відділення. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. Synaptic clusters function as odor operators in the olfactory bulb. , 8499–8504 (2015). Proc. Natl Acad. Sci. USa 112 NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Synaptic amplification by dendritic spines enhances input cooperativity. , 599–602 (2012). Nature 491 Чиу, К. К. та ін. Компартименталізація габанергічного гальмування дендритичними хребцями. Наука 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. , 181 (2018). Front. Cell. Neurosci. 12 Кох, С. і Задор, А. Функція дендритних спин: пристрої, що підпорядковують біохімічну, а не електричну компонементалізацію. Кох, К. Дендритичні спини. в біофізиці обчислення (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Ефективне обчислення розгалужених нервових рівнянь. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Біологічно натхненний захист глибоких мереж від ворожих атак. Препринт на https://arxiv.org/abs/1703.09202 (2017). Годдард, Н. Х. і Гуд, Г. Широкомасштабна симуляція з використанням паралельного генезису. в Книзі ГЕНЕЗИСУ: Вивчення реалістичних нейронних моделей за допомогою системи генеральної нейронної симуляції (Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Паралельні мережеві симуляції з нейроном. Lytton, W. W. et al. Симуляційні нейротехнології для просування досліджень мозку: паралелізація великих мереж в NEURON. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In 566–575 (IEEE, 2017). Proc. 2017 International Conference on Computational Science Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. An ultrascalable solution to large-scale neural tissue simulation. , 15 (2011). Front. Neuroinform. 5 Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Палмер, Л. М. і Стюарт, Г. Дж. Потенційні зміни мембран в дендритних хребтах під час потенціалів дії та синаптичних входів. Nishiyama, J. & Yasuda, R. Biochemical computation for spine structural plasticity. , 63–75 (2015). Neuron 87 Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Аксональна динаміка збуджуючих і інгібуючих нейронів в соматосенсорній корі. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rapid formation and selective stabilization of synapses for enduring motor memories. , 915–919 (2009). Nature 462 Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Enhancing motor learning by increasing the stability of newly formed dendritic spines in the motor cortex. , 3298–3311 (2021). Neuron 109 Бранко, Т. & Хауссер, М. Градиенти синаптичної інтеграції в одиночних дендритах пірамідних клітин. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Активні властивості неокортикального пірамідного нейрону дендритів. Annu. Rev. Neurosci. 36, 1-24 (2013). Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, influencing local dendritic processing and global I/O properties of cortical neurons. , 1550–1561 (2017). Cell Rep. 21 Du, K. et al. Клітинно-специфічне пригнічення потенціалу дендритного плато в стріатних спинних проекційних нейронах. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Сміт, С. Л., Сміт, І. Т., Бранко, Т. & Хауссер, М. Дендритичні пики підвищують селективність стимулів у коркових нейронах in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Нелінійна дендритна інтеграція сенсорного і моторного введення під час активного сенсорного завдання. Nature 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. Мікрокруги стріату в силіко. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Переносимість в машинному навчанні: від явищ до атак чорних ящиків з використанням спроможних зразків. Заздалегідь на https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Оцінка масштабуваності алгоритмів і архітектур глибокого навчання, мотивованих біологічним шляхом. в Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) визнання Автори ради щиро дякують д-ру Ріті Чжан, Даоген Ши та членам NVIDIA за цінну технічну підтримку обчислювальних процесорів.Ця робота була підтримана Національною ключовою програмою досліджень і розробки (No 2020AAA0130400) до К.Д. та Т.Х., Національним фондом природничих наук Китаю (No 6182510102) до Т.Т., Національною ключовою програмою досліджень і розробки Китаю (No 2022ZD01163005) до L.M., Програмою досліджень і розробки ключових областей провінції Гуандун (No 2018B030338001) до Т.H., Національним фондом природничих наук Китаю (No 61825101) до Y.T., Ш This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature Цей документ є under CC by 4.0 Deed (Attribution 4.0 International) license. Доступний у природі
