Científicos constrúen un motor de GPU que simula células cerebrais 1.500 veces máis rápido

Os autores: Yichen Zhang Gañou Lei Ma Xoán Liu J. J. Xoán Hjorth Alexandre Kozlov Xesús o Xenxián Zhang por Jeanette Hellgren Kotaleski Yonghong Tian Rianxo Grillo Kai Du Xurxo Huang Os autores: Xesús Zhang Gañou Lei Ma Xoán Liu J. J. Xoán Hjorth Alexandre Kozlov Xesús o Xenxián Zhang por Jeanette Hellgren Kotaleski Xogo Tian Rianxo Grillo cando ti Xurxo Huang Abstraccións Os modelos biofísicamente detallados de múltiples compartimentos son ferramentas poderosas para explorar os principios computacionais do cerebro e tamén serven como un marco teórico para xerar algoritmos para sistemas de intelixencia artificial (IA). Con todo, o custo computacional caro limita seriamente as aplicacións tanto nos campos da neurociencia como da IA. A maior lacuna durante a simulación de modelos de compartimentos detallados é a capacidade dun simulador de resolver grandes sistemas de ecuacións lineais. endóxeno Ierarquías cheduling (DHS) método para acelerar notablemente tal proceso. Teoricamente demostramos que a implementación DHS é computacionalmente óptima e precisa. Este método baseado en GPU realiza con 2-3 ordes de magnitude máis rápido que o do método clásico de serie Hines na plataforma de CPU convencional. Construímos un marco DeepDendrite, que integra o método DHS eo motor de computación GPU do simulador NEURON e demostra aplicacións de DeepDendrite en tarefas de neurociencia. Investigamos como os patróns espaciais de entradas de espiña afectan a excitabilidade neuronal nun modelo piramidal humano detallado de neuronas con 25.000 espiñas. Ademais, ofrecemos unha breve discusión sobre o potencial de DeepDendrite para AI, destacando especificamente a súa capacidade para permitir o ad D H S Introdución Descifrar os principios de codificación e computación das neuronas é esencial para a neurociencia. O cerebro dos mamíferos está composto por máis de miles de tipos diferentes de neuronas con propiedades morfolóxicas e biofísicas únicas. , no que as neuronas foron consideradas como simples unidades de sumación, aínda se aplica amplamente na computación neural, especialmente na análise de redes neurais. Nos últimos anos, a intelixencia artificial moderna (IA) utilizou este principio e desenvolveu ferramentas poderosas, como redes neurais artificiais (ANN). Non obstante, ademais de realizar computacións completas a nivel de neuronas, os compartimentos subcelulares, como as dendritas neuronais, tamén poden realizar operacións non lineares como unidades computacionais independentes. , , , , Ademais, as espiñas dendríticas, pequenas protrusións que cobren densamente os dendritos nas neuronas espiñais, poden compartimentar os sinais sinápticos, permitíndolles ser separados dos seus dendritos parentais ex vivo e in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 As simulacións que utilizan neuronas bioloxicamente detalladas proporcionan un marco teórico para vincular os detalles biolóxicos aos principios computacionais. , permítenos modelar neuronas con morfoloxías dendríticas realistas, conductancia iónica intrínseca e entradas sinápticas extrínsecas. , que modela as propiedades da membrana biofísica dos dendritos como cables pasivos, proporcionando unha descrición matemática de como os sinais electrónicos invaden e se propagan a través de procesos neuronais complexos. Ao incorporar a teoría do cable con mecanismos biofísicos activos como canles iónicos, correntes sinápticas excitadoras e inhibidoras, etc., un modelo detallado de multicompartimentos pode lograr cálculos neuronais celulares e subcelulares máis aló das limitacións experimentais , . 12 13 12 4 7 Ademais do seu profundo impacto na neurociencia, recentemente utilizáronse modelos de neuronas bioloxicamente detallados para romper a brecha entre os detalles estruturais e biofísicos neuronais e a IA. A técnica predominante no campo da IA moderna é ANNs consistentes en neuronas punto, un análogo ás redes neuronais biolóxicas. Aínda que ANNs con algoritmo de "backpropagation-of-error" (backprop) alcanzaron un rendemento notable en aplicacións especializadas, mesmo derrotando aos mellores xogadores profesionais humanos nos xogos de Go e xadrez. , O cerebro humano aínda supera aos ANNs en dominios que involucran ambientes máis dinámicos e ruidosos. , Estudos teóricos recentes suxiren que a integración dendrítica é crucial na xeración de algoritmos de aprendizaxe eficientes que potencialmente superan o backprop no procesamento paralelo da información. , , Ademais, un único modelo detallado de múltiples compartimentos pode aprender cálculos non lineares a nivel de rede para as neuronas de punto axustando só a forza sináptica. , , demostrando o pleno potencial dos modelos detallados na construción de sistemas de IA máis poderosos como o cerebro. Polo tanto, é de alta prioridade expandir paradigmas en IA cerebro-como desde modelos de neuronas individuais detallados a redes bioloxicamente detalladas a gran escala. 14 15 16 17 18 19 20 21 22 Un desafío de longa data do enfoque da simulación detallada reside no seu alto custo computacional, que limitou severamente a súa aplicación á neurociencia e á IA. O principal obstáculo da simulación é resolver ecuacións lineais baseadas nas teorías fundamentais da modelización detallada. , , Para mellorar a eficiencia, o método clásico de Hines reduce a complexidade do tempo para resolver ecuacións de O(n3) a O(n), que foi amplamente aplicado como o algoritmo principal en simuladores populares como NEURON. e xenética Non obstante, este método utiliza un enfoque de serie para procesar cada compartimento secuencialmente.Cando unha simulación implica múltiples dendritos detallados biofísicamente con espiñas dendríticas, a matriz de ecuacións lineais ("Hines Matrix") escala en consecuencia cun número crecente de dendritos ou espiñas (Fig. ), facendo que o método de Hines xa non sexa práctico, xa que supón unha carga moi pesada sobre toda a simulación. 12 23 24 25 26 1o E Un modelo de neurona piramidal de capa 5 reconstruído e a fórmula matemática utilizada con modelos de neuronas detallados. O fluxo de traballo ao simular numericamente modelos neuronais detallados.A fase de solución de ecuacións é a barreira na simulación. Exemplo de ecuacións lineais na simulación. Dependencia de datos do método Hines ao resolver ecuacións lineais en . . O número de sistemas de ecuacións lineais a ser resolto sofre un aumento significativo cando os modelos están crecendo máis detallados. Custo computacional (pasos tomados na fase de solución de ecuacións) do método serial Hines en diferentes tipos de modelos de neuronas. Ilustración de diferentes métodos de resolución. As diferentes partes dunha neurona atópanse asignadas a múltiples unidades de procesamento en métodos paralelos (centro, dereita), mostrados con cores diferentes. Custo computacional de tres métodos Resolver ecuacións dun modelo piramidal con espiñas. O tempo de execución indica o consumo de tempo da simulación de 1 s (resolvendo a ecuación 40.000 veces cun paso de tempo de 0,025 ms). método paralelo p-Hines en CoreNEURON (en GPU), método paralelo baseado en rama baseado en rama (en GPU), método de planificación xerárquica DHS (en GPU). a b c d c e f g h g i Durante as últimas décadas, logrouse un enorme progreso para acelerar o método Hines mediante o uso de métodos paralelos a nivel celular, o que permite paralelar o cálculo de diferentes partes en cada célula. , , , , , Non obstante, os métodos paralelos actuais a nivel celular a miúdo carecen dunha estratexia de paralelización eficiente ou carecen de precisión numérica suficiente en comparación co método orixinal de Hines. 27 28 29 30 31 32 Aquí, desenvolvemos unha ferramenta de simulación totalmente automática, numericamente precisa e optimizada que pode acelerar significativamente a eficiencia computacional e reducir o custo computacional.Ademais, esta ferramenta de simulación pode ser adoptada sen problemas para establecer e probar redes neurais con detalles biolóxicos para aplicacións de aprendizaxe automática e IA. Críticamente, formulamos a computación paralela do método Hines como un problema de programación matemática e xeramos un método de planificación xerárquica dendrítica (DHS) baseado na optimización combinatoria Teoría da computación paralela Demostramos que o noso algoritmo proporciona unha planificación óptima sen perda de precisión.Ademais, optimizamos o DHS para o chip de GPU máis avanzado actualmente aproveitando a xerarquía de memoria de GPU e os mecanismos de acceso á memoria. ) en comparación co simulador clásico NEURON mantendo a mesma precisión. 33 34 1 25 Para permitir simulacións dendríticas detalladas para uso en IA, establecemos o marco DeepDendrite integrando a plataforma CoreNEURON (un motor de computación optimizado para NEURON) incorporado a DHS. como o motor de simulación e dous módulos auxiliares (modulo I/O e módulo de aprendizaxe) que soportan algoritmos de aprendizaxe dendrítico durante as simulacións. DeepDendrite funciona na plataforma de hardware da GPU, soportando tanto tarefas regulares de simulación en neurociencia como tarefas de aprendizaxe en AI. 35 Por último, pero non menos importante, tamén presentamos varias aplicacións usando DeepDendrite, dirixidos a algúns desafíos críticos en neurociencia e IA: (1) Demostramos como os patróns espaciais das entradas dendríticas da columna vertebral afectan as actividades neuronais con neuronas que conteñen espiñas ao longo das árbores dendríticas (modelos de espiña completa). DeepDendrite permítenos explorar a computación neuronal nun modelo de neurona piramidal humana simulado con ~25.000 espiñas dendríticas. (2) Na discusión tamén consideramos o potencial de DeepDendrite no contexto da IA, especificamente, na creación de ANNs con neuronas piramidales humanas morfolóxicamente detalladas. Todo o código fonte para DeepDendrite, os modelos de dendritos completos e o modelo detallado de rede dendrítica están dispoñibles publicamente en liña (ver Código de dispoñibilidade).O noso marco de aprendizaxe de código aberto pódese integrar facilmente con outras regras de aprendizaxe dendrítica, como regras de aprendizaxe para dendritos non lineares (full-active) Plasticidade sináptica dependente da explosión , e aprender coa predición de spike En xeral, o noso estudo proporciona un conxunto completo de ferramentas que teñen o potencial de cambiar o actual ecosistema da comunidade de neurociencia computacional. Ao aproveitar o poder da computación de GPU, imaxinamos que estas ferramentas facilitarán as exploracións a nivel de sistema dos principios computacionais das estruturas finas do cerebro, así como promoverán a interacción entre a neurociencia e a AI moderna. 21 20 36 Resultados Planificación xerárquica dendrítica (DHS) A computación de correntes iónicas e a resolución de ecuacións lineais son dúas fases críticas na simulación de neuronas biofísicamente detalladas, que son tempo-consumidor e supoñen pesadas cargas computacionais. Afortunadamente, a computación de correntes iónicas de cada compartimento é un proceso totalmente independente para que poida ser naturalmente paralelo en dispositivos con masivas unidades de computación paralela como GPUs Como consecuencia, a resolución de ecuacións lineais convértese no remanente para o proceso de paralelización (Fig. ) da 37 1a F Para abordar esta barreira, desenvolvéronse métodos paralelos a nivel celular, que aceleran o cálculo de células únicas "dividindo" unha única célula en varios compartimentos que se poden calcular en paralelo. , , Non obstante, tales métodos dependen fortemente do coñecemento previo para xerar estratexias prácticas sobre como dividir un neurón único en compartimentos (Fig. • FIG adicional. De aí que se torne menos eficiente para as neuronas con morfoloxías asimétricas, por exemplo, as neuronas piramidais e as neuronas de Purkinje. 27 28 38 1g e 1 Pretendemos desenvolver un método paralelo máis eficiente e preciso para a simulación de redes neurais bioloxicamente detalladas. Primeiro, establecemos os criterios para a precisión dun método paralelo a nivel celular. , propoñemos tres condicións para asegurar que un método paralelo produza solucións idénticas ao método Hines de computación en serie segundo a dependencia de datos no método Hines (ver Métodos). 34 Baseándose na precisión da simulación e no custo computacional, formulamos o problema de paralelización como un problema de programación matemática (ver Métodos). en paralelo, podemos calcular ao máximo os nodos en cada paso, pero necesitamos asegurarnos de que un nodo só se calcule se todos os seus nodos infantís foron procesados; o noso obxectivo é atopar unha estratexia co número mínimo de pasos para todo o procedemento. k k Para xerar unha partición óptima, propoñemos un método chamado Dendritic Hierarchical Scheduling (DHS) (a proba teórica é presentada nos Métodos). O método DHS inclúe dous pasos: analizar a topoloxía dendrítica e atopar a mellor partición: (1) Dado un modelo detallado, primeiro obtemos a súa correspondente árbore de dependencia e calculamos a profundidade de cada nodo (a profundidade dun nodo é o número dos seus nódulos ancestrais) na árbore (Fig. (2) Despois da análise de topoloxía, buscamos os candidatos e seleccionamos ao máximo nódulos candidatos máis profundos (un nodo é un candidato só se todos os seus nódulos fillos foron procesados). ) da 2a 2o B, C k 2D Fluxo de traballo DHS Os nódulos máis profundos de cada iteración. Ilustración de calcular a profundidade do nodo dun modelo de compartimento. O modelo primeiro se converte nunha estrutura de árbore e, a continuación, calcúlase a profundidade de cada nodo. Análise de topoloxía en diferentes modelos de neuronas. Seis neuronas con morfoloxías distintas son mostradas aquí. Para cada modelo, a soma é seleccionada como a raíz da árbore para que a profundidade do nodo aumente da soma (0) aos dendritos distales. Ilustración de como executar DHS no modelo en Candidatos: nodos que poden ser procesados. candidatos seleccionados: nodos que son seleccionados polo DHS, é dicir, o Nódulos procesados: Nódulos que foron procesados antes. estratexia de paralelización obtida polo DHS despois do proceso en Cada nodo está asignado a un dos catro nódulos paralelos.DHS reduce os pasos de procesamento de nódulos en serie de 14 a 5 distribuíndo os nódulos a varios nódulos. Custo relativo, é dicir, a proporción do custo de cálculo de DHS ao do método de Hines en serie, cando se aplica DHS con diferentes números de fíos en diferentes tipos de modelos. a k b c d b k e d f Tome un modelo simplificado con 15 compartimentos como exemplo, usando o método de computación serial Hines, leva 14 pasos para procesar todos os nodos, mentres que usando DHS con catro unidades paralelas pode particionar os seus nodos en cinco subconxuntos (Fig. {9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Debido a que os nodos do mesmo subconxunto poden ser procesados en paralelo, só son necesarios cinco pasos para procesar todos os nodos usando DHS (Fig. ) da 2D 2o E A continuación, aplicamos o método DHS a seis modelos de neuronas detallados representativos (seleccionados de ModelDB). ) con diferentes números de threads (Fig. ): incluíndo neuronas piramidales corticais e hipocampais , , Neuronas cerebrales de Purkinje Neuronas de proxección estriatal (SPN) ), e as células mitrais da lámpada olfactiva , cubrindo as principais neuronas principais nas áreas sensoriais, corticais e subcorticais. Logo medimos o custo computacional. O custo relativo computacional aquí está definido pola proporción do custo computacional de DHS ao do método de Hines serie. O custo computacional, é dicir, o número de pasos tomados na resolución de ecuacións, cae dramaticamente co aumento do número de filamentos. Por exemplo, con 16 filamentos, o custo computacional de DHS é 7%-10% en comparación co método de Hines serie. Intrigante, o método DHS alcanza os límites máis baixos do seu custo computacional para os neuronas presentados cando se dan 16 ou mesmo 8 filamentos paralelos (Fig. ), o que suxire que engadir máis fíos non mellora máis o rendemento debido ás dependencias entre compartimentos. 39 2F 40 41 42 43 44 45 2F Xuntos, xeramos un método DHS que permite a análise automatizada da topoloxía dendrítica e a partición óptima para a computación paralela. Vale a pena notar que DHS atopa a partición óptima antes de que comece a simulación, e non se necesita cálculo adicional para resolver ecuacións. Aceleración do DHS mediante o aumento da memoria GPU DHS computa cada neurona con varios feeds, que consomen unha gran cantidade de feeds ao executar simulacións de rede neural. Unidades de procesamento gráfico (GPUs) consisten en unidades de procesamento masivas (é dicir, procesadores de streaming, SPs, FIG. Para a computación paralela En teoría, moitos SPs na GPU deben soportar simulación eficiente para redes neurais de gran escala (Fig. Non obstante, observamos consistentemente que a eficiencia do DHS diminuíu significativamente cando o tamaño da rede creceu, o que podería resultar do almacenamento de datos disperso ou do acceso adicional á memoria causado por cargar e escribir resultados intermedios (Fig. á esquerda) 3a e b 46 3C 3D A arquitectura da GPU e a súa xerarquía de memoria. Cada GPU contén unidades de procesamento masivas (procesadores de fluxo). Arquitectura de Streaming Multiprocesadores (SMs). Cada SM contén múltiples procesadores de streaming, rexistros e caché L1. Aplicando DHS a dous neuronas, cada un con catro fíos.Durante a simulación, cada fío executa nun procesador de fluxo. Estratexia de optimización da memoria na GPU. Panel superior, asignación de fíos e almacenamento de datos do DHS, antes (esquerda) e despois (dereita) do aumento da memoria. Os procesadores envían unha solicitude de datos para cargar datos para cada fío desde a memoria global. Sen boost de memoria (esquerda), leva sete transaccións para cargar todos os datos de solicitude e algunhas transaccións adicionais para resultados intermedios. Tempo de execución de DHS (32 filamentos cada célula) con e sen aumento de memoria en modelos piramidais de varias capas 5 con espiñas. Aceleración da mellora da memoria en modelos piramidais de varias capas 5 con espinos. a b c d d e f Resolvemos este problema aumentando a memoria da GPU, un método para aumentar a capacidade de memoria aproveitando a xerarquía de memoria da GPU e o mecanismo de acceso.Baseado no mecanismo de carga de memoria da GPU, os fíos sucesivos que cargan datos aliñados e almacenados sucesivamente conducen a unha alta capacidade de memoria en comparación con acceder aos datos almacenados en dispersión, o que reduce a capacidade de memoria. , Para lograr un alto rendemento, primeiro aliñamos as ordes de computación dos nodos e rearranxamos os fios segundo o número de nodos neles. A continuación, permutimos o almacenamento de datos na memoria global, consistente coas ordes de computación, é dicir, os nodos que son procesados no mesmo paso son almacenados sucesivamente na memoria global. Ademais, usamos rexistros de GPU para almacenar resultados intermedios, reforzando aínda máis o rendemento da memoria. Ademais, experimentos en múltiplos números de neuronas piramidales con espiñas e os modelos típicos de neuronas (Fig. • FIG adicional. ) mostran que o aumento da memoria alcanza unha aceleración de 1,2-3,8 veces en comparación co DHS inxenuo. 46 47 3D 3o e f 2 Para probar de forma exhaustiva o rendemento do DHS co aumento da memoria da GPU, seleccionamos seis modelos típicos de neuronas e avaliamos o tempo de execución de resolver ecuacións de cable en números masivos de cada modelo (Fig. Examinamos DHS con catro fíos (DHS-4) e dezaseis fíos (DHS-16) para cada neurona, respectivamente. Comparado co método GPU en CoreNEURON, DHS-4 e DHS-16 poden acelerarse aproximadamente 5 e 15 veces, respectivamente (Fig. Ademais, en comparación co método convencional de Hines en serie en NEURON con un único fío de CPU, DHS acelera a simulación por 2-3 ordes de magnitude (Fig. ), mantendo a exactitude numérica idéntica en presenza de espinos densos (Figos complementarios. e ), dendritos activos (Fig. ) e diferentes estratexias de segmentación (Fig. ) da 4 4a 3 4 8 7 7 Tempo de execución de solucións de ecuacións para unha simulación de 1 s na GPU (dt = 0,025 ms, 40.000 iteracións en total).CoreNEURON: o método paralelo utilizado en CoreNEURON; DHS-4: DHS con catro fios para cada neurona; DHS-16: DHS con 16 fios para cada neurona. , A visualización da partición por DHS-4 e DHS-16, cada cor indica un único fío. a b c DHS crea unha partición óptima específica de tipo de célula Para obter información sobre o mecanismo de traballo do método DHS, visualizamos o proceso de partición mappando compartimentos a cada fío (cada cor presenta un único fío na Figura. A visualización mostra que un único fío con frecuencia cambia entre diferentes ramas (Fig. Curiosamente, o DHS xera particións aliñadas en neuronas morfolóxicamente simétricas como a neurona de proxección striatal (SPN) e a célula mitral (Fig. Por contra, xera particións fragmentadas de neuronas morfolóxicamente asimétricas como as neuronas piramidais e a célula de Purkinje (Fig. ), indicando que o DHS divide a árbore neural en escala de compartimento individual (é dicir, nodo de árbore) en vez de escala de rama. 4a, C 4a, C 4a, C 4a, C En resumo, o DHS e o boost de memoria xeran unha solución óptima teoricamente probada para resolver ecuacións lineares en paralelo con eficiencia sen precedentes. Usando este principio, construímos a plataforma de acceso aberto DeepDendrite, que pode ser utilizada por neurocientíficos para implementar modelos sen ningún coñecemento específico de programación de GPU. A continuación, demostramos como podemos utilizar DeepDendrite en tarefas de neurociencia. Tamén discutimos o potencial do marco DeepDendrite para tarefas relacionadas coa IA na sección de discusión. DHS permite a modelaxe de nivel de espiña Como as espiñas dendríticas reciben a maior parte da entrada excitatoria ás neuronas piramidais corticais e hipocampais, neuronas de proxección striatal, etc., as súas morfoloxías e plasticidade son cruciais para regular a excitabilidade neuronal. , , , , Non obstante, as espiñas son demasiado pequenas (~ 1 μm de lonxitude) para seren directamente medidas experimentalmente con respecto aos procesos dependentes da tensión. 10 48 49 50 51 Podemos modelar unha única columna vertebral con dous compartimentos: a cabeza da columna vertebral onde se atopan as sinapses e o pescozo da columna vertebral que une a cabeza da columna vertebral ás dendritas. A teoría predí que o pescozo moi delgado da columna vertebral (0,1-0,5 μm de diámetro) illaba electronicamente a cabeza da columna vertebral da súa dendritis parental, compartmentalizando así os sinais xerados na cabeza da columna vertebral. Non obstante, o modelo detallado con espiñas totalmente distribuídas sobre dendritos ("modelo de espiñas completas") é computacionalmente moi caro. Factor de espiña , en lugar de modelar todas as espiñas explicitamente. aquí, o factor de columna vertebral ten como obxectivo aproximar o efecto da columna vertebral sobre as propiedades biofísicas da membrana celular . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , investigamos como diferentes patróns espaciais de entradas excitadoras formadas en espiñas dendríticas forman actividades neuronais nun modelo de neurona piramidal humana con espiñas explicitamente modeladas (Fig. ). Noticeably, Eyal et al. employed the factor de columna vertebral para incorporar columnas en dendritos mentres que só uns poucos columnos activados estaban explicitamente ligados a dendritos ("modelo de columna vertebral" na FIG. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) e a probabilidade de pico (Fig. Ademais, a probabilidade de pico desencadeada pola activación de espiñas agrupadas parece ser máis non linear no modelo de espiñas completas (a liña azul sólida na FIG. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d Na plataforma DeepDendrite, tanto os modelos de espiña completa como os de espiña pequena lograron acelerarse 8 veces en comparación con CoreNEURON na plataforma de GPU e 100 veces en comparación con NEURON en serie na plataforma de CPU (Fig. Mesa complementaria ) mantendo os mesmos resultados de simulación (Fig. complementarios. e Polo tanto, o método DHS permite explorar a excitabilidade dendrítica baixo condicións anatómicas máis realistas. 5e 1 4 8 Discusións Neste traballo, propoñemos o método DHS para paralelizar o cálculo do método Hines e demostramos matemáticamente que o DHS proporciona unha solución óptima sen perda de precisión. Seguidamente, implementamos DHS na plataforma de hardware da GPU e usamos técnicas de mellora da memoria da GPU para refinar o DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) en comparación co método de GPU utilizado en CoreNEURON e ata 1.500 veces a aceleración en comparación co método serial Hines na plataforma CPU (Fig. • FIG adicional. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , Con métodos de nivel de rede, podemos simular redes detalladas en clusters ou supercomputadores Nos últimos anos, a GPU foi usada para simulacións de rede detalladas. Debido a que a GPU contén unidades de computación masivas, un fío adoita asignarse a unha célula en lugar dun grupo de células. , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) prestan menos atención á estratexia de paralelización.A falta dunha estratexia de paralelización fina resulta nun desempeño insatisfactorio.Para lograr unha maior eficiencia, algúns estudos intentan obter unha paralelización de granos finos introducindo operacións de computación adicionais , , ou facer aproximacións nalgúns compartimentos cruciais, resolvendo ecuacións lineais , Estas estratexias de paralelización de grans finos poden obter unha maior eficiencia, pero carecen de precisión numérica suficiente como no método orixinal de Hines. 27 28 28 29 38 62 63 64 Ao modelar o problema de "como paralizar" como un problema de optimización combinatorial, DHS proporciona unha estratexia de paralización óptima a nivel de compartimento. Ademais, DHS non introduce ningunha operación adicional ou aproximación de valor, polo que alcanza o menor custo computacional e mantén unha precisión numérica suficiente como no método orixinal Hines ao mesmo tempo. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , aumentando así as correntes NMDA e as correntes de canles iónicas na columna vertebral . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries Este enfoque pode compensar as correntes de fuga e as correntes de capacitancia para as espiñas. Aínda así, non pode reproducir a alta impedancia de entrada na cabeza da espiña, o que pode debilitar as entradas sinápticas excitadoras, especialmente as correntes NMDA, reducindo así a non linearidade na curva de entrada-saída do neurón. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia No entanto, debido aos custos computacionais, case todos os modelos de rede detallados aproveitan o enfoque "F-factor" para substituír os vértices reais e, polo tanto, non son capaces de explorar as funcións da columna vertebral a nivel do sistema. Aproveitando o noso marco e a plataforma GPU, podemos executar varios miles de modelos de neuronas detallados, cada un con decenas de miles de vértices nunha única GPU, mantendo ~100 veces máis rápido que o método tradicional en serie nunha única CPU (Fig. Polo tanto, permítenos explorar a plasticidade estrutural en modelos de circuítos a gran escala en diversas rexións cerebrais. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , Recentemente, as gravacións in vivo en ratos espertos ou en comportamento proporcionan probas sólidas de que os picos dendríticos / potenciais de planalto son cruciais para a selectividade de orientación no córtex visual. , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 Tamén houbo progreso no papel dos dendritos activos en ANNs para tarefas de visión por ordenador. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Esta rede demostrou capacidades de adestramento eficientes en tarefas de clasificación de imaxes, logrando aproximadamente 25 veces máis velocidade en comparación coa formación nunha plataforma tradicional baseada na CPU (Fig. ; Supplementary Table ). 6a e b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Multiples redes son simuladas simultaneamente con diferentes imaxes como entradas. As actualizacións de peso total ΔW son calculadas como a media de ΔWi de cada rede. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST e moda-MNIST datasets (Fig. Esta evidencia implica que as propiedades biofísicas inherentes dos dendritos poderían ser cruciais para aumentar a robustez dos ANNs contra a interferencia adversaria. con todo, é esencial realizar estudos adicionais para validar estes achados usando conxuntos de datos máis desafiantes como ImageNet . 93 56 94 95 96 6d, e 97 En conclusión, DeepDendrite mostrou un potencial notable en tarefas de clasificación de imaxes, abrindo un mundo de direccións e posibilidades futuras emocionantes. Para avanzar aínda máis DeepDendrite e a aplicación de modelos dendríticos bioloxicamente detallados en tarefas de IA, podemos centrarnos no desenvolvemento de sistemas multi-GPU e na exploración de aplicacións noutros ámbitos, como o Procesamento de Lingua Natural (NLP), onde as propiedades de filtración dendrítica se aliñan ben coa natureza inherentemente ruidosa e ambigua da linguaxe humana. Os retos inclúen probar a escalabilidade en problemas de maior escala, comprender o rendemento en varias tarefas e dominios e abordar a complexidade computacional introducida por novos principios biolóxicos, como os dendritos activos. Ao superar Methods Simulation with DHS CoreNEURON Xestión de seguridade ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , atopamos que a súa dependencia de datos pode ser formulada como unha estrutura de árbore, onde os nodos na árbore representan os compartimentos do modelo neuronal detallado. No proceso de triangularización, o valor de cada nodo depende dos seus nodos infantís. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Baseándose na dependencia de datos do método de computación en serie Hines, propoñemos tres condicións para asegurar que un método paralelo produza solucións idénticas ao método de computación en serie Hines: (1) A morfoloxía da árbore e os valores iniciais de todos os nodos son idénticos aos do método de computación en serie Hines; (2) Na fase de triangularización, un nodo pode ser procesado se e só se todos os seus nodos fillos xa están procesados; (3) Na fase de reemplazo, un nodo só pode ser procesado se o seu nodo principal xa está procesado. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and fíos (unidades computacionais básicas) para realizar a triangularización, a triangularización paralela é igual a dividir o conxunto de nodos of into subsets, i.e., = ao { , , ... } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , e nodos no mesmo subconxunto can be processed in parallel. So, we define | | (the size of set , i.e., Aquí) como o custo computacional do método de computación paralela. En resumo, definimos o custo computacional dun método paralelo como o número de pasos que leva na fase de triangularización. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Problemas de programación matemática Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } e un enteiro positivo , where É o nodo e is the edge set. Define partition ( ) = { , , … | ≤ , 1 ≤ ≤ n, where | O número cardinal é o número cardinal do subconxunto , i.e., the number of nodes in , and for each node ∈ , all its children nodes { Ánxeles Os nenos ( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( a) O seu tamaño é mínimo. T V E k V E P V V1 V2 Vn Vi k i Vi vi Vi v vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. Así que así ≤ ≤ ≤ ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset onde 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v vi c c v Vj j i v DHS implementation Pretendemos atopar un xeito óptimo de paralelizar o cálculo de resolver ecuacións lineais para cada modelo de neurona resolvendo o problema de programación matemática anterior. ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into En caso contrario, elimina deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. Despois de encher en subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q vi 2d Vi Vía + 1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n vi n A partición ( ) obtido do DHS decide a orde de cálculo de todos os nodos nunha árbore neural. ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from Dúas . As shown before, the child nodes of all nodes in are in { , , ... }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Para cada subxénero en ( , DHS movemento (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi vi Di k Qi P V 6a P(V) P*(V) V * 1 V*2 V*s P* V Q P* V Sen perda de xeneralización, comezamos dende o primeiro subconxunto not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | Páxinas » e hai algúns nodos válidos en that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V *I k V*i k Qi Para o caso (1), porque algúns nodos candidatos non se poñen en , estes nodos deben estar nos subconxuntos seguintes. Ánxeles , podemos mover os nodos correspondentes dos subconxuntos seguintes a que non aumentará o número de subconxuntos e fará satisfy the criteria (Supplementary Fig. , top). Para o caso (2) | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > Primeiro nos movemos de to + máis , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of Está en + máis mover este nodo parental a + máis ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from Dúas . V *I V *I < k V *I V *I 6b V*i k Qi V*i 6b V *I V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V *I V*i 1 V*i 2 V*j-1 v’ V*j V*i Coa estratexia de modificación descrita anteriormente, podemos substituír todos os nodos máis superficiais en Coa súa O nodo máis profundo e manter o número de subconxuntos, é dicir, ( Podemos modificar os nodos coa mesma estratexia para todos os subconxuntos en ( ) que non conteñen os nodos máis profundos. Finalmente, todos os subsets ∈ ( ) pode satisfacer os criterios de profundidade máxima, e ( Non cambia despois da modificación. V *I k Qi P * V P * V V *I P * V P * V En conclusión, DHS xera unha partición ( e todos os subxéneros ∈ ( Satisfacer a condición de profundidade máxima: Para calquera outra partición óptima ( ) podemos modificar os seus subconxuntos para que a súa estrutura sexa a mesma que ( ), é dicir, cada subconxunto consta dos nodos máis profundos no conxunto candidato, e mantén ( ) O mesmo sucede despois da modificación. ( ) obtido de DHS é unha das particións óptimas. P V vi P V P * V P V P * V | P V Implementación de GPU e mellora da memoria Para lograr unha alta capacidade de memoria, a GPU utiliza a xerarquía de memoria de (1) memoria global, (2) caché, (3) rexistro, onde a memoria global ten unha gran capacidade pero baixa capacidade, mentres que os rexistros teñen baixa capacidade pero alta capacidade. A GPU emprega a arquitectura SIMT (Single-Instruction, Multiple-Thread).Os Warps son as unidades de programación básicas da GPU (un warp é un grupo de 32 filamentos paralelos).Un warp executa a mesma instrución con datos diferentes para diferentes filamentos A orde correcta dos nodos é esencial para este batch de computación en warps, para asegurar que DHS obteña resultados idénticos como o método serial Hines. Cando implementamos DHS en GPU, primeiro agrupamos todas as células en múltiples warps en base ás súas morfoloxías. As células con morfoloxías similares están agrupadas na mesma warp. A continuación, aplicamos DHS a todas as neuronas, asignando os compartimentos de cada neurona a múltiples filamentos. Debido a que as neuronas están agrupadas en warps, os filamentos para o mesmo neurón están no mesmo warp. Polo tanto, a sincronización intrínseca en warps mantén a orde de computación consistente coa dependencia de datos do método serial Hines. Finalmente, os filamentos en cada warp están aliñados e rearrang 46 Cando un warp carga datos prealiñados e sucesivamente almacenados desde a memoria global, pode facer pleno uso da caché, o que leva a un alto rendemento de memoria, mentres que o acceso aos datos almacenados por dispersión reduciría o rendemento de memoria. Despois da asignación de compartimentos e do rearranxo de filamentos, permutamos datos na memoria global para facelo consistente coas ordes de computación para que os warps poidan cargar os datos sucesivamente almacenados ao executar o programa. Modelos biofísicos de espiña completa e de espiña pequena Usamos a neurona piramidal humana publicada Capacidade de membrana m = 0,44 μF cm-2, resistencia da membrana m = 48,300 Ω cm2, and axial resistivity a = 261,97 Ω cm. Neste modelo, todos os dendritos foron modelados como cables pasivos mentres que os somas estaban activos. l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67,6 mV K = -102 mV respectivamente.Todos estes parámetros específicos foron definidos como no modelo de Eyal, et al. , para máis detalles, consulte o modelo publicado (ModelDB, acceso no 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, Só as espiñas que recibían entradas sinápticas estaban explicitamente anexadas ás dendritas. F F No modelo da columna vertebral, todas as columnas estaban explicitamente ligadas ás dendritas. Calculamos a densidade da columna vertebral coa neurona reconstruída en Eyal, et al. A densidade da columna vertebral foi establecida en 1,3 μm-1, e cada célula contiña 24994 espiñas en dendritos a 60 μm da soma. 51 As morfoloxías e os mecanismos biofísicos das espiñas eran os mesmos nos modelos de espiñas e espiñas completas. neck = 1.35 μm and the diameter pescozo = 0,25 μm, mentres que a lonxitude e o diámetro da cabeza da columna vertebral eran 0,944 μm, é dicir, a área da cabeza da columna vertebral foi establecida en 2,8 μm2. = -86 mV. A capacidade específica da membrana, a resistencia da membrana e a resistividade axial eran as mesmas que para os dendritos. L D O El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. As correntes sinápticas baseadas en AMPA e NMDA foron simuladas como no traballo de Eyal et al. A conductancia AMPA foi modelada como unha función dobre-exponencial e a conductancia NMDA como unha función dobre-exponencial dependente de tensión. ascendentes e A decadencia foi establecida en 0,3 e 1,8 ms. Para o modelo NMDA, ascendentes e A conductancia máxima de AMPA e NMDA foron 0,73 nS e 1,31 nS, respectivamente. τ τ τ τ Background noise Engadimos ruído de fondo a cada célula para simular un ambiente máis realista. os patróns de ruído implementáronse como trens de pico de Poisson cunha taxa constante de 1,0 Hz. Cada patrón comezou en inicio = 10 ms e durou ata o final da simulación. Xeramos 400 trens de pico de ruído para cada célula e anexámolos a sinapses aleatoriamente seleccionadas. , excepto que a conductancia máxima de NMDA foi distribuída uniformemente de 1,57 a 3,275, resultando nunha maior relación AMPA-NMDA. t Synaptic Inputs Exploración da excitabilidade neuronal Investigamos a probabilidade de pico cando se activaron simultaneamente múltiples sinapses. Para as entradas distribuídas, probamos 14 casos, de 0 a 240 sinapses activadas. Para as entradas agrupadas, probamos 9 casos en total, activando de 0 a 12 aglomerados respectivamente. Cada aglomerado constaba de 20 sinapses. Para cada caso en entradas distribuídas e agrupadas, calculamos a probabilidade de pico con 50 mostras aleatorias. A probabilidade de pico defínese como a proporción do número de neuronas disparadas ao número total de mostras. Todas as mostras 1150 foron simuladas simultaneamente na nosa plataforma DeepDendrite, reducindo o tempo de simulación de días a minutos. Realización de tarefas de IA coa plataforma DeepDendrite Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) un módulo I/O; (2) un módulo de simulación baseado en DHS; (3) un módulo de aprendizaxe. Cando se adestra un modelo biofísicamente detallado para realizar tarefas de aprendizaxe, os usuarios primeiro definen a regra de aprendizaxe e, a continuación, alimentan todas as mostras de adestramento ao modelo detallado para a aprendizaxe. En cada paso durante o adestramento, o módulo I/O elixe un estímulo específico e o seu sinal de profesor correspondente (se é necesario) de todas as mostras de adestramento e une o estímulo ao modelo de rede. A continuación, o módulo de simulación baseado en DHS inicia o modelo e inicia a simulación. Despois da simulación, o módulo de aprendizaxe actualiza todos os pesos sinápticos segundo a diferenza entre as respostas do 5 Modelo HPC-NET A clasificación de imaxes é unha tarefa típica no campo da IA. Nesta tarefa, un modelo debe aprender a recoñecer o contido dunha imaxe dada e saír a etiqueta correspondente. Aquí presentamos a HPC-Net, unha rede composta por modelos de neuronas piramidales humanas detallados que poden aprender a realizar tarefas de clasificación de imaxes utilizando a plataforma DeepDendrite. HPC-Net ten tres capas, é dicir, unha capa de entrada, unha capa oculta e unha capa de saída. As neuronas na capa de entrada reciben os trens de pico convertidos das imaxes como a súa entrada. As neuronas da capa oculta reciben a saída das neuronas da capa de entrada e entregan respostas ás neuronas na capa de saída. As respostas das neuronas da capa de saída son tomadas como a saída final da HPC-Net. As neuronas entre as capas adxacentes están completamente conectadas. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval Xénero ( (en ms) que se determina polo valor de píxel ( ) as shown in Eq. ( ). x, y τ x, y p X, Y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 onde is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1,0 μF cm-2, resistencia da membrana m = 104 Ω cm2, resistividade axial a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E A capa oculta contén un grupo de modelos de neuronas piramidales humanas, que reciben as tensións somáticas das neuronas da capa de entrada. , e todos os neuronas foron modelados con cables pasivos. m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the A sinapse do -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, é o peso sináptico, é a función de activación somática semellante a ReLU, e é a tensión somática da -th input neuron at time . 51 c r r E k i j 4 gijk Rexión i t Os neuronas na capa de saída tamén foron modelados cun modelo pasivo de un só compartimento, e cada neurona oculta só fixo unha conexión sináptica a cada neurona de saída. ) da 4 Clasificación de imaxes con HPC-Net Para cada estímulo de imaxe de entrada, normalizamos primeiro todos os valores de píxeles a 0.0-1.0. Despois convertimos os píxeles normalizados en trens de pico e anexámolos aos neuronas de entrada. , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and Indica o número de clases, que equivale ao número de neuronas de saída. A clase coa probabilidade máxima predita é o resultado final da clasificación. Neste artigo, construímos a HPC-Net con 784 neuronas de entrada, 64 neuronas ocultas e 10 neuronas de saída. 6 Pi máis i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , usamos unha regra de aprendizaxe baseada en gradientes para adestrar o noso HPC-Net para realizar a tarefa de clasificación da imaxe. ), where is the predicted probability for class , Indica a clase real á que pertence a imaxe do estímulo. = 1 se a imaxe de entrada pertence a unha clase , e 0 se non é así. 36 7 pi i Yi yi i yi When training HPC-Net, we compute the update for weight (O peso sináptico da -th synapse connecting neuron Unha neurona ) at each time step. After the simulation of each image stimulus, como se mostra no Eq. ( ): Wijk k i j Rexión 8 Here is the learning rate, is the update value at time , , son tensións somáticas de neuronas e Respectivamente, is the -th synaptic current activated by neuron Unha neurona , its synaptic conductance, A resistencia de transferencia entre os O compartimento conectado dunha neurona on neuron ’s dendrite to neuron ’s soma, s = 30 ms e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t VJ vi i j Iijk k i j galego Rexión k i j j t t 10 11 Dado que todas as neuronas de saída son de un só compartimento, igual á resistencia de entrada do compartimento correspondente, as resistencias de transferencia e entrada son calculadas por NEURON. O adestramento de mini-batch é un método típico en aprendizaxe profunda para lograr unha maior precisión de predición e acelerar a converxencia. DeepDendrite tamén soporta o adestramento de mini-batch. Batería, que facemos batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustez contra ataques adversarios con HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , para xerar ruído adversario co método FGSM ANN foi adestrado con PyTorch , e HPC-Net foi adestrado co noso DeepDendrite. Para xustiza, xeramos ruído adversario nun modelo de rede significativamente diferente, un ResNet de 20 capas O nivel de ruído variou de 0,02 a 0,2. experimentamos con dous conxuntos de datos típicos, MNIST e moda-MNIST Os resultados mostran que a precisión de predición de HPC-Net é 19% e 16.72% maior que a do ANN analóxico, respectivamente. 98 99 93 100 101 95 96 Resumo da reportaxe Further information on research design is available in the ligado a este artigo. Portfolio de información Natureza Dispoñibilidade de datos Os datos que apoian os resultados deste estudo están dispoñibles no documento, información complementaria e ficheiros de datos fonte proporcionados con este documento. – Están dispoñibles en O conxunto de datos MNIST está dispoñible publicamente en . The Fashion-MNIST dataset is publicly available at . están incluídos neste documento. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Fonte de datos Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – Este estudo está dispoñible en . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. e Pitts, W. Un cálculo lóxico das ideas inmanentes na actividade nerviosa. LeCun, Y., Bengio, Y. e Hinton, G. Aprendizaxe profunda. Natureza 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Aritmética da suma sináptica sublime nunha célula piramidal modelo CA1. Londres, M. & Häusser, M. Computación dendrítica. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. A única rama dendrítica como unha unidade funcional fundamental no sistema nervioso. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integración dendrítica: 60 anos de progreso. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. e Papoutsi, A. Iluminando a función dendrítica con modelos computacionais. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. As espinas dendríticas como unidades funcionais básicas da integración neuronal. Nature 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Cambios dendríticos da columna asociados coa plasticidade sináptica a longo prazo do hipocampo. Natureza 399, 66-70 (1999). Yuste, R. Espinas dendríticas e circuítos distribuídos. Neuron 71, 772–781 (2011). Yuste, R. Compartimentalización eléctrica en espiñas dendríticas. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching árbores dendríticas e resistividade da membrana motoneurónica. Exp. Neurol. 1, 491-527 (1959). Segev, I. e Rall, W. Estudo computacional dunha columna dendrítica excitable. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Dominar o xogo de ir con redes neurais profundas e busca de árbores. Nature 529, 484–489 (2016). Silver, D. et al. Un algoritmo de aprendizaxe de reforzo xeral que domina o xadrez, o shogi e o auto-xogo. McCloskey, M. & Cohen, N. J. Interferencia catastrófica nas redes conectivistas: o problema da aprendizaxe secuencial. O esquecemento catastrófico nas redes conectivistas.Tendencias Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse explosións optimizar a transmisión de información nun código neural multiplexado. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Microcircuítos corticais dendríticos aproximan o algoritmo de retropropagación. en Avances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. A plasticidade sináptica dependente de Burst pode coordinar a aprendizaxe en circuítos xerárquicos. Bicknell, B. A. & Häusser, M. Unha regra de aprendizaxe sináptica para a explotación da computación dendrítica non linear. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. O clusterón de gradientes: un modelo de neurona que aprende a resolver tarefas de clasificación a través de non-linearidades dendríticas, plasticidade estrutural e descenso de gradientes. Hodgkin, A. L. e Huxley, A. F. Unha descrición cuantitativa da corrente de membrana e a súa aplicación á condución e excitación no nervio. Rall, W. Teoría das propiedades fisiolóxicas dos dendritos. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. e Carnevale, N. T. O ambiente de simulación de neuronas. computación neural 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. no Libro de Xénese: Explorando modelos neurais realistas co sistema de simulación neural xeral (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. A división neuronal en simulacións de redes paralelas computacionais permite escalar o tempo de execución con dúas veces máis procesadores. Hines, M. L., Markram, H. & Schürmann, F. Simulación paralela totalmente implícita de neuronas individuais. Ben-Shalom, R., Liberman, G. & Korngreen, A. Aceleración da modelaxe compartida nunha unidade de procesamento gráfico. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Simulación numérica eficiente de modelos de neuronas con estrutura espacial en unidades de procesamento gráfico. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Solver de árbores eficiente para matrizes hines na GPU. Preprint en https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teoría e algoritmos de optimización combinatoria 6 edn (Springer, 2018). Gebali, F. Algoritmos e computación paralela (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Un motor de computación optimizado para o simulador NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Aprendizaxe pola predición dendrítica do pico somático. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimización de modelos de canles iónicas usando un algoritmo xenético paralelo en procesadores gráficos. J. Neurosci. Métodos 206, 183-194 (2012). Mascagni, M. Un algoritmo de paralelización para solucións computacionais a modelos de neuronas de cable arbitrariamente ramificados.J. Neurosci. métodos 36, 105-114 (1991). McDougal, R. A. et al. Vinte anos de modeloDB e máis aló: construción de ferramentas de modelaxe esenciais para o futuro da neurociencia. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih bloquea selectivamente a suma temporal de entradas distales non sincronizadas en neuronas piramidais CA1. Hemond, P. et al. Distintas clases de células piramidais exhiben patróns mutuamente exclusivos de disparo na rexión hipocampal CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modelos de células piramidales da capa neocórtica 5b que capturan unha ampla gama de propiedades activas dendríticas e perisomáticas. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D'Angelo, E. Procesamento potencial de acción nun modelo de célula purkinje detallado revela un papel crítico para a compartimentalización axonal. Lindroos, R. et al. Neuromodulación dos ganglios basales en múltiples escalas temporais e estruturais - simulacións de MSNs de vía directa investigan o inicio rápido dos efectos dopaminérxicos e predín o papel de Kv4.2. Migliore, M. et al. Clústeres sinápticos funcionan como operadores de olor na lámpada olfactiva. Proc. Natl Acad. Sci. USa 112, 8499-8504 (2015). NVIDIA. Guía de programación C++ CUDA. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Guía de mellores prácticas. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. A amplificación sináptica por espinas dendríticas mellora a cooperatividade de entrada. Natureza 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalización da inhibición GABAérgica por espinas dendríticas. Ciencia 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. A plasticidade do pescozo espiñal regula a compartimentalización das sinapses. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neuronas piramidales corticais humanas: das espiñas aos picos a través de modelos. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. e Zador, A. A función das espinas dendríticas: dispositivos que subservían a compartimentalización bioquímica en lugar da eléctrica. Koch, C. Dendritic spines. en Biofísica da Computación (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. O impacto da actividade de fondo de fibra paralela nas propiedades do cable das células purkinje cerebrais. Hines, M. Computación eficiente de ecuacións nerviosas ramificadas. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Bioloxicamente inspirado protección de redes profundas de ataques adversarios. Preprint en https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simulación a gran escala usando a Xénese Paralela. no Libro de Xénese: Explorando modelos neurais realistas co sistema de simulación neural xeral (eds Bower James M. & Beeman David) 349-379 (Springer Nova York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Simulacións paralelas de rede con NEURON. Lytton, W. W. et al. Neurotecnoloxías de simulación para avanzar a investigación cerebral: paralelización de grandes redes en NEURON. Valero-Lara, P. et al. cuHinesBatch: Resolving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Unha biblioteca de simulación de rede neural morfolóxicamente detallada para arquitecturas de computación de alto rendemento contemporáneas. En Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Simulacións de neuronas biofísicamente detalladas e multicompartimentales aceleradas en GPUs. J. Neurosci. Métodos 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Un algoritmo predictor-corrector para ecuacións de reacción-difusión asociadas coa actividade neural en estruturas ramificadas. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Unha solución ultraescalable para a simulación de tecido neural a gran escala. Fronte. Neuroinform. 5, 15 (2011). Jayant, K. et al. Rexistros de tensión intracelular dirixidos a partir de espinas dendríticas usando nanopipetes revestidos con puntos cuánticos. Nat. Nanotechnol. 12, 335-342 (2017). Palmer, L. M. & Stuart, G. J. Mudanzas de potencial de membrana nas espiñas dendríticas durante os potenciais de acción e as entradas sinápticas. Nishiyama, J. & Yasuda, R. Biochemical computation for spine structural plasticity. , 63–75 (2015). Neuron 87 Yuste, R. e Bonhoeffer, T. Cambios morfolóxicos nas espiñas dendríticas asociados coa plasticidade sináptica a longo prazo. Holtmaat, A. e Svoboda, K. A plasticidade sináptica estrutural dependente da experiencia no cerebro dos mamíferos. Caroni, P., Donato, F. & Muller, D. A plasticidade estrutural ao aprender: regulación e funcións. Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Reestruturación masiva de circuítos neuronais durante a reorganización funcional do córtex visual adulto. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. A experiencia deixa unha pegada estrutural duradeira nos circuítos corticais. Trachtenberg, J. T. et al. Imaxe in vivo a longo prazo da plasticidade sináptica dependente da experiencia no córtex adulto. Nature 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dinámica axonal de neuronas excitadoras e inhibidoras no córtex somatosensorial. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Formación rápida e estabilización selectiva das sinapses para memorias motoras duradeiras. Natureza 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Mellorar a aprendizaxe motora aumentando a estabilidade das espinas dendríticas recentemente formadas no córtex motor. Neuron 109, 3298-3311 (2021). Branco, T. & Häusser, M. Gradientes de integración sináptica en dendritos de células piramidales únicas. Neuron 69, 885-892 (2011). Major, G., Larkum, M. E. & Schiller, J. Propiedades activas dos dendritos neuronais piramidales neocórticos. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Potenciais de acción dendrítica e computación na capa humana 2/3 neuronas corticais. ciencia 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. A inhibición sináptica temporal forma picos de NMDA, influíndo no procesamento dendrítico local e as propiedades globais de I/O das neuronas corticais. Du, K. et al. Inhibición específica do tipo celular do potencial do planalto dendrítico en neuronas de proxección da columna vertebral striatal. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Os picos dendríticos melloran a selectividade do estímulo nas neuronas corticais in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Integración non linear dendrítica de entrada sensorial e motora durante unha tarefa de detección activa. Nature 492, 247-251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Dendritos corticais activos modulan a percepción. Ciencia 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Prevalencia transitoria de calcio en toda a árbore dendrítica prevé propiedades de campo de lugar. Nature 517, 200–204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Integración sistemática de datos estruturais e funcionais en modelos multicanal do córtex visual primario do rato. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Cara á aprendizaxe profunda con dendritos segregados. elife 6, e22901 (2017). Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Pode unha única neurona resolver problemas interesantes de aprendizaxe automática a través de cálculos sucesivos na súa árbore dendrítica? Bird, A. D., Jedlicka, P. & Cuntz, H. A normalización dendrítica mellora a aprendizaxe en redes neurais artificiais pouco conectadas. Goodfellow, I. J., Shlens, J. & Szegedy, C. Explicando e aproveitando exemplos adversarios. na 3a Conferencia Internacional sobre Representacións de Aprendizaxe (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferibilidade no aprendizaxe automático: de fenómenos a ataques de caixa negra usando mostras adversarias. Preimpresión en https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Aprendizaxe baseada en gradientes aplicada ao recoñecemento de documentos. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Moda-MNIST: un novo conxunto de datos de imaxe para benchmarking algoritmos de aprendizaxe automática. Preprint en http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Avaliación da escalabilidade de algoritmos e arquitecturas de aprendizaxe profunda bioloxicamente motivados. en Avances en Sistemas de Procesamento de Información Neural 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: Unha caixa de ferramentas de Python para comparar a robustez dos modelos de aprendizaxe automática. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: Un estilo imperativo, biblioteca de aprendizaxe profunda de alto rendemento. En Avances en Sistemas de Procesamento de Información Neural 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Aprendizaxe residual profunda para o recoñecemento de imaxes. En Proc. 2016 Conferencia IEEE sobre visión e recoñecemento de patróns por ordenador (CVPR) 770-778 (IEEE, 2016). Recoñecemento Os autores do Consello agradecen sinceramente a Dr. Rita Zhang, Daochen Shi e membros de NVIDIA polo valioso apoio técnico da computación de GPU. Este traballo foi apoiado polo Programa Nacional de Investigación e Desenvolvemento de Área chave da provincia de Guangdong (no 2018B030338001) a K.D. e T.H., a Fundación Nacional de Ciencias Naturais de China (no 61825101) a Y.T., o Consello Sueco de Investigación (VR-M-2020-01652), o Centro Sueco de Investigación e Ciencia (SeRC), o Programa de Investigación e Desenvolvemento de Área chave da provincia de Guangdong (no 2018B030338001) a T.H., a Fundación Nacional de Ciencias Naturais de China (no 61825101) a Y.T., o Consello Sueco de Investigación (VR This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature Este documento é A súa licenza é CC by 4.0 Deed (Attribution 4.0 International). Dispoñible na natureza