Os autores: Cachoeira Zhang Ganha ele Lei Ma João Liu Direção: J. J. Johannes Hjorth Alexandre Kozlov Yutao ele Sênior Zhang Jeanette Hellgren Kotaleski João Tian Sten Grillner Kai Du Tejun Huang Os autores: Cachoeira Zhang Ganha ele Lei Ma João Liu Direção: J. J. Johannes Hjorth Alexandre Kozlov Yutao ele Sênior Zhang Marcadores: Jeanette Hellgren Kotaleski João Tian Estão grelhando Quando você Tejun Huang Abstração Os modelos biofísicamente detalhados de múltiplos compartimentos são ferramentas poderosas para explorar os princípios computacionais do cérebro e também servem como uma estrutura teórica para gerar algoritmos para sistemas de inteligência artificial (IA). No entanto, o custo computacional caro limita severamente as aplicações nos campos da neurociência e da IA. A grande lacuna durante a simulação de modelos de compartimentos detalhados é a capacidade de um simulador resolver grandes sistemas de equações lineares. Endrita hierárquico O método de cheduling (DHS) para acelerar significativamente esse processo. Teoricamente, demonstramos que a implementação do DHS é computacionalmente otimizada e precisa. Este método baseado em GPU funciona com 2-3 ordens de magnitude mais rápido do que o método clássico de série Hines na plataforma de CPU convencional. Construímos um framework DeepDendrite, que integra o método DHS e o motor de computação GPU do simulador NEURON e demonstra as aplicações do DeepDendrite em tarefas de neurociência. Investigamos como os padrões espaciais de entradas de espinha dorsal afetam a excitabilidade neuronal em um modelo de neurônio piramidal humano detalhado com 25.000 espinhos. Além disso, fornecemos uma breve discussão sobre o potencial do DeepDendrite D H S Introdução Descifrar os princípios de codificação e computação de neurônios é essencial para a neurociência. O cérebro de mamíferos é composto por mais de milhares de tipos diferentes de neurônios com propriedades morfológicas e biofísicas únicas. , em que os neurônios eram considerados como unidades de soma simples, ainda é amplamente aplicado na computação neural, especialmente na análise de redes neurais. Nos últimos anos, a inteligência artificial moderna (IA) utilizou este princípio e desenvolveu ferramentas poderosas, como redes neurais artificiais (ANN). No entanto, além de computações abrangentes no nível de um único neurônio, compartimentos subcelulares, como dendritos neuronais, também podem realizar operações não lineares como unidades computacionais independentes. , , , , Além disso, as espinhas dendríticas, pequenas protrusões que cobrem densamente os dendritos nos neurônios espinhas, podem compartimentar os sinais sinápticos, permitindo-lhes ser separados de seus dendritos parentais ex vivo e in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulações usando neurônios biologicamente detalhados fornecem uma estrutura teórica para vincular detalhes biológicos a princípios computacionais. , permite-nos modelar neurônios com morfologias dendríticas realistas, condutação iônica intrínseca e entradas sinápticas extrínsecas.A espinha dorsal do modelo detalhado de múltiplos compartimentos, ou seja, dendritos, é construída sobre a teoria clássica de cabos , que modelam as propriedades da membrana biofísica dos dendritos como cabos passivos, fornecendo uma descrição matemática de como os sinais eletrônicos invadem e se propagam através de processos neuronais complexos. Ao incorporar a teoria do cabo com mecanismos biofísicos ativos, como canais iônicos, correntes sinápticas excitatórias e inibitórias, etc., um modelo detalhado de múltiplos compartimentos pode alcançar cálculos neuronais celulares e subcelulares além das limitações experimentais , . 12 13 12 4 7 Além de seu profundo impacto na neurociência, modelos de neurônios biologicamente detalhados foram recentemente utilizados para preencher a lacuna entre os detalhes estruturais e biofísicos neurais e a IA. A técnica predominante no campo da IA moderna é ANNs consistindo de neurônios de ponto, um análogo às redes neurais biológicas. embora ANNs com algoritmo de “backpropagation-of-error” (backprop) alcancem desempenho notável em aplicações especializadas, mesmo batendo os melhores jogadores profissionais humanos nos jogos de Go e xadrez , , o cérebro humano ainda supera ANNs em domínios que envolvem ambientes mais dinâmicos e barulhentos , Estudos teóricos recentes sugerem que a integração dendrítica é crucial na geração de algoritmos de aprendizagem eficientes que possam exceder o backprop no processamento paralelo de informações. , , Além disso, um único modelo detalhado de múltiplos compartimentos pode aprender cálculos não lineares de nível de rede para neurônios de ponto, ajustando apenas a força sináptica. , , demonstrando todo o potencial dos modelos detalhados na construção de sistemas de IA mais poderosos como o cérebro. portanto, é de alta prioridade expandir paradigmas em IA cerebral, de modelos de neurônios detalhados individuais a redes biológicas detalhadas em grande escala. 14 15 16 17 18 19 20 21 22 Um desafio de longa data da abordagem de simulação detalhada reside no seu custo computacional excessivamente alto, que limitou severamente a sua aplicação à neurociência e à IA. A maior barreira da simulação é resolver equações lineares com base nas teorias fundamentais da modelagem detalhada. , , Para melhorar a eficiência, o método clássico de Hines reduz a complexidade do tempo para resolver equações de O(n3) para O(n), que tem sido amplamente aplicado como o algoritmo de núcleo em simuladores populares como NEURON. e Gênesis No entanto, este método usa uma abordagem serial para processar cada compartimento sequencialmente.Quando uma simulação envolve múltiplos dendritos biofísicamente detalhados com espinhos dendríticos, a matriz de equação linear (“Hines Matrix”) escala de acordo com um número crescente de dendritos ou espinhos (Fig. ), tornando o método de Hines não mais prático, uma vez que representa uma carga muito pesada sobre toda a simulação. 12 23 24 25 26 1o E Um modelo de neurônio piramidal da camada 5 reconstruído e a fórmula matemática usada com modelos de neurônio detalhados. O fluxo de trabalho ao simular numericamente modelos de neurônios detalhados.A fase de solução de equações é a lacuna na simulação. Exemplo de equações lineares na simulação. Dependência de dados do método Hines ao resolver equações lineares em . o O número de sistemas de equações lineares a serem resolvidos sofre um aumento significativo quando os modelos estão crescendo mais detalhados. Custo computacional (passos tomados na fase de solução de equações) do método Hines serial em diferentes tipos de modelos de neurônios. Ilustração de diferentes métodos de resolução.As diferentes partes de um neurônio são atribuídas a múltiplas unidades de processamento em métodos paralelos (centro, direito), mostrado com cores diferentes.No método serial (esquerda), todos os compartimentos são calculados com uma única unidade. Custo computacional de três métodos Resolver equações de um modelo piramidal com espinhos. O tempo de execução indica o consumo de tempo da simulação de 1 s (resolvendo a equação 40.000 vezes com um passo de tempo de 0,025 ms). método paralelo p-Hines em CoreNEURON (em GPU), método paralelo baseado em ramo baseado em ramo (em GPU), método de agendamento hierárquico Dendrítico DHS (em GPU). a b c d c e f g h g i Durante as últimas décadas, grandes progressos foram alcançados para acelerar o método Hines usando métodos paralelos no nível celular, o que permite paralelar o cálculo de diferentes partes em cada célula. , , , , , No entanto, os métodos paralelos atuais a nível celular muitas vezes carecem de uma estratégia de paralelização eficiente ou carecem de precisão numérica suficiente em comparação com o método original de Hines. 27 28 29 30 31 32 Aqui, desenvolvemos uma ferramenta de simulação totalmente automática, numericamente precisa e otimizada que pode acelerar significativamente a eficiência de computação e reduzir o custo de computação.Além disso, esta ferramenta de simulação pode ser perfeitamente adotada para estabelecer e testar redes neurais com detalhes biológicos para aplicações de aprendizagem de máquina e IA. Criticamente, formulamos o cálculo paralelo do método Hines como um problema de agendamento matemático e geramos um método de agendamento hierárquico dendrítico (DHS) baseado na otimização combinatória Teoria da Computação Paralela Demonstramos que nosso algoritmo fornece agendamento ideal sem perda de precisão. Além disso, otimizamos o DHS para o chip GPU mais avançado atualmente, aproveitando a hierarquia de memória da GPU e os mecanismos de acesso à memória. ) em comparação com o simulador clássico NEURON mantendo a mesma precisão. 33 34 1 25 Para permitir simulações dendríticas detalhadas para uso em IA, estabelecemos o framework DeepDendrite através da integração da plataforma CoreNEURON (um motor de computação otimizado para NEURON) incorporada pelo DHS. como o motor de simulação e dois módulos auxiliares (módulo I/O e módulo de aprendizagem) que suportam algoritmos de aprendizagem dendrítico durante as simulações. DeepDendrite é executado na plataforma de hardware da GPU, suportando tarefas regulares de simulação em neurociência e tarefas de aprendizagem em IA. 35 Por último, mas não menos importante, também apresentamos várias aplicações usando o DeepDendrite, visando alguns desafios críticos na neurociência e na IA: (1) Demonstramos como os padrões espaciais das entradas da coluna dendrítica afetam as atividades neuronais com neurônios contendo espinhos ao longo das árvores dendríticas (modelos de coluna completa). DeepDendrite nos permite explorar a computação neuronal em um modelo de neurônio piramidal humano simulado com ~25.000 espinhos dendríticos. (2) Na discussão também consideramos o potencial do DeepDendrite no contexto da IA, especificamente, na criação de ANNs com neurônios piramidales humanos morfologicamente detalhados. Todo o código-fonte para o DeepDendrite, os modelos de dendritos completos e o modelo de rede dendrítica detalhado estão publicamente disponíveis online (consulte Código Disponibilidade).Nosso framework de aprendizagem de código aberto pode ser facilmente integrado com outras regras de aprendizagem dendrítica, como regras de aprendizagem para dendritos não-lineares (completamente ativos) Plasticidade sináptica explosiva dependente Aprendendo com a Previsão de Spike No geral, nosso estudo fornece um conjunto completo de ferramentas que têm o potencial de mudar o atual ecossistema da comunidade de neurociência computacional. Ao aproveitar o poder da computação de GPU, prevemos que essas ferramentas facilitarão a exploração de princípios computacionais de nível de sistema das estruturas finas do cérebro, bem como promover a interação entre a neurociência e a IA moderna. 21 20 36 Resultados Planejamento Hierárquico Dendrítico (DHS) Computando correntes iônicas e resolvendo equações lineares são duas fases críticas ao simular neurônios biofísicamente detalhados, que são demorados e apresentam pesadas cargas computacionais.Felizmente, computar correntes iônicas de cada compartimento é um processo totalmente independente para que possa ser naturalmente paralelizado em dispositivos com massivas unidades de computação paralela como GPUs Como consequência, a resolução de equações lineares torna-se o balde restante para o processo de paralelização (Fig. e) o 37 1a - F Para combater esta lacuna, foram desenvolvidos métodos paralelos a nível celular, que aceleram o cálculo de células individuais, “dividindo” uma única célula em vários compartimentos que podem ser calculados em paralelo. , , No entanto, tais métodos dependem fortemente de conhecimento prévio para gerar estratégias práticas sobre como dividir um único neurônio em compartimentos (Fig. • Figura complementar. Consequentemente, torna-se menos eficiente para neurônios com morfologias assimétricas, por exemplo, neurônios piramidais e neurônios Purkinje. 27 28 38 1g e 1 Pretendemos desenvolver um método paralelo mais eficiente e preciso para a simulação de redes neurais biologicamente detalhadas. Primeiro, estabelecemos os critérios para a precisão de um método paralelo a nível celular. , propomos três condições para garantir que um método paralelo produza soluções idênticas como o método de computação serial Hines de acordo com a dependência de dados no método Hines (ver Métodos). 34 Com base na precisão da simulação e no custo computacional, formulamos o problema de paralelização como um problema de agendamento matemático (ver Métodos). em linhas paralelas, podemos calcular no máximo nós em cada passo, mas precisamos garantir que um nó é calculado apenas se todos os seus nós infantis foram processados; nosso objetivo é encontrar uma estratégia com o número mínimo de passos para todo o procedimento. k k Para gerar uma partição ideal, propomos um método chamado Dendritic Hierarchical Scheduling (DHS) (prova teórica é apresentada nos Métodos). O método DHS inclui dois passos: analisar a topologia dendrítica e encontrar a melhor partição: (1) Dado um modelo detalhado, obtemos primeiro a sua correspondente árvore de dependência e calculamos a profundidade de cada nó (a profundidade de um nó é o número de seus nós ancestrais) na árvore (Fig. (2) Após a análise de topologia, pesquisamos os candidatos e escolhemos no máximo nódulos candidatos mais profundos (um nódulo é um candidato apenas se todos os seus nódulos filhos tiverem sido processados). e) o 2a 2o B, C k 2D Fluxo de trabalho DHS. Nódulos de candidato mais profundos em cada iteração. Ilustração do cálculo da profundidade do nó de um modelo de compartimento. O modelo é primeiro convertido em uma estrutura de árvore e, em seguida, a profundidade de cada nó é calculada. Análise de topologia em diferentes modelos de neurônios. Seis neurônios com morfologias distintas são mostrados aqui. Para cada modelo, a soma é selecionada como a raiz da árvore de modo que a profundidade do nó aumenta da soma (0) para os dendritos distais. Exercício do DHS no modelo com quatro fios. candidatos: nós que podem ser processados. candidatos selecionados: nós que são escolhidos pelo DHS, ou seja, o Nódulos processados: Nódulos que foram processados antes. estratégia de paralelização obtida pelo DHS após o processo em Cada nó é atribuído a um dos quatro fios paralelos.O DHS reduz as etapas do processamento de nódulos sérios de 14 para 5 distribuindo nódulos para múltiplos fios. Custo relativo, ou seja, a proporção do custo computacional do DHS ao do método Hines serial, quando aplicado ao DHS com diferentes números de fios em diferentes tipos de modelos. a k b c d b k e d f Tome um modelo simplificado com 15 compartimentos como exemplo, usando o método de computação serial Hines, leva 14 passos para processar todos os nós, enquanto usando DHS com quatro unidades paralelas pode particionar seus nós em cinco subconjuntos (Fig. ): {{9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Como os nós no mesmo subconjunto podem ser processados em paralelo, leva apenas cinco passos para processar todos os nós usando DHS (Fig. e) o 2D 2o E Em seguida, aplicamos o método DHS em seis modelos de neurônios representativos detalhados (selecionados a partir do ModelDB). ) com diferentes números de fios (Fig. ): incluindo neurônios piramidais corticais e hipocampais , , Cerebral Purkinje Neurônios Neurônios de Projeção Estriática (SPN) ), e as células mitrais da lâmpada olfativa , cobrindo os principais neurônios principais nas áreas sensoriais, corticais e subcorticais. Depois medimos o custo computacional. O custo computacional relativo aqui é definido pela proporção do custo computacional do DHS para o do método Hines serial. O custo computacional, ou seja, o número de passos tomados na resolução de equações, cai dramaticamente com o aumento do número de fios. Por exemplo, com 16 fios, o custo computacional do DHS é de 7%-10% em comparação com o método Hines serial. Intrigantemente, o método DHS atinge os limites mais baixos do seu custo computacional para os neurônios apresentados quando dados 16 ou mesmo 8 fios paralelos (Fig. ), sugerindo que adicionar mais fios não melhora o desempenho ainda mais por causa das dependências entre compartimentos. 39 2F 40 41 42 43 44 45 2F Juntos, geramos um método DHS que permite análise automatizada da topologia dendrítica e partição ideal para computação paralela. vale a pena notar que o DHS encontra a partição ideal antes do início da simulação, e não é necessário cálculo adicional para resolver equações. Aceleração do DHS através do aumento da memória GPU O DHS computa cada neurônio com múltiplos fios, que consomem uma grande quantidade de fios ao executar simulações de rede neural. Graphics Processing Units (GPUs) consistem de unidades de processamento maciças (isto é, processadores de streaming, SPs, FIG. • Computação Paralela Em teoria, muitos SPs na GPU deveriam suportar simulação eficiente para redes neurais de grande escala (Fig. No entanto, observamos consistentemente que a eficiência do DHS diminuiu significativamente quando o tamanho da rede cresceu, o que pode resultar de armazenamento de dados disperso ou acesso de memória extra causado pelo carregamento e escrita de resultados intermediários (Fig. à esquerda) 3a e B 46 3C 3D Arquitetura da GPU e sua hierarquia de memória. Cada GPU contém unidades de processamento maciças (processadores de fluxo). Arquitetura de Streaming Multiprocessadores (SMs). Cada SM contém múltiplos processadores de streaming, registros e cache L1. Aplicando DHS em dois neurônios, cada um com quatro fios. Durante a simulação, cada fio executa em um processador de fluxo. Estratégia de otimização da memória na GPU. Painel superior, atribuição de fios e armazenamento de dados do DHS, antes (esquerda) e depois (direita) do aumento da memória. Processadores enviam uma solicitação de dados para carregar dados para cada thread da memória global. Sem o aumento de memória (esquerda), leva sete transações para carregar todos os dados de solicitação e algumas transações adicionais para resultados intermediários. Com o aumento de memória (direita), leva apenas duas transações para carregar todos os dados de solicitação, registros são usados para resultados intermediários, o que melhora ainda mais a capacidade de memória. Tempo de execução de DHS (32 fios por célula) com e sem aumento de memória em modelos piramidais de camadas múltiplas 5 com espinhos. Acelerar o aumento da memória em modelos de pirâmide de camadas múltiplas 5 com espinhos. a b c d d e f Resolvemos este problema através do aumento da memória da GPU, um método para aumentar a capacidade de memória, aproveitando a hierarquia de memória da GPU e o mecanismo de acesso.Com base no mecanismo de carregamento de memória da GPU, os fios sucessivos carregando dados alinhados e armazenados sucessivamente levam a uma alta capacidade de memória em comparação com o acesso a dados armazenados em dispersão, o que reduz a capacidade de memória. , Para alcançar alta capacidade de transmissão, primeiro alinhamos as ordens de computação dos nós e reorganizamos os fios de acordo com o número de nós neles. Em seguida, permutamos o armazenamento de dados na memória global, consistente com as ordens de computação, ou seja, os nós que são processados na mesma etapa são armazenados sucessivamente na memória global. Além disso, usamos registros de GPU para armazenar resultados intermediários, reforçando ainda mais a capacidade de memória. Além disso, experimentos em múltiplos números de neurônios piramidais com espinhos e os modelos típicos de neurônios (Fig. • Figura complementar. ) mostram que o aumento da memória alcança uma aceleração de 1,2-3,8 vezes em comparação com o DHS ingênuo. 46 47 3D 3a e f 2 Para testar de forma abrangente o desempenho do DHS com o aumento da memória da GPU, selecionamos seis modelos típicos de neurônios e avaliamos o tempo de execução de resolver equações de cabo em números maciços de cada modelo (Fig. Nós examinamos DHS com quatro fios (DHS-4) e dezesseis fios (DHS-16) para cada neurônio, respectivamente. Comparado com o método GPU em CoreNEURON, DHS-4 e DHS-16 podem acelerar cerca de 5 e 15 vezes, respectivamente (Fig. Além disso, em comparação com o método de série convencional Hines em NEURON executando com um único fio de CPU, DHS acelera a simulação por 2-3 ordens de magnitude (Fig. Suplementar. ), mantendo a precisão numérica idêntica na presença de espinhos densos (Figos Suplementares. e ), dendritos ativos (Fig. ) e diferentes estratégias de segmentação (Fig. complementar. e) o 4 4a 3 4 8 7 7 Tempo de execução de solução de equações para uma simulação de 1 s na GPU (dt = 0,025 ms, 40.000 iterações no total). CoreNEURON: o método paralelo usado em CoreNEURON; DHS-4: DHS com quatro fios para cada neurônio; DHS-16: DHS com 16 fios para cada neurônio. , em Visualização da partição por DHS-4 e DHS-16, cada cor indica um único fio. a b c DHS cria particionamento óptimo específico de tipo de célula Para obter insights sobre o mecanismo de trabalho do método DHS, visualizamos o processo de partição mapeando compartimentos para cada fio (cada cor apresenta um único fio na Figura. A visualização mostra que um único fio freqüentemente troca entre diferentes ramos (Fig. Curiosamente, o DHS gera partições alinhadas em neurônios morfológicamente simétricos, como o neurônio de projeção estriatal (SPN) e a célula mitral (Fig. Em contraste, gera partições fragmentadas de neurônios morfológicamente assimétricos como os neurônios piramidais e a célula de Purkinje (Fig. ), indicando que o DHS divide a árvore neural em escala de compartimento individual (ou seja, nó de árvore) em vez de escala de ramo. 4o B, C 4o B, C 4o B, C 4o B, C Em resumo, o DHS e o reforço da memória geram uma solução ideal teoricamente comprovada para resolver equações lineares em paralelo com eficiência sem precedentes. Usando este princípio, construímos a plataforma de acesso aberto DeepDendrite, que pode ser usada por neurocientistas para implementar modelos sem nenhum conhecimento específico de programação de GPU. Abaixo, demonstramos como podemos usar o DeepDendrite em tarefas de neurociência. DHS permite modelagem de nível de coluna Como as espinhas dendríticas recebem a maior parte da entrada excitante para os neurônios piramidal cortical e hipocampal, neurônios de projeção striatal, etc., suas morfologias e plasticidade são cruciais para regular a excitabilidade neuronal. , , , , No entanto, os espinhos são muito pequenos (~ 1 μm de comprimento) para serem diretamente medidos experimentalmente em relação a processos dependentes de tensão. 10 48 49 50 51 Podemos modelar uma única coluna com dois compartimentos: a cabeça da coluna onde as sinapses estão localizadas e o pescoço da coluna que liga a cabeça da coluna às dendritas. A teoria prevê que o pescoço espinhal muito fino (0,1-0,5 um em diâmetro) isola eletronicamente a cabeça da coluna espinhal de sua dendrina parental, compartmentalizando assim os sinais gerados na cabeça da coluna. No entanto, o modelo detalhado com espinhos totalmente distribuídos em dendritos (“modelo de espinha integral”) é computacionalmente muito caro. Uma solução comum de compromisso é modificar a capacidade e a resistência da membrana por um Fator Espinheiro , em vez de modelar todos os espinhos explicitamente. aqui, o O fator de espinha dorsal visa aproximar o efeito da espinha dorsal nas propriedades biofísicas da membrana celular . 52 53 F 54 F 54 Inspirado no trabalho anterior de Eyal et al. , investigamos como diferentes padrões espaciais de entradas excitatórias formadas em espinhos dendríticos moldam atividades neuronais em um modelo de neurônio piramidal humano com espinhos explicitamente modelados (Fig. Observação: Eyal et al. empregou o spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. 2) O valor de spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) e a probabilidade de pico (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to Barras de escala: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. A probabilidade de pico somático como função do número de sinapses ativadas simultaneamente (como no trabalho de Eyal et al.) para quatro casos em . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) mantendo os resultados da simulação idênticos (Figuras Complementares. e ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method e demonstramos matematicamente que o DHS fornece uma solução ideal sem qualquer perda de precisão.Em seguida, implementamos o DHS na plataforma de hardware da GPU e usamos técnicas de aumento de memória da GPU para refinar o DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. A Mesa Suplementar ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers Nos últimos anos, a GPU tem sido usada para simulação de rede detalhada.Porque a GPU contém unidades de computação maciças, um fio é geralmente atribuído a uma célula em vez de um grupo de células. , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) prestar menos atenção à estratégia de paralelização. A falta de uma estratégia de paralelização fina resulta em desempenho insatisfatório. Para alcançar maior eficiência, alguns estudos tentam obter paralelização de grãos mais finos, introduzindo operações de computação adicionais , , ou fazer aproximações em alguns compartimentos cruciais, resolvendo equações lineares , Estas estratégias de paralelização de grãos finos podem obter maior eficiência, mas carecem de precisão numérica suficiente como no método original de Hines. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. As espinhas dendríticas são as microestruturas mais abundantes no cérebro para a projeção de neurônios no córtex, hipocampo, cerebelo e ganglios basais. Como as espinhas recebem a maioria das entradas excitadoras no sistema nervoso central, os sinais elétricos gerados pelas espinhas são a principal força motriz para atividades neuronais em grande escala no pré-cérebro e cérebro. , A estrutura da coluna, com uma cabeça da coluna alargada e um pescoço da coluna muito fino, leva a uma impedância de entrada surpreendentemente alta na cabeça da coluna, que poderia ser até 500 MΩ, combinando dados experimentais e a abordagem de modelagem de compartimento detalhada. , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine No entanto, nos modelos clássicos de compartimento único detalhado, todos os espinhos são substituídos pelo Coeficiente de modificação das geometrias do cabo dendrítico Esta abordagem pode compensar as correntes de fuga e as correntes de capacitância para os espinhos.No entanto, não pode reproduzir a alta impedância de entrada na cabeça da coluna, o que pode enfraquecer as entradas sinápticas excitatórias, particularmente as correntes NMDA, reduzindo assim a não-linearidade na curva de entrada-saída do neurônio.Nossos resultados de modelagem estão em linha com esta interpretação. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , Motorização do Cortex , hippocampus , and the basal ganglia No entanto, devido aos custos computacionais, quase todos os modelos de rede detalhados exploram a abordagem “F-factor” para substituir os vértices reais e, portanto, não são capazes de explorar as funções espinhas no nível do sistema. Aproveitando o nosso framework e a plataforma GPU, podemos executar alguns milhares de modelos de neurônios detalhados, cada um com dezenas de milhares de vértices em uma única GPU, mantendo ~100 vezes mais rápido do que o método serial tradicional em uma única CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , Por exemplo, os neurônios piramidais córticos podem realizar a integração sináptica sublinear na dendrite proximal, mas gradualmente mudar para a integração supralinear na dendrite distal. . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex Integração sensorial-motor no sistema de whisker , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Os trabalhos recentes sobre o desdobramento dos papéis dendríticos na aprendizagem específica de tarefas alcançaram resultados notáveis em duas direções, ou seja, a resolução de tarefas desafiadoras, como o conjunto de dados de classificação de imagens ImageNet com redes dendríticas simplificadas. , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , Além disso, modelos de neurônios mais detalhados são menos matematicamente tratáveis e computacionalmente caros. . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . propôs uma nova arquitetura ANN com dendritos ativos, demonstrando resultados competitivos em multi-tarefa e aprendizagem contínua. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Esta rede demonstrou capacidades de treinamento eficientes em tarefas de classificação de imagens, alcançando cerca de 25 vezes a aceleração em comparação com o treinamento em uma plataforma baseada em CPU tradicional (Fig. ; Supplementary Table e) o 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Tempo de execução de treinamento e testes para a HPC-Net. O tamanho do lote é definido para 16. esquerda, tempo de execução de treinamento de uma época. direita, tempo de execução de testes. NEURON Paralelo + Python: treinamento e testes em uma única CPU com múltiplos núcleos, usando o NEURON paralelo de 40 processos para simular a HPC-Net e código Python extra para suportar o treinamento de mini-batch. DeepDendrite: treinamento e teste da HPC-Net em uma única GPU com DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. Esta evidência implica que as propriedades biofísicas inerentes das dendritas podem ser cruciais para aumentar a robustez dos ANNs contra interferências adversárias.No entanto, é essencial realizar estudos adicionais para validar essas descobertas usando conjuntos de dados mais desafiadores, como a ImageNet. . 93 56 94 95 96 6d, e 97 Em conclusão, o DeepDendrite mostrou um potencial notável em tarefas de classificação de imagens, abrindo um mundo de direções e possibilidades futuras emocionantes. Para avançar ainda mais o DeepDendrite e a aplicação de modelos dendríticos biologicamente detalhados em tarefas de IA, podemos nos concentrar no desenvolvimento de sistemas multi-GPU e explorando aplicações em outros domínios, como o Processamento de Linguagem Natural (NLP), onde as propriedades de filtragem dendrítica se alinham bem com a natureza inerentemente barulhenta e ambígua da linguagem humana. Os desafios incluem testar a escalabilidade em problemas de maior escala, compreender o desempenho em várias tarefas e domínios e abordar a complexidade computacional introduzida por novos princípios biológicos, como Métodos Simulação com DHS Coreão simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e tempo --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation Para garantir a precisão da simulação, primeiro precisamos definir a correção de um algoritmo paralelo a nível celular para julgar se ele gerará soluções idênticas em comparação com os métodos sérios corretos comprovados, como o método Hines usado na plataforma de simulação NEURON. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Custo Computacional do Método de Computação Paralela a Nível Celular Para avaliar teoricamente o tempo de execução, ou seja, a eficiência, dos métodos de computação serial e paralelo, introduzimos e formulamos o conceito de custo computacional da seguinte forma: dada uma árvore. and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of em subsídios, ou seja, = { , em , ... } where the size of each subset | | ≤ Ou seja, no máximo nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → O ... → , e nodos no mesmo subconjunto can be processed in parallel. So, we define | (o tamanho do conjunto) , i.e., Aqui) como o custo computacional do método de computação paralela. Em suma, definimos o custo computacional de um método paralelo como o número de passos que leva na fase de triangularização. Porque a substituição de trás é simétrica com a triangularização, o custo total da fase de equação de solução é duas vezes o da fase de triangularização. T k V T n V v1 V2 Vn Vi k k k v1 V2 Vn Vi V V n Mathematical scheduling problem Com base na precisão da simulação e no custo computacional, formulamos o problema de paralelização como um problema de agendamento matemático: Given a tree = { , Um inteiro positivo E onde É o node-set e é o edge set. Define a partição ( e = { , , ... }, | | ≤ , 1 ≤ ≤ n, where | O número cardinal do subconjunto , isto é, o número de nós em Para cada nó ∈ Todos os seus filhos nodos Vôlei ∈children( )} must in a previous subset onde 1 ≤ » Nosso objetivo é encontrar uma partição ideal ( ) cujo custo de computação é ( )| is minimal. T V E k V E P V V1 v2 Vn Vi k i Vi Vi Vi v Vi c c v VJ j i P* V P* V Aqui o subconjunto consists of all nodes that will be computed at O primeiro passo (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ Todos os seus filhos nodos | ∈children( ) deve em um subconjunto anterior onde 1 ≤ < Indica que o nodo can be processed only if all its child nodes are processed. Vi i 2o E Vi k k k v Vi c c v Vj j i v Implementação do DHS We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. Depois de preencher em subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V * I k Q Vi 2D Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , em }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking Em seguida, demonstramos que a reordenação do cálculo em DHS resultará em um resultado idêntico ao método Hines serial. T V E P V V1 V2 Vn Vi k i n Vi n A divisão ( ) obtido do DHS decide a ordem de computação de todos os nós em uma árvore neural. ( satisfaz as condições de correcção. ( ) é obtida da árvore neural dada As operações no DHS não modificam a topologia da árvore e os valores dos nós da árvore (valores correspondentes nas equações lineares), de modo que a morfologia da árvore e os valores iniciais de todos os nós não são alterados, o que satisfaz a condição 1: a morfologia da árvore e os valores iniciais de todos os nós são idênticos aos do método Hines serial. Dois . As shown in the implementation of DHS, all nodes in subset são selecionados a partir do conjunto de candidatos , and a node can be put into somente se todos os seus nódulos de criança tiverem sido processados. are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from Dois Como mostrado anteriormente, a criança nódulos de todos os nós em are in { , , … }, so parent nodes of nodes in are in { , , ... }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T v1 Vn Vi Q Q Vi V1 v2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Prova de otimização para DHS A ideia da prova é que, se houver outra solução ideal, ela pode ser transformada em nossa solução DHS sem aumentar o número de passos que o algoritmo requer, indicando assim que a solução DHS é otimizada. Para cada subposição em ( O DHS se move (número de thread) os nós mais profundos do conjunto de candidatos correspondente Dois Se o número de nódulos em É menor do que Mova todos os nodos de Dois Para simplificar, introduzimos Indicando a profundidade da Os nódulos mais profundos Todos os subsistemas em ( ) satisfazer os critérios de profundidade máxima (Fig. Complementar. Em seguida, demonstramos que selecionar os nós mais profundos em cada iteração faz com que uma partição ideal. Se houver uma partição ideal É o { , em , ... } contendo subconjuntos que não satisfazem os critérios de profundidade máxima, podemos modificar os subconjuntos em ( ) de modo que todos os subconjuntos consistem dos nós mais profundos de e o número de subconjuntos () ( c) permanecer o mesmo após a modificação. Vi P V k Qi Vi Qi k Qi Vi do k Qi P V 6a P(V) do P * (V) V * 1 V * 2 V e S P * V Q P * V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make não satisfazem os critérios de profundidade máxima: (1) | < and there exist some valid nodes in Isso não é colocado em • 2o lugar; | = but nodes in Não são os deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | Vôlei , podemos mover os nós correspondentes dos subconjuntos subsequentes para que não aumentará o número de subconjuntos e fará satisfy the criteria (Supplementary Fig. , top). For case (2), | Gênero = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. Estes nós mais profundos podem ser movidos de subconjuntos subsequentes para through the following method. Assume that after filling , em is picked and one of the Os nódulos mais profundos Ainda está em , thus will be put into a subsequent subset ( > Nós nos movemos primeiro from to + mais Em seguida, alterar o subconjunto + as follows: if | + mais and none of the nodes in + mais is the parent of node , stop modifying the latter subsets. Otherwise, modify + como se segue (Fig. Se o nodo parental de is in + , move this parent node to + mais ; ou mover o nó com a profundidade mínima de + Dois + . After adjusting , modify subsequent subsets + , + , ... com a mesma estratégia. finalmente, mover-se from Dois . V*i V * I < k V*i V*i 6b V*i k Qi V * I 6b V * I V*i v k v’ Qi v’ V * J j i v V * I V * I 1 V*i 1 V * I 1 k V*i 1 v V*i 1 6C v V * I 1 V*i 2 V*i 1 V*i 2 V * I V * I 1 V*i 2 V * J-1 V” V*j V*i Com a estratégia de modificação descrita acima, podemos substituir todos os nós mais Com o O nodo mais profundo em e manter o número de subconjuntos, ou seja, ( Podemos modificar os nós com a mesma estratégia para todos os subconjuntos em ( ) que não contêm os nós mais profundos. Finalmente, todos os subconjuntos ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V * I k Qi P* V P* V V*i P* V P* V Em conclusão, o DHS gera uma partição ( ) e todos os subsistemas ∈ ( ) satisfazer a condição de profundidade máxima: . para qualquer outra partição ideal ( ) podemos modificar seus subconjuntos para tornar sua estrutura idêntica à ( ), isto é, cada subconjunto consiste dos nós mais profundos no conjunto candidato, e mantenha ( ) O mesmo acontece após a modificação. ( ) obtido a partir de DHS é uma das partições óptimas. P V Vi P V P * V P V P * V | P V Implementação de GPU e melhoria da memória Para alcançar alta capacidade de memória, a GPU utiliza a hierarquia de memória de (1) memória global, (2) cache, (3) registro, onde a memória global tem grande capacidade, mas baixa capacidade, enquanto os registros têm baixa capacidade, mas alta capacidade. A GPU usa a arquitetura SIMT (Single-Instruction, Multiple-Thread). Warps são as unidades de programação básicas na GPU (um warp é um grupo de 32 fios paralelos). Um warp executa a mesma instrução com dados diferentes para diferentes fios Corretamente ordenar os nós é essencial para este batch de computação em warps, para garantir que o DHS obtenha resultados idênticos como o método serial Hines. Quando implementamos o DHS na GPU, primeiro agrupamos todas as células em múltiplos warps com base em suas morfologias. As células com morfologias semelhantes são agrupadas na mesma warp. Então aplicamos o DHS a todos os neurônios, atribuindo os compartimentos de cada neurônio a múltiplos fios. Porque os neurônios são agrupados em warps, os fios para o mesmo neurônio estão no mesmo warp. Portanto, a sincronização intrínseca em warps mantém a ordem de computação consistente com a dependência de dados do método serial Hines. Finalmente, os fios em cada warp são alinh 46 Quando um warp carrega dados pré-alinhados e sucessivamente armazenados da memória global, ele pode fazer pleno uso da memória cache, o que leva a alta taxa de transferência de memória, enquanto o acesso a dados armazenados em dispersão reduziria a taxa de transferência de memória. Após a atribuição de compartimentos e rearranjo de fios, permutimos dados na memória global para torná-lo consistente com ordens de computação para que os warps possam carregar dados sucessivamente armazenados ao executar o programa. Modelos biofísicos de espinha inteira e espinha pequena We used the published human pyramidal neuron Capacitação da membrana m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectivamente. Todos esses parâmetros específicos foram definidos como no modelo de Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, Somente as espinhas que receberam entradas sinápticas foram explicitamente anexadas às dendritas. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. A densidade da coluna vertebral foi definida para 1,3 μm-1, e cada célula continha 24994 espinhos em dendritos a 60 μm de distância da soma. 51 As morfologias e os mecanismos biofísicos dos espinhos eram os mesmos em modelos de espinha e de espinha inteira. pescoço = 1,35 μm e o diâmetro neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Introdução Synaptic Investigamos a excitabilidade neuronal para ambas as entradas sinápticas distribuídas e agrupadas. Todas as sinapses ativadas foram anexadas ao terminal da cabeça da coluna vertebral. Para entradas distribuídas, todas as sinapses ativadas foram distribuídas aleatoriamente em todas as dendritas. Para entradas agrupadas, cada aglomerado consistia de 20 sinapses ativadas que eram distribuídas uniformemente em um único compartimento selecionado aleatoriamente. Todas as sinapses foram ativadas simultaneamente durante a simulação. As correntes sinápticas baseadas em AMPA e baseadas em NMDA foram simuladas como no trabalho de Eyal et al. A condutividade AMPA foi modelada como uma função dupla-exponencial e a condutividade NMDA como uma função dupla-exponencial dependente de tensão. Levantamento e A decadência foi definida para 0,3 e 1,8 ms. Para o modelo NMDA, rise and A condutividade máxima de AMPA e NMDA foi de 0,73 nS e 1,31 nS, respectivamente. τ τ τ τ Ruído de fundo Nós anexamos ruído de fundo a cada célula para simular um ambiente mais realista. padrões de ruído foram implementados como trens de pico de Poisson com uma taxa constante de 1,0 Hz. Cada padrão começou em início = 10 ms e durou até o final da simulação. Geramos 400 trens de pico de ruído para cada célula e os anexamos a sinapses selecionadas aleatoriamente. O modelo e os parâmetros específicos das correntes sinápticas eram os mesmos descritos em , exceto que a condutividade máxima de NMDA foi uniformemente distribuída de 1,57 para 3,275, resultando em uma maior relação AMPA para NMDA. t Synaptic Inputs Explorar a excitabilidade neuronal Investigamos a probabilidade de pico quando múltiplas sinapses foram ativadas simultaneamente. Para entradas distribuídas, testamos 14 casos, de 0 a 240 sinapses ativadas. Para entradas agrupadas, testamos 9 casos no total, ativando de 0 a 12 aglomerados respectivamente. Cada aglomerado consistia de 20 sinapses. Para cada caso em entradas distribuídas e agrupadas, calculamos a probabilidade de pico com 50 amostras aleatórias. A probabilidade de pico foi definida como a proporção do número de neurônios disparados ao número total de amostras. Todas as 1150 amostras foram simuladas simultaneamente na nossa plataforma DeepDendrite, reduzindo o tempo de simulação de dias a minutos. Realizar tarefas de IA com a plataforma DeepDendrite Os simuladores de neurônios detalhados convencionais carecem de duas funcionalidades importantes para tarefas de IA modernas: (1) realizar simulações e atualizações de peso alternadamente sem reinicialização pesada e (2) processar simultaneamente amostras de estímulos múltiplos de forma em lote. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 Modelo HPC-Net A classificação de imagens é uma tarefa típica no campo da IA. Nesta tarefa, um modelo deve aprender a reconhecer o conteúdo de uma determinada imagem e sair a etiqueta correspondente.Aqui apresentamos a HPC-Net, uma rede composta por modelos de neurônios piramidais humanos detalhados que podem aprender a executar tarefas de classificação de imagens utilizando a plataforma DeepDendrite. A HPC-Net tem três camadas, ou seja, uma camada de entrada, uma camada oculta e uma camada de saída. Os neurônios na camada de entrada recebem trens de pico convertidos de imagens como sua entrada. Os neurônios da camada oculta recebem a saída dos neurônios da camada de entrada e entregam respostas aos neurônios na camada de saída. As respostas dos neurônios da camada de saída são tomadas como a saída final da HPC-Net. Os neurônios entre as camadas adjacentes estão totalmente conectados. Para cada estímulo de imagem, primeiro convertemos cada pixel normalizado em um trem de pico homogêneo. Para pixel com coordenadas ( ) na imagem, o comboio correspondente tem um intervalo interspike constante O que é ( ) (em ms) que é determinado pelo valor de pixel ( ) como mostrado no Eq. ( e) o X e Y τ X e Y p X e Y 1 Em nosso experimento, a simulação para cada estímulo durou 50 ms. Todos os trens de pico começaram em 9 + ISI ms e durou até o final da simulação. Então nós anexamos todos os trens de pico aos neurônios da camada de entrada de uma forma one-to-one. A corrente sináptica desencadeada pelo pico chegando no tempo É dado por τ T0 onde é a tensão pós-sináptica, o potencial de inversão syn = 1 mV, the maximum synaptic conductance max = 0,05 μS, e a constante do tempo São 0,5 ms. v E g τ Os neurônios na camada de entrada foram modelados com um modelo passivo de um único compartimento. Os parâmetros específicos foram definidos da seguinte forma: capacitância da membrana m = 1,0 μF cm-2, resistência da membrana m = 104 Ω cm2, resistência axial a = 100 Ω cm, potencial de reversão do compartimento passivo L = 0 mV c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1,5 μF cm-2, resistência da membrana m = 48,300 Ω cm2, resistência axial a = 261,97 Ω cm, e o potencial de reversão de todos os cabos passivos l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the Introdução de neurônios em neurônios ’s dendrite is defined as in Eq. ( ) em que é a conduta sináptica, é o peso sináptico, é a função de ativação somática semelhante à ReLU, e é a tensão somática da O neurônio de entrada no tempo . 51 c r r E k i j 4 Gijão bairro i t Os neurônios na camada de saída também foram modelados com um modelo passivo de um único compartimento, e cada neurônio oculto fez apenas uma conexão sináptica com cada neurônio de saída. Todos os parâmetros específicos foram definidos como os dos neurônios de entrada. as correntes sinápticas ativadas por neurônios ocultos também são na forma de Eq. ( e) o 4 Classificação de imagens com HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation E onde É a probabilidade de -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the O neurônio de saída, e indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 Pi i i C Regras de plasticidade sináptica para HPC-Net Inspired by previous work , usamos uma regra de aprendizagem baseada em gradientes para treinar a nossa HPC-Net para realizar a tarefa de classificação de imagens. ), where é a probabilidade estimada para a classe , em Indica a classe real à qual a imagem de estímulo pertence, = 1 if input image belongs to class e 0 se não for. 36 7 Pi i O Yi O Yi i yi Ao treinar HPC-Net, calculamos a atualização para o peso (O peso sináptico do -th synapse connecting neuron Dois neurônios ) at each time step. After the simulation of each image stimulus, é atualizado como mostrado no Eq. ( e) O bairro k i j bairro 8 Here is the learning rate, is the update value at time , em , são tensões somáticas de neurônios and respectivamente, É o -a corrente sináptica ativada por neurônios É um neurônio , em sua conduta sináptica, A resistência de transferência entre os O compartimento conectado de um neurônio on neuron Dendrites para neurônios e a soma, s = 30 ms, e = 50 ms são o tempo de início e o tempo de fim de aprendizagem respectivamente. Para os neurônios de saída, o termo de erro pode ser calculado como mostrado no Eq. ( Para os neurônios ocultos, o termo de erro é calculado a partir dos termos de erro na camada de saída, dada em Eq. ( e) o t VJ VI i j Iêque k i j Gijão Rico k i j j t t 10 11 Uma vez que todos os neurônios de saída são de um único compartimento, igual à resistência de entrada do compartimento correspondente, as resistências de transferência e entrada são calculadas pelo NEURON. Mini-batch training é um método típico no deep learning para alcançar maior precisão de previsão e acelerar a convergência. DeepDendrite também suporta mini-batch training. batch, nós fazemos batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Resistência a ataques adversários com HPC-Net Para demonstrar a robustez da HPC-Net, testamos sua precisão de previsão em amostras adversárias e a comparamos com uma ANN analógica (uma com a mesma estrutura 784-64-10 e ativação ReLU, para uma comparação justa em nossa HPC-Net cada neurônio de entrada fez apenas uma conexão sináptica com cada neurônio oculto). Primeiro treinamos a HPC-Net e a ANN com o conjunto de treinamento original (imagens limpas originais). , para gerar ruído adversário com o método FGSM ANN foi treinado com PyTorch , e o HPC-Net foi treinado com o nosso DeepDendrite. Para justiça, geramos ruído adversário em um modelo de rede significativamente diferente, um ResNet de 20 camadas . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST Sobre a moda-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Relatório Resumo Mais informações sobre o projeto de pesquisa estão disponíveis na ligado a este artigo. Resumo do portfólio Natureza Disponibilidade de dados Os dados que apoiam as conclusões deste estudo estão disponíveis no documento, informações complementares e arquivos de dados de origem fornecidos com este artigo. – Estão disponíveis em O conjunto de dados MNIST está disponível publicamente em O conjunto de dados Fashion-MNIST está disponível publicamente em . o são fornecidos com este documento. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Fonte de dados Código Disponibilidade O código-fonte do DeepDendrite, bem como os modelos e códigos usados para reproduzir Figs. – Este estudo está disponível em . 3 6 https://github.com/pkuzyc/DeepDendrite Referências McCulloch, W. S. & Pitts, W. Um cálculo lógico das idéias inerentes à atividade nervosa. LeCun, Y., Bengio, Y. & Hinton, G. Aprendizagem profunda. Natureza 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Aritmética da soma sináptica sublime em uma célula piramidal modelo CA1. Londres, M. & Häusser, M. Computação Dendrítica. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. O ramo dendrítico único como uma unidade funcional fundamental no sistema nervoso. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integração Dendrítica: 60 anos de progresso. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. e Papoutsi, A. Iluminando a função dendrítica com modelos computacionais. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. As espinhas dendríticas como unidades funcionais básicas da integração neuronal. Natureza 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Mudanças da coluna dendrítica associadas à plasticidade sináptica de longo prazo do hipocampo. Natureza 399, 66–70 (1999). Yuste, R. Espinhas dendríticas e circuitos distribuídos. Neuron 71, 772–781 (2011). Yuste, R. Compartimentalização elétrica em espinhos dendríticos. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Branching árvores dendríticas e resistividade da membrana motoneurônica. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. Estudo computacional de uma espinha dendrítica excitável. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Dominar o jogo de ir com redes neurais profundas e pesquisa de árvores. Nature 529, 484–489 (2016). Silver, D. et al. Um algoritmo geral de aprendizagem de reforço que domina o xadrez, o shogi e passa pelo auto-jogo.Science 362, 1140–1144 (2018). McCloskey, M. & Cohen, N. J. Interferência catastrófica em redes conectivistas: o problema de aprendizagem sequencial. Francês, R. M. Esquecimento catastrófico nas redes conectivistas. Tendências Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse explosões otimizar a transmissão de informação em um código neural multiplexado. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Microcircuitos córticos dendríticos aproximam o algoritmo de backpropagation. em Avanços em Sistemas de Processamento de Informação Neural 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. A plasticidade sináptica dependente de Burst pode coordenar a aprendizagem em circuitos hierárquicos. Bicknell, B. A. & Häusser, M. Uma regra de aprendizagem sináptica para a exploração do cálculo dendrítico não linear. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. O clusterão de gradiente: um neurônio modelo que aprende a resolver tarefas de classificação por meio de não-linearidades dendríticas, plasticidade estrutural e descida de gradiente. Hodgkin, A. L. & Huxley, A. F. Uma descrição quantitativa da corrente de membrana e sua aplicação à condução e excitação no nervo. Rall, W. Teoria das propriedades fisiológicas dos dendritos. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. e Carnevale, N. T. O ambiente de simulação de NEURON. Computação Neural 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. em O Livro de Gênesis: Explorando modelos neurais realistas com o sistema de simulação neural geral (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. A divisão neuronal em simulações de redes paralelas computacionais permite a escalação do tempo de execução com o dobro do número de processadores.J. Comput. Neurosci. 25, 203–210 (2008). Hines, M. L., Markram, H. & Schürmann, F. Simulação paralela totalmente implícita de neurônios individuais.J. Comput. Neurosci. 25, 439-448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. Aceleração da modelagem compartimental em uma unidade de processamento gráfico. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Simulação numérica eficiente de modelos de neurônios com estrutura espacial em unidades de processamento gráfico. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. Solver de árvore eficiente para matrizes de hines na GPU. Pré-impressão em https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teoria e algoritmos de otimização combinatória 6 edn (Springer, 2018). Gebali, F. Algoritmos e Computação Paralela (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: Um motor de computação otimizado para o simulador NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Aprendizagem pela previsão dendrítica do pico somático. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Otimização de modelos de canais de íons usando um algoritmo genético paralelo em processadores gráficos. J. Neurosci. Métodos 206, 183-194 (2012). Mascagni, M. Um algoritmo de paralelização para soluções computacionais para modelos de neurônios de cabo arbitrariamente ramificados.J. Neurosci. Métodos 36, 105-114 (1991). McDougal, R. A. et al. Vinte anos de modeloDB e além: construção de ferramentas essenciais de modelagem para o futuro da neurociência. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih seletivamente bloqueia a soma temporal de entradas distais não sincronizadas em neurônios piramidais CA1. Hemond, P. et al. Diferentes classes de células piramidais exibem padrões mutuamente exclusivos de disparo na área hipocampal CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modelos de células piramidais da camada neocórtica 5b capturando uma ampla gama de propriedades ativas dendríticas e perisomáticas. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Processamento de potencial de ação em um modelo de célula purkinje detalhado revela um papel crítico para a compartimentalização axonal. Lindroos, R. et al. Neuromodulação ganglia basal em múltiplas escalas temporais e estruturais – simulações de MSNs de via direta investigam o início rápido de efeitos dopaminérgicos e preveem o papel de Kv4.2. Migliore, M. et al. Os aglomerados sinápticos funcionam como operadores de odor na lâmpada olfativa. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. Guia de Programação do CUDA C++. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Guia de Melhores Práticas. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. A amplificação sináptica por espinhos dendríticos aumenta a cooperatividade de entrada. Natureza 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalização da inibição GABAérgica por espinhos dendríticos. Ciência 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. A plasticidade do pescoço espinhal regula a compartimentalização das sinapses. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neurônios piramidales corticais humanos: de espinhos a picos através de modelos. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. A função das espinhas dendríticas: dispositivos que servem a compartimentalização bioquímica em vez de elétrica.J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritic spines. em Biofísica da Computação (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. O impacto da atividade de fundo de fibra paralela sobre as propriedades do cabo das células purkinje cerebelar. Computação neural 4, 518-533 (1992). Hines, M. Computação eficiente de equações nervosas ramificadas. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biologicamente inspirado proteção de redes profundas de ataques adversários. Pré-impressão em https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simulação em grande escala usando Gênesis Paralelo. no livro de Gênesis: Explorando modelos neurais realistas com o sistema de simulação neural geral (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Simulações paralelas de rede com NEURON. Lytton, W. W. et al. Neurotecnologias de simulação para avançar a pesquisa cerebral: paralelização de grandes redes em NEURON. Computação neural 28, 2063–2090 (2016). Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Uma biblioteca de simulação de rede neural morfologicamente detalhada para arquiteturas de computação de alto desempenho contemporâneas.Em Proc. 27a Conferência Internacional Euromicro sobre Processamento Paralelo, Distribuído e Baseado em Rede (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Simulações de neurônios biofísicamente detalhadas aceleradas em múltiplos compartimentos em GPUs. J. Neurosci. Métodos 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Um algoritmo preditor-corrector para equações de reação-difusão associadas à atividade neural em estruturas ramificadas. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Uma solução ultra-escalável para simulação de tecido neural em grande escala. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Gravações de tensão intracelular direcionadas de espinhos dendríticos usando nanopipetes revestidos com pontos quânticos. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Mudanças de potencial de membrana em espinhos dendríticos durante potenciais de ação e entrada sináptica.J. Neurosci. 29, 6897-6903 (2009). Nishiyama, J. & Yasuda, R. Computação bioquímica para a plasticidade estrutural da coluna. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Mudanças morfológicas nas espinhas dendríticas associadas à plasticidade sináptica a longo prazo. Annu. Rev. Neurosci. 24, 1071-1089 (2001). Holtmaat, A. & Svoboda, K. A plasticidade sináptica estrutural dependente da experiência no cérebro de mamíferos.Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. A plasticidade estrutural na aprendizagem: regulação e funções. Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Reestruturação maciça de circuitos neuronais durante a reorganização funcional do córtex visual adulto. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. A experiência deixa uma marca estrutural duradoura nos circuitos corticais. Trachtenberg, J. T. et al. Imagem in vivo de longo prazo da plasticidade sináptica dependente da experiência no córtex adulto. Natureza 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dinâmica axonal de neurônios excitadores e inibidores no córtex somatosensorial. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Formação rápida e estabilização seletiva das sinapses para memórias motoras duradouras. Natureza 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Melhorar a aprendizagem motora aumentando a estabilidade das espinhas dendríticas recém-formadas no córtex motor. Neuron 109, 3298-3311 (2021). Branco, T. & Häusser, M. Gradientes de integração sináptica em dendritos de células piramidais córticas únicas. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Propriedades ativas dos dendritos neuronais piramidal neocórtico. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Potenciais de ação dendrítica e computação na camada humana 2/3 neurônios córticos. ciência 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. A inibição sináptica temporizada forma picos de NMDA, influenciando o processamento dendrítico local e as propriedades globais de I/O dos neurônios córticos. Du, K. et al. Inibição específica de tipo celular do potencial de plateia dendrítica em neurônios de projeção da espinha estriatal. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Picos dendríticos melhoram a seletividade do estímulo em neurônios corticais in vivo. Natureza 503, 115-120 (2013). Xu, N.-l et al. Integração não-linear dendrítica de entrada sensorial e motora durante uma tarefa de detecção ativa. Natureza 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Dendritos corticais ativos modulam a percepção. Ciência 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Prevalência transitória de cálcio em toda a árvore dendrítica prevê propriedades de campo de localização. Natureza 517, 200–204 (2015). Markram, H. et al. Reconstrução e simulação da microcircuitação neocórtica. Célula 163, 456-492 (2015). Billeh, Y. N. et al. Integração sistemática de dados estruturais e funcionais em modelos multicamadas do córtex visual primário do rato. Neuron 106, 388–403 (2020). Hjorth, J. et al. Os microcircuitos do striatum em silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Pode um único neurônio resolver problemas interessantes de aprendizagem de máquina através de cálculos sucessivos em sua árvore dendrítica? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explicando e aproveitando exemplos adversários. na 3a Conferência Internacional sobre Representações de Aprendizagem (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferibilidade no aprendizado de máquina: de fenômenos a ataques de caixa preta usando amostras adversárias. Pré-impressão em https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Aprendizagem baseada em gradiente aplicada ao reconhecimento de documentos. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Moda-MNIST: um novo conjunto de dados de imagem para benchmarking de algoritmos de aprendizagem de máquina. Pré-impressão em http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Avaliação da escalabilidade de algoritmos e arquiteturas de aprendizagem profunda biologicamente motivados. em Avanços em Sistemas de Processamento de Informação Neural 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: Uma caixa de ferramentas Python para comparar a robustez dos modelos de aprendizagem de máquina. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: ataques adversários rápidos para comparar a robustez dos modelos de aprendizagem de máquina em PyTorch, TensorFlow e JAX. Paszke, A. et al. PyTorch: Um estilo imperativo, biblioteca de aprendizagem profunda de alto desempenho. em avanços em sistemas de processamento de informação neural 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). Reconhecimento Os autores do Conselho agradecem sinceramente o Dr. Rita Zhang, Daochen Shi e os membros da NVIDIA pelo suporte técnico valioso da computação de GPU. Este trabalho foi apoiado pelo Programa Nacional de Pesquisa e Desenvolvimento de Áreas-Chave da China (n.o 2020AAA0130400) para K.D. e T.H., a Fundação Nacional de Ciências Naturais da China (n.o 61825101) para Y.T., o Conselho de Pesquisa Sueco (VR-M-2020-01652), o Centro de Pesquisa de Ciências Eletrônicas Sueco (N.o 2022ZD01163005) para L.M., o Programa de Pesquisa e Desenvolvimento de Áreas-Chave da Província de Guangdong (n.o 2018B030338001) para T.H Este artigo está disponível na natureza sob a licença CC by 4.0 Deed (Attribution 4.0 International). Este artigo está disponível na natureza sob a licença CC by 4.0 Deed (Attribution 4.0 International).
