Autorzy : Zbigniew Zhang Gan go Prawo ma Xiaofei Liu J. J. Johannes Hjorth Aleksander Kozłow Yutao He Shenjian Zhang Jeanette Hellgren jako Kotaleski Zespół Yonghong Tian Stan Grillner Kai Du Tiejun Huang Autorzy : Zbigniew Zhang Gan go Prawo ma Xiaofei Liu reż. J. J. Johannes Hjorth Aleksander Kozłow Yutao He Szanghaj Zhang Jeanette Hellgren jako Kotaleski Zespół Yonghong Tian Stan Grillner Gdybyś Tiejun Huang abstrakcyjna Biofizycznie szczegółowe modele wielodziałowe są potężnymi narzędziami do zbadania zasad obliczeniowych mózgu, a także służą jako ramy teoretyczne do generowania algorytmów dla systemów sztucznej inteligencji (AI). Jednak drogie koszty obliczeniowe poważnie ograniczają zastosowania zarówno w dziedzinie neuronaukowości, jak i AI. Główną luką podczas symulacji szczegółowych modeli oddziałów jest zdolność symulatora do rozwiązywania dużych systemów równań liniowych. endokrynologiczne Hierarchiczne Metoda cheduling (DHS) w celu znacznego przyspieszenia takiego procesu. Teoretycznie udowodniono, że wdrożenie DHS jest optymalne pod względem obliczeniowym i precyzyjne. Ta metoda oparta na GPU wykonuje z 2-3 kolejnościami wielkości szybciej niż metoda klasycznej serii Hines na konwencjonalnej platformie CPU. Budujemy ramy DeepDendrite, które integrują metodę DHS i silnik obliczeniowy GPU symulatora NEURON i demonstrują zastosowania DeepDendrite w zadaniach neuronaukowych. Badamy, w jaki sposób przestrzenne wzorce wejść kręgosłupa wpływają na pobudliwość neuronalną w szczegółowym modelu neuronu piramidy ludzkiej z 25 000 kręgosłupami. Ponadto dostarcz D H S Wprowadzenie Rozwiązywanie kodowania i zasad obliczeniowych neuronów jest niezbędne dla neuronauki. Mózg ssaków składa się z ponad tysięcy różnych typów neuronów o unikalnych właściwościach morfologicznych i biofizycznych. W ostatnich latach nowoczesna sztuczna inteligencja (AI) wykorzystała tę zasadę i opracowała potężne narzędzia, takie jak sztuczne sieci neuronowe (ANN). Jednak oprócz kompleksowych obliczeń na poziomie pojedynczego neuronu, oddziały podkomórkowe, takie jak dendryty neuronowe, mogą również wykonywać operacje nieliniowe jako niezależne jednostki obliczeniowe. , , , , Ponadto kręgosłupy dendrytyczne, małe wyrzuty, które gęsto pokrywają dendryty w neuronach kręgosłupa, mogą oddzielać sygnały synaptyczne, pozwalając im na oddzielenie od ich rodziców dendryty ex vivo i in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Symulacje z wykorzystaniem biologicznie szczegółowych neuronów zapewniają teoretyczne ramy łączenia szczegółów biologicznych z zasadami obliczeniowymi. , pozwala nam na modelowanie neuronów z realistycznymi morfologiami dendrytycznymi, wewnętrzną przewodnością jonową i wejściami synaptycznymi. , który modeluje biofizyczne właściwości membranowe dendrytów jako pasywne przewody, zapewniając matematyczny opis inwazji i rozprzestrzeniania się sygnałów elektronicznych w złożonych procesach neuronowych. poprzez włączenie teorii kabli z aktywnymi mechanizmami biofizycznymi, takimi jak kanały jonowe, pobudzające i hamujące prądy synaptyczne itp., szczegółowy model wielodziałowy może osiągnąć komórkowe i podkomórkowe obliczenia neuronowe poza ograniczeniami eksperymentalnymi , . 12 13 12 4 7 Oprócz głębokiego wpływu na neuronaukę, biologicznie szczegółowe modele neuronów zostały niedawno wykorzystane do pomostania różnicy między szczegółami strukturalnymi i biofizycznymi neuronów i sztucznej inteligencji.Powszechną techniką w nowoczesnej dziedzinie sztucznej inteligencji są ANN składające się z neuronów punktowych, analogiczne do biologicznych sieci neuronowych. , Ludzki mózg wciąż wyprzedza ANN w dziedzinach, które zawierają bardziej dynamiczne i hałaśliwe środowiska. , Ostatnie badania teoretyczne sugerują, że integracja dendrytowa jest kluczowa w generowaniu efektywnych algorytmów uczenia się, które potencjalnie przewyższają backprop w równoległym przetwarzaniu informacji. , , Ponadto pojedynczy szczegółowy model wielodziałowy może uczyć się obliczeń nieliniowych na poziomie sieci dla neuronów punktowych, dostosowując tylko siłę synaptyczną. , Wykazując pełny potencjał szczegółowych modeli w budowaniu bardziej potężnych systemów AI podobnych do mózgu. Dlatego priorytetem jest rozszerzenie paradygmatów w AI podobnej do mózgu od pojedynczych szczegółowych modeli neuronów do dużych sieci biologicznie szczegółowych. 14 15 16 17 18 19 20 21 22 Jednym z długotrwałych wyzwań szczegółowego podejścia do symulacji leży w jego wyjątkowo wysokich kosztach obliczeniowych, co poważnie ograniczyło jego zastosowanie w dziedzinie neuronauki i sztucznej inteligencji. , , Aby poprawić wydajność, klasyczna metoda Hines zmniejsza czas złożoności rozwiązywania równań od O(n3) do O(n), który został szeroko stosowany jako podstawowy algorytm w popularnych symulatorach takich jak NEURON. i genezy Jednak ta metoda wykorzystuje podejście seryjne do przetwarzania każdego oddziału sekwencyjnie.Kiedy symulacja obejmuje wiele biofizycznie szczegółowych dendrytów z dendrytycznymi kręgami, matryca równania liniowego („Hines Matrix”) mierzy odpowiednio z rosnącą liczbą dendrytów lub kręgów (Rys. Metoda Hines nie jest już praktyczna, ponieważ stanowi bardzo ciężkie obciążenie dla całej symulacji. 12 23 24 25 26 1e Rekonstruowany model pyramidalnego neuronu warstwy 5 i formuła matematyczna stosowana przy szczegółowych modelach neuronów. Przepływ pracy podczas symulacji liczbowych szczegółowych modeli neuronów. Faza rozwiązywania równań jest blokadą w symulacji. Przykładowe równania liniowe w symulacji. Zależność danych od metody Hines przy rozwiązywaniu równań liniowych ... Liczba systemów równań liniowych, które należy rozwiązać, ulega znacznemu wzrostowi, gdy modele stają się bardziej szczegółowe. Koszt obliczeniowy (kroki podjęte w fazie rozwiązywania równań) metody serii Hines na różnych rodzajach modeli neuronów. Różne części neuronu są przypisywane do wielu jednostek przetwarzania w równoległych metodach (środek, prawo), wyświetlane w różnych kolorach. Koszty obliczeniowe trzech metod Rozwiązywanie równań w modelu piramidalnym. Run time of different methods on solving equations for 500 pyramidal models with spines. The run time indicates the time consumption of 1 s simulation (solving the equation 40,000 times with a time step of 0.025 ms). p-Hines parallel method in CoreNEURON (on GPU), Branch based branch-based parallel method (on GPU), DHS Dendritic hierarchical scheduling method (on GPU). a b c d c e f g h g i W ciągu ostatnich dziesięcioleci dokonano ogromnych postępów w przyspieszaniu metody Hines za pomocą równoległych metod na poziomie komórkowym, co umożliwia równoległe obliczanie różnych części w każdej komórce. , , , , , Jednak obecne metody równoległe na poziomie komórkowym często nie mają skutecznej strategii równoległości lub nie mają wystarczającej dokładności liczbowej w porównaniu z oryginalną metodą Hines. 27 28 29 30 31 32 Tutaj opracowujemy w pełni zautomatyzowane, numerycznie dokładne i zoptymalizowane narzędzie symulacyjne, które może znacznie przyspieszyć wydajność obliczeniową i zmniejszyć koszty obliczeniowe. Ponadto to narzędzie symulacyjne może być bezproblemowo przyjęte do tworzenia i testowania sieci neuronowych z szczegółami biologicznymi dla aplikacji uczenia maszynowego i sztucznej inteligencji. Teoria obliczeń równoległych Pokazujemy, że nasz algorytm zapewnia optymalne planowanie bez utraty precyzji. Ponadto zoptymalizowaliśmy DHS dla obecnie najbardziej zaawansowanego układu GPU, korzystając z hierarchii pamięci GPU i mechanizmów dostępu do pamięci. W porównaniu z klasycznym symulatorem Neuron przy zachowaniu tej samej dokładności. 33 34 1 25 Aby umożliwić szczegółowe symulacje dendrytyczne do wykorzystania w sztucznej inteligencji, następnym krokiem jest ustanowienie ram DeepDendrite poprzez zintegrowanie z DHS wbudowanej platformy CoreNEURON (optymalizowany silnik obliczeniowy dla NEURON). jako silnik symulacyjny i dwa moduły pomocnicze (moduł I/O i moduł uczenia się) obsługujące algorytmy uczenia się dendrytu podczas symulacji. DeepDendrite działa na platformie sprzętowej GPU, obsługując zarówno regularne zadania symulacyjne w dziedzinie neuronaukowości, jak i zadania uczenia się w sztucznej inteligencji. 35 Na koniec przedstawiamy również kilka zastosowań wykorzystujących DeepDendrite, ukierunkowanych na kilka krytycznych wyzwań w dziedzinie neurologii i sztucznej inteligencji: (1) Pokazujemy, w jaki sposób wzorce przestrzenne wejść dendrytycznych kręgosłupa wpływają na aktywność neuronalną z neuronami zawierającymi kręgi w drzewach dendrytycznych (modele pełnego kręgosłupa). DeepDendrite pozwala nam zbadać obliczenia neuronów w symulowanym modelu ludzkich neuronów piramidalnych z ~25 000 kręgów dendrytycznych. (2) W dyskusji rozważamy również potencjał DeepDendrite w kontekście sztucznej inteligencji, w szczególności w tworzeniu ANN z morfologicznie szczegółowymi ludzkich neuronów piramid Wszystkie kody źródłowe DeepDendrite, modele pełnego kręgosłupa i szczegółowy model sieci dendrytycznej są publicznie dostępne online (patrz Dostępność kodu).Nasze ramy uczenia się z otwartym kodem można łatwo zintegrować z innymi zasadami uczenia się dendrytycznego, takimi jak zasady uczenia się dla dendrytu nieliniowego (pełnego aktywnego) Burst-dependentne plastyczność synaptyczna , i uczyć się z przewidywaniem spike Ogólnie rzecz biorąc, nasze badanie dostarcza kompletnego zestawu narzędzi, które mają potencjał do zmiany obecnego ekosystemu społeczności neuronaukowej obliczeniowej.Wykorzystując moc obliczeń GPU, przewidujemy, że te narzędzia ułatwią systemowe badania zasad obliczeniowych drobnych struktur mózgu, a także promują interakcję między neuronauką a nowoczesną sztuczną inteligencją. 21 20 36 Wyniki Metoda Dendryckiego Planowania Hierarchicznego (DHS) Obliczanie prądów jonowych i rozwiązywanie równań liniowych są dwoma krytycznymi fazami podczas symulacji neuronów biofizycznie szczegółowych, które są czasochłonne i stanowią poważne obciążenia obliczeniowe.Na szczęście obliczanie prądów jonowych każdego oddziału jest całkowicie niezależnym procesem, dzięki czemu może być naturalnie równolegle na urządzeniach z masywnymi równoległymi jednostkami obliczeniowymi, takimi jak GPU W rezultacie rozwiązanie równań liniowych staje się pozostałą barierą dla procesu równoległości (Rys. ) w 37 1a – f Aby rozwiązać ten problem, opracowano metody równoległe na poziomie komórkowym, które przyspieszają obliczenia pojedynczych komórek, „podzielając” pojedynczą komórkę na kilka komórek, które można obliczyć równolegle. , , Jednak takie metody w dużej mierze opierają się na uprzedniej wiedzy, aby wygenerować praktyczne strategie, jak podzielić pojedynczy neuron na oddziały (Rys. • Dodatkowa figurka. W rezultacie staje się mniej wydajny dla neuronów o asymetrycznych morfologiach, np. neuronów piramidalnych i neuronów Purkinje. 27 28 38 1g i 1 Naszym celem jest opracowanie bardziej wydajnej i precyzyjnej metody równoległej do symulacji biologicznie szczegółowych sieci neuronowych. Po pierwsze, ustalamy kryteria dla dokładności metody równoległej na poziomie komórkowym. , proponujemy trzy warunki, aby upewnić się, że metoda równoległa przynosi identyczne rozwiązania jak metoda obliczeniowa Hines zgodnie z zależnością danych w metodzie Hines (patrz Metody). Następnie, aby teoretycznie ocenić czas działania, czyli wydajność metod obliczeniowych seryjnych i równoległych, wprowadzamy i sformułujemy koncepcję kosztów obliczeniowych jako liczbę kroków podejmowanych przez metodę w rozwiązywaniu równań (patrz Metody). 34 Na podstawie dokładności symulacji i kosztów obliczeniowych sformułujemy problem równoległości jako problem planowania matematycznego (patrz Metody). Płytki równoległe, możemy obliczyć maksymalnie węzły na każdym kroku, ale musimy upewnić się, że węzeł jest obliczany tylko wtedy, gdy wszystkie jego węzły dzieci zostały przetworzone; naszym celem jest znalezienie strategii z minimalną liczbą kroków dla całej procedury. k k Aby wygenerować optymalny podział, proponujemy metodę o nazwie Dendritic Hierarchical Scheduling (DHS) (dowód teoretyczny jest przedstawiony w Metodach). Metoda DHS obejmuje dwa etapy: analizę topologii dendrytycznej i znalezienie najlepszego podziału: (1) Biorąc pod uwagę szczegółowy model, najpierw otrzymujemy odpowiednie drzewo zależności i obliczamy głębokość każdego węzła (głębokość węzła jest liczbą jego węzłów przodków) na drzewie (Rys. 2) Po analizie topologii wyszukujemy kandydatów i wybieramy maksymalnie Najgłębsze węzły kandydatów (węzeł jest kandydatem tylko wtedy, gdy wszystkie jego węzły dzieci zostały przetworzone). ) w 2a 2b, C k 2D Przepływ pracy DHS, procesy DHS Najgłębszy węzeł kandydata w każdej iteracji. Ilustracja obliczania głębokości węzła modelu oddziałowego. Model jest najpierw przekształcony w strukturę drzewa, a następnie obliczana jest głębokość każdego węzła. Analiza topologii na różnych modelach neuronów. Tutaj przedstawiono sześć neuronów o odrębnych morfologiach. Dla każdego modelu soma jest wybierana jako korzeń drzewa, dzięki czemu głębokość węzła wzrasta od somy (0) do dendrytów odległych. Ilustracja wykonywania DHS na modelu w z czterema przewodami. Kandydaci: węzły, które można przetwarzać. Kandydaci wybierani: węzły wybierane przez DHS, tj. Węzły przetwarzane: węzły, które zostały przetworzone wcześniej. Strategia równoległości uzyskana przez DHS po procesie w DHS redukuje etapy przetwarzania węzłów seryjnych z 14 do 5, rozprowadzając węzły na wiele węzłów. Koszt względny, tj. odsetek kosztów obliczeniowych DHS do metody serii Hines, przy zastosowaniu DHS z różną liczbą przewodów na różnych rodzajach modeli. a k b c d b k e d f Weźmy na przykład uproszczony model z 15 komorami, używając metody obliczeń seryjnych Hines, potrzeba 14 kroków do przetworzenia wszystkich węzłów, podczas gdy za pomocą DHS z czterema równoległymi jednostkami można podzielić jego węzły na pięć podzbiorów (Rys. {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Ponieważ węzły w tym samym podzbiorze mogą być przetwarzane równolegle, potrzeba tylko pięciu kroków, aby przetworzyć wszystkie węzły za pomocą DHS (Rys. ) w 2D 2e Następnie zastosujemy metodę DHS do sześciu reprezentatywnych szczegółowych modeli neuronów (wybranych z ModelDB). ) z różną liczbą dróg (Fig. ): w tym neurony piramidalne kory i hipokampu , , Cerebellar Purkinje Neurony Neurony Projekcji Striatalnej (SPN) ) i komórki mitralne żarówki zapachowej , obejmujące główne główne neurony w obszarach zmysłowych, kory i podkory. Następnie zmierzyliśmy koszt obliczeniowy. Relatywny koszt obliczeniowy tutaj jest zdefiniowany przez odsetek kosztów obliczeniowych DHS do metody serii Hines. Koszt obliczeniowy, tj. Liczba kroków podjętych w rozwiązywaniu równań, drastycznie spada wraz ze wzrostem liczby nić. Na przykład, z 16 nićmi, koszt obliczeniowy DHS wynosi 7%-10% w porównaniu z metodą serii Hines. Intrygująco, metoda DHS osiąga niższe granice ich kosztów obliczeniowych dla prezentowanych neuronów, gdy podano 16 lub nawet 8 równoległych nićmi (Rys. ), sugerując dodanie więcej przewodów nie poprawia wydajności dalej ze względu na zależności między komorami. 39 2f 40 41 42 43 44 45 2f Wspólnie generujemy metodę DHS, która umożliwia zautomatyzowaną analizę topologii dendrytycznej i optymalną partycję do obliczeń równoległych. Warto zauważyć, że DHS znajduje optymalną partycję przed rozpoczęciem symulacji, a żadne dodatkowe obliczenia nie są potrzebne do rozwiązania równań. Przyspieszanie DHS poprzez zwiększenie pamięci GPU DHS oblicza każdy neuron z wieloma pasmami, które zużywają ogromną ilość pasm podczas uruchamiania symulacji sieci neuronowych. Jednostki przetwarzania grafiki (GPU) składają się z masywnych jednostek przetwarzania (tj. procesorów strumieniowych, SP, Rys. • Komputery równoległe Teoretycznie wiele SP na GPU powinno obsługiwać wydajną symulację dla dużych sieci neuronowych (Rys. Jednakże konsekwentnie obserwowaliśmy, że wydajność DHS znacznie zmniejszyła się, gdy rozmiar sieci wzrósł, co może wynikać z rozproszonego przechowywania danych lub dodatkowego dostępu do pamięci spowodowanego ładowaniem i pisaniem wyników pośrednich (Rys. w lewo ) 3a, b 46 3c 3D Architektura GPU i jego hierarchia pamięci. Każdy GPU zawiera masywne jednostki przetwarzania (procesory strumieniowe). Różne typy pamięci mają inny przepływ. Architektura strumieniowych multiprocesorów (SM). Każdy SM zawiera wiele procesorów strumieniowych, rejestrów i pamięci podręcznej L1. Zastosowanie DHS do dwóch neuronów, każdy z czterema pasmami. Podczas symulacji, każdy pasmę wykonuje na jednym procesorze strumienia. Strategia optymalizacji pamięci na GPU. Panel górny, przypisanie nić i przechowywanie danych DHS, przed (lewy) i po (prawy) wzmocnienie pamięci. Procesory wysyłają żądanie danych, aby załadować dane dla każdego wątku z pamięci globalnej. Bez zwiększenia pamięci (po lewej), potrzeba siedmiu transakcji, aby załadować wszystkie dane żądania i kilka dodatkowych transakcji dla wyników pośrednich. Czas działania DHS (32 pasma w każdej komórce) z i bez wzmocnienia pamięci na wielowarstwowych modelach piramidalnych o 5 warstwach. Przyspieszenie wzrostu pamięci na wielowarstwowych modelach piramidalnych o 5 warstwach z pętlami. a b c d d e f Rozwiązujemy ten problem poprzez zwiększenie przepustowości pamięci GPU, metodę zwiększania przepustowości pamięci poprzez wykorzystanie hierarchii pamięci i mechanizmu dostępu GPU. Na podstawie mechanizmu ładowania pamięci GPU następujące pasma ładowania danych wyrównanych i kolejno przechowywanych prowadzą do wysokiego przepustowości pamięci w porównaniu z dostępem do danych przechowywanych w rozproszeniu, co zmniejsza przepustowość pamięci. , Aby osiągnąć wysoką przepustowość, najpierw wyrównujemy polecenia obliczeniowe węzłów i uporządkowujemy druty zgodnie z liczbą węzłów na nich. Następnie przekształcamy przechowywanie danych w pamięci globalnej, zgodne z poleceniami obliczeniowymi, tj. węzły, które są przetwarzane w tym samym kroku, są przechowywane kolejno w pamięci globalnej. Ponadto używamy rejestrów GPU do przechowywania wyników pośrednich, dodatkowo wzmacniając przepustowość pamięci. Ponadto eksperymenty na wielu liczbach neuronów piramidalnych z kręgami i typowymi modelami neuronów (Rys. • Dodatkowa figurka. Pokazuje, że wzmocnienie pamięci osiąga 1,2-3,8-krotne przyspieszenie w porównaniu z naiwnym DHS. 46 47 3D 3 E, F 2 Aby wszechstronnie przetestować wydajność DHS przy pomocy wzmocnienia pamięci GPU, wybieramy sześć typowych modeli neuronów i oceniamy czas działania rozwiązywania równań kablowych na masywnych liczbach każdego modelu (Rys. W porównaniu z metodą GPU w CoreNEURON, DHS-4 i DHS-16 mogą przyspieszyć około 5 i 15 razy, odpowiednio (Rys. Ponadto, w porównaniu z konwencjonalną metodą serii Hines w NEURON działającą z pojedynczym przewodem procesora, DHS przyspiesza symulację o 2-3 porządki wielkości (Dodatkowy rysunek. ), zachowując identyczną dokładność liczbową w obecności gęstych pędów (Dopłacalne fig. i ), aktywne dendryty (Dodatkowy rys. Różne strategie segmentacji (Fig. ) w 4 4a 3 4 8 7 7 Czas biegu rozwiązywania równań dla symulacji 1 s na GPU (dt = 0,025 ms, 40 000 iteracji w sumie). CoreNEURON: metoda równoległa stosowana w CoreNEURON; DHS-4: DHS z czterema pasmami dla każdego neuronu; DHS-16: DHS z 16 pasmami dla każdego neuronu. , Wizualizacja partycji przez DHS-4 i DHS-16, każdy kolor wskazuje pojedynczy prąd. a b c DHS tworzy optymalne partycjonowanie specyficzne dla typu komórki Aby uzyskać wgląd w mechanizm pracy metody DHS, wizualizowaliśmy proces partycjonowania poprzez mapowanie odcinków do każdego pasma (każdy kolor przedstawia pojedynczy pasek na rysunku. Wizualizacja pokazuje, że pojedynczy prąd często przełącza się między różnymi gałęziami (Rys. Co ciekawe, DHS generuje wyrównane podziały w morfologicznie symetrycznych neuronach, takich jak neuron projekcji striatalnej (SPN) i komórka mitralna (Rys. W przeciwieństwie do tego, generuje rozdrobnione podziały morfologicznie asymetrycznych neuronów, takich jak neurony piramidalne i komórki Purkinje (Rys. ), wskazując, że DHS dzieli drzewo nerwowe w skali poszczególnych oddziałów (tj. węzła drzewa) zamiast skali gałęzi. 4b, C 4b, C 4b, C 4b, C Podsumowując, DHS i zwiększanie pamięci generują teoretycznie udowodnione optymalne rozwiązanie do rozwiązywania równań liniowych równolegle z bezprecedensową wydajnością. Korzystając z tej zasady, zbudowaliśmy platformę DeepDendrite o otwartym dostępie, którą neurolodzy mogą wykorzystać do wdrażania modeli bez jakiejkolwiek specyficznej wiedzy z zakresu programowania GPU. Poniżej pokazujemy, jak możemy wykorzystać DeepDendrite w zadaniach neuronaukowych. DHS umożliwia modelowanie poziomu kręgosłupa Ponieważ kręgosłupy dendrytyczne otrzymują większość pobudzającego wkładu do neuronów piramidalnych kory i hipokampu, neuronów projekcji striatu itp., ich morfologia i plastyczność są kluczowe dla regulacji pobudliwości neuronów. , , , , Jednak kręgosłupy są zbyt małe ( ~ 1 μm długości), aby bezpośrednio mierzyć eksperymentalnie w odniesieniu do procesów zależnych od napięcia. 10 48 49 50 51 Możemy zmodelować pojedynczy kręgosłup z dwoma komorami: głową kręgosłupa, w którym znajdują się synapsy, i szyją kręgosłupa, która łączy głowę kręgosłupa z dendritami. Teoria przewiduje, że bardzo cienka szyja kręgosłupa (0,1-0,5 um w średnicy) elektronicznie izoluje głowę kręgosłupa od jego dendrytu rodzicielskiego, tym samym oddzielając sygnały generowane na głowie kręgosłupa. Jednak szczegółowy model z w pełni rozproszonymi kręgami na dendrytach („model całego kręgosłupa”) jest bardzo kosztowny pod względem obliczeniowym. Spinalny czynnik , zamiast wyraźnie modelowania wszystkich kręgów. tutaj, współczynnik kręgosłupa ma na celu przybliżenie wpływu kręgosłupa na biofizyczne właściwości błony komórkowej . 52 53 F 54 F 54 Zainspirowany wcześniejszymi pracami Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of W rezultacie, obliczyliśmy gęstość kręgosłupa z ich zrekonstruowanych danych, aby nasz model kręgosłupa pełnego był bardziej spójny z modelem kręgosłupa niewielkiego Eyal. Z gęstością kręgosłupa ustawioną na 1,3 μm-1, model neuronu piramidy zawierał około 25 000 kręgów bez zmiany oryginalnych właściwości morfologicznych i biofizycznych modelu. Ponadto powtórzyliśmy poprzednie protokoły eksperymentalne zarówno z modelem kręgosłupa pełnego, jak i z modelu kręgosłupa niewielkiego. Używamy tego samego wejścia synaptycznego jak w pracy Eyal, ale dodajemy dodatkowy hałas tła do każdej próbki. Porównując ślady somatyczne (Rys. ) and spike probability (Fig. ) w modelach pełnego kręgosłupa i niewielkiego kręgosłupa stwierdziliśmy, że model pełnego kręgosłupa jest znacznie bardziej wyciekający niż model niewielkiego kręgosłupa. Ponadto prawdopodobieństwo piku wywołane przez aktywację zgrupowanych kręgosłupów wydawało się bardziej nieliniowe w modelu pełnego kręgosłupa (ciężka niebieska linia na rys. ) niż w modelu z niewielkimi kręgami (niebieska linia w rysunku. Wyniki te wskazują, że konwencjonalna metoda F-faktoru może niedocenić wpływ gęstej kręgosłupa na obliczenia dendrytycznej pobudliwości i nieliniowości. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. • stół dodatkowy ) przy zachowaniu identycznych wyników symulacji (Fig. Dodatkowe. i Dlatego metoda DHS umożliwia eksploracje pobudliwości dendrytycznej w bardziej realistycznych warunkach anatomicznych. 5e 1 4 8 Dyskusja W niniejszej pracy proponujemy metodę DHS do równoległego obliczania metody Hines and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. Podczas symulacji dużej liczby neuronów o złożonych morfologiach, DHS z wzmocnieniem pamięci osiąga 15-krotne przyspieszenie (Tabela uzupełniająca). ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. • Dodatkowa figurka. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Dzięki dalszej optymalizacji metody oparte na GPU osiągają znacznie wyższą wydajność w symulacji sieci. Jednak obliczenia wewnątrz komórek są nadal seryjne w metodach na poziomie sieci, więc nadal nie mogą poradzić sobie z problemem, gdy „matryca Hines” każdej komórki jest duża. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , Te strategie równoległości o drobniejszych ziarenkach mogą uzyskać wyższą wydajność, ale nie mają wystarczającej dokładności liczbowej, jak w oryginalnej metodzie Hines. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Kręgosłupy dendrytyczne są najbogatszymi mikrostrukturami w mózgu dla neuronów projekcyjnych w korze, hipokampie, mózgu i gangliach podstawowych. Ponieważ kręgosłupy otrzymują większość wchodów pobudzających w ośrodkowym układzie nerwowym, sygnały elektryczne generowane przez kręgosłupy są główną siłą napędową dla dużych działań neuronowych w przedsionku i mózgu , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , W ten sposób zwiększa prądy NMDA i prądy kanałów jonowych w kręgosłupie. . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Kortex Somatosensoryczny , , motor cortex w hipokampie , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice lub nawet ludzkich neuronów kory in vitro, which may offer various logical operations , or gating functions , Niedawno, nagrania in vivo u budzących się lub zachowujących się myszy dostarczają silnych dowodów na to, że dendrytyczne szczyty / potencjały płaskowyżowe są kluczowe dla selektywności orientacji w korze wzrokowej. , sensory-motor integration in the whisker system , , i nawigacja kosmiczna w regionie hipokampu CA1 . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . zaproponował nową architekturę ANN z aktywnymi dendrytami, wykazującą konkurencyjne wyniki w zakresie wielopłatności i ciągłego uczenia się. użył drzewa binarnego, aby przybliżyć rozgałęzienie dendrytu i dostarczył cennych informacji na temat wpływu struktury drzewa na zdolność obliczeniową pojedynczych neuronów. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. Sieć ta wykazała efektywne możliwości szkoleniowe w zadaniach klasyfikacji obrazu, osiągając około 25 razy przyspieszenie w porównaniu do szkolenia na tradycyjnej platformie opartej na procesorze (Rys. ; Supplementary Table ). 6a i b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Szkolenie z mini-batch. Wiele sieci symuluje się jednocześnie z różnymi obrazami jako wejściami. Łączna aktualizacja wagi ΔW jest obliczana jako średnia ΔWi z każdej sieci. Porównanie HPC-Net przed i po treningu. Po lewej, wizualizacja odpowiedzi ukrytych neuronów na określony wkład przed (górą) i po (spodzie) treningu. Prawy, ukryty ciężar warstwy (od wejścia do ukrytej warstwy) dystrybucji przed (górą) i po (spodzie) treningu. Przepływ pracy eksperymentu z atakiem przeciwnika transferowego. najpierw generujemy próbki przeciwnika testu ustawione na 20-warstwie ResNet. Następnie użyj tych próbek przeciwnika (dźwiękowe obrazy), aby przetestować dokładność klasyfikacji modeli przeszkolonych za pomocą czystych obrazów. Precyzja przewidywania każdego modelu na próbkach przeciwników po szkoleniu 30 epok na zestawach danych MNIST (po lewej) i Fashion-MNIST (po prawej). Czas trwania szkolenia i testowania dla HPC-Net. Rozmiar partii jest ustawiony na 16. Left, czas trwania szkolenia jedna epoka. Prawo, czas trwania testowania. Paralelny NEURON + Python: szkolenie i testowanie na pojedynczym procesorze z wieloma rdzeniami, za pomocą 40-procesowego równoległego NEURON do symulacji HPC-Net i dodatkowego kodu Python do wsparcia mini-batchowego szkolenia. DeepDendrite: szkolenie i testowanie HPC-Net na pojedynczym GPU z DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST Zbiór danych (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Metody Symulacja z DHS CoreNEURON symulator ( Wykorzystuje neuron architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Dokładność symulacji przy użyciu obliczeń równoległych na poziomie komórkowym To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , stwierdzamy, że jego zależność od danych może być sformułowana jako struktura drzewa, gdzie węzły na drzewie reprezentują oddziały szczegółowego modelu neuronu. W procesie trójkątności wartość każdego węzła zależy od jego węzłów dziecięcych. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set lub into subsets, i.e., • { , , … } where the size of each subset | ≤ ≤ ≤ Oznacza to, że w maksymalnym nodes can be processed each step since there are only Proces trójkątnej fazy następuje w następującej kolejności: → → … → , and nodes in the same subset can be processed in parallel. So, we define | Wielkość setu (Size set) , i.e., W skrócie, definiujemy koszt obliczeniowy metody równoległej jako liczbę kroków, które podejmuje w fazie trójkątnej.Ponieważ zastępowanie wsteczne jest symetryczne z trójkątną, całkowity koszt całej fazy równania rozwiązywania jest dwa razy większy niż w fazie trójkątnej. T k V T n V w1 V2 Vn Vi k k k w1 V2 wn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Daję drzewo • { , } and a positive integer , where Jest to node-set i jest ustawienie krawędzi. Definiuj partycję ( ) = { , , ... }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in Dla każdego węzła ∈ , all its children nodes { Włocławek ∈children( )} must in a previous subset gdzie 1 ≤ » . Our goal is to find an optimal partition ( a) których koszty obliczeniowe ( )| is minimal. T V E k V E P V V1 w2 Vn VI k i Vi Vi Vi v Vi c c v Vj j i P* V P * V Tutaj podsumowanie consists of all nodes that will be computed at -th step (Fig. Tak więc, tak ≤ ≤ ≤ indicates that we can compute nodes each step at most because the number of available threads is Ograniczenie „dla każdego węzła ∈ Wszystkie jej dziecięce węzły | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e VI k k k v Vi c c v Vj j i v Wdrożenie DHS We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ Następnie następujące dwa kroki zostaną wykonane iteracyjnie, aż do momentu, gdy każdy węzeł ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove Najgłębsze węzły z Dodaj je do podszewki . Label these nodes as processed nodes (Fig. ). After filling in subset , przejdź do kroku (1) aby wypełnić następny podzbiór . d v v V v V Q Q k Q V * I k Q Vi 2D VI I + 1 Correctness proof for DHS Po zastosowaniu DHS do drzewa nerwowego = { , }, we get a partition ( ) = { , , ... | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking Następnie wykazujemy, że reorganizacja obliczeń w DHS doprowadzi do wyniku identycznego z metodą serii Hines. T V E P V w1 V2 wn VI k i n VI n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) jest uzyskany z danego drzewa nerwowego Operacje w DHS nie modyfikują topologii drzewa i wartości węzłów drzewa (odpowiednie wartości w równaniach liniowych), więc morfologia drzewa i początkowe wartości wszystkich węzłów nie ulegają zmianie, co spełnia warunek 1: morfologia drzewa i początkowe wartości wszystkich węzłów są identyczne z tymi w metodzie Hines. to . As shown in the implementation of DHS, all nodes in subset Są wybierane z zestawu kandydatów , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to Jak pokazano wcześniej, dziecko węzły wszystkich węzłów w are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn VI Q Q VI V1 V2 Vi-1 Vn w1 VI w1 w2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS Ideą dowodów jest to, że jeśli istnieje inne optymalne rozwiązanie, można je przekształcić w nasze rozwiązanie DHS bez zwiększania liczby kroków wymaganych przez algorytm, wskazując tym samym, że rozwiązanie DHS jest optymalne. Dla każdego podzespołu w ( DHS porusza się (numer prądu) najgłębsze węzły z odpowiedniego zestawu kandydatów Dwóch Jeśli liczba węzłów w jest mniejszy niż Przenieś wszystkie węzły z Dwóch Aby to uprościć, wprowadzamy Wskazywanie głębokości sumy Najgłębsze węzły w . All subsets in ( spełniają kryteria maksymalnej głębokości (Dodatkowy rys. Następnie udowodniono, że wybieranie najgłębszych węzłów w każdej iteracji powoduje an optimal partition. If there exists an optimal partition • { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. VI P V k Qi VI Qi k Qi VI Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset nie spełnia kryteriów, tzn. istnieją dwa możliwe przypadki, które not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | Włocław = but nodes in Nie są one deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make spełniają kryteria dodatkowe (Fig. , top). For case (2), | | = , te głębsze węzły, które nie są przenoszone z zestawu kandydatów into należy dodać do kolejnych podzespołów (Dodatkowy rys. , bottom). These deeper nodes can be moved from subsequent subsets to w następujący sposób. zakładając, że po wypełnieniu , is picked and one of the -th deepest nodes Jest nadal w , thus will be put into a subsequent subset ( > > ). We first move from to + , then modify subset + as follows: if | + | ≤ Żaden z węzłów w + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + więcej to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V * I V*i < k V*i V*i 6b V*i k Qi V*i 6b V*i V * I v k v’ Qi v’ V*j j i v V*i V * I 1 V * I 1 V*i 1 k V * I 1 v V*i 1 6c v V * I 1 V * I 2 V * I 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V * J V * I Dzięki strategii modyfikacji opisanej powyżej możemy zastąpić wszystkie płaskie węzły w Z tą Najgłębszy węzeł w i zachować liczbę podzbiorów, tj. ( Możemy modyfikować węzły z tą samą strategią dla wszystkich podzbiorów w ( nie zawiera najgłębszych węzłów. wreszcie, wszystkie podzbiory ∈ ( ) może spełniać kryteria maksymalnej głębokości i ( 2) Po zmianie nie ulega zmianie. V * I k Qi P * V P * V V * I P* V P * V W rezultacie DHS generuje partycję ( ) i wszystkie podzespoły ∈ ( ) spełniają warunki maksymalnej głębokości: . dla każdej innej optymalnej partycji ( ) możemy modyfikować jego podzbiory, aby jego struktura była taka sama jak ( ), tzn. każdy podzbiór składa się z najgłębszych węzłów w zespole kandydata i utrzymuje ( ) Zmiany w rozdzielczości, czyli oddzielność ( ) uzyskane z DHS jest jednym z optymalnych partycji. P V VI P V P * V P V P * V | P V Wdrożenie GPU i wzmocnienie pamięci Aby osiągnąć wysoką przepustowość pamięci, GPU wykorzystuje hierarchię pamięci (1) pamięci globalnej, (2) pamięci podręcznej, (3) rejestru, gdzie pamięć globalna ma dużą pojemność, ale niską przepustowość, podczas gdy rejestry mają niską pojemność, ale wysoką przepustowość. GPU wykorzystuje architekturę SIMT (Single-Instruction, Multiple-Thread). Warps są podstawowymi jednostkami planowania na GPU (warp jest grupą 32 równoległych pasm). Prawidłowe uporządkowanie węzłów jest niezbędne dla tej partii obliczeń w warpach, aby upewnić się, że DHS otrzymuje identyczne wyniki jak metoda serialu Hines. Podczas wdrażania DHS na GPU, najpierw grupujemy wszystkie komórki w wiele warpów w oparciu o ich morfologii. Komórki o podobnych morfologii są zgrupowane w tej samej warp. Następnie stosujemy DHS do wszystkich neuronów, przypisując oddziały każdego neuronu do wielu pasm. Ponieważ neurony są zgrupowane w warpy, pasma tego samego neuronu są w tej samej warp. Dlatego wewnętrzna synchronizacja w warpach utrzymuje kolejność obliczeń zgodną z zależnością danych metody serialu Hines. Wreszcie 46 Gdy warp ładuje wstępnie wyrównane i kolejno przechowywane dane z pamięci globalnej, może w pełni wykorzystać pamięć podręczną, co prowadzi do wysokiej przepustowości pamięci, podczas gdy dostęp do danych przechowywanych w rozproszeniu zmniejszyłby przepustowość pamięci. Po przydzieleniu oddziałów i ponownym uporządkowaniu przewodów, przenosimy dane w pamięci globalnej, aby uczynić je spójnymi z poleceniami obliczeniowymi, aby warpowie mogli ładować kolejno przechowywane dane podczas wykonywania programu. Modele biofizyczne pełnego i niewielkiego kręgosłupa Wykorzystaliśmy opublikowany ludzki neuron piramidalny - zdolność membranową m = 0,44 μF cm-2, opór membranowy m = 48,300 Ω cm2, and axial resistivity a = 261,97 Ω cm. W tym modelu wszystkie dendryty były modelowane jako pasywne kable, podczas gdy somy były aktywne. l = -83,1 mV. Kanały jonowe takie jak Na+ i K+ zostały włożone na sumę i początkowy akson, a ich potencjał odwrotny był Na = 67.6 mV, K = -102 mV odpowiednio. wszystkie te specyficzne parametry zostały ustawione tak samo jak w modelu Eyal, et al. , w celu uzyskania dalszych informacji prosimy zapoznać się z opublikowanym modelem (ModelDB, dostęp nr 238347). 51 c r r E E E 51 W modelu kilku kręgów pojemność membrany i maksymalna przewodność wycieku kabli dendrytowych w odległości 60 μm od somy zostały pomnożone przez wskaźnik kręgosłupa do przybliżenia kręgosłupa dendrytowego. W tym modelu, Kręgosłup został ustawiony na 1,9. Tylko kręgosłupy, które otrzymują wejścia synaptyczne, były wyraźnie przyłączone do dendrytów. F F W modelu pełnego kręgosłupa wszystkie kręgosłupy były wyraźnie przywiązane do dendrytów. Obliczyliśmy gęstość kręgosłupa z przebudowanym neuronem w Eyal et al. Gęstość kręgosłupa została ustawiona na 1,3 μm-1, a każda komórka zawierała 24994 spiny na dendryty 60 μm od somy. 51 Morfologie i mechanizmy biofizyczne kręgosłupa były takie same w modelach kręgosłupa i kręgosłupa. neck = 1.35 μm and the diameter szyja = 0,25 μm, podczas gdy długość i średnica głowy kręgosłupa wynosiły 0,944 μm, tzn. obszar głowy kręgosłupa został ustawiony na 2,8 μm2. = -86 mV. Specyficzna zdolność membranowa, odporność membranowa i oporność axialna były takie same jak w przypadku dendrytów. L D El Synaptic inputs Badaliśmy pobudliwość neuronalną zarówno dla rozproszonych, jak i grupowych wejść synaptycznych. Wszystkie aktywowane synapsy były przymocowane do terminala głowy kręgosłupa. W przypadku rozproszonych wejść wszystkie aktywowane synapsy były losowo rozprowadzane na wszystkich dendrytach. W przypadku wejść klasterowych każdy zbiornik składał się z 20 aktywowanych synaps, które były równomiernie rozprowadzane na pojedynczym losowo wybranym oddziale. Prąd synaptyczny oparty na AMPA i oparty na NMDA został symulowany jak w pracy Eyal et al. Prowadzenie AMPA było modelowane jako funkcja podwójna eksponentna, a przewodzenie NMDA jako zależna od napięcia funkcja podwójna eksponentna. podnieść i rozpad został ustawiony na 0,3 i 1,8 ms. Dla modelu NMDA, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise Do każdej komórki dołączyliśmy hałas tła, aby symulować bardziej realistyczne środowisko. wzorce hałasu zostały wdrożone jako pociągi spike Poisson o stałej częstotliwości 1,0 Hz. Początek = 10 ms i trwał do końca symulacji.Wygenerowaliśmy 400 pociągów szczytowych hałasu dla każdej komórki i przymocowaliśmy je do losowo wybranych synaps.Model i specyficzne parametry prądów synaptycznych były takie same, jak opisano w , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite składa się z trzech modułów (Dodatkowy rysunek. ): (1) moduł I/O; (2) moduł symulacyjny oparty na DHS; (3) moduł uczenia się. Podczas szkolenia modelu biofizycznie szczegółowego do wykonywania zadań uczenia się, użytkownicy najpierw definiują regułę uczenia się, a następnie dostarczają wszystkie próbki szkoleniowe do modelu szczegółowego do uczenia się. W każdym kroku podczas szkolenia moduł I/O wybiera określony bodziec i odpowiedni sygnał nauczyciela (jeśli jest to konieczne) ze wszystkich próbek szkoleniowych i dołącza bodziec do modelu sieciowego. Następnie moduł symulacyjny oparty na DHS inicjuje model i rozpoczyna symulację. Po symulacji moduł uczenia się aktualizuje wszystkie wagi synaptyczne zgodnie z różnicą między odpowiedziami modelu i sygnałami nauczyciela. 5 Model sieciowy HPC Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net ma trzy warstwy, tj. warstwę wejściową, ukrytą warstwę i warstwę wyjściową. Neurony w warstwie wejściowej otrzymują pociągi spike przekształcone z obrazów jako ich wejście. Neurony ukryte warstwy otrzymują wyjście neuronów warstwy wejściowej i dostarczają odpowiedzi neuronom w warstwie wyjściowej. Odpowiedzi neuronów warstwy wyjściowej są brane jako ostateczne wyjście HPC-Net. Neurony między sąsiadującymi warstwami są w pełni połączone. Dla każdego bodźca obrazowego najpierw przekonwertujemy każdy znormalizowany piksel na jednorodny szczytowy pociąg. ) na zdjęciu, odpowiedni pociąg spike ma stały interspike interval Imię ( ) (w ms), który jest określany przez wartość piksela ( ) jak pokazano w Eq. ( ) w x, y τ x, y p x, y 1 W naszym eksperymencie symulacja dla każdego bodźca trwała 50 ms. ISI ms i trwał do końca symulacji. Następnie dołączyliśmy wszystkie pociągi spike do neuronów warstwy wejściowej w sposób jeden do jednego. jest podawany przez τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurony w warstwie wejściowej zostały modelowane przy użyciu modelu pasywnego pojedynczego podziału. m = 1,0 μF cm-2, opór membranowy m = 104 Ω cm2, opór osiowy a = 100 Ω cm, potencjał odwrotny komory pasywnej L = 0 mV c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , a wszystkie neurony były modelowane za pomocą pasywnych kabli. m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, opór osiowy a = 261,97 Ω cm, a potencjał odwrotny wszystkich przewodów pasywnych l = 0 mV. Neurony wejściowe mogą tworzyć wiele połączeń do losowo wybranych lokalizacji na dendrytach ukrytych neuronów. Synapsa z -th input neuron on neuron „dendryt” jest zdefiniowany jako Eq. ( ), gdzie jest przewodnikiem synaptycznym, jest masą synaptyczną, jest funkcją aktywacji somatycznej podobną do ReLU i jest napięciem somatycznym Wejście neuronu w czasie . 51 c r r E k i j 4 gijk Wijk i t Neurony w warstwie wyjściowej zostały również modelowane za pomocą pasywnego modelu pojedynczego podziału, a każdy ukryty neuron dokonał tylko jednego połączenia synaptycznego z każdym neuronem wyjściowym. ) w 4 Klasyfikacja obrazu za pomocą HPC-Net Dla każdego bodźca obrazu wejściowego najpierw znormalizowaliśmy wszystkie wartości pikseli do 0.0-1.0. Następnie przekonwertowaliśmy znormalizowane piksele na pociągi szczytowe i przymocowaliśmy je do neuronów wejściowych. gdzie Jest to prawdopodobieństwo, że -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and wskazuje liczbę klas, która jest równa liczbie neuronów wyjściowych. Klasa z maksymalną przewidywaną prawdopodobieństwem jest końcowym wynikiem klasyfikacji.W tym dokumencie zbudowaliśmy HPC-Net z 784 neuronami wejściowymi, 64 ukrytymi neuronami i 10 neuronami wyjściowymi. 6 Pi i i C Zasady plastyczności synaptycznej dla HPC-Net Zainspirowany wcześniejszymi pracami , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where jest przewidywana prawdopodobieństwo dla klasy , wskazuje rzeczywistą klasę, do której należy obraz bodźca, = 1 jeśli obraz wejściowy należy do klasy , oraz = 0 if not. 36 7 pi i yi Yi i Yi When training HPC-Net, we compute the update for weight (the synaptic weight of the Synapsa łącząca neurony to neuron w każdym etapie. po symulacji każdego bodźca obrazu, jest aktualizowany, jak pokazano w Eq. ( ) do : Wijk k i j województwo 8 Oto szybkość uczenia się, wartość aktualizacji w czasie , , Somatyczne napięcia neuronów i odpowiednio , Jest to Prąd synaptyczny aktywowany przez neuron Jest neuronem , jego przewodnictwo synaptyczne, Odporność transferu pomiędzy Podłączony oddział neuronu Jest neuronem ’s dendrite to neuron ’s soma, S = 30 ms e = 50 ms to czas rozpoczęcia i czas zakończenia nauki, odpowiednio. dla neuronów wyjściowych, termin błędu można obliczyć, jak pokazano w Eq. ( W przypadku ukrytych neuronów termin błędu jest obliczany z terminów błędu w warstwie wyjściowej, podanych w Eq. ( ) w t wj VI i j Iijk k i j Gijów Królestwo k i j j t t 10 11 Ponieważ wszystkie neurony wyjściowe są jednostronne, równe oporu wejściowego odpowiedniej komory, opory transferowe i wejściowe są obliczane przez NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size Batch, my robimy batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Odporność na ataki przeciwnika dzięki HPC-Net Aby wykazać solidność HPC-Net, przetestowaliśmy dokładność przewidywania na próbkach przeciwnika i porównaliśmy ją z analogowym ANN (jednym z tą samą strukturą 784-64-10 i aktywacją ReLU, dla uczciwego porównania w naszym HPC-Net każdy neuron wejściowy wykonał tylko jedno połączenie synaptyczne z każdym ukrytym neuronem). Najpierw przeszkoliliśmy HPC-Net i ANN z oryginalnym zestawem szkoleniowym (oryginalne czyste obrazy). Następnie dodaliśmy hałas przeciwnika do zestawu testowego i zmierzyliśmy ich dokładność przewidywania na zestawie testowym. , to generate adversarial noise with the FGSM method ANN został przeszkolony z PyTorch , a HPC-Net został przeszkolony z naszym DeepDendrite. Dla sprawiedliwości generowaliśmy hałas przeciwnika na znacznie innym modelu sieciowym, 20-warstwowym ResNet Poziom hałasu wahał się od 0,02 do 0,2. Eksperymentowaliśmy z dwoma typowymi zbiorami danych, MNIST i Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Więcej informacji na temat projektu jest dostępnych w link do tego artykułu. Podsumowanie raportu Nature Portfolio Dostępność danych The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at Zbiór danych MNIST jest publicznie dostępny na . The Fashion-MNIST dataset is publicly available at ... Dostarczane są w tym dokumencie. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Źródło danych Dostępność kodu The source code of DeepDendrite as well as the models and code used to reproduce Figs. – W tym badaniu dostępne są . 3 6 https://github.com/pkuzyc/DeepDendrite Referencje McCulloch, W. S. & Pitts, W. Logiczny kalkulator idei istotnych w aktywności nerwowej. LeCun, Y., Bengio, Y. i Hinton, G. Głębokie uczenie się. Natura 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arytmetyka sumowania synaptycznego podpięciu w komórce piramidalnej modelu CA1. Londyn, M. & Häusser, M. Obliczenia dendrytyczne. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Pojedyncza gałąź dendrytowa jako podstawowa jednostka funkcjonalna w układzie nerwowym. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integracja dendrytowa: 60 lat postępu. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. i Papoutsi, A. Oświecenie funkcji dendrytycznej modelami obliczeniowymi. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Kręgosłupy dendrytyczne jako podstawowe jednostki funkcjonalne integracji neuronowej. Engert, F. & Bonhoeffer, T. Dendrytyczne zmiany kręgosłupa związane z długotrwałą plastycznością synaptyczną hipokampu. Yuste, R. Kręgi dendrytyczne i obwody rozproszone. Neuron 71, 772–781 (2011). Yuste, R. Elektryczna kompartmentalizacja w kręgach dendrytowych. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Rozgałęzienia drzew dendrytowych i odporność błony motoneuronowej. Eksp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Badanie obliczeniowe podniecającego się kręgosłupa dendrytowego. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Opanowanie gry z głębokimi sieciami nerwowymi i poszukiwaniem drzew. Nature 529, 484–489 (2016). Silver, D. et al. Ogólny algorytm uczenia się wzmocnień, który opanowuje szachy, shogi i przechodzi przez self-play. McCloskey, M. & Cohen, N. J. Katastrofalne zakłócenia w sieciach łącznościowych: problem uczenia się sekwencyjnego. Francuski, R. M. Katastroficzne zapomnienie w sieciach łącznościowych. tendencje Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse wybuchy optymalizują transmisję informacji w kodzie nerwowym zwielokrotnionym. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendrytyczne mikrocirkulacje kory zbliżają się do algorytmu backpropagacji. w Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Plastyczność synaptyczna zależna od Bursta może koordynować uczenie się w obwodach hierarchicznych. Bicknell, B. A. & Häusser, M. Reguła uczenia się synaptycznego w celu wykorzystania obliczeń dendrytowych nieliniowych Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: modelowy neuron, który uczy się rozwiązywać zadania klasyfikacyjne za pośrednictwem dendrytycznych nieliniowości, plastyczności strukturalnej i gradientnego spadku. Hodgkin, A. L. i Huxley, A. F. Ilościowy opis przepływu membranowego i jego zastosowanie do przewodzenia i pobudzenia w nerwie. Rall, W. Teoria właściwości fizjologicznych dendrytów. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. i Carnevale, N. T. Środowisko symulacji neuronów. Neural Comput. 9, 1179–1209 (1997). Bower, J. M. & Beeman, D. w Księdze Genezy: Badając realistyczne modele neuronowe za pomocą ogólnego systemu symulacji nerwowej (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Podział neuronów w symulacjach równoległych sieci obliczeniowych umożliwia skalowanie czasu działania z dwukrotnie większą liczbą procesorów. Hines, M. L., Markram, H. & Schürmann, F. Pełna implikowana symulacja równoległa pojedynczych neuronów. Ben-Shalom, R., Liberman, G. i Korngreen, A. Przyspieszanie modelowania oddziałowego na jednostce graficznej. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Efektywna symulacja numeryczna modeli neuronów o strukturze przestrzennej na jednostkach przetwarzania grafiki. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279-285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, USA Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388–397 (IEEE, 2017). Huber, F. Efektywny rozwiązywacz drzew dla matryc hin na GPU. Preprint na https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teoria optymalizacji kombinacyjnej i algorytmy 6 edn (Springer, 2018). Gebali, F. Algorytmy i obliczenia równoległe (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Zoptymalizowany silnik obliczeniowy dla symulatora NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Uczenie się przez dendrytyczne przewidywanie spikingu somatycznego. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optymalizacja modeli kanałów jonowych przy użyciu równoległego algorytmu genetycznego na procesorach graficznych. Mascagni, M. Algorytm równoległy dla rozwiązań obliczeniowych do arbitralnie rozgałęzionych modeli neuronów kablowych. McDougal, R. A. et al. Dwadzieścia lat modeluDB i poza nim: budowanie niezbędnych narzędzi modelowania dla przyszłości neuronauki. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selektywnie blokuje czasowe sumowanie niezsynchronizowanych wejść dystalnych w neuronach piramidalnych CA1. Hemond, P. et al. Różne klasy komórek piramidalnych wykazują wzajemnie wykluczające się wzorce strzelania w strefie hipokampalnej CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Modele komórek piramidalnych warstwy neokortykalnej 5b rejestrujące szeroki zakres aktywnych właściwości dendrytycznych i peryzomatycznych. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Przetwarzanie potencjału działania w szczegółowym modelu komórkowym purkinje ujawnia krytyczną rolę w oddziaływaniu osiowym. Lindroos, R. et al. Neuromodulacja gangli bazalnych na wielu skalach czasowych i strukturalnych - symulacje bezpośrednich ścieżek MSN badają szybki początek efektów dopaminergicznych i przewidują rolę Kv4.2. Migliore, M. et al. Gromady synaptyczne działają jako operatorzy zapachu w żarówce zapachowej. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. Przewodnik po programowaniu C++ CUDA. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Najlepsze praktyki Przewodnik. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Amplifikacja synaptyczna przez kręgosłupy dendrytyczne zwiększa współpracę wejściową. Natura 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Plasticzność szyi kręgosłupa reguluje kompartmentalizację synaps. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neurony piramidalne kory ludzkiej: od kręgów po szczyty za pośrednictwem modeli. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. i Zador, A. Funkcja kręgów dendrytowych: urządzenia obsługujące biochemiczną, a nie elektryczną kompartmentalizację. Koch, C. Spines Dendritic. w biofizyce obliczeniowej (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Wpływ równoległej aktywności tła włókien na właściwości kablowe komórek cerebellar purkinje. Hines, M. Efektywne obliczanie rozgałęzionych równań nerwowych. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biologicznie zainspirowana ochrona głębokich sieci przed atakami przeciwników. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Simulacja na dużą skalę przy użyciu równoległego genezy. w Księdze Genezy: Badanie realistycznych modeli nerwowych przy użyciu ogólnego systemu symulacji nerwowej (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Równoległe symulacje sieciowe z NEURON. Lytton, W. W. et al. Neurotechnologies for advancing brain research: parallelizing large networks in NEURON. Neural Comput. 28, 2063–2090 (2016). Valero-Lara, P. et al. cuHinesBatch: Rozwiązywanie wielu systemów Hines na GPU projektu ludzkiego mózgu. w Proc. 2017 Międzynarodowa Konferencja Nauki Obliczeniowej 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Morfologicznie szczegółowa biblioteka symulacji sieci neuronowych dla współczesnych architektur obliczeniowych o wysokiej wydajności. w Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: przyspieszające symulacje neuronów wielodziałowych, biofizycznie szczegółowe na GPU. J. Neurosci. metody 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Algorytm predyktor-korektor dla równań reakcji-difuzji związanych z aktywnością nerwową na strukturach rozgałęzionych. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Ultraskalowalne rozwiązanie do symulacji tkanki nerwowej na dużą skalę. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Ukierunkowane rejestry napięcia wewnątrzkomórkowego z pędów dendrytowych przy użyciu nanopipetów powlekanych kropkami kwantowymi. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Potencjalne zmiany membranowe w kręgosłupach dendrytowych podczas potencjałów działania i wejścia synaptycznego. Nishiyama, J. i Yasuda, R. Obliczenia biochemiczne dla plastyczności strukturalnej kręgosłupa. Neuron 87, 63–75 (2015). Yuste, R. i Bonhoeffer, T. Zmiany morfologiczne kręgów dendrytowych związane z długotrwałą plastycznością synaptyczną. Holtmaat, A. i Svoboda, K. Od doświadczenia zależna strukturalna plastyczność synaptyczna w mózgu ssaków. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Strukturalna plastyczność w procesie uczenia się: regulacja i funkcje. Nat. Rev. Neurosci. 13, 478–490 (2012). Keck, T. et al. Masywna restrukturyzacja obwodów neuronowych podczas reorganizacji funkcjonalnej dorosłej kory wzrokowej. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Doświadczenie pozostawia trwały ślad strukturalny w obwodach kory. Trachtenberg, J. T. et al. Długoterminowe obrazowanie in vivo zależnej od doświadczenia plastyczności synaptycznej w skorupie dorosłej. natura 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dynamika aksonalna neuronów pobudzających i hamujących w korze somatosensorycznej. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Szybka formacja i selektywna stabilizacja synaps dla trwałych wspomnień motorycznych. natura 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Wzmocnienie uczenia się motorycznego poprzez zwiększenie stabilności nowo utworzonych kręgów dendrytowych w korze motorycznej Neuron 109, 3298–3311 (2021). Branco, T. & Häusser, M. Gradienty integracji synaptycznej w pojedynczych dendrytach komórek piramidalnych kory. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Aktywne właściwości neokortykalnych piramidowych dendrytów neuronowych. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendrytyczne potencjały działania i obliczenia w ludzkiej warstwie 2/3 neuronów kory. nauka 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Czasowe hamowanie synaptyczne kształtuje szczyty NMDA, wpływające na miejscowe przetwarzanie dendrytyczne i globalne właściwości I/O neuronów kory. Du, K. et al. Inhibicja typu komórkowego potencjału płaskowyżu dendrytowego w neuronach projekcji kręgosłupa ścięgiennego. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendrytyczne szczyty zwiększają selektywność bodźców w neuronach kory in vivo. Natura 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. i Larkum, M. E. Aktywne dendryty korowe modulują percepcję. Nauka 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Przejściowe występowanie wapnia na dendrytowym drzewie przewiduje właściwości pola. Natura 517, 200–204 (2015). Markram, H. et al. Rekonstrukcja i symulacja mikrokierunkowości neokortykalnej. Komórka 163, 456–492 (2015). Billeh, Y. N. et al. Systematyczna integracja danych strukturalnych i funkcjonalnych w wieloskalach modeli pierwotnej kory wzrokowej myszy. Neuron 106, 388–403 (2020). Hjorth, J. et al. Mikrocirkulacje striatu w krzemu. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. W kierunku głębokiego uczenia się z segregowanymi dendrytami. elife 6, e22901 (2017). Iyer, A. et al. Zapobieganie katastrofom: aktywne dendryty umożliwiają uczenie się wielozadaniowe w dynamicznych środowiskach. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Czy pojedynczy neuron może rozwiązać interesujące problemy uczenia maszynowego poprzez kolejne obliczenia na drzewie dendrytowym? Bird, A. D., Jedlicka, P. & Cuntz, H. Normalizacja dendrytowa poprawia uczenie się w słabo połączonych sztucznych sieciach nerwowych. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Wyjaśnianie i wykorzystywanie przykładów przeciwstawnych. w III Międzynarodowej Konferencji na temat reprezentacji uczenia się (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Przenoszenie w uczeniu maszynowym: od zjawisk do ataków czarnych skrzynek przy użyciu próbek przeciwników. Wstępny druk na https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Nauka oparta na stopniach stosowana do rozpoznawania dokumentów. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Moda-MNIST: nowy zestaw danych obrazów do porównywania algorytmów uczenia maszynowego. Wstępny wydruk pod adresem http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Ocena skalowalności algorytmów i architektur głębokiego uczenia się motywowanych biologicznie. w Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: szybkie ataki przeciwne w celu porównania wytrzymałości modeli uczenia maszynowego w PyTorch, TensorFlow i JAX. Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770–778 (IEEE, 2016). Uznania Autorzy Rady serdecznie dziękują dr Rita Zhang, Daochen Shi i członkom NVIDIA za cenne wsparcie techniczne w zakresie obliczeń GPU. Praca ta została wspierana przez Narodowy Kluczowy Program Badań i Rozwoju Chin (nr 2020AAA0130400) do K.D. i T.H., Narodowej Fundacji Nauk Przyrodniczych Chin (nr 61825102) do Y.T., Szwedzkiej Rady Badań Naukowych (VR-M-2020-01652), Szwedzkiego Centrum Badań Naukowych (nr 2022ZD01163005) do L.M., Programu Badań i Rozwoju Obszarów Kluczowych prowincji Guangdong (nr 2018B030338001) do T.H., Narodowej Fundacji Nauk Przyrodniczych Chin ( Niniejszy artykuł jest dostępny w naturze na podstawie licencji CC by 4.0 Deed (Attribution 4.0 International). Niniejszy artykuł jest dostępny w naturze na podstawie licencji CC by 4.0 Deed (Attribution 4.0 International).
