Yazarlar : Çanakkale Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Hakkında Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Hakkında Yonghong Tian Sten Grillner Kai Du Tiejun Huang Yazarlar : Çanakkale Zhang Hanımefendi Yaşamıma Şanlıurfa Liu J. J. Johannes Hjorth Hakkında Alexander Kozlov Hakkında Yüce O Shenjian Zhang hakkında Jeanette Hellgren Kotaleski Hakkında Yonghong Tian Hakkında Kılıçdaroğlu sen ne zaman Yüce Huang abstraklık Biyofiziksel olarak ayrıntılı çok bölümlü modeller, beynin hesaplama ilkelerini keşfetmek için güçlü araçlardır ve aynı zamanda yapay zeka (AI) sistemleri için algoritmalar oluşturmak için teorik bir çerçeve olarak da hizmet vermektedir. Bununla birlikte, pahalı hesaplama maliyeti hem nörobilim hem de AI alanlarında uygulamaları ciddi ölçüde kısıtlar. Ayrıntılı bölüm modellerini simüle ederken ana şişlik, simülatörün lineer eşitliklerin büyük sistemlerini çözme yeteneğidir. Endonezya İRARHİK Böyle bir süreci önemli ölçüde hızlandırmak için cheduling (DHS) yöntemi. Teorik olarak DHS uygulamasının hesaplamada optimum ve hassas olduğunu kanıtlıyoruz. Bu GPU tabanlı yöntem, geleneksel CPU platformunda geleneksel seri Hines yöntemi ile karşılaştırıldığında 2-3 büyüklükte daha yüksek hızla çalışır. DHS yöntemi ve NEURON simülatörünün GPU bilgisayar motorunu entegre eden bir DeepDendrite çerçeve oluşturuyoruz ve DeepDendrite'nin nörobilim görevlerinde uygulamasını gösteriyoruz. 25.000 spin'lik ayrıntılı bir insan piramid nöron modelinde omuz gürültüs girişi alanı modelleri nöron heyecanını nasıl etkilediğini araştırıyoruz. Ayrıca, DeepDendrite'in AI için potansiyelini D H S Giriş Nöronların kodlama ve hesaplama ilkelerinin çözülmesi nörobilim için çok önemlidir.Babaların beyni, benzersiz morfolojik ve biyofizik özelliklere sahip binlerce farklı türde nörondan oluşur. Nöronlar basit birim olarak görüldüğünde, hala yaygın olarak nöral hesaplamada, özellikle de nöral ağ analizinde uygulanmaktadır. son yıllarda, modern yapay zeka (AI) bu ilkeyi kullandı ve yapay nöral ağlar (ANN) gibi güçlü araçlar geliştirdi. Bununla birlikte, tek nöron düzeyinde kapsamlı hesaplamaların yanı sıra, nöronal dendritler gibi alt hücresel bölümler bağımsız hesaplama birimleri olarak da nonlinear işlemleri yapabilir. , , , , Ayrıca, dendritik omurgalar, omurgasız nöronlarda dendritleri yoğun bir şekilde kaplayan küçük çıkışlar, sinaptik sinyalleri bölünebilir, bunları ebeveyn dendritlerinden ex vivo ve in vivo ayırt edebilirler. , , , . 1 2 3 4 5 6 7 8 9 10 11 Biyolojik olarak ayrıntılı nöronları kullanan simülasyonlar, biyolojik ayrıntıları hesaplama ilkelerine bağlamak için teorik bir çerçeve sağlar. , Gerçekçi dendritik morfolojiler, içsel iyon iletkenliği ve dışsel sinaptik girişleri olan nöronları model etmenize olanak tanır. ayrıntılı çok bölümlü modelin omurgası, yani dendritler, klasik Kablo teorisine dayanmaktadır. , dendritlerin biyofizik membran özelliklerini pasif kablolar olarak modellemek, elektronik sinyallerin karmaşık nöronal süreçler boyunca nasıl işgal ettiğini ve yayıldığını matematiksel bir açıklamayı sağlar. aktif biyofizik mekanizmaları, örneğin iyon kanalları, uyarıcı ve inhibitör sinaptik akımlar vb. gibi kablo teorisini entegre ederek, ayrıntılı bir çok bölüme sahip bir model, deneysel sınırlamaların ötesinde hücresel ve alt hücresel nöron hesaplamaları elde edebilir. , . 12 13 12 4 7 Nörobilim üzerindeki derin etkisine ek olarak, biyolojik olarak ayrıntılı nöron modelleri son zamanlarda nöronal yapısal ve biyofiziksel ayrıntılar ve AI arasındaki boşluğu kapatmak için kullanıldı.Modern AI alanında hakim olan tekniği, biyolojik nöron ağına benzer olan nokta nöronlarından oluşan ANN'lerdir.Ancak “backpropagation-of-error” (backprop) algoritması olan ANN'lar, Go ve satranç oyunlarında en iyi profesyonel insan oyuncularını bile yenmek için özel uygulamalarda olağanüstü performans sağladı. , İnsan beyni, daha dinamik ve gürültülü ortamlar içeren alanlarda ANN'leri hala üstleniyor. , Son teorik çalışmalar, dendritik entegrasyonun, paralel bilgi işlenmesinde potansiyel olarak arka planı aşan verimli öğrenme algoritmaları oluşturmada önemli olduğunu göstermektedir. , , Ayrıca, tek bir ayrıntılı çok bölümlü model, sadece sinaptik kuvvet ayarlayarak nokta nöronları için ağ düzeyinde nonlineer hesaplamaları öğrenebilir. , Detaylı modellerin daha güçlü beyin benzer AI sistemleri inşa etme potansiyelinin tam potansiyelini gösteriyor.Bu nedenle, beyin benzer AI paradigmalarını tek ayrıntılı nöron modellerinden büyük ölçekli biyolojik olarak ayrıntılı ağlara genişletmek yüksek öncelik. 14 15 16 17 18 19 20 21 22 Detaylı simülasyon yaklaşımının uzun süreli bir meydan okuması aşırı derecede yüksek hesaplama maliyeti içerir, bu da nöroloji ve AI’ya uygulamasını ciddi ölçüde kısıtlamıştır. , , Verimliliği artırmak için, klasik Hines yöntemi, O(n3)'ten O(n)'e kadar eşitliklerin çözülmesi için zaman karmaşıklığını azaltır ve bu algoritma, NEURON gibi popüler simülatörlerde temel algoritma olarak yaygın olarak uygulanmıştır. ve genetik Bununla birlikte, bu yöntem, her bölümün seri bir şekilde işlenmesi için bir seri yaklaşım kullanır. Bir simülasyon, dendritik döngülerle çoklu biyofiziksel olarak ayrıntılı dendritler içerdiğinde, lineer eşitlik matrisini (“Hines Matrix”) dendritler veya döngüler sayısında artışa göre ölçer (Şekil 4). ), Hines yöntemi artık pratik değildir, çünkü tüm simülasyon üzerinde çok ağır bir yük oluşturur. 12 23 24 25 26 1 e 5 katmanlı piramidal nöron modelinin yeniden yapılandırılması ve ayrıntılı nöron modelleriyle kullanılan matematiksel formül. Detaylı nöron modelleri sayısal olarak simüle ederken çalışma akışı. eşitlik çözme aşaması simülasyonda şişlik noktasıdır. Simülasyonda lineer eşitliklerin bir örneği. Hines yöntemi lineer eşitliklerin çözülmesinde veri bağımlılığı ve . Hines matris büyüklüğü, model karmaşıklığı ile ölçülür. Çözülmesi gereken lineer eşitlik sisteminin sayısı, modellerin daha ayrıntılı bir şekilde büyüdüğünde önemli ölçüde artar. Farklı türde nöron modellerinde seri Hines yönteminin hesaplanabilir maliyeti (eşitleme çözme aşamasında alınan adımlar). Farklı çözme yöntemlerinin göstergesi.Bir nöronun farklı bölümleri paralel yöntemlerde (ortak, sağ), farklı renklerle gösterilir. Seri yöntemde (sağ), tüm bölümler tek bir üniteyle hesaplanır. Üç yöntemin hesaplama maliyeti Bir piramit modelinin eşitliklerini döngülerle çözmek. 500 piramidal model için eşitlikleri çözmek için farklı yöntemlerin çalıştırma süresi spin ile. çalıştırma süresi, 1 s simülasyonunun zaman tüketimini gösterir (eşitliği 0.025 ms bir zaman aşamasıyla 40.000 kez çözme). p-Hines paralel yöntem CoreNEURON (GPU üzerinde), Şube tabanlı paralel yöntem (GPU üzerinde), DHS Dendritik hijerarşik planlama yöntemleri (GPU üzerinde). a b c d c e f g h g i Son on yılda, hücresel düzeyde paralel yöntemler kullanarak Hines yöntemi hızlandırmak için muazzam ilerlemeler yapılmıştır, bu da her hücrenin farklı bölümlerinin hesaplanmasını paralelleştirmeyi mümkün kılar. , , , , , Bununla birlikte, mevcut hücresel düzeyde paralel yöntemler genellikle verimli bir paralelizasyon stratejisi eksik veya orijinal Hines yöntemi ile karşılaştırıldığında yeterli sayısal doğruluk eksik. 27 28 29 30 31 32 Burada, bilgisayar verimliliğini önemli ölçüde hızlandırabilecek ve hesaplama maliyetlerini azaltabilecek tam otomatik, sayısal olarak doğru ve optimize edilmiş bir simülasyon aracı geliştirdik. ek olarak, bu simülasyon aracı makine öğrenimi ve AI uygulamaları için biyolojik ayrıntılarla nöral ağları kurmak ve test etmek için sorunsuz bir şekilde kullanılabilir. Kritik olarak, Hines yönteminin paralel hesaplanmasını matematiksel bir programlama sorunu olarak formüle ediyoruz ve kombinasyon optimizasyonuna dayanan bir Dendritic Hierarchical Scheduling (DHS) yöntemi oluşturuyoruz Paralel Bilgisayar Teorisi Algoritmamızın herhangi bir hassasiyet kaybı olmaksızın optimum programlama sağladığını gösteriyoruz. ayrıca, DHS'yi GPU bellek hiyerarşisini ve bellek erişim mekanizmalarını kullanarak şu anda en gelişmiş GPU çipi için optimize ettik. ) klasik simülatör Neuron ile karşılaştırıldığında Aynı derecede doğruluk sağlar. 33 34 1 25 AI'da kullanım için ayrıntılı dendritik simülasyonları sağlamak için, daha sonra DHS-embedded CoreNEURON (NEURON için optimize edilmiş bir hesaplama motoru) platformu entegre ederek DeepDendrite çerçevesini kurduk. Simülasyon motoru ve iki yardımcı modül (I/O modülü ve öğrenme modülü), simülasyonlar sırasında dendritik öğrenme algoritmalarını destekler. DeepDendrite GPU donanım platformunda çalışır, hem nörobilimdeki düzenli simülasyon görevlerini hem de AI'daki öğrenme görevlerini destekler. 35 Son olarak, DeepDendrite'yi kullanan birkaç uygulama da sunuyoruz, nörobilim ve AI'daki bazı kritik zorlukları hedefliyoruz: (1) Dendritik omurgan girişlerinin uzay modellerinin dendrit içeren nöronlarla nöronların tüm dendritik ağaçlar boyunca nöronlar içeren aktivitelerini nasıl etkilediğini gösteriyoruz (tüm omurgan modelleri). DeepDendrite, morfolojik olarak ayrıntılı insan piramidal nöronları içeren ANN'lerin oluşturulmasında. bulgularımız, DeepDendrite'nin eğitim süresini önemli ölçüde azaltma potansiyeline sahip olduğunu ve böylece detaylı ağ modellerini veri odaklı görevler için daha uygulanabilir hale getirdiğini öne sürüyor. DeepDendrite için tüm kaynak kodları, full-spine modelleri ve ayrıntılı dendritik ağ modeli online olarak halka açıkça kullanılabilir (Kod Kullanılabilirliği'ne bakınız). açık kaynaklı öğrenme çerçevemiz, dendritik dendritler için öğrenme kuralları gibi diğer dendritik öğrenme kurallarına kolayca entegre edilebilir. Patlama Bağımlı Synaptic Plasticity , ve spike tahmin ile öğrenmek Genel olarak, çalışmamız, mevcut bilgisayar nörobilim topluluk ekosistemini değiştirme potansiyeline sahip tüm araçları sunuyor. GPU bilgisayarının gücünü kullanarak, bu araçların beynin ince yapılarının bilgisayar prensiplerini sistem düzeyinde keşfetmelerini kolaylaştıracaklarını ve nörobilim ve modern AI arasındaki etkileşimi teşvik edeceğini tahmin ediyoruz. 21 20 36 sonuçları DHS (Dendritic Hierarchical Scheduling) yöntemi İyon akımlarının hesaplanması ve lineer eşitliklerin çözülmesi, biyofiziksel olarak ayrıntılı nöronları simüle ederken kritik iki aşamadır, bunlar zaman alıcı ve ciddi bir hesaplama yükü oluşturur.Neyse ki, her bölümün iyon akımlarının hesaplanması tamamen bağımsız bir süreçtir, böylece GPU gibi büyük paralel hesaplama ünitelerine sahip cihazlarda doğal olarak paralelleştirilebilir. Sonuç olarak, lineer eşitliklerin çözülmesi, paralelizasyon süreci için kalan şişeye dönüşür (Şekil 4). ) için 37 1a - F Bu şişmanlıkla başa çıkmak için hücre düzeyinde paralel yöntemler geliştirilmiştir, bu yöntemler tek hücre hesaplamayı, tek bir hücrenin paralel olarak hesaplanabilen birkaç bölüme “ bölünerek” hızlandırır. , , Bununla birlikte, bu tür yöntemler, tek bir nöronun bölümlere nasıl bölünebileceği konusunda pratik stratejileri oluşturmak için önceki bilgiye büyük ölçüde dayanmaktadır (Şekil 4). Ek olarak fig. Bu nedenle, asimetrik morfoloji olan nöronlar, örneğin piramidal nöronlar ve Purkinje nöronları için daha az verimli hale gelir. 27 28 38 1g i 1 Biyolojik olarak ayrıntılı nöral ağların simülasyonu için daha verimli ve hassas bir paralel yöntem geliştirmeyi hedefliyoruz. , paralel bir yöntem, Hines yöntemindeki veri bağımlılığına göre seri hesaplama Hines yöntemine benzer çözümler getireceğinden emin olmak için üç koşulu öneririz (Metodlar).Sonra, seri ve paralel hesaplama yöntemlerinin çalıştırma süresini, yani verimliliğini teorik olarak değerlendirmek için, hesaplama maliyeti kavramını, bir yöntemin eşitlikleri çözmekte aldığı adımların sayısı olarak sunar ve formüle ederiz (Metodlar). 34 Simülasyon doğruluğuna ve hesaplanabilir maliyetlere dayanarak, paralelizasyon sorunu matematiksel bir programlama sorunu olarak formüle ederiz (Metodlar'a bakınız). Basit bir ifadeyle, tek bir nöronu birçok düğüm (bölüm) olan bir ağaç olarak görürüz. paralel iplikler, en fazla hesaplayabiliriz Her adımda düğmeleri, ancak tüm çocuk düğmeleri işlenmişse bir düğme hesaplanmasını sağlamak zorundayız; amacımız tüm prosedür için minimum adım sayısı olan bir strateji bulmaktır. k k Optimum bir bölünme oluşturmak için, Dendritic Hierarchical Scheduling (DHS) adı verilen bir yöntem öneririz (Metodlarda teorik kanıt sunulmaktadır). DHS yöntemi iki aşamayı içerir: dendrit topolojisini analiz etmek ve en iyi bölünmeyi bulmak: (1) ayrıntılı bir model verildikten sonra, öncelikle ilgili bağımlılık ağacını alıyoruz ve her düğmenin derinliğini hesaplıyoruz (bir düğmenin derinliği, atalarının düğümlerinin sayısıdır) ağaçta (Şekil 4). 2) Topoloji analizinden sonra, adayları arar ve en fazla seçeriz En derin aday düğmeleri (bir düğme yalnızca tüm çocuk düğmeleri işlenmişse bir adaydır). ) için 2a 2b ve c k 2d DHS iş akışı, DHS işlemleri En derin aday düğmeleri her iterasyon. Bir bölüm modelinin düğüm derinliğinin hesaplanması örneği. model önce ağaç yapısına dönüştürülür, sonra her düğümün derinliği hesaplanır. renkler farklı derinlik değerlerini gösterir. Farklı nöron modellerinde topoloji analizi. Farklı morfolojileri olan altı nöron burada gösterilir. Her model için, soma ağacın kökü olarak seçilir, böylece düğmenin derinliği soma (0)'dan distal dendritlere yükselir. DHS'yi modelde gerçekleştirmenin göstergesi dört iğne ile. adaylar: işlenebilir düğümler. seçilen adaylar: DHS tarafından seçilen düğümler, yani, İşlenmiş düğümler: Daha önce işlenmiş düğümler. DHS tarafından elde edilen paralelizasyon stratejisi DHS, seri düğme işleme aşamalarını, düğmeleri çoklu düğmelere dağıtarak 14'ten 5'e düşürür. Relatif maliyet, yani DHS'nin hesaplanabilir maliyetinin DHS'yi farklı tür modellerde farklı sayıda tel ile uygulandığında seri Hines yönteminin maliyetinin oranıdır. a k b c d b k e d f Örnek olarak, seri hesaplama Hines yöntemi kullanılarak, tüm düğmeleri işlemek için 14 adım alırken, dört paralel birimle DHS kullanılarak düğmeleri beş alt kümesine bölünebilir (Şekil 4). (Bakara’ya göre; “Bakara’ya göre “Bakara’ya göre “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” “Bakara’ya göre” ) için 2d 2 e Daha sonra, DHS yöntemi altı temsilci ayrıntılı nöron modeli (ModelDB'den seçilmiş) üzerinde uygulanır. Farklı boyutlara sahip (Fig. • Kortikal ve hipokampal piramidal nöronlar , , Cerebellar Purkinje Nöronları Striatal Projeksiyon Nöronları (SPN) ) ve koku bulb mitral hücreleri , duyusal, kortikal ve subkortikal alanlarda ana nöronları kapsayan. Daha sonra hesaplama maliyetini ölçtük. Burada hesaplama maliyeti, DHS'nin hesaplama maliyeti ile seri Hines yönteminin maliyeti arasındaki oranla tanımlanır. Hesaplama maliyeti, yani eşitliklerin çözülmesinde alınan adımların sayısı, şerit sayısının artmasıyla dramatik olarak düşer. Örneğin, 16 şerit ile DHS'nin hesaplama maliyeti, seri Hines yöntemiyle karşılaştırıldığında% 7-10'dir. İlginçtir ki, DHS yöntem, 16 veya hatta 8 paralel şerit verildikten sonra sunulan nöronlar için hesaplama maliyetlerinin daha düşük sınırlarına ulaşır (Şekil. ), daha fazla iplik eklemek, bölümler arasındaki bağımlılıklar nedeniyle performansı daha da iyileştirmez. 39 2f 40 41 42 43 44 45 2f Birlikte, dendrit topolojisinin ve paralel hesaplama için optimum bölünmenin otomatik analizini sağlayan bir DHS yöntemi oluşturuyoruz. DHS, simülasyon başlamadan önce optimum bölünmeyi bulur ve eşitlikleri çözmek için ekstra hesaplama gerekmez. GPU Memory Boosting ile DHS Hızlandırma DHS, her nöronun çok sayıda iplikle hesaplanır ve bu iplikler nöron ağ simülasyonlarını çalıştırırken çok sayıda iplik tüketir.Grafik işleme üniteleri (GPU'lar) büyük işleme ünitelerinden (yani akış işlemcileri, SP'ler, Şekil 3). Paralel bilgisayar için Teorik olarak, GPU'daki birçok SP, büyük ölçekli nöral ağlar için verimli simülasyonları desteklemelidir (Şek. Bununla birlikte, DHS'nin verimliliğinin ağ büyüklüğünde önemli ölçüde düştüğünü sürekli olarak gözlemledik, bu da geçici sonuçların yüklenmesi ve yazılmasından kaynaklanan dağılımlı veri depolama veya ek bellek erişiminden kaynaklanabilir (Şek. sol tarafı ) 3a ve b 46 3c 3d için GPU mimarisi ve hafıza hierarşisi. Her GPU büyük işleme birimleri (şiveli işlemciler) içerir. Farklı hafıza türleri farklı geçiş kapasitesine sahiptir. Streaming Multiprocessors (SM) mimarisi: Her SM'de birden fazla akış işlemci, kayıt defteri ve L1 belleği bulunur. DHS'yi iki nöron üzerinde, her biri dört iplikle uygulanır. simülasyon sırasında, her iplik bir akım işlemcisinde gerçekleştirilir. Memory optimization strategy on GPU. Top panel, thread assignment and data storage of DHS, before (left) and after (right) memory boosting. İşlemciler, küresel bellekten her iplik için verileri yüklemek için bir veri isteği gönderir. hafıza artışı olmadan (sağ), tüm talep verilerini yüklemek için yedi işlem gerektirir ve aralıklı sonuçlar için bazı ekstra işlemler. hafıza artışı (sağ), tüm talep verilerini yüklemek için sadece iki işlem gerektirir, aralıklı sonuçlar için kayıtlar kullanılır, bu da hafıza geçişini daha da geliştirir. DHS'nin çalıştırma süresi (32 filtre her hücre) ve hafızası olmadan multi-layer 5 piramit modelleri ile spinler üzerinde artış. Birden fazla katmanlı 5 piramidal modelde hafıza artışı hızlandırılması. hafıza artışı 1.6-2 kat artışı getirir. a b c d d e f Bu sorunu GPU belleği artırma ile çözüyoruz, GPU'nun bellek hiyerarşisini ve erişim mekanizmasını kullanarak bellek geçişini arttırmak için bir yöntem. GPU'nun bellek yüklenme mekanizmasına dayanarak, sıralanmış ve sırasıyla depolanan verileri yüklemeye devam eden filizler, dağıtılmış verilere erişime kıyasla yüksek bir bellek geçişine yol açar, bu da bellek geçişini azaltır. , Yüksek şarj kapasitesini elde etmek için, önce düğümlerin hesaplama emirlerini düzeltmek ve düğümlerin sayısına göre iplikleri yeniden düzenlemek gerekir. Daha sonra, aynı adımda işlenen düğümlerin global hafıza işlemlerine uygun olarak küresel hafızada veri depolamayı, yani aynı adımda işlenen düğümleri küresel hafızada sırasıyla saklı tutarız. Ayrıca, ortalama sonuçları depolamak için GPU kayıtlarını kullanırız, daha fazla hafıza şarj kapasitesini güçlendiriririz. Ayrıca, spinler ile piramidal nöronların çok sayıda sayısında ve tipik nöron modellerinde deneyler (Şek. Ek olarak fig. ) hafıza artışı naif DHS ile karşılaştırıldığında 1,2-3,8 kat daha hızlı bir hız elde ettiğini gösterir. 46 47 3d için 3 E , F 2 GPU bellek artışı ile DHS'nin performansını kapsamlı bir şekilde test etmek için, altı tipik nöron modeli seçtik ve her modelin büyük sayılarda kablo eşitliklerini çözme çalıştırma süresini değerlendirdik (Şekil 4). Her bir nöron için dört iplik (DHS-4) ve on altı iplik (DHS-16) ile DHS'yi inceledik. CoreNEURON'daki GPU yöntemi ile karşılaştırıldığında, DHS-4 ve DHS-16 yaklaşık 5 ve 15 kez hızlanabilir. Ayrıca, NEURON'da geleneksel seri Hines yöntemi ile karşılaştırıldığında, DHS, simülasyonu 2-3 büyüklükte hızlandırır (İkinci Şekil). ), aynı sayısal doğruluk tutarken yoğun döngülerin varlığında (Yenileme figürleri. ve ) aktif dendritler (Supplementary Fig. ) ve farklı segmentasyon stratejileri (Supplementary Fig. ) için 4 4a 3 4 8 7 7 GPU üzerinde 1 s simülasyon için eşitlikleri çözme çalıştırma süresi (dt = 0.025 ms, toplam 40.000 iterasyon). CoreNEURON: CoreNEURON'da kullanılan paralel yöntem; DHS-4: DHS, her nöron için dört tel ile; DHS-16: DHS, her nöron için 16 tel ile. ve DHS-4 ve DHS-16 tarafından bölünmenin görselleştirilmesi, her renk tek bir iplik gösterir. hesaplama sırasında, her iplik farklı dallar arasında geçiş yapar. a b c DHS, hücre türüne özgü optimum bölünmeyi oluşturur DHS yönteminin çalışma mekanizması hakkında bilgi edinmek için, bölünme sürecini her iplik için bölümleri haritalayarak görselleştirdik (her renk figürde tek bir iplik sunar. Görüntüleme, tek bir iplikin farklı dallar arasında sıklıkla geçiş yaptığını göstermektedir (Şekil 4). İlginçtir ki, DHS, striatal projesi nöronu (SPN) ve Mitral hücresinde (Şek. Buna karşılık, piramidal nöronlar ve Purkinje hücresi gibi morfolojik olarak asimetrik nöronların parçalanmış bölünmelerini oluşturur (Şek. ), DHS nöral ağacın bireysel bölüm ölçeğinde (yani, ağaç düğmesi) bölünmesini gösterir. hücre tipine özgü bu ince bölünmüş bölünme, DHS'nin tüm mevcut iplikleri tam olarak kullanmasını sağlar. 4b ve c 4b ve c 4b ve c 4b ve c Özetle, DHS ve hafıza artışı, önceden görülmemiş verimlilikle paralel olarak lineer eşitlikleri çözmek için teorik olarak kanıtlanmış en iyi çözüm üretmektedir. Bu ilkeyi kullanarak, nörobilimciler tarafından herhangi bir spesifik GPU programlama bilgisi olmadan modeller uygulamak için kullanılabilecek açık erişimli DeepDendrite platformunu oluşturduk. Aşağıda, DeepDendrite'i nörobilim görevlerinde nasıl kullanabileceğimizi gösteriyoruz. DHS, omurilik düzeyi modellemeyi sağlar Dendritik omurganlar kortikal ve hipokampal piramidal nöronlara, striatal projesi nöronlarına vb. en çok heyecan verici girişi alırken, morfolojileri ve plastikliği nöronal heyecanlanmayı düzenlemek için kritiktir. , , , , Bununla birlikte, gerilim bağımlı süreçler açısından doğrudan deneysel olarak ölçülmesi için gerilimler çok küçüktür (~ 1 μm uzunluğu). 10 48 49 50 51 Tek bir omuriliği iki bölümle model edebiliriz: sinapsların bulunduğu omuriliğin başı ve omuriliğin başını dendritlere bağlayan omuriliğin boynunu. Teori, çok ince omurilik boynunun (0.1-0.5 um çapında) omurilik başını ebeveyn dendritinden elektronik olarak izole ettiğini ve böylece omurilik başında üretilen sinyalleri bölünmüştüğünü öngörüyor. Bununla birlikte, dendritler üzerinde tamamen dağıtılan döngülerle ayrıntılı model (“full-spine model”) hesaplamalı olarak çok pahalıdır. Spin faktörü Bu arada, her türlü çerçeveyi açıkça göstermek yerine, burada, gerilimi faktörü, hücre membranının biyofizik özelliklerine olan gerilimi etkilerini yakalamayı amaçlamaktadır. . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of Modelindeki omurilik, yeniden yapılandırılmış verilerde dendritik alandan ve omurilik alanından hesaplandı. Buna göre, tam omurilik modelimizi Eyal’ın az omurilik modeli ile daha uyumlu hale getirmek için yeniden yapılandırılmış verilerinden omurilik yoğunluğunu hesapladık. Omurilik yoğunluğu 1.3 μm-1’ye ayarlandıktan sonra piramidal nöron modeli, modelin orijinal morfolojik ve biyofiziksel özelliklerini değiştirmeden yaklaşık 25.000 omurilik içerdi. Ayrıca, önceki deney protokollerini hem tam omurilik hem de az omurilik modelleriyle tekrar ettik. Eyal’ın çalışmasında olduğu gibi aynı sinaptik girişleri kullanıyoruz ancak her örneğe ekstra arka gürültü ekliyoruz. somatik izleri karşılaştırarak (Şekil. ) and spike probability (Fig. ) tam omurgalı ve az omurgalı modellerde, tam omurgalı modelin birkaç omurgalı modelden çok daha sızdırıcı olduğunu bulduk. ek olarak, gruplandırılmış omurgalıların etkinleştirilmesinden kaynaklanan zirve olasılığı tam omurgalı modelde (Şekil'deki katı mavi çizgi) daha nonlinear görünüyordu. ) az sayıda omurgasız modelde (Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatik voltajlar kayıtlı durumlar için . Colors of the voltage curves correspond to Boyut Barı: 20 ms, 20 mV Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in Farklı simülasyon yöntemleri ile. NEURON: tek bir CPU çekirdeğinde çalışan geleneksel NEURON simülatörü. CoreNEURON: tek bir GPU üzerinde CoreNEURON simülatörü. DeepDendrite: tek bir GPU üzerinde DeepDendrite. a b a a c b d a e d DeepDendrite platformunda, hem tam omurgalı hem de az omurgalı modeller GPU platformunda CoreNEURON ile karşılaştırıldığında 8 kat daha hızlı ve CPU platformunda seri NEURON ile karşılaştırıldığında 100 kat daha hızlı (Şek. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) CoreNEURON'da kullanılan GPU yöntemi ile karşılaştırıldığında ve CPU platformunda seri Hines yöntemi ile karşılaştırıldığında 1500 kat daha hızlı (Şekil. Ek olarak fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , ya da bazı önemli bölümlerde yaklaşımlar yapmak, aynı zamanda lineer eşitlikleri çözmek , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 DHS, önceki yöntemlerden farklı olarak, en iyi tahribatlı paralelizasyon stratejisini, yani bölüm düzeyinde paralelizasyon kullanır. “neden paralelize” sorunu bir kombinasyon optimizasyon sorunu olarak modellemekle DHS, en iyi bölüm düzeyinde paralelizasyon stratejisini sağlar. Buna ek olarak, DHS herhangi bir ek operasyon veya değer yaklaşımı getirmez, bu nedenle en düşük hesaplama maliyetini elde eder ve orijinal Hines yönteminde olduğu kadar yeterli sayısal doğruluk korur. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the Dendritik Kablo Geometrilerini Değiştirme Koefficientleri . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 Öte yandan, omurganın elektrikli bölünmesi her zaman biyokimyasal bölünme ile eşlik eder. , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , Somatosensör Korteks , , motor cortex , hippocampus , and the basal ganglia in vivo. Motor ve uzay öğrenimi ve hafıza oluşumunda kritik bir rol oynarlar. Ancak, hesaplama maliyetleri nedeniyle, neredeyse tüm ayrıntılı ağ modelleri gerçek spinleri değiştirmek için “F-factor” yaklaşımını kullanır ve böylece sistem düzeyinde spin fonksiyonlarını keşfedemeyebilirler. çerçeve ve GPU platformumuzdan yararlanarak, tek bir GPU üzerinde geleneksel seri yönteminden ~100 kat daha hızlı bir şekilde çalışırken, her biri on binlerce spin ile birkaç bin ayrıntılı nöron modeli çalıştırabiliriz (Şekil. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5 e Diğer kritik sorun, dendritlerin sistem / ağ düzeyinde beyin fonksiyonlarına nasıl bağlanmasıdır. dendritlerin zenginleştirilmiş iyon kanalları ve yerel biyofiziksel membran özellikleri nedeniyle sinaptik girişlerde kapsamlı hesaplamalar yapabilmeleri iyi kanıtlanmıştır. , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice İnsan kortikal nöronları in vitro, which may offer various logical operations , Ya da fonksiyonları , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 Bilgisayar görme görevleri için ANN'lerde aktif dendritlerin rolünde de ilerleme olmuştur. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST Modacı Mnist datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods DHS ile Simülasyon CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and triangularizasyon, paralel triangularizasyon, düğme setini bölmek için eşittir of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most her adımda işlenebilir, çünkü yalnızca threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 Hakkında V2 Hakkında vn Vi için k k k V1 V2 Hakkında Vn Vi V V n Mathematical scheduling problem Simülasyon doğruluğuna ve hesaplanabilir maliyetlere dayanarak, paralelizasyon sorunu matematiksel bir programlama sorunu olarak formüle ediyoruz: Bir ağaç verdi = ı ı ve Pozitif bir bütün Nerede nerede Bu node-set ve Bölünme ayarları: Bölünme ayarları ( ) = ı ve Ama... }, | ı ı ı ı ı , 1 ≤ ≤ n, where | Kardinallerin sayısını gösterir Bu sayede Node’ların sayısı Her bir düğüm için ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < Hedefimiz optimum bir bölünme bulmaktır ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 Hakkında V2 Hakkında Vn Vi için k i Vi Vi Vi için v Vi için c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ Hesaplayabildiğimizi gösteriyor nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | Çocuklar için ( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi için k k k v Vi c c v Vj j i v DHS Uygulama Yukarıdaki matematiksel programlama sorunu çözerek her bir nöron modeli için lineer eşitliklerin çözülmesinin hesaplanmasını paralelleştirmenin optimum bir yolunu bulmayı amaçlıyoruz. ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set ve bir düğme yerleştirilebilir only if all its child nodes have been processed. Thus the child nodes of all nodes in Bu durumda { , Ama... }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from İki . As shown before, the child nodes of all nodes in Bu durumda { ve Ama... }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 Hakkında V2 V1 Hakkında Vn V1 Hakkında Vi için V1 Hakkında V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Her bir kısım için İçinde ( DHS Hareketleri (Tren sayısı) ilgili aday setinden en derin düğümler İki Eğer düğümlerin sayısı daha küçüktür Tüm düğmeleri kaydırın İki Basitleştirmek için, biz tanıtmak derinliğinin bir miktarını gösterir En derin düğümler Tüm altyapılarda ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { ve , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi için P V k çi Vi için çi k çi Vi için ve k çi P V 6a P ( V ) P*(V) V*1 V*2 V’de p * V Q p * V Without any loss of generalization, we start from the first subset kriterleri karşılamıyor, yani iki olası durum vardır. not satisfy the max-depth criteria: (1) | Çanakkale » and there exist some valid nodes in Bunlar yerleştirilmez ; (2) | | = but nodes in are not the deepest nodes in . V * I V*i V*i k Qi V*i V*i k V * I k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make Diğer kriterleri karşılamak (Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. Bu daha derin düğümler sonraki alt setlerden Sonraki İçerikDaha Fazla: Doldurulduktan Sonra ve is picked and one of the -th deepest nodes Hala içinde , thus Bir sonraki bölüme yerleştirilecek ( > ). We first move from to + , then modify subset + Sonraki Sonraki yazı: Eğer + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + Üzerine Sonraki YazıSonraki YazıSonraki (Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + to + . After adjusting Sonraki Sonraki YazıSonraki Değişiklikler + , + Üzerine Ama... with the same strategy. Finally, move from to . V*i V*i < k V*i V * I 6b V*i k Qi V*i 6b V * I V * I v k v’ Qi V’de V - J j i v V*i V*i 1 V*i 1 V*i 1 k V * I 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V * I 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in ile ile -th deepest node in ve alt setlerin sayısını tutun, yani, ( Değiştirildikten sonra aynıdır. tüm alt setler için aynı stratejiyle düğmeleri değiştirebiliriz. ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) Maksimum derinlik kriterlerini karşılayabilir ve ( D) Değiştirildikten sonra değişmez. V*i k Qi p * V P* V V * I P* V P* V Sonuç olarak, DHS bir bölünme oluşturur ( ve tüm altyapıları ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) yapılarını aynı hale getirmek için alt setlerini değiştirebiliriz ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) DHS'den alınan en iyi bölünmelerden biridir. P V Vi için P V p * V P V P* V | P V GPU Uygulaması ve Hafıza Arttırma Yüksek bellek akışını elde etmek için, GPU, (1) küresel bellek, (2) çerez, (3) kayıt, Küresel belleğin büyük kapasite ama düşük akışa sahip olduğu ve kayıtların düşük kapasite ama yüksek akışa sahip olduğu bellek hiyerarşisini kullanır. GPU, SIMT (Single-Instruction, Multiple-Thread) mimarisini kullanır. Warps, GPU'daki temel programlama birimlerinden biridir (varp, 32 paralel iplikten oluşan bir gruptur). DHS'nin seri Hines yöntemi ile aynı sonuçları elde etmesini sağlamak için, bu varps'te hesaplamaların bu gruplandırılması için düğümlerin doğru şekilde düzenlenmesi gereklidir. GPU'da DHS'yi uyguladığımızda, önce tüm hücreleri morfolojilerine göre çoklu varps'lere gruplandırırız. Benzer morfolojilerle hücreler aynı varps'e gruplandırılır. Daha sonra DHS'yi tüm nöronlara uyguladık, her nöronun bölünmelerini çoklu ipliklere atarız. Nöronlar varps'a gruplandırıldığında, aynı nöron için iplikler aynı varps'ta. Bu nedenle, varps'te içsel senkronizasyon, seri Hines yöntemi veri bağımlılığına bağlı olarak hesaplama sırasını korur. Son 46 Bir varp, global bellekten önceden ayarlanmış ve sırasıyla depolanan verileri yüklenirken, bu da yüksek bellek geçişine yol açan cache'yi tam olarak kullanabilir, bu da dağıtılmış verilerin erişimi hafıza geçişini azaltır. Bölümlerin ataması ve filamentlerin yeniden düzenlenmesinden sonra, küresel bellekte verileri küresel bellek siparişleriyle uyumlu hale getirmek için permute ederiz, böylece varps, programı çalıştırırken sırasıyla depolanan verileri yüklenebilir. Full-spine ve few-spine biyofiziksel modeller We used the published human pyramidal neuron • Membran kapasitesi m = 0.44 μF cm-2, membran direnci m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. Sırt yoğunluğu 1.3 μm-1'e ayarlandı ve her hücre soma'dan 60 μm uzaklıktaki dendritlerde 24994 spine içerdi. 51 Tırnakların morfolojileri ve biyofiziksel mekanizmaları birkaç omurilik ve tam omurilik modellerinde aynıydı. neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El için Synaptic içeriği Hem dağıtılmış hem de gruplandırılmış sinaptik girişler için nöron excitability araştırdık. Tüm aktif sinapslar omurilik başının terminaline bağlıydı. dağıtılmış girişler için, tüm aktif sinapslar tüm dendritler üzerinde rastgele dağıtıldı. Gruplandırılmış girişler için, her grup, tek rastgele seçilmiş bir bölümde eşit olarak dağıtılan 20 aktif sinapsdan oluşuyordu. Tüm sinapslar simülasyon sırasında aynı anda etkinleştirildi. AMPA tabanlı ve NMDA tabanlı sinaptik akımlar Eyal et al. çalışmasında olduğu gibi simüle edilmiştir. AMPA iletkenliği çift eksponanslı fonksiyon ve NMDA iletkenliği voltaj bağlı çift eksponanslı fonksiyon olarak modellendi. rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and AMPA ve NMDA’nın maksimum iletkenliği 0.73 nS ve 1.31 nS idi. τ τ τ τ arka plan gürültüsü We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Nöronal heyecanı keşfetmek Birden fazla sinapse aynı anda etkinleştirildiğinde pike olasılığını araştırdık. Dağıtılmış girişler için, 0'dan 240'e kadar aktif synapse olan 14 vakayı test ettik. Gruplandırılmış girişler için, toplamda 9 vakayı test ettik, 0'dan 12'ye kadar kümeler etkinleştirdik. Her kümeden 20 sinapse oluşuyordu. Her bir vakada hem dağıtılmış hem de gruplandırılmış girişler için, pike olasılığını 50 rastgele örnekle hesapladık. Pike olasılığı, fırlatılan nöron sayısının toplam örnek sayısına oran olarak tanımlanmıştır. Tüm 1150 örnek aynı anda DeepDendrite platformumuzda simüle edildi, simülasyon süresini günlerden dakikaya düşürdü. DeepDendrite platformu ile AI görevlerini yerine getirmek Geleneksel ayrıntılı nöron simülatörleri, modern AI görevleri için iki önemli işlevsellikten yoksundur: (1) şiddetli yeniden başlatma olmaksızın simülasyonlar ve ağırlık güncelleştirmeleri alternatif olarak gerçekleştirmek ve (2) aynı anda çoklu uyarı örneklerini batch-like bir şekilde işlemek. DeepDendrite consists of three modules (Supplementary Fig. ): (1) bir I/O modülü; (2) bir DHS tabanlı simülasyon modülü; (3) bir öğrenme modülü. Öğrenme görevlerini gerçekleştirmek için biyofiziksel olarak ayrıntılı bir model eğitirken, kullanıcılar önce öğrenme kuralını tanımlar, daha sonra tüm eğitim örneklerini öğrenme için ayrıntılı modeline besler. Eğitim sırasında her adımda, I/O modülü, belirli bir uyarı ve ilgili öğretmen sinyali (gerekirse) tüm eğitim örneklerinden alır ve uyarıyı ağ modeline bağlar. Daha sonra, DHS tabanlı simülasyon modülü modeli başlatır ve simülasyonu başlatır. Simülasyondan sonra, öğrenme modülü, model yanıtları ve öğretmen sinyalleri arasındaki farkı göre tüm sinaptik ağırlıkları güncelleştirir. 5 HPC-Net Çözümleri Görüntü sınıflandırması, AI alanında tipik bir görevdir. Bu görevde, bir model belirli bir görüntüdeki içeriği tanımayı ve ilgili etiketleri çıkartmayı öğrenmelidir. Burada, DeepDendrite platformunu kullanarak görüntü sınıflandırma görevlerini gerçekleştirmeyi öğrenebilecek detaylı insan piramidal nöron modellerinden oluşan bir ağ olan HPC-Net'i sunuyoruz. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) resimde, ilgili spike treni sabit bir interspike aralığına sahiptir İZMİR ( ) (ms) pixel değeri ile belirlenir ( ) Eq. içinde gösterildiği gibi ( ) için x ve y τ x ve y p x ve y 1 Deneyimizde, her uyarı için simülasyon 50 ms sürdü. ISI ms ve simülasyonun sonuna kadar sürdü. Sonra tüm spike trenlerini bir-bir şekilde giriş tabakası nöronlarına bağladık. is given by τ t0 Nerede post-synaptik gerilim, geri dönüş potansiyeli syn = 1 mV, maksimum sinaptik iletkenlik max = 0.05 μS ve zaman sabit 0 0 0 0 ms v E g τ Giriş tabakasındaki nöronlar pasif bir tek bölüm modeliyle modellendi. m = 1.0 μF cm-2, membran direnci m = 104 Ω cm2, axial resistivity a = 100 Ω cm, pasif bölümün ters potansiyeli L = 0 mV c r r E Gizli tabaka, insani piramidal nöron modellerinin bir grubu içerir, giriş tabakası nöronlarının somatik gerilimlerini alır. morfolojisi Eyal, et al. , ve tüm nöronlar pasif kablolarla modellendi. m = 1.5 μF cm-2, membran direnci m = 48,300 Ω cm2, Axial direnci a = 261,97 Ω cm ve tüm pasif kabloların ters potansiyeli l = 0 mV. Giriş nöronları gizli nöronların dendritlerinde rastgele seçilen yerlere çok sayıda bağlantı yapabilir. Synapse of the Hakkında Neuronun içine girmesi Eq’de olduğu gibi dendrit tanımlanır. ( ) Nerede Synaptic Conductance (Sinaptik Yöneticilik) sinaptik ağırlıktır, ReLU gibi somatik aktivasyon fonksiyonudur ve Zamanında Neuron Giriş . 51 c r r E k i j 4 Gökhan Çevre i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ) için 4 HPC-Net ile Görüntü Sınıflandırması Her bir giriş görüntüleme uyarısı için, önce tüm piksel değerlerini 0.0-1.0'e normalleştirdik. Sonra normalleştirilmiş pikselleri pike trenlerine dönüştürdük ve bunları giriş nöronlara bağladık. çıkış nöronlarının somatik gerilimleri, eşitliğinde gösterildiği gibi her sınıfın öngörülen olasılığını hesaplamak için kullanılır Nerede nerede is the probability of HPC-Net tarafından öngörülen sınıf, 20 ms ile 50 ms arasındaki ortalama somatik gerilimdir. -th output neuron, and Bu makalede, HPC-Net'i 784 giriş nöron, 64 gizli nöron ve 10 çıkış nöronuyla inşa ettik. 6 Pi için i i C Synaptic plasticity rules for HPC-Net Önceki çalışmalarından ilham alarak bu ilanı beğen Ağu 11 Hockey (Hill) resim har. bu ilanı gizle geri yükle bu ilanı geri yükle ) Nerede Sınıf için öngörülen olasılık ve Stimülatör görüntüsüne ait olan gerçek sınıfı gösterir, = 1 Giriş görüntü sınıfına ait ise , and 0 olmasaydı 36 7 Pi için i yi yi i yi HPC-Net eğitiminde, ağırlık için güncelleştirmeyi hesaplıyoruz (the synaptic weight of the Sinapse Bağlantı Nöronları to neuron ) her adımda. her görüntü uyarıcısının simülasyonundan sonra, Eq'de gösterildiği gibi güncellenmiştir. ( ) : Wijk k i j Çevre 8 İşte öğrenme oranı, zamanında güncelleme değeri ve ve nöronların somatik gerilimi ve Buna göre, İşte o Sinaptik akım neuronlar tarafından aktive edilir Neuronlar için ve Sinaptik iletkenliğe sahip, Arasındaki transfer direnci -th connected compartment of neuron Neuronlar için Nöbetçi Neuron “Sonuçta, s = 30 ms Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir?Aşağıdakilerden hangisidir? ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ) için t vj Vİ i j IŞİD k i j Gökhan Krallık k i j j t t 10 11 Tüm çıkış nöronları tek bölümlü olduğundan, ilgili bölümün giriş direncine eşittir. transfer ve giriş direncleri NEURON tarafından hesaplanır. Mini-batch eğitimi, daha yüksek tahmin doğruluğu elde etmek ve yaklaşım hızlandırmak için derin öğrenimde tipik bir yöntemdir. DeepDendrite ayrıca mini-batch eğitimi de destekler. batch, biz yapıyoruz HPC-Net batch kopyaları. Eğitim sırasında, her kopya, batch'ten farklı bir eğitim örnekle beslenir. DeepDendrite önce her kopya için ağırlık güncelleştirmesini ayrı ayrı hesaplar. Mevcut eğitim batch'deki tüm kopyaları yaptıktan sonra, ortalama ağırlık güncelleştirmesi hesaplanır ve tüm kopyaların ağırlıkları aynı miktarda güncelleştirilir. N N HPC-Net ile karşıt saldırılara karşı dayanıklı HPC-Net'in dayanıklılığı göstermek için, rakip örnekler üzerinde tahmin doğruluğunu test ettik ve bunu analog bir ANN ile karşılaştırdık (bir tanesi aynı 784-64-10 yapısı ve ReLU etkinleştirme ile, HPC-Net'imizde adil bir karşılaştırma için her giriş nöronu sadece her gizli nöronla bir sinaptik bağlantı yaptı). İlk önce HPC-Net ve ANN'i orijinal eğitim setiyle (orijinal temiz görüntüler) eğittik. Sonra test setine rakip gürültüsü ekledik ve tahmin doğruluğunu gürültü test setinde ölçtük. , FGSM yöntemi ile karşıt gürültü oluşturmak için ANN PyTorch ile eğitildi , ve HPC-Net bizim DeepDendrite ile eğitildi. dürüstlük için, biz önemli ölçüde farklı bir ağ modeli, 20 katmanlı ResNet üzerinde karşıt gürültü oluşturdu Gürültü seviyeleri 0.02 ila 0.2 arasında değişiyordu. iki tipik veritabanında, MNIST ile deney yaptık. Modacı Mnist Sonuçlar, HPC-Net'in tahmin doğruluğunun analog ANN'den yüzde 19 ve yüzde 16,72 oranında daha yüksek olduğunu göstermektedir. 98 99 93 100 101 95 96 Raporlama Özetleri Araştırma Tasarımı Hakkında Daha Fazla Bilgi Bu makaleye bağlanmıştır. Nature Portfolio Raporlama Raporu Data Kullanılabilirliği Bu çalışmanın bulgularını destekleyen veriler, bu makale ile birlikte sağlanan makale, Ek Bilgi ve Kaynak Verileri dosyalarında mevcuttur. – mevcuttur at MNIST veritabanı kamuya açık olarak erişilebilir Fashion-MNIST veritabanı kamuya açık olarak erişilebilir ve . Bu belge ile sağlanmaktadır. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Kaynak verileri Kodu Kullanılabilirliği DeepDendrite'in kaynak kodu ve Figs'i yeniden oluşturmak için kullanılan modeller ve kodlar. – Bu çalışmada mevcut olan . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. Sinir aktivitesinde var olan fikirlerin mantıksal hesaplaması. LeCun, Y., Bengio, Y. ve Hinton, G. Derin öğrenme. Doğa 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Model CA1 piramit hücresindeki alt sınır sinaptik toplamın aritmetikleri. Londra, M. & Häusser, M. Dendritik hesaplama. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Sinir sisteminde temel fonksiyonel birim olarak tek dendritik dalı. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritik entegrasyon: 60 yıllık ilerleme. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. & Papoutsi, A. Bilgisayar modelleri ile dendrit fonksiyonu aydınlatma. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritik omurgalar nöronal entegrasyonun temel işlevsel birimleri olarak. doğa 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Hipokampal uzun süreli sinaptik plasticity ile ilişkili dendritik omurganlık değişiklikleri. doğa 399, 66-70 (1999). Yuste, R. Dendritik omuzlar ve dağıtılmış devre. Neuron 71, 772–781 (2011). Yuste, R. Dendritik omuzlarda elektrikli bölünme. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Dendritik ağaçların bölünmesi ve motoneuron membran direnci. Exp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Bir heyecan verici dendritik omurganın hesaplama çalışması. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Derin nöral ağlar ve ağaç arayışı ile gitme oyununun ustası. doğa 529, 484–489 (2016). Silver, D. et al. Satranç, shogi ve kendiliğinden oynamayı yöneten genel bir güçlendirme öğrenme algoritması. Science 362, 1140–1144 (2018). McCloskey, M. & Cohen, N. J. Bağlantılı ağlarda felaket müdahale: seri öğrenme sorunu. Fransızca, R. M. Bağlantılı ağlarda felaket unutma. eğilimler Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse patlamaları, çoğaltılmış sinir kodunda bilgi aktarımını optimize eder. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritik kortikal mikrosirkeler, Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018)'de geri yayma algoritmasını yakalamaktadır. Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst bağımlı sinaptik plastiklik, hijerarşik devirlerde öğrenmeyi koordine edebilir. Bicknell, B. A. & Häusser, M. Nonlineer dendritik hesaplamayı kullanmak için bir sinaptik öğrenme kuralı. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. Gradient kümesi: dendritik nonlinearities, yapısal plasticity ve gradient düşüş yoluyla sınıflandırma görevlerini çözmeyi öğrenen bir model nöron. PLoS Comput. Biol. 17, e1009015 (2021). Hodgkin, A. L. ve Huxley, A. F. Membran akımı ve sinirde iletkenlik ve uyarılma için uygulanması.J. Physiol. Rall, W. Dendritlerin Fizyolojik Özelliklerinin Teorisi. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. ve Carnevale, N. T. Neuron simülasyon ortamı, Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Bilgisayarlı paralel ağ simülasyonlarında Neuron bölünmesi, iki kat daha fazla işlemciyle çalıştırma süresini ölçmeyi sağlar. Hines, M. L., Markram, H. & Schürmann, F. Tek nöronların tamamen dolaylı paralel simülasyonu. J. Comput. Neurosci. 25, 439-448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. Bir grafik işlemci biriminde bölme modellerinin hızlandırılması. ön. Neuroinform. 7, 4 (2013). Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Grafik işleme ünitelerinde uzay yapısı olan nöron modellerinin verimli sayısal simülasyonu. In Proc. 2016 Uluslararası Nöron Bilgi İşleme Konferansı (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, ABD GPU üzerinde nöro simülasyonlarda Parallelizing Hines Matrix Solver. % IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. GPU üzerinde hin matrisleri için verimli ağaç çözücü. Preprint at https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Kombinasyonel Optimizasyon Teorisi ve Algoritmaları 6 edn (Springer, 2018). Gebali, F. Algoritmalar ve Paralel Bilgisayar (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: NEURON simülatörü için optimize edilmiş bir hesaplama motoru. ön. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Somatik spiking dendritik tahminine göre öğrenme. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Grafik işlemciler üzerinde paralel bir genetik algoritma kullanarak iyon kanal modellerini optimize etmek. J. Neurosci. Yöntemler 206, 183–194 (2012). Mascagni, M. Özgürce dalgalı kablo nöron modellerine hesaplama çözümleri için bir paralelleştirme algoritması.J. Neurosci. McDougal, R. A. et al. ModelDB'nin yirmi yıl ve ötesinde: nörobilimin geleceği için temel modelleme araçları oluşturmak. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih, CA1 piramidal nöronlarında senkronize olmayan distal girişlerin zaman toplamını seçici olarak engeller. Hemond, P. et al. Piramit hücrelerinin farklı sınıfları, hipokampal bölgede CA3b'de karşılıklı olarak hariç tutulan ateşleme modelleri sergiler. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Dendritik ve perizomatik aktif özelliklerin geniş bir yelpazesini yakalayan neokortik tabaka 5b piramidal hücrelerin modeller. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Detaylı bir purkinje hücresel modelde eylem potansiyel işleme axonal bölünme için kritik bir rol ortaya çıkarır. ön. Hücre. Neurosci. 9, 47 (2015). Lindroos, R. et al. Bazal ganglia nöromodülasyonu çoklu zaman ve yapısal ölçekler üzerinde - doğrudan yol MSN'lerin simülasyonları dopaminerjik etkilerin hızlı başlangıcını araştırır ve Kv4.2'nin rolünü tahmin eder. Migliore, M. et al. Sinaptik kümeler koku operatörleri olarak işlevsel. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Programlama Kılavuzu. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ En İyi Uygulamalar Rehberi. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Dendritik omuzlar tarafından sinaptik amplifikasyon giriş işbirliği geliştirir. Doğa 491, 599–602 (2012). Chiu, C. Q. et al. Dendritik omurganlar tarafından GABAergik inhibisyonun parçalanması. Bilim 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Sırt boğazının plastikliği sinapsların bölünmesini düzenler. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. İnsan kortikal piramidal nöronlar: omurganlardan tiplere modeller aracılığıyla. ön. Hücre. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. Dendritik tüplerin fonksiyonu: Biyokimyasal yerine elektrikli bölümleşme hizmet eden cihazlar. J. Neurosci. 13, 413-422 (1993). Koch, C. Dendritik Spines, Bilgisayarın Biyofizikinde (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Paralel fiber arka plan aktivitesinin cerebellar purkinje hücrelerinin kablo özelliklerine etkisi. Hines, M. Zincirlenmiş sinir eşitliklerinin verimli hesaplanması. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Düşman saldırılarından derin ağların biyolojik olarak ilham kaynağı korunması. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Paralel GENESİ kullanan geniş ölçekli simülasyon. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Neuron ile paralel ağ simülasyonları. Lytton, W. W. et al. Beyin araştırmasını ilerletmek için simülasyon nöroteknolojileri: NEURON'da büyük ağların paralelleştirilmesi. Valero-Lara, P. et al. cuHinesBatch: GPU'ların insan beyni projesi üzerinde çoklu Hines sistemlerini çözme. In Proc. 2017 Uluslararası Bilgisayar Bilimi Konferansı 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Çağdaş yüksek performanslı bilgisayar mimarileri için morfolojik olarak ayrıntılı bir sinir ağ simülasyon kütüphanesi. Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: GPU'larda çok bölümlü, biyofiziksel olarak ayrıntılı nöron simülasyonları hızlandırmak. J. Neurosci. Yöntemler 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Bölünmüş yapılarda nöral aktivite ile ilişkili reaksiyon-difüzyon eşitlikleri için bir tahminci-korektör algoritması. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Kozloski, J. ve Wagner, J. Büyük ölçekli sinir dokusu simülasyonuna ultrasonik bir çözüm. Ön. Neuroinform. 5, 15 (2011). Jayant, K. et al. Kuantum nokta kaplı nanopipetleri kullanarak dendritik spinlerden hedeflenen hücre içi gerilim kayıtları. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Aksiyon potansiyelleri ve sinaptik girişi sırasında dendritik omurgalarda membran potansiyel değişiklikleri. J. Neurosci. 29, 6897-6903 (2009). Nishiyama, J. ve Yasuda, R. Sırt ağının yapısal plastikliği için biyokimyasal hesaplama. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Uzun süreli sinaptik plasticite ile ilişkili dendritik omurgalarda morfolojik değişiklikler. Rev. Neurosci. 24, 1071-1089 (2001). Holtmaat, A. & Svoboda, K. Hayvan beyninde deneyim bağımlı yapısal sinaptik plasticity. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Eğitimde Yapısal Plastiklik: Düzenleme ve Fonksiyonlar Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Yetişkin görsel korteksun işlevsel yeniden düzenlenmesi sırasında nöronal devirlerin büyük bir yeniden yapılandırılması. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Deneyim kortikal devirlerde kalıcı bir yapısal iz bırakır. Trachtenberg, J. T. et al. Yetişkin korteksta deneyime bağlı sinaptik plasticite uzun vadeli in vivo görüntüleme. doğa 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Somatosensör korteksindeki uyarıcı ve inhibitör nöronların axonal dinamikleri. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Kalıcı motor hafızaları için sinapslerin hızlı oluşumu ve seçici stabilizasyonu. doğa 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Motor kemiklerinde yeni oluşmuş dendritik omurganların istikrarını arttırarak motor öğrenimini geliştirmek Neuron 109, 3298–3311 (2021). Branco, T. & Häusser, M. Tek kortikal piramidal hücre dendritlerinde sinaptik entegrasyon gradientleri. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. Neokortik piramidal nöron dendritlerin aktif özellikleri. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritik eylem potansiyelleri ve insan tabakası 2/3 kortikal nöronlarda hesaplama. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Zamanlandırılmış sinaptik inhibisyon NMDA zirvesini şekillendirir, lokal dendritik işleme ve kortikal nöronların küresel I/O özelliklerini etkiler. hücre Rep. 21, 1550–1561 (2017). Du, K. et al. Striatal omurgalı projesi nöronlarında dendritik platon potansiyelinin hücre türü spesifik inhibisyonu. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritik tırnaklar kortikal nöronlarda in vivo uyarı selektivitesini artırır. Nature 503, 115-120 (2013). Xu, N.-l et al. Aktif bir algılama görevi sırasında duyusal ve motor girişlerinin nonlineer dendritik entegrasyonu. doğa 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Aktif kortikal dendritler algılamayı modüle eder. Bilim 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Dendritik ağaç üzerinde kalsiyum geçici yaygınlığı yer alan alan özellikleri tahmin eder. doğa 517, 200–204 (2015). Markram, H. et al. Neokortik mikrosirkulasyonun yeniden yapılandırılması ve simülasyonu. Hücre 163, 456-492 (2015). Billeh, Y. N. et al. Yapısal ve fonksiyonel verilerin sistematik entegrasyonu fare ilk görsel korteksinin çok ölçekli modellerine. Neuron 106, 388–403 (2020). J. Hjorth, J. et al. Silikon içinde striatum mikrosirkeleri. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Ayrı dendritlerle derin öğrenme yönünde. elife 6, e22901 (2017). Iyer, A. et al. Bir felaketin önlenmesi: aktif dendritler dinamik ortamlarda çok görevli öğrenmeyi sağlar. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritik normalizasyon az bağlantılı yapay nöral ağlarda öğrenmeyi iyileştirir. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. 3. Uluslararası Öğrenme Örgütleri Konferansında (ICLR, 2015) karşıtlık örneklerini açıklamak ve kullanmak. Papernot, N., McDaniel, P. & Goodfellow, I. Makine öğreniminde taşınabilirlik: fenomenlerden kara kutu saldırılarına karşıt örnekleri kullanarak. Preprint at https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient tabanlı öğrenme belge tanımına uygulanmıştır. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Moda-MNIST: makine öğrenme algoritmaları benchmarking için yeni bir görüntü veritabanı. Preprint at http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: Makine Öğrenimi Modellerinin dayanıklılıklarını benchmarking için bir Python araç kutusu. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: Bir zorunlu tarz, yüksek performanslı derin öğrenme kütüphanesi. Neural Bilgi İşleme Sistemlerinde Gelişmeler 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Görüntü Tanıma için Derin Kalıcı Öğrenme. In Proc. 2016 IEEE Konferansı Bilgisayar Görünüm ve Tasarım Tanıma (CVPR) 770-778 (IEEE, 2016). İtiraflar Yazarlar, Dr. Rita Zhang, Daochen Shi ve NVIDIA üyeleri için GPU bilgisayarının değerli teknik desteği için yürekten teşekkür ederler. Bu çalışma, Çin Ulusal Anahtar Araştırma ve Geliştirme Programı (No. 2020AAA0130400) K.D. ve T.H., Çin Ulusal Doğa Bilimi Vakfı (No. 6182588102) T.H., Çin Ulusal Anahtar Araştırma ve Geliştirme Programı (No. 2022ZD01163005) L.M., Guangdong Eyaleti Anahtar Araştırma ve Geliştirme Programı (No. 2018B030338001) T.H., Çin Ulusal Doğa Bilimi Vakfı (No. 6182510101) Y.T., İsveç Araştırma Konseyi (VR- Bu makale CC by 4.0 Deed (Attribution 4.0 International) lisansı altında mevcuttur. Bu makale CC by 4.0 Deed (Attribution 4.0 International) lisansı altında mevcuttur.
