Penulis : Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao beliau Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang Penulis : Melayu Zhang Gan beliau Melayu ma Tajuk : Liu Xiao J. J. Johannes Hjorth dalam Aleksandr Kozlov Yutao beliau Shenjian Zhang Jeanette Hellgren daripada Kotaleski Yonghong Tian Stesen Griller Apabila anda Tajuk Huang abstrak Biophysically terperinci multi-partition model adalah alat yang berkuasa untuk meneroka prinsip-prinsip pengiraan otak dan juga berfungsi sebagai rangka kerja teori untuk mewujudkan algoritma untuk sistem kecerdasan buatan (AI). Walau bagaimanapun, kos pengiraan yang mahal amat membatasi aplikasi di kedua-dua bidang sains saraf dan AI. Jambatan utama semasa mensimulasikan model compartment terperinci adalah keupayaan simulator untuk menyelesaikan sistem besar persamaan linear. Endritium Hierarki cheduling (DHS) kaedah untuk mempercepatkan proses sedemikian secara ketara. Kami secara teori membuktikan bahawa pelaksanaan DHS adalah optimum dan tepat secara komputasi. Kaedah berasaskan GPU ini beroperasi dengan 2-3 perintah kelajuan yang lebih tinggi daripada kaedah Hines siri klasik dalam platform CPU konvensional. Kami membina rangka kerja DeepDendrite, yang mengintegrasikan kaedah DHS dan enjin pengkomputeran GPU simulator NEURON dan menunjukkan aplikasi DeepDendrite dalam tugas-tugas neuroscience. Kami menyiasat bagaimana corak spatial input tulang belakang mempengaruhi kegembiraan neuronal dalam model neuron piramid manusia terperinci dengan 25,000 tulang belakang. Di samping itu, kami menyediakan perbincangan singkat mengenai potensi DeepDendrite untuk AI, secara khusus menonjolkan keupayaan untuk membolehkan latihan yang berkesan D H S Pengenalan Deciphering the coding and computational principles of neurons is essential to neuroscience. Mammalian brains are composed of more than thousands of different types of neurons with unique morphological and biophysical properties. Even though it is no longer conceptually true, the “point-neuron” doctrine , di mana neuron dianggap sebagai unit summing mudah, masih digunakan secara meluas dalam pengiraan saraf, terutamanya dalam analisis rangkaian saraf. Dalam tahun-tahun kebelakangan ini, kecerdasan buatan moden (AI) telah menggunakan prinsip ini dan membangunkan alat-alat yang kuat, seperti rangkaian saraf buatan (ANN) Walau bagaimanapun, selain daripada pengiraan komprehensif pada tahap neuron tunggal, bahagian-bahagian subsel, seperti dendrit neuronal, juga boleh menjalankan operasi nonlinear sebagai unit pengiraan bebas. , , , , Di samping itu, spines dendritic, protrusions kecil yang padat meliputi dendrites dalam neuron spiny, boleh membahagikan isyarat sinaptik, membolehkan mereka untuk dipisahkan daripada dendrit ibu bapa mereka ex vivo dan in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulations using biologically detailed neurons provide a theoretical framework for linking biological details to computational principles. The core of the biophysically detailed multi-compartment model framework , membolehkan kita memodelkan neuron dengan morfologi dendritik yang realistik, konduktiviti ion intrinsik, dan input sinaptik extrinsik. , yang memodelkan sifat-sifat membran biophysical dendrites sebagai kabel pasif, menyediakan penerangan matematik bagaimana isyarat elektronik menyerang dan menyebarkan melalui proses neuronal yang kompleks.Dengan menggabungkan teori kabel dengan mekanisme biophysical aktif seperti saluran ion, arus sinaptik yang merangsang dan menghalang, dan lain-lain, model pelbagai bahagian terperinci boleh mencapai pengiraan neuronal selular dan subselular di luar had eksperimen. , . 12 13 12 4 7 Selain daripada kesan yang mendalam pada sains saraf, model neuron yang terperinci secara biologi baru-baru ini telah digunakan untuk menampung kesenjangan antara butiran struktural neuronal dan biophysical dan AI. Teknik yang berlaku dalam bidang AI moden adalah ANN yang terdiri daripada neuron titik, analog dengan rangkaian saraf biologik. Walaupun ANN dengan algoritma "backpropagation-of-error" (backprop) mencapai prestasi yang luar biasa dalam aplikasi khusus, bahkan mengalahkan pemain profesional manusia teratas dalam permainan Go dan catur , , otak manusia masih melebihi ANNs dalam domain yang melibatkan persekitaran yang lebih dinamik dan berisik , Kajian teori baru-baru ini menunjukkan bahawa integrasi dendritik adalah penting dalam menghasilkan algoritma pembelajaran yang berkesan yang berpotensi melebihi backprop dalam pemprosesan maklumat paralel. , , Lebih-lebih lagi, satu model multi-bagian terperinci boleh mempelajari pengiraan nonlinear untuk neuron titik pada peringkat rangkaian dengan menyesuaikan hanya kekuatan sinaptik. , Oleh itu, ia adalah keutamaan tinggi untuk mengembangkan paradigma dalam AI seperti otak dari model neuron terperinci tunggal kepada rangkaian biologi terperinci skala besar. 14 15 16 17 18 19 20 21 22 Satu cabaran lama pendekatan simulasi terperinci terletak dalam kos pengkomputeran yang sangat tinggi, yang telah terhad kepada aplikasi neuroscience dan AI. hambatan utama simulasi adalah untuk menyelesaikan persamaan linier berdasarkan teori asas pemodelan terperinci. , , Untuk meningkatkan kecekapan, kaedah Hines klasik mengurangkan kerumitan masa untuk menyelesaikan persamaan dari O(n3) kepada O(n), yang telah digunakan secara meluas sebagai algoritma teras dalam simulator popular seperti NEURON. dan genesis Walau bagaimanapun, kaedah ini menggunakan pendekatan siri untuk memproses setiap bilik secara berturut-turut. Apabila simulasi melibatkan beberapa dendrit biophysically terperinci dengan dendritic spines, matriks persamaan linier ("Hines Matrix") skala mengikut dengan peningkatan bilangan dendrites atau spines (Fig. ), menjadikan kaedah Hines tidak lagi praktikal, kerana ia menimbulkan beban yang sangat berat pada keseluruhan simulasi. 12 23 24 25 26 1 E Model neuron piramid layer-5 yang dibina semula dan formula matematik yang digunakan dengan model neuron terperinci. Workflow apabila mensimulasikan model neuron terperinci secara numerik. fasa penyelesaian persamaan adalah kunci dalam simulasi. Contoh persamaan linear dalam simulasi. Data bergantung kepada kaedah Hines apabila menyelesaikan persamaan linear dalam daripada Saiz matriks Hines bersaiz dengan kompleksiti model. bilangan sistem persamaan linear yang akan diselesaikan mengalami peningkatan yang signifikan apabila model semakin terperinci. Kos pengiraan (langkah yang diambil dalam fasa penyelesaian persamaan) kaedah Hines siri pada jenis model neuron yang berbeza. Ilustrasi kaedah penyelesaian yang berbeza. bahagian-bahagian yang berbeza neuron ditugaskan kepada beberapa unit pemprosesan dalam kaedah paralel (pusat, kanan), ditunjukkan dengan warna yang berbeza. Kos pengiraan tiga kaedah dalam apabila menyelesaikan persamaan model piramid dengan spines. Waktu menjalankan kaedah yang berbeza pada penyelesaian persamaan untuk 500 model piramid dengan spin. masa menjalankan menunjukkan penggunaan masa simulasi 1 s (menyelesaikan persamaan 40,000 kali dengan langkah masa 0.025 ms). kaedah parallel p-Hines dalam CoreNEURON (pada GPU), kaedah parallel berasaskan cabang berasaskan cabang (pada GPU), kaedah perancangan hierarki Dendritik DHS (pada GPU). a b c d c e f g h g i Sepanjang dekad yang lalu, kemajuan besar telah dicapai untuk mempercepatkan kaedah Hines dengan menggunakan kaedah paralel di peringkat sel, yang membolehkan untuk melambangkan perhitungan bahagian yang berbeza dalam setiap sel. , , , , , Walau bagaimanapun, kaedah paralel tahap sel semasa sering tidak mempunyai strategi paralelisasi yang berkesan atau tidak mempunyai ketepatan numerik yang mencukupi berbanding kaedah Hines asal. 27 28 29 30 31 32 Di sini, kami membangunkan alat simulasi yang sepenuhnya automatik, tepat secara numerik dan dioptimalkan yang boleh mempercepatkan kecekapan pengiraan dan mengurangkan kos pengiraan.Selain itu, alat simulasi ini boleh diadopsi dengan lancar untuk menubuhkan dan menguji rangkaian saraf dengan butiran biologi untuk aplikasi pembelajaran mesin dan AI. Teori Komputer Paralel Kami menunjukkan bahawa algoritma kami menyediakan jadual yang optimum tanpa kehilangan ketepatan.Selain itu, kami telah mengoptimumkan DHS untuk cip GPU yang paling canggih pada masa ini dengan memanfaatkan hierarki memori GPU dan mekanisme akses memori.Secara bersama, DHS boleh mempercepatkan pengiraan 60-1,500 kali (Tabel Tambahan) ) berbanding dengan simulator klasik NEURON Mengekalkan ketepatan yang sama. 33 34 1 25 Untuk membolehkan simulasi dendritik terperinci untuk digunakan dalam AI, kami seterusnya menubuhkan rangka kerja DeepDendrite dengan mengintegrasikan platform CoreNEURON yang dimasukkan DHS (mesin pengiraan yang dioptimumkan untuk NEURON) sebagai enjin simulasi dan dua modul bantu (modul I/O dan modul pembelajaran) yang menyokong algoritma pembelajaran dendritik semasa simulasi. DeepDendrite berjalan pada platform perkakasan GPU, menyokong kedua-dua tugas simulasi biasa dalam sains saraf dan tugas pembelajaran dalam AI. 35 Last but not least, kami juga memperkenalkan beberapa aplikasi menggunakan DeepDendrite, menargetkan beberapa cabaran kritikal dalam sains saraf dan AI: (1) Kami menunjukkan bagaimana corak spatial input tulang belakang dendritik mempengaruhi aktiviti saraf dengan neuron yang mengandungi tulang belakang di seluruh pokok dendritik (model tulang belakang penuh). DeepDendrite membolehkan kami mengeksplorasi pengiraan saraf dalam model saraf piramid manusia simulasi dengan ~ 25,000 tulang belakang dendritik. (2) Dalam perbincangan kami juga mempertimbangkan potensi DeepDendrite dalam konteks AI, khususnya, dalam mewujudkan ANN dengan neuron piramid manusia yang terperinci secara morfologi. temuan kami mencadangkan bahawa DeepDendrite mempunyai potensi untuk mengurangkan masa latihan secara drastik, dengan itu menjadikan model rangkaian terperinci lebih boleh dilakukan untuk tugas berasaskan data. Semua kod sumber untuk DeepDendrite, model full-spine dan model rangkaian dendritik terperinci boleh didapati secara awam dalam talian (lihat Code Availability). rangka kerja pembelajaran sumber terbuka kami boleh diintegrasikan dengan mudah dengan peraturan pembelajaran dendritik lain, seperti peraturan pembelajaran untuk dendrit nonlinear (penuh aktif) Plastik sinaptik bergantung kepada letupan , dan belajar dengan ramalan spike Secara keseluruhan, kajian kami menyediakan set lengkap alat-alat yang mempunyai potensi untuk mengubah ekosistem komuniti neuroscience komputasi semasa.Dengan memanfaatkan kuasa komputasi GPU, kami membayangkan bahawa alat-alat ini akan memudahkan penyelidikan peringkat sistem prinsip-prinsip komputasi struktur halus otak, serta mempromosikan interaksi antara neuroscience dan AI moden. 21 20 36 Hasil Kaedah Jadual Hierarki Dendritik (DHS) Mengkomputerakan aliran ionik dan menyelesaikan persamaan linear adalah dua fasa kritikal apabila mensimulasikan neuron yang terperinci biophysically, yang memakan masa dan menimbulkan beban pengkomputeran yang teruk.Sayangnya, mengkomputerakan aliran ionik setiap bilik adalah proses yang sepenuhnya bebas supaya ia boleh secara semulajadi bersamaan pada peranti dengan unit pengkomputeran paralel yang besar seperti GPU Akibatnya, penyelesaian persamaan linear menjadi tapak botol yang tersisa untuk proses paralelisasi (Fig. ) daripada 37 1a - f Untuk menangani hambatan ini, kaedah paralel di peringkat sel telah dibangunkan, yang mempercepatkan pengiraan sel tunggal dengan "membahagikan" sel tunggal ke dalam beberapa ruang yang boleh dihitung secara paralel. , , Walau bagaimanapun, kaedah-kaedah sedemikian bergantung kepada pengetahuan terdahulu untuk menghasilkan strategi praktikal tentang bagaimana untuk memecah neuron tunggal ke dalam bahagian-bahagian (Fig. Tambahan daripada Fig. Oleh itu, ia menjadi kurang berkesan untuk neuron dengan morfologi asimetrik, contohnya, neuron piramidal dan neuron Purkinje. 27 28 38 1g i 1 Kami bertujuan untuk membangunkan kaedah paralel yang lebih cekap dan tepat untuk simulasi rangkaian saraf yang terperinci secara biologi. Pertama, kami menetapkan kriteria untuk ketepatan kaedah paralel di peringkat sel. Berdasarkan teori dalam pengkomputeran paralel , kami mencadangkan tiga syarat untuk memastikan kaedah paralel akan menghasilkan penyelesaian yang sama seperti kaedah Hines pengiraan siri mengikut ketergantungan data dalam kaedah Hines (lihat kaedah).Selepas itu, untuk menilai secara teori masa berjalan, iaitu kecekapan, kaedah pengiraan siri dan paralel, kami memperkenalkan dan merumuskan konsep kos pengiraan sebagai bilangan langkah yang diambil kaedah dalam menyelesaikan persamaan (lihat kaedah). 34 Berdasarkan ketepatan simulasi dan kos pengiraan, kita merumuskan masalah paralelisasi sebagai masalah jadual matematik (lihat kaedah). yang boleh dihitung, kita boleh mengira paling nod di setiap langkah, tetapi kita perlu memastikan nod dikira hanya jika semua nod kanak-kanak telah diproses; matlamat kami adalah untuk mencari strategi dengan bilangan langkah minimum untuk keseluruhan prosedur. k k Untuk menghasilkan partisi yang optimal, kami mencadangkan kaedah yang dipanggil Dendritic Hierarchical Scheduling (DHS) (bukti teori disajikan dalam Kaedah). Kaedah DHS termasuk dua langkah: menganalisis topologi dendritik dan mencari partisi terbaik: (1) Mengikut model terperinci, kita pertama-tama mendapat pokok ketergantungan yang sesuai dan mengira kedalaman setiap nod (kedalaman satu nod ialah bilangan nod nenek moyangnya) pada pokok (Gambar. (2) Selepas analisis topologi, kami mencari calon dan memilih paling banyak nod kandidat yang paling dalam (node adalah kandidat hanya jika semua nod anaknya telah diproses). ) daripada 2a 2b dan c k 2d DHS kerja aliran. proses DHS Kandida paling dalam nod setiap iterasi. Ilustrasi pengiraan kedalaman node model compartmental. model pertama ditukar kepada struktur pokok kemudian kedalaman setiap node dikira. warna menunjukkan nilai kedalaman yang berbeza. Analisis topologi pada model neuron yang berbeza. Enam neuron dengan morfologi yang berbeza dipaparkan di sini. Untuk setiap model, soma dipilih sebagai akar pokok supaya kedalaman nod meningkat dari soma (0) kepada dendrit distal. Ilustrasi pelaksanaan DHS pada model dalam dengan empat benang. calon: nod yang boleh diproses. calon yang dipilih: nod yang dipilih oleh DHS, iaitu, Node yang diproses: Node yang telah diproses sebelum ini. Strategi paralelisasi yang diperolehi oleh DHS selepas proses dalam Setiap node ditugaskan kepada salah satu daripada empat thread paralel.DHS mengurangkan langkah pemprosesan node siri dari 14 kepada 5 dengan mengedarkan node kepada pelbagai thread. Kos Relatif, iaitu peratusan kos pengiraan DHS kepada yang kaedah Hines siri, apabila menggunakan DHS dengan bilangan benang yang berbeza pada jenis model yang berbeza. a k b c d b k e d f Take a simplified model with 15 compartments as an example, using the serial computing Hines method, it takes 14 steps to process all nodes, while using DHS with four parallel units can partition its nodes into five subsets (Fig. Oleh yang demikian, ia tidak boleh dikecualikan daripada yang lain, tetapi ia boleh dikecualikan daripada yang lain, dan ia tidak boleh dikecualikan daripada yang lain. ) daripada 2d 2 E Seterusnya, kami menerapkan kaedah DHS pada enam model neuron terperinci perwakilan (dipilih daripada ModelDB ) dengan bilangan thread yang berbeza (Fig. ): termasuk neuron piramid kortikal dan hippocampal , , Cerebellar Purkinje neuron neuron projeksi striatal (SPN) ) dan sel mitral bulb olfactory , meliputi neuron utama utama di kawasan sensorik, kortikal dan subkortikal. Kami kemudian mengukur kos pengiraan. Kos pengiraan relatif di sini ditakrifkan oleh peratusan kos pengiraan DHS kepada yang kaedah Hines siri. Kos pengiraan, iaitu bilangan langkah yang diambil dalam menyelesaikan persamaan, jatuh secara dramatis dengan meningkatnya bilangan helaian. Sebagai contoh, dengan 16 helaian, kos pengiraan DHS adalah 7%-10% berbanding dengan kaedah Hines siri. Menariknya, kaedah DHS mencapai sempadan yang lebih rendah daripada kos pengiraan mereka untuk neuron yang disampaikan apabila diberikan 16 atau 8 helaian bersamaan (Gambar. ), mencadangkan menambah lebih banyak thread tidak meningkatkan prestasi lebih lanjut kerana ketergantungan antara bahagian. 39 2F 40 41 42 43 44 45 2F Bersama-sama, kami menjana kaedah DHS yang membolehkan analisis automatik topologi dendritik dan pemisahan optimal untuk pengkomputeran paralel. Ia patut dicatat bahawa DHS mencari pemisahan optimal sebelum simulasi bermula, dan tiada pengiraan tambahan diperlukan untuk menyelesaikan persamaan. Mempercepatkan DHS melalui memori GPU DHS mengira setiap neuron dengan pelbagai helaian, yang mengkonsumsi sejumlah besar helaian apabila menjalankan simulasi rangkaian saraf. Unit Pemprosesan Grafis (GPU) terdiri daripada unit pemprosesan besar-besaran (iaitu, prosesor streaming, SP, Fig. Perkhidmatan Komputer Paralel Secara teori, banyak SP pada GPU harus menyokong simulasi yang cekap untuk rangkaian saraf skala besar (Gambar. Walau bagaimanapun, kami secara konsisten mengamati bahawa kecekapan DHS berkurangan secara signifikan apabila saiz rangkaian meningkat, yang boleh berpunca daripada penyimpanan data yang tersebar atau akses memori tambahan yang disebabkan oleh muat turun dan penulisan hasil pertengahan (Fig. ke kiri ) 3a dan b 46 3c 3d Arsitektur GPU dan hierarki memori. Setiap GPU mengandungi unit pemprosesan yang besar (prosesor aliran). Jenis memori yang berbeza mempunyai aliran yang berbeza. Arsitektur Streaming Multiprocessor (SM) Setiap SM mengandungi pelbagai prosesor streaming, registers, dan cache L1. Mengaplikasikan DHS pada dua neuron, masing-masing dengan empat helaian.Dalam simulasi, setiap helaian dijalankan pada satu pemproses aliran. Strategi pengoptimuman memori pada GPU. Panel atas, penugasan thread dan penyimpanan data DHS, sebelum (kiri) dan selepas (kiri) peningkatan memori. Bawah, contoh satu langkah dalam triangularization apabila mensimulasikan dua neuron dalam Prosesor menghantar permintaan data untuk memuatkan data untuk setiap thread dari memori global. Tanpa memori boosting (kiri), ia mengambil tujuh transaksi untuk memuatkan semua data permintaan dan beberapa transaksi tambahan untuk hasil pertengahan. Dengan memori boosting (kiri), ia mengambil hanya dua transaksi untuk memuatkan semua data permintaan, registers digunakan untuk hasil pertengahan, yang lebih meningkatkan pencapaian memori. Waktu berjalan DHS (32 helaian setiap sel) dengan dan tanpa memori meningkatkan pada pelbagai lapisan 5 model piramid dengan spines. Kelajuan memori meningkatkan pada pelbagai lapisan 5 model piramid dengan spin. memori meningkatkan membawa 1.6-2 kali kelajuan. a b c d d e f Kami menyelesaikan masalah ini dengan mempromosikan memori GPU, kaedah untuk meningkatkan aliran memori dengan memanfaatkan hierarki memori dan mekanisme akses GPU. Berdasarkan mekanisme muatan memori GPU, thread berturut-turut yang memuatkan data yang diselaraskan dan disimpan berturut-turut membawa kepada aliran memori yang tinggi berbanding dengan mengakses data yang disimpan dengan penyebaran, yang mengurangkan aliran memori. , Untuk mencapai output yang tinggi, kita terlebih dahulu menyusun perintah pengkomputeran nodes dan mengatur semula thread mengikut bilangan nodes pada mereka. Kemudian kita permuta penyimpanan data dalam memori global, konsisten dengan perintah pengkomputeran, iaitu, nodes yang diproses pada langkah yang sama disimpan berturut-turut dalam memori global. Selain itu, kita menggunakan registers GPU untuk menyimpan hasil pertengahan, memperkuat lebih lanjut output memori. Lebih-lebih lagi, percubaan pada beberapa nombor neuron piramid dengan spines dan model neuron tipikal (Fig. Tambahan daripada Fig. ) menunjukkan bahawa peningkatan memori mencapai kecepatan 1.2-3.8 kali berbanding dengan DHS naif. 46 47 3d 3e dan f 2 Untuk menguji secara komprehensif prestasi DHS dengan peningkatan memori GPU, kami memilih enam model neuron khas dan menilai masa berjalan penyelesaian persamaan kabel pada bilangan besar setiap model (Gambar. Kami memeriksa DHS dengan empat benang (DHS-4) dan enam belas benang (DHS-16) untuk setiap neuron, masing-masing. berbanding dengan kaedah GPU di CoreNEURON, DHS-4 dan DHS-16 boleh mempercepatkan kira-kira 5 dan 15 kali, masing-masing (Gambar. Di samping itu, berbanding dengan kaedah Hines berurutan konvensional dalam NEURON yang berjalan dengan single-thread CPU, DHS mempercepatkan simulasi dengan 2-3 perintah saiz (Gambar Tambahan. ), sambil mengekalkan ketepatan nombor yang sama dalam kehadiran spines padat (Figs Tambahan. dan ), dendrit aktif (Fig Tambahan. ) dan strategi segmensi yang berbeza (Fig. ) daripada 4 4a 3 4 8 7 7 Run time of solving equations for a 1 s simulation on GPU (dt = 0.025 ms, 40,000 iterations in total). CoreNEURON: the parallel method used in CoreNEURON; DHS-4: DHS with four threads for each neuron; DHS-16: DHS with 16 threads for each neuron. daripada Visualization of the partition by DHS-4 and DHS-16, each color indicates a single thread. During computation, each thread switches among different branches. a b c DHS mencipta pemisahan optimal khas sel Untuk mendapatkan wawasan tentang mekanisme kerja kaedah DHS, kami memvisualisasikan proses pemisahan dengan memaparkan bahagian-bahagian kepada setiap benang (setiap warna menunjukkan benang tunggal dalam Fig. Visualisasi menunjukkan bahawa benang tunggal sering bertukar antara cawangan yang berbeza (Fig. Menariknya, DHS menghasilkan partisi yang diselaraskan dalam neuron morfologi simetrik seperti neuron projeksi striatal (SPN) dan sel Mitral (Gambar. Sebaliknya, ia menghasilkan partisi pecah neuron morfologi asimetrik seperti neuron piramid dan sel Purkinje (Gambar. ), menunjukkan bahawa DHS membahagikan pokok saraf pada skala bahagian individu (iaitu, nod pokok) bukannya skala cawangan. 4b dan c 4b dan c 4b dan c 4b dan c Secara ringkas, DHS dan peningkatan memori menghasilkan penyelesaian optimal yang terbukti secara teoritis untuk menyelesaikan persamaan linear bersamaan dengan kecekapan yang belum pernah berlaku sebelumnya. Menggunakan prinsip ini, kami membina platform DeepDendrite akses terbuka, yang boleh digunakan oleh ahli neuroscience untuk melaksanakan model tanpa sebarang pengetahuan pemrograman GPU tertentu. Di bawah, kami menunjukkan bagaimana kita boleh menggunakan DeepDendrite dalam tugas neuroscience. DHS enables spine-level modelling Oleh kerana tulang belakang dendritik menerima kebanyakan input yang merangsang kepada neuron piramid kortikal dan hippocampal, neuron projeksi striatal, dan lain-lain, morfologi dan plasticity mereka adalah penting untuk mengawal kegembiraan neuronal. , , , , Walau bagaimanapun, spines terlalu kecil (~ 1 μm panjang) untuk diukur secara langsung secara eksperimental mengenai proses bergantung kepada voltan. 10 48 49 50 51 Kita boleh model tulang belakang tunggal dengan dua bahagian: kepala tulang belakang di mana sinapse terletak dan leher tulang belakang yang menghubungkan kepala tulang belakang dengan dendrites Teori ini meramalkan bahawa leher tulang belakang yang sangat tipis (0.1-0.5 um dalam diameter) secara elektronik mengasingkan kepala tulang belakang daripada dendrit ibu bapanya, dengan itu membahagikan isyarat yang dihasilkan di kepala tulang belakang. Walau bagaimanapun, model terperinci dengan spines sepenuhnya didistribusikan pada dendrit (“model spine penuh”) adalah sangat mahal secara komputasi. penyelesaian kompromi yang biasa ialah untuk mengubah kapasitansi dan rintangan membran dengan Faktor Spin Oleh itu, alih-alih membincangkan perkara-perkara yang berbeza, di sini, faktor tulang belakang bertujuan untuk mendekati kesan tulang belakang pada sifat biophysical membran sel . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. Hasil ini menunjukkan bahawa kaedah faktor F konvensional mungkin meremehkan kesan tulang belakang padat pada pengiraan ketegangan dendritik dan nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Voltan berwarna-warni semasa simulasi dalam at specific times. Colors indicate the magnitude of voltage. Kemungkinan puncak somatik sebagai fungsi bilangan sinapse yang diaktifkan secara bersamaan (seperti dalam kerja Eyal et al.) untuk empat kes dalam . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion Dalam kerja ini, kami mencadangkan kaedah DHS untuk membandingkan pengiraan kaedah Hines and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. Apabila mensimulasikan sejumlah besar neuron dengan morfologi kompleks, DHS dengan peningkatan memori mencapai kelajuan 15 kali (Tabel Tambahan) ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. Tambahan daripada Fig. Meja Tambahan Selain itu, kami membangunkan kerangka kerja DeepDendrite berasaskan GPU dengan mengintegrasikan DHS ke dalam CoreNEURON. Akhirnya, sebagai demonstrasi keupayaan DeepDendrite, kami memperkenalkan aplikasi perwakilan: mengkaji perhitungan tulang belakang dalam model neuron piramid yang terperinci dengan 25,000 spin. Lebih lanjut dalam seksyen ini, kami membincangkan bagaimana kami telah memperluaskan kerangka kerja DeepDendrite untuk membolehkan latihan yang cekap rangkaian saraf yang terperinci secara biophysical. Kami menunjukkan bahawa DeepDendrite boleh menyokong kedua-dua simulasi sains saraf dan tugas rangkaian saraf terperinci yang berkaitan dengan AI dengan kelajuan yang belum pernah berlaku sebelumnya, dengan itu secara signifikan mempromosikan simulasi sains saraf terperinci dan berpotensi untuk eksplorasi AI masa depan. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , Dengan pengoptimuman lebih lanjut, kaedah berasaskan GPU mencapai kecekapan yang jauh lebih tinggi dalam simulasi rangkaian. Walau bagaimanapun, pengiraan di dalam sel-sel masih seri dalam kaedah peringkat rangkaian, jadi mereka masih tidak boleh menangani masalah apabila "Hines matriks" setiap skala sel besar. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) kurang memberi perhatian kepada strategi paralelisasi. kurangnya strategi paralelisasi halus mengakibatkan prestasi yang tidak memuaskan. Untuk mencapai kecekapan yang lebih tinggi, sesetengah kajian cuba untuk mendapatkan paralelisasi yang lebih halus dengan memperkenalkan operasi pengiraan tambahan , , atau membuat persamaan pada beberapa bahagian penting, manakala menyelesaikan persamaan linear , Strategi paralelisasi yang lebih halus ini boleh mendapat kecekapan yang lebih tinggi tetapi tidak mempunyai ketepatan numerik yang mencukupi seperti dalam kaedah Hines asal. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , Oleh kerana impedansi input yang tinggi, satu input sinaptik tunggal boleh mengingatkan EPSP "gigant" (~ 20 mV) di peringkat tulang belakang-kepala , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 Di sisi lain, pembongkaran elektrik tulang belakang sentiasa disertai dengan pembongkaran biokimia , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , Peristiwa dendritik sedemikian diperhatikan secara meluas pada tikus. or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording menggunakan pokok binari untuk memperkirakan rangkaian dendrite dan memberikan wawasan berharga mengenai pengaruh struktur pokok pada kapasiti pengiraan neuron tunggal. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ) daripada 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Memprediksi ketepatan setiap model pada sampel lawan selepas latihan 30 era pada set data MNIST (kiri) dan Fashion-MNIST (kiri). Tempoh latihan dan pengujian untuk HPC-Net. Saiz batch ditetapkan kepada 16. Kiri, masa latihan satu era. kanan, masa pengujian. Paralel NEURON + Python: latihan dan pengujian pada satu CPU dengan beberapa inti, menggunakan 40 proses-paralel NEURON untuk mensimulasikan HPC-Net dan kod Python tambahan untuk menyokong latihan mini-batch. DeepDendrite: latihan dan pengujian HPC-Net pada GPU tunggal dengan DeepDendrite. a b c d e f Selain itu, ia diiktiraf secara meluas bahawa prestasi Rangkaian Neural Buatan (ANN) boleh dirosakkan oleh serangan lawan. —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST dan fesyen-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d dan e 97 Akhirnya, DeepDendrite telah menunjukkan potensi yang luar biasa dalam tugas-tugas pengklasifikasian imej, membuka dunia arah dan kemungkinan masa depan yang menarik. Untuk memajukan lebih lanjut DeepDendrite dan penggunaan model dendritik yang terperinci secara biologi dalam tugas AI, kami boleh memberi tumpuan kepada membangunkan sistem multi-GPU dan mengeksplorasi aplikasi dalam bidang-bidang lain, seperti Pemprosesan Bahasa Semulajadi (NLP), di mana sifat-sifat penapisan dendritik selaras dengan sifat yang berisik dan ambigu bahasa manusia. Cabaran termasuk menguji keluasan dalam masalah skala yang lebih besar, memahami prestasi di pelbagai tugas dan domain, dan menangani kerumitan komputasi yang diperkenalkan oleh prinsip-prinsip biologi baru, seperti dendrit aktif. Dengan mengatasi batasan-batasan ini, kita boleh meneruskan Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/model -e masa --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. Oleh itu, kita boleh mengira nod pada cawangan yang berbeza secara paralel kerana nilai-nilai mereka tidak bergantung. 34 55 1d Berdasarkan ketergantungan data kaedah Hines pengkomputeran siri, kami mencadangkan tiga syarat untuk memastikan kaedah paralel akan menghasilkan penyelesaian yang sama seperti kaedah Hines pengkomputeran siri: (1) morfologi pokok dan nilai permulaan semua nod adalah sama dengan yang dalam kaedah Hines pengkomputeran siri; (2) dalam fasa triangularisasi, satu nod boleh diproses jika dan hanya jika semua nod anaknya telah diproses; (3) dalam fasa penggantian belakang, satu nod boleh diproses hanya jika node induknya telah diproses. Computational cost of cellular-level parallel computing method Untuk mengevaluasi secara teori masa berjalan, iaitu kecekapan, kaedah pengkomputeran berturut-turut dan paralel, kita memperkenalkan dan merumuskan konsep kos pengkomputeran seperti berikut: and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set daripada into subsets, i.e., = { , , … } di mana saiz setiap subset | ≤ Maksimum, iaitu pada nodes can be processed each step since there are only Proses fasa triangularisasi mengikut arahan: → → … → , and nodes in the same subset boleh diproses secara paralel. jadi, kita menentukan | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k v1 yang V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } dan integer positif , where is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in dan untuk setiap node ∈ Semua anak-anaknya mempunyai nodus Melayu ∈children( )} must in a previous subset , where 1 ≤ < Tujuan kami ialah untuk mencari partisi yang optimum ( ) whose computational cost | ( (Perkara ini ialah minimum T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v Vi c c v Vj j i P* V P* V Here subset terdiri daripada semua nodus yang akan dikira pada -th step (Fig. ), so | indicates that we can compute nodes each step at most because the number of available threads is Perbezaan "untuk setiap node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove Node terendah daripada and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi yang Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { daripada , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi yang n The partition ( ) diperolehi daripada DHS menentukan urutan pengiraan semua nod dalam pokok saraf. di bawah kami menunjukkan bahawa urutan pengiraan ditentukan oleh ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset dipilih daripada kumpulan calon , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , ... }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , ... }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi v1 yang V2 Vi-1 Vn v1 yang Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset dalam ( DHS bergerak (Nombor thread) nod yang paling dalam daripada set calon yang sesuai dua Sekiranya bilangan nodus dalam is smaller than memindahkan semua nodus daripada dua Untuk memudahkan, kami memperkenalkan Menunjukkan jumlah kedalaman daripada Node yang paling dalam Semua subset dalam ( ) memenuhi kriteria kedalaman maksimum (Gambar Tambahan. Kami kemudian membuktikan bahawa memilih nod yang paling dalam dalam setiap iterasi membuat pemisahan optimal. jika terdapat pemisahan optimal · { daripada , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) supaya semua subset terdiri daripada nod yang paling dalam daripada and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi yang Qi k Qi Vi yang di k Qi P V 6a P ( V ) P*(V) V * 1 V*2 v *s P* V Q P * V Tanpa kehilangan generalisasi, kita mula daripada subset pertama not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V * I k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. Dalam hal ini, dalam hal ini (2) | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from dua + , then modify subset + Perkara berikut: Jika + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + daripada , move this parent node to + ; else move the node with minimum depth from + daripada to + . After adjusting , ubah subset berikut + , + , … with the same strategy. Finally, move from dua . V*i V*i < k V*i V*i 6b V*i k Qi V*i 6b V*i V*i v k v’ Qi v » V * J j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V * I 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P * V P* V In conclusion, DHS generates a partition ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Vi yang P V P* V P V P * V | P V GPU implementation and memory boosting To achieve high memory throughput, GPU utilizes the memory hierarchy of (1) global memory, (2) cache, (3) register, where global memory has large capacity but low throughput, while registers have low capacity but high throughput. We aim to boost memory throughput by leveraging the memory hierarchy of GPU. GPU menggunakan SIMT (Single-Instruction, Multiple-Thread) arsitektur. Warps adalah unit perancangan asas pada GPU (warp ialah kumpulan 32 helaian bersamaan). . Correctly ordering the nodes is essential for this batching of computation in warps, to make sure DHS obtains identical results as the serial Hines method. When implementing DHS on GPU, we first group all cells into multiple warps based on their morphologies. Cells with similar morphologies are grouped in the same warp. We then apply DHS on all neurons, assigning the compartments of each neuron to multiple threads. Because neurons are grouped into warps, the threads for the same neuron are in the same warp. Therefore, the intrinsic synchronization in warps keeps the computation order consistent with the data dependency of the serial Hines method. Finally, threads in each warp are aligned and rearranged according to the number of compartments. 46 Apabila warp memuatkan data yang telah diselaraskan dan disimpan secara berurutan dari memori global, ia boleh menggunakan cache sepenuhnya, yang membawa kepada aliran memori yang tinggi, manakala mengakses data yang disimpan dengan penyebaran akan mengurangkan aliran memori.Selepas penyerahan bahagian dan penyesuaian semula thread, kami memindahkan data dalam memori global untuk menjadikannya konsisten dengan perintah pengiraan supaya warp boleh memuatkan data yang disimpan secara berurutan semasa menjalankan program.Selain itu, kami meletakkan variabel sementara yang diperlukan ke dalam registers bukannya dalam memori global. Model biofisikal tulang belakang penuh dan beberapa tulang belakang Kami menggunakan neuron piramid manusia yang diterbitkan . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. saluran ion seperti Na+ dan K+ dimasukkan pada soma dan axon permulaan, dan potensi pembalikan mereka adalah Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 Dalam model beberapa tulang belakang, kapasitansi membran dan konduktiviti kebocoran maksimum kabel dendritik 60 μm dari soma dikalikan dengan spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter leher = 0.25 μm, manakala panjang dan diameter kepala tulang belakang adalah 0.944 μm, iaitu, kawasan kepala tulang belakang ditetapkan kepada 2.8 μm2. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Input sinaptik We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. Arus sinaptik berdasarkan AMPA dan NMDA telah disimulasikan seperti dalam kerja Eyal et al. AMPA konduktiviti telah dimodelkan sebagai fungsi dua eksponensial dan konduktiviti NMDA sebagai fungsi dua eksponensial bergantung kepada voltan. rise and pengecasan ditetapkan kepada 0.3 dan 1.8 ms. Untuk model NMDA, bangkit dan decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Menjalankan tugas AI dengan platform DeepDendrite Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 Perkhidmatan HPC-Net Klasifikasi imej adalah tugas khas dalam bidang AI. Dalam tugas ini, model harus belajar untuk mengenali kandungan dalam imej yang diberikan dan mengeluarkan label yang sesuai. Di sini kami memperkenalkan HPC-Net, rangkaian yang terdiri daripada model neuron piramid manusia terperinci yang boleh belajar untuk melaksanakan tugas klasifikasi imej menggunakan platform DeepDendrite. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x dan y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, potensi pembalikan ruang pasif l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the Synapse daripada -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where is the synaptic conductance, ialah berat sinaptik, ialah fungsi pengaktifan somatik seperti ReLU, dan ialah tegangan somatik -th input neuron at time . 51 c r r E k i j 4 gijk Daerah i t Neuron dalam lapisan output juga dimodelkan dengan model pasif satu bahagian, dan setiap neuron tersembunyi hanya membuat satu sambungan sinaptik kepada setiap neuron output. Semua parameter tertentu ditetapkan sama seperti yang neuron input. aliran sinaptik yang diaktifkan oleh neuron tersembunyi juga dalam bentuk Eq. ( ). 4 Pengedaran imej dengan HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 Pi yang i i C Peraturan Plastik Synaptic untuk HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where ialah probabiliti yang dijangka untuk kelas , menunjukkan kelas sebenar kepada mana imej rangsangan milik, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i yi yi i yi When training HPC-Net, we compute the update for weight (Dengan berat sinaptik daripada -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron daripada soma, s = 30 ms, Perbezaan antara pengambilan sampel dan pengambilan sampel ialah sebagai berikut: ( Perbezaan antara jenis-jenis aliran aliran aliran aliran aliran aliran aliran aliran ( ). t vj vi i j Iijk k i j Gijon kerajaan k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make salinan batch HPC-Net. Semasa latihan, setiap salinan dihantar dengan sampel latihan yang berbeza daripada batch. DeepDendrite terlebih dahulu mengira kemas kini berat bagi setiap salinan secara berasingan. Selepas semua salinan dalam batch latihan semasa dibuat, kemas kini berat purata dikira dan berat dalam semua salinan dikemas kini dengan jumlah yang sama. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Data ketersediaan The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at . The MNIST dataset is publicly available at Dataset Fashion-MNIST boleh didapati secara awam di . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability Kod sumber DeepDendrite serta model dan kod yang digunakan untuk mereproduksi Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. Perhitungan logik idea-idea yang wujud dalam aktiviti saraf. LeCun, Y., Bengio, Y. & Hinton, G. Pembelajaran mendalam. Alam 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summing in a model CA1 piramidal cell. Neuron 37, 977–987 (2003). London, M. & Häusser, M. Perhitungan Dendritik. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. Bahagian dendritik tunggal sebagai unit fungsi asas dalam sistem saraf. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Integrasi Dendritik: 60 tahun kemajuan. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. , 303–321 (2020). Nat. Rev. Neurosci. 21 Yuste, R. & Denk, W. Spines Dendritic sebagai unit fungsi asas integrasi neuronal. Engert, F. & Bonhoeffer, T. Dendritic spine changes associated with hippocampal long-term synaptic plasticity. , 66–70 (1999). Nature 399 Yuste, R. Spines Dendritic dan rangkaian yang didistribusikan. Neuron 71, 772–781 (2011). Yuste, R. Pembahagian elektrik dalam tulang belakang dendritik. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. Rangkaian pokok dendritik dan rintangan membran motoneuron. Exp. Neurol. 1, 491–527 (1959). Segev, I. & Rall, W. Computational study of an excitable dendritic spine. , 499–523 (1988). J. Neurophysiol. 60 Silver, D. et al. Menguasai permainan pergi dengan rangkaian saraf yang mendalam dan pencarian pokok. alam 529, 484–489 (2016). Silver, D. et al. Algoritma pembelajaran penguatkuasaan umum yang menguasai catur, shogi, dan melalui permainan diri. sains 362, 1140–1144 (2018). McCloskey, M. & Cohen, N. J. gangguan bencana dalam rangkaian koneksi: masalah pembelajaran berurutan. Perancis, R. M. Melupakan bencana dalam rangkaian koneksi. Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse letupan mengoptimumkan penghantaran maklumat dalam kod saraf multiplexed. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits mendekati algoritma backpropagation. dalam Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Plastik sinaptik bergantung kepada Burst boleh mengoordinasikan pembelajaran dalam rangkaian hierarki. Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: neuron model yang belajar untuk menyelesaikan tugas-tugas klasifikasi melalui nonlinearities dendritic, plasticity struktural, dan gradient descent. Hodgkin, A. L. & Huxley, A. F. Deskripsi kuantitatif arus membran dan penerapannya kepada konduksi dan rangsangan dalam saraf. Rall, W. Teori sifat fisiologi dendrites. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J. M. & Beeman, D. in (eds Bower, J.M. & Beeman, D.) 17–27 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Hines, M. L., Eichner, H. & Schürmann, F. Pembahagian neuron dalam simulasi rangkaian paralel yang dikaitkan dengan komputer membolehkan skala runtime dengan dua kali lebih banyak prosesor. Hines, M. L., Markram, H. & Schürmann, F. Fully implicit parallel simulation of single neurons. , 439–448 (2008). J. Comput. Neurosci. 25 Ben-Shalom, R., Liberman, G. & Korngreen, A. Mempercepatkan pemodelan compartmental pada unit pemprosesan grafik. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. Simulasi numerik yang berkesan model neuron dengan struktur spasial pada unit pemprosesan grafik. In Proc. 2016 Konferensi Antarabangsa tentang Pemprosesan Maklumat Neural (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Pemecah pokok yang berkesan untuk matriks hines pada GPU. Preprint di https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Teori dan Algoritma Optimizasi Kombinasi 6 edn (Springer, 2018). Gebali, F. Algorithms dan Komputer Parallel (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Enjin pengiraan yang dioptimumkan untuk simulator NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Belajar oleh prediksi dendritik spiking somatik. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Mengoptimalkan model saluran ion menggunakan algoritma genetik paralel pada pemproses grafik. Mascagni, M. Algoritma paralelisasi untuk penyelesaian komputasi kepada model neuron kabel yang bercabang secara sengaja.J. Neurosci. kaedah 36, 105-114 (1991). McDougal, R. A. et al. Dua puluh tahun modelDB dan seterusnya: membina alat pemodelan penting untuk masa depan neuroscience. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih secara selektif menghalang sumbangan masa input distal yang tidak disegerakkan dalam neuron piramid CA1. Hemond, P. et al. Kelas-kelas piramid yang berbeza menunjukkan corak tembakan saling mengecualikan di kawasan hippocampal CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Model sel piramid lapisan neokortikal 5b menangkap pelbagai sifat aktif dendritik dan perisomatik. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Pemprosesan potensi tindakan dalam model sel purkinje terperinci mendedahkan peranan kritikal untuk compartmentalization axonal. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. Synaptic clusters function as odor operators in the olfactory bulb. , 8499–8504 (2015). Proc. Natl Acad. Sci. USa 112 NVIDIA. Panduan Pemrograman C++ CUDA. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. Panduan Amalan Terbaik C++ CUDA. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Peningkatan sinaptik oleh tulang belakang dendritik meningkatkan kerjasama input. Alam 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Sains 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Plastik leher tulang belakang mengawal perkongsian sinapsis. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Neurons piramidal kortikal manusia: dari tulang belakang ke puncak melalui model. Front. Sel. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 Koch, C. Dendritic spines. In (Oxford University Press, 1999). Biophysics of Computation Rapp, M., Yarom, Y. & Segev, I. Kesan aktiviti latar belakang serbaguna serat pada sifat kabel sel purkinje cerebellar. Hines, M. Pengiraan berkesan persamaan saraf bercabang. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Perlindungan yang diilhamkan secara biologi rangkaian dalam daripada serangan lawan. Preprint di https://arxiv.org/abs/1703.09202 (2017). The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Simulasi rangkaian paralel dengan NEURON. Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — Perpustakaan simulasi rangkaian saraf yang terperinci secara morfologi untuk seni bina pengkomputeran prestasi tinggi kontemporari. In Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: Kelajuan multi-badan, simulasi neuron biophysically terperinci pada GPU. J. Neurosci. kaedah 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. Penyelesaian ultraskalable untuk simulasi tisu saraf skala besar. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Rekod tegangan intracellular ditargetkan daripada spines dendritik menggunakan nanopipettes yang dilapisi titik kuantum. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama, J. & Yasuda, R. Biochemical computation for spine structural plasticity. , 63–75 (2015). Neuron 87 Yuste, R. & Bonhoeffer, T. Perubahan morfologi dalam tulang belakang dendritik yang berkaitan dengan plasticiti sinaptik jangka panjang. Annu. Rev. Neurosci. 24, 1071-1089 (2001). Holtmaat, A. & Svoboda, K. Plastik struktural sinaptik bergantung kepada pengalaman dalam otak mamalia. Caroni, P., Donato, F. & Muller, D. Plastik struktural pada pembelajaran: peraturan dan fungsi. Keck, T. et al. Restrukturisasi besar-besaran rangkaian saraf semasa reorganisasi fungsi korteks visual dewasa. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Pengalaman meninggalkan jejak struktur yang kekal dalam sirkuit kortikal. Trachtenberg, J. T. et al. Pengimejan in vivo jangka panjang plastisiti sinaptik bergantung kepada pengalaman dalam korteks dewasa. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Dinamik axonal neuron yang merangsang dan menghalang dalam korteks somatosensorik. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Rapid formation and selective stabilization of synapses for enduring motor memories. , 915–919 (2009). Nature 462 Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Meningkatkan pembelajaran motor dengan meningkatkan kestabilan tulang belakang dendritik yang baru terbentuk di korteks motor. Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. , 885–892 (2011). Neuron 69 Major, G., Larkum, M. E. & Schiller, J. Active properties of neocortical pyramidal neuron dendrites. , 1–24 (2013). Annu. Rev. Neurosci. 36 Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed inhibisi sinaptik membentuk puncak NMDA, mempengaruhi pemprosesan dendritik tempatan dan sifat I/O global neuron kortikal. Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Spikes dendritic meningkatkan selektiviti rangsangan dalam neuron kortikal in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Penyebaran kalsium sementara di seluruh pohon dendritik meramalkan sifat medan tempat. alam 517, 200-204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Bolehkah satu neuron menyelesaikan masalah pembelajaran mesin yang menarik melalui pengiraan berturut-turut pada pokok dendritiknya? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Menjelaskan dan memanfaatkan contoh-contoh lawan. dalam 3rd International Conference on Learning Representations (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferability dalam pembelajaran mesin: daripada fenomena kepada serangan kotak hitam menggunakan sampel lawan. Preprint di https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: satu set data imej baru untuk benchmarking algoritma pembelajaran mesin. Preprint di http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: Gaya penting, perpustakaan pembelajaran mendalam prestasi tinggi. dalam Kemajuan dalam Sistem Pemprosesan Maklumat Neural 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Acknowledgements The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. Maklumat ini boleh didapati di alam semula jadi di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Maklumat ini boleh didapati di alam semula jadi di bawah lesen CC by 4.0 Deed (Attribution 4.0 International).
