Зохиогчийн эрх : Yichen Zhang Өнгөрсөн Lei Ma Хуучин Liu Ж. Ж. Йоханс Hjorth Александр Козлов Yutao He Shenjian Zhang Жанетт Hellgren Kotaleski Зөвлөгөө Шилэн Grillner Kai Du Хуан Хуан Зохиогчийн эрх : Хуучин Zhang Өнгөрсөн Эдүүлбэр Хуучин Liu Ж. Ж. Йоханс Hjorth Александр Козлов Хуучин Шэньчжэн Zhang Жанетт Hellgren Kotaleski Зөвлөгөө Шилэн Grillner Хэрэв та Хуан Хуан Эдүүлбэр Биофизикийн дэлгэрэнгүй олон хэсгүүдний загварууд нь биеийн тоног төхөөрөмжийн эх үүсвэрийг олж авахын тулд хүчтэй арга хэрэгсэл юм. Гэсэн хэдий ч, үнэтэй тоног төхөөрөмжийн зардал нь нейрохимийн шинжлэх ухааны болон АИ-ийн салбарт хэрэглээг хамардаг. дэлгэрэнгүй хэсгүүдний загварууд симуляцийг симуляцийг туршиж буй гол хязгаар нь симулятор нь гигант системийг шийдэх чадвар юм. Энд бид шинэ хэлбэрийг санал болгож байна Эдүүлбэр Иерархи Тагийн үйл явц хурдан болгохын тулд cheduling (DHS) арга хэрэгсэл. Бид теоретич DHS имплементацийг компьютерийн тохиромжтой, нарийвчлалтай гэж үзэж байна. Энэ GPU-д суурилсан арга хэрэгсэл нь стандарт CPU платформ дахь класик цуврал Hines арга хэрэгсэлээс илүү хурдан 2-3 орд өндөр хурдтай ажилладаг. Бид DHS арга хэрэгсэл, NEURON симулятор дахь GPU компьютерийн хөдөлгүүрийн нэгтгэсэн DeepDendrite framework бий болгосон бөгөөд нейрофизийн үйл явцад DeepDendrite-ийн хэрэглээг үзүүлээрэй. Бид 25,000-ийн спинтэй нарийвчлалтай хүний пирамидын нейроны загвар дахь нейрон нь мэдрэгчдийн шинж чанарыг хэрхэн нөлөөлж болохыг судлах. D H S Үйлчилгээ Нейронын кодирууд, тоноглогдсон эх үүсвэрүүд нь нейрохимийн шинжлэх ухааны хувьд чухал юм. Эмэгтэйчүүдийн мозг өөр өөр төрлийн нейрон, жинхэнэ морфологи, биофизикийн шинж чанарыг хамардаг. Энэ нь одоо ч байтугай мэдлэгтэй биш боловч "тоон-нейрон" суралцал , нейрон нь хялбар суулгах нэгж гэж үзсэн бөгөөд энэ нь одоо ч бас шилдэг нь нейрон компьютерийг ашиглаж байна, ялангуяа нейрон сүлжээний анализ. Хамгийн сүүлийн үеийн жилийн турш, орчин үеийн бодисын мэдлэг (AI) энэ принципейг ашиглаж, эрчим хүчтэй хэрэгсэл, гэх мэт мэдлэгтэй нейрон сүлжээ (ANN) боловсруулсан Гэсэн хэдий ч, нэг нейроны түвшинд өргөн хүрээтэй тооцоололтоор, нейрон dendrites гэх мэт субцелерийн өрөөн нь өөрсдийн тооцоололтой нэгж болгон nonlinear үйл ажиллагаа явуулж болно. , , , , Үүнээс гадна, dendritic spines, dendrites нь dendrites хатуу ширхэг ширхэг ширхэг нь dendrites, synaptic сигналийг хуваалцаж болно, тэднийг ex vivo болон in vivo тэдний хатуу dendrites-ээс өөрчилж болно. , , , . 1 2 3 4 5 6 7 8 9 10 11 Биологийн тодорхойлолттай нейрон ашиглан симуляци нь биологийн тодорхойлолт нь компьютерийн эх үүсвэрийг холбох теорийн бүтэц олгодог. Биофизикийн тодорхойлолттай олон хэсгүүдтэй загвар бүтэцний үндсэн , Бид мэдрэгчтэй dendritic morphologies, байгалийн ион conductance, болон extrinsic synaptic inputs нь нейроны загвар хийх боломжийг олгодог. дэлгэрэнгүй multi-compartment загвар, түүнчлэн dendrites, хэт авианы хавтан дээр суурилсан байна , Dendrites-ийн биофизикийн мембран шинж чанарыг пассив кабелийн хэлбэрээр загварладаг, цахим сигналуудыг энгийн нейрон үйл явцыг хооронд хязгаарлагддаг, хуваалцах талаархи математик тодорхойлолт олгодог. Кабелийн шинж чанарыг идэвхтэй биофизикийн механизмыг зэрэг ион суваг, гайхалтай, хязгаарлагдмал синаптик цагираг гэх мэт холбогдсон, дэлгэрэнгүй олон хэсгүүдийн загвар нь туршилтын хязгаарлалыг дагаж болно. , . 12 13 12 4 7 Нейрон шинжлэх ухааны талаархи гүнзгий үр дүнд гадна, биологийн дэлгэрэнгүй нейрон загварууд нь эмийн бүтэц, биофизикийн тодорхойлолт, ИА-ийн хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоолой юм. Гэсэн хэдий ч "backpropagation-of-error" (backprop) алгоритмтай ANN-ийг мэргэшсэн хэрэглээнд гайхамшигтай гүйцэтгэлийг олж, Go болон шахмат тоглолтонд хамгийн сайн хүний мэргэжлийн , , хүний мозг ANN-ийг илүү динамик, шулуун байгаль орчинд адилдаг. , Хамгийн сүүлийн үеийн теорийн судалгаа нь dendritic интеграци нь үр ашигтай суралцах алгоритмыг үүсгэхэд чухал юм. , , Үүнээс гадна, нэг нарийвчлалтай олон хэсэг загвар нь зөвхөн синаптик хүчдэл тохиргоор тоног төхөөрөмжийн нейронын сүлжээний түвшин не-линейны тооцоог суралцаж болно. , , дэлгэрэнгүй загварууд нь илүү хүчтэй ариун AI системийг бий болгохын тулд бүрэн потенциалыг харуулсан. Тиймээс нэг дэлгэрэнгүй нейрон загварууд нь их хэмжээний биологийн дэлгэрэнгүй сүлжээнд ариун AI-ийн парадигмуудыг өргөжүүлэх хамгийн их приоритет юм. 14 15 16 17 18 19 20 21 22 Ангилалтай симуляцийн аргаар нэг давтамж нь ихэвчлэн өндөр тооцооллын зардал юм, энэ нь нейрохимийн шинжлэх ухааны болон AI-д хэрэглээг ихэвчлэн хязгаарлагдмал байна. Симуляцины гол хязгаарлалт нь хязгаарлагдмал загвар дээр суурилсан линеар хэлбэрийн шийдэх юм. , , үр ашигтай сайжруулахын тулд класик Hines арга нь O(n3)-ээс O(n) -ийг шийдэхийн тулд цаг хугацааны хязгаарлалыг багасгах, энэ нь NEURON гэх мэт алдартай симулятор дахь үндсэн алгоритм болгон өргөн хэрэглэдэг. Бүтээгдэхүүний Гэсэн хэдий ч, энэ арга хэрэгсэл тусгай хуудсуудтай боловсруулах цуврал аргаар ашигладаг. Биофизикийн тодорхойлолттай dendrites, dendritic spines нь хэд хэдэн суулгах үед, Linear Equation Matrix ("Hines Matrix") нь dendrites эсвэл spines нь ихэвчлэн нэмэгдэж байна. ), Hines арга нь одоо практик биш болгон, учир нь энэ нь бүрэн симуляци дээр маш их ачаалал байна. 12 23 24 25 26 1E Нөхцөл 5-ийн пирамидын нейрон загвар, дэлгэрэнгүй нейрон загвартай хэрэглэгдсэн математик формул. Нэмэлт нейрон загварууд нумерик симуляцийг ажиллуулах үед Workflow. Equation-solving phase is the bottleneck in the simulation. Simulation-д линеар хэлбэрийн жишээ. Hines-ийн методын өгөгдлийн харилцаа холбоо нь линеар хэлбэрийн шийдэл хийхэд Үйлчилгээ Hines-ийн матрицыйн хэмжээ нь загварын хязгаарлалттай байдаг. Хязгаарлалттай системийн тоо нь загварууд илүү нарийвчлалтай байх үед ихэвчлэн нэмэгдэж байна. Компьютерийн зардал (хэвийн шийдэл фазын хоорондын хоорондын хоорондын янз бүрийн төрлийн Hines-ийн арга хэрэгсэл). өөр өөр шийдэл арга хэрэгсэл иллюстраци. Нейрон нь янз бүрийн хэсэг нь олон боловсруулах нэгж нь паралель арга хэрэгсэл (зүүн, дунд), янз бүрийн өнгөтэй харуулж байна. цуврал арга хэрэгсэл (зүүн), бүх хуудсууд нэг нэгж нь тооцогддог. Компьютерийн үнэ нь гурван арга хэрэгсэл пирамидалын загвар нь хавтан шийдэх үед. гагнуурын нь 500 пирамидалын загварыг шийдэх талаар янз бүрийн арга замыг ажиллуулах хугацаа. гагнуурын хугацаа нь 1s симуляцийн хугацааг харуулдаг (жишээ нь 0.025 мс-ийн цаг хугацаатай 40,000 удаа шийдэх). p-Hines нь CoreNEURON (GPU дээр), Branch дээр суурилсан гагнуурын арга замыг (GPU дээр), DHS Dendritic хиэрхэрийн төлөвлөгөөний арга замыг (GPU дээр). a b c d c e f g h g i Өнгөрсөн долоо хоногийн турш, Hines-ийн арга хэрэгсэл нь шилэн түвшинд паралель арга хэрэгсэл ашиглан хурдасгахын тулд маш их дэвшилтэт авах боломжтой бөгөөд энэ нь өөр нэг шилэн дахь янз бүрийн хэсгүүдийн тооцоо нь паралель хийж чадна. , , , , , Гэсэн хэдий ч, одоогийн шилэн түвшний паралель арга хэрэгсэл нь ихэвчлэн үр ашигтай паралелизацийн стратегийг байхгүй бол, эсвэл анхны Hines арга хэрэгсэлтай харьцуулахад хялбар тооцтай. 27 28 29 30 31 32 Энд бид бүрэн автомат, нумерик нарийвчлалтай, optimized симуляцийн хэрэгсэл боловсруулсан бөгөөд энэ нь компьютерийн үр ашигтай хурдасгах, компьютерийн зардал багасгахад боломжийг олгодог. Үүнээс гадна, энэ симуляцийн хэрэгсэл нь машин суралцах болон AI хэрэглээнд биологийн мэдээлэлтай нейрон сүлжээг үүсгэх, туршиж болно. Критически, бид Hines арга хэрэгсэл нь паралель тооцоолох математик төлөвлөгөөний асуудал гэж хэлж, комбинатор оптимизацид суурилсан Dendritic Hierarchical Scheduling (DHS) арга хэрэгсэл үүсгэх Параллел компьютерийн теори . Бид бидний алгоритм нь нарийвчлалгүйгээр хамгийн тохиромжтой төлөвлөгөөг хангахыг харуулж байна. Үүнээс гадна, бид GPU-ийн тоног төхөөрөмжийн түншлэл, тоног төхөөрөмжийн хандах механизмыг ашиглан DHS-ийг одоогийн хамгийн дэвшилтэт GPU чипын хувьд optimized байна. ) Классик Simulator NEURON харьцуулахад гэх мэт тавтай морилно уу. 33 34 1 25 AI-д хэрэглэхэд тодорхой dendritic симуляцийг боломжийг олгохын тулд бид DHS-д суурилуулсан CoreNEURON (NEURON-д optimized calculation engine) платформыг нэгтгэх замаар DeepDendrite framework-ийг үүсгэх болно. Simulation Engine болон хоёр тусламжтай модулиуд (I/O модуль, суралцах модуль) нь симуляцид хооронд dendritic суралцалтын алгоритмыг дэмждэг. DeepDendrite GPU тоног төхөөрөмжийн платформ дээр ажиллуулж, нейрохимийн шинжлэх ухааны стандарт симуляцийг болон AI-д суралцалтын үйл ажиллагааг дэмждэг. 35 Хамгийн сүүлийн үеийн, бид DeepDendrite ашиглан хэд хэдэн хэрэглээг санал болгож байна, нейрохимийн шинжлэх ухааны болон AI-д зарим чухал асуултуудтай: (1) Бид dendritic ширээний импульсийн орон нутгийн загварууд нь dendritic ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний нейрон дээр нейрон үйл ажиллагаа хэрхэн нөлөөлж болохыг харуулж байна. DeepDendrite нь ~25,000 dendritic ширээний нь симуляцид хүний пирамидын нейрон загваруудтай нейрончлолыг суралцах боломжийг олгодог. (2) Сэтгэгдэлд DeepDendrite-ийг AI-ийн контекстд, тодорхойлолт нь morphologically detailed human pyramid DeepDendrite-ийн бүх эх үүсвэр код, бүрэн ширээний загвар, дэлгэрэнгүй dendritic сүлжээний загвар онлайн (Code Availability) үзнэ үү. Бидний нээлттэй эх үүсвэрийг суралцаж болно бусад dendritic суралцалтын нөхцөл, жишээ нь nonlinear (full-active) dendrites-ийн суралцалтын нөхцөл , Burst-зависимый синаптик пластикууд , болон spike prediction нь суралцах Бүтээгдэхүүний талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаар 21 20 36 Бүтээгдэхүүн Dendritic Hierarchical Scheduling (DHS) арга Ион хөнгөн цагааны компьютерийг тооцох, линеар хөнгөн цагааны шийдэл нь биофизичтэй тодорхойлолттай нейрон, энэ нь цаг хугацааны хэрэгцээтэй бөгөөд маш их тооцооллын ачаалалтай байдаг нь хоёр чухал фаз юм. Үнэндээ, тусгай хавтгайны ион хөнгөн цагааны компьютерийг тооцох нь бүрэн тусгай үйл явц бөгөөд энэ нь GPU шиг массив параллель компьютерийн нэгжтай төхөөрөмжүүд дээр байгалийн харьцуулахад болно Эцэст нь, линеар хэлбэрийн шийдэл нь паралелизацийн үйл явцыг буцаан буцаан буцаан байх болно (Fig. Нөхцөл 37 1a-г Эдгээр бутлуур сав баглаа боодол хийхын тулд шилэн түвшин паралель арга замыг боловсруулсан бөгөөд энэ нь нэг шилэн нь паралель тооцоолох боломжтой хэд хэдэн өрөөнт "шилдэх" гэхэд нэг шилэн тооцоолох хурдан болгодог. , , Гэсэн хэдий ч, ийм арга хэрэгсэл нь нэг нейрон нь хуваалцах талаар практик стратегийг үүсгэхийн тулд өмнөх мэдлэг дээр ихээхэн хамаарна (Фиг. ; нэмэлт Fig. ). Энэ нь асимметрийн morphologies нь нейрон, жишээ нь, пирамидал нейрон болон Purkinje нейрон нь бага үр ашигтай байх болно. 27 28 38 1g -и 1 Бид биологийн дэлгэрэнгүй нейрон сүлжээний симуляцийг илүү үр дүнтэй, нарийвчлалтай харьцангуй арга замыг хөгжүүлэх зорилготой байна. Эхлээд, бид шилэн түвшинд харьцангуй арга замыг нарийвчлалтай талаархи критерийг үүсгэдэг. харьцангуй компьютерийн теорийг суурилсан , бид харьцуулахад харьцуулахад харьцуулахад гурван нөхцөл санал болгож байна харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад 34 Симуляцийн нарийвчлал, тооцооллын зардал дээр суурилсан, бид паралелизацийн асуудал нь математик төлөвлөгөөний асуудал гэж хэлж байна (Methods). Хэвийн хэлбэл, бид нэг нейрон нь олон түдгэлзүүлсэн (загварын) бүлэг гэж үздэг. паралель утас, бид хамгийн их нь тооцоолж болно Үнэндээ чансаанд нодололтууд байдаг, гэхдээ бид бүрийн нодололтууд боловсруулсан бол нэг нодололтууд нь тооцогдсон байх ёстой; Бидний зорилго нь бүх үйл явцыг зориулсан шатанд хамгийн бага тоотай стратегийг олж авах юм. k k хамгийн тохиромжтой хуваалтыг үүсгэхын тулд бид Dendritic Hierarchical Scheduling (DHS) гэж нэрлэдэг арга хэрэгсэл санал болгож байна. DHS-ийн гол санаа нь гүнзгий түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлэх юм. DHS арга нь хоёр арга хэмжээтэй байдаг: dendritic топологийг анализ, хамгийн сайн хуваалцлыг олж авах: (1) Дараа нь дэлгэрэнгүй загваруудтай, бид эхлээд өөрсдийн хатуу түлхүүр олж авах, хавтгай дөрвөлжин (хавтгай нь хавтгай нь тэдний эртний түлхүүрүүд нь тоо юм) хавтгайгыг тооцох (Хувтгай. ). (2) Топологийн анализ дараа бид кандидатаас хайж, хамгийн их сонгох хамгийн уян хатан candidate түдгэлзүүлсэн (хөгжлийн түдгэлзүүлсэн бол нэг түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн түдгэлзүүлсэн). Нөхцөл 2а 2Б, C k 2d DHS үйл явц. DHS үйл явц Хамгийн уян хатан candidate node нь бүр iteration. Загварын загварын хоорондын уян хатуу тооцоолох иллюстраци. Загварын эхлээд арьсны бүтэц болгон өөрчлөгдөж, дараа нь тус бүрийн хоорондын уян хатуу тооцоолох болно. өнгө янз бүрийн уян хатуу түвшин харуулж байна. янз бүрийн нейрон загварууд дээр топологийн анализ. тусгай morphologies нь гурван нейроны энд харуулсан. Бүх загварууд нь, soma нь зуурын зүрх гэж сонгож байна, Тиймээс зүрхний гүн сома (0) нь дисталь dendrites нэмэгдэж байна. DHS-ийн загвар дээр гүйцэтгэх иллюстраци дөрвөн утастай. Кандидатууд: боловсруулсан нодууд. сонгосон кандидаттууд: DHS-ийн сонгосон нодууд, т.н. Хамгийн гүнзгий кандидат. Processed nodes: өмнө боловсруулсан nodes. Паралелизацийн стратегийн DHS-ийн үйл явц хойш олж авсан . ДХС нь хоолой нь хэд хэдэн хоолой руу хуваалцахын тулд цуврал хоолой боловсруулах шатанд 14-ээс 5-тэй бууруулж байна. Хавтгай зардал, т.е. DHS-ийн тооцооллын зардал, DHS-ийг янз бүрийн төрөл загвар дээр янз бүрийн тоо нь ашиглах үед цуврал Hines-ийн зардалтай харьцуулалт. a k b c d b k e d f Жишээлбэл нь 15 өрөөнтэй хязгаарлагдмал загварыг авч үзнэ үү. Хязгаарлагдмал тооцоолох Hines-ийн арга хэрэгсэл ашиглан бүх түлхүүрүүдийг боловсруулахын тулд 14 арга хэмжээтэй байх болно. ДХС-ийг 4 паралель нэгжтай ашиглан түүний түлхүүрүүд нь 5 түлхүүрээр хуваалцах боломжтой. ): {{9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Эдгээр дор цуглуулаг нь паралель боловсруулах боломжтой бөгөөд энэ нь DHS-ийн ашиглан бүх цуглуулаг боловсруулахын тулд зөвхөн 5 шатанд хэрэгтэй. Нөхцөл 2d 2E Дараа нь бид ModelDB-аас сонгосон 6 санал болгож буй дэлгэрэнгүй нейрон загвар дээр DHS-ийн арга хэрэглэдэг. ) янз бүрийн нунтаг (Fig. ): Кортикулын болон хиппокампалын пирамидалны нейроны зэрэг , , , cerebellar Purkinje нейрон Striatal проекцийн нейрон (SPN) ), болон нэхмэл боолт митрал жимс , мэдрэгч, кортикаль, субкортикаль талбайд гол гол нейроны хамардаг. Дараа нь тооцооллын үнэ цэнэтэй. Энд харьцуулалтын үнэ цэнэ DHS-ийн цуврал Hines-ийн аргаар тооцооллын үнэ цэнэтэй харьцуулагдсан. тооцооллын үнэ цэнэтэй, т.е. хэлбэрийн шийдэл хийх үйл явцүүдийн тоо, харьцуулалтын үнэ цэнэтэй нэмэгдэж байна. Жишээ нь, 16 шугам нь DHS-ийн тооцооллын үнэ цэнэтэй Hines-ийн аргаар харьцуулахад 7%-10% юм. Интригуудтай нь, DHS-ийн арга нь 16 эсвэл 8 харьцуулалтын шугам (Дэлгэр. ), дэлгэц илүү нэмж чанарын гүйцэтгэлийг илүү сайжруулсан биш юм гэж үздэг хуудсууд хооронд холболт. 39 2f 40 41 42 43 44 45 2f Бид нэгтгэсэн DHS арга замыг үүсгэхийн тулд dendritic топологийн автомат анализ, паралель компьютерийн хувьд хамгийн тохиромжтой хуваалцах боломжийг олгодог. DHS нь симуляцийн эхлэх өмнө хамгийн тохиромжтой хуваалцахыг олж чадна. GPU-ийн памэрийн нэмэгдүүлэх нь DHS-ийг хурдасгах DHS нь нейрон бүр нь хэд хэдэн утастай тооцоолдог. Энэ нь нейрон сүлжээний симуляцийг ажиллуулах үед утастай утас нь маш их хэмжээгээр хэрэглэдэг. График боловсруулах нэгж (GPUs) нь ихэвчлэн боловсруулах нэгж (түүнчлэн streaming процессорууд, SPs, Фиг. ) Параллел компьютерийн Теологийн хэлбэрээр, GPU-д олон SP-ийн өргөн хүрээтэй нейрон сүлжээнд үр ашигтай симуляцийг дэмждэг (Fig. Гэсэн хэдий ч, бид DHS-ийн үр ашиг нь сүлжээний хэмжээ нэмэгдэж байгаа үед ихэвчлэн багассан гэж үзсэн бөгөөд энэ нь интермедиум үр дүнг татаж, бичлэхийн тулд үүсгэсэн өгөгдлийн хадгалалт, нэмэлт хадгаламжийн хандалтын үр дүнд үр дүнтэй байж болох юм. Эдүүлбэр » 3а, б 46 3C 3d GPU архитектурын болон түүний хэв маяг бүтэц. Бүх GPU нь ихэвчлэн боловсруулах нэгжүүдтэй байдаг (шүршүүрийн процессорууд). Хэмжээний янз бүрийн төрлийн янз бүрийн дамжуулалттай байдаг. Streaming Multiprocessors (SMs) Архитектур. Бүх SM нь олон streaming процессорууд, регистр, L1 кеш агуулдаг. DHS-ийг хоёр нейрон дээр хэрэглэдэг. Симуляцийн үед бүр нь нэг stream процессорууд дээр гүйцэтгэдэг. GPU-д меморийн оптимизацийн стратеги. DHS-ийн шилдэг панел, тэсвэр, өгөгдлийн хадгалах өмнө (хүртээ) болон дараах (хүртээ) меморийн нэмэгдүүлэх. Дараа нь, хоёр нейроны симуляцийг триангуларизацид нэг шагны жишээ . Процессор нь дэлхий даяар бүр нэхмэл нь өгөгдлийг татаж авахын тулд өгөгдлийг илгээдэг. Хэмжээ буулгахгүйгээр (сүүлд), бүх хүсэлтийн өгөгдлийг татаж авахын тулд 7 үйл явц, хооронд үр дүнд зарим нэмэлт үйл явц хэрэгтэй. Хэмжээ буулгахын тулд (хүртээ), бүх хүсэлтийн өгөгдлийг татаж авахын тулд зөвхөн 2 үйл явц хэрэгтэй. DHS (32 жин бүр цомын) нь болон ямар ч памятник нь олон давхарга 5 пирамидалын загварууд дээр нэмэгдэж байна. Хэмжээ нэмэгдүүлэх хурдасгаж олон давхаргатай 5 пирамидын загваруудтай. Хэмжээ нэмэгдүүлэх 1.6-2 удаа хурдасгаж өгдөг. a b c d d e f Бид GPU-ийн меморийн ширээний механизм дээр суурилсан GPU-ийн меморийн ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ши , . Өндөр дамжуулалтыг олж авахын тулд бид эхлээд нодуулын компьютерийн ордыг харьцуулахад, тэдгээрийн нодуулын тоотай харьцуулахад дамжуулалтыг өөрчилж байна. Дараа нь бид компьютерийн ордтай харьцуулахад глобал хадгаламжийн өгөгдлийн хадгаламжийн дамжуулалтыг дамжуулав, т.е. нэг шатанд боловсруулсан нодууд нь глобал хадгаламжийн дараах хэлбэрээр хадгаламж байна. Үүнээс гадна, бид интермедиум үр дүнд хадгалахын тулд GPU бүртгэлийг ашигладаг. Үзэлт нь памэлийн нэмэгдүүлэх нь 8 хүсэлтийн өгөгдлийг татаж авахын тулд зөвхөн хоёр памэлийн транзакцийг ашигладаг (Фиг. Дараа нь, спин болон типичны нейрон загваруудтай пирамидалын нейроны олон тооны туршилт (Fig. ; нэмэлт Fig. ) дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй 46 47 3d 3а, F 2 GPU-ийн хадгаламжийн нэмэгдүүлэх нь DHS-ийн гүйцэтгэлийн өргөн туршилтаар туршиж авахын тулд бид 6 типичный нейрон загварыг сонгож, хавтгай дөрвөн загварууд дээр кабелийн босоо шийдэх ажиллуулах хугацааг үнэлдэг. ). Бид CoreNEURON-д GPU аргаар харьцуулахад, DHS-4 болон DHS-16 тус бүр 5 болон 15 удаа хурдан авч болно (Хувцаслалт. Үүнээс гадна, NEURON-ийн стандарт цуврал Hines арга замтай харьцуулахад CPU-ийн нэг утастай ажиллуулж, DHS нь 2-3 орд хэмжээгээр симуляцийг хурдан болгодог. ), нэг ижил нумерик нарийвчлалтай байх үед хатуу ширхэг (Дэлгэрэнгүй ширхэг. Нөхцөл ), идэвхтэй dendrites (Supplementary Fig. ) болон янз бүрийн сегментацийн стратегии (Дополнительный Фиг. Нөхцөл 4 4а 3 4 8 7 7 GPU дээр 1s симуляцийг шийдэх ажиллуулах хугацаа (dt = 0,025 мс, нийт 40,000 итераци). CoreNEURON: CoreNEURON-д ашиглагддаг паралель арга; DHS-4: DHS нь бүр нейрон нь 4 утас; DHS-16: DHS нь 16 утас нь бүр нейрон. Нөхцөл DHS-4 болон DHS-16-ийн хуваалцлын үзүүлэлт, бүр өнгө нь нэг ширээг харуулж байна. Барилгын үед, бүр ширээг өөр ширээг хооронд хуваалцдаг. a b c DHS нь хавтгайны төрөл тусгай хамгийн тохиромжтой хуваалцах үүсгэдэг DHS-ийн үйл ажиллагааны механизмын талаархи мэдлэгийг олж авахын тулд бид бүрийн шугамд хуваалцах үйл явцыг визуалж байна (Дэлгэрэнгүй: Бүх өнгө нь нэг шугам юм. ). Визуализатор нь нэг утас нь янз бүрийн гадаргуудын хооронд ихэвчлэн холбогдсон гэж үздэг (Фиг. Үзүүлэлт нь, DHS нь morphologically symmetric нейрон, гэх мэт striatal проекцийн нейрон (SPN) болон Mitral шил (Fig. ). Үнэндээ, энэ нь пирамидалын нейрон, Purkinje-ийн эсийн зэрэг морфологийн асимметрийн нейроны фрагментийн хуваалцах үүсгэдэг (Фиг. ), энэ нь DHS нь нэхмэлийн арьс нь тусгай хавтгайны түлхүүр дээр (түүнчлэн, арьс түлхүүр) гэх мэт түлхүүр түлхүүрээр хуваалцаж байна. Энэ нь шилэн төрөл тусгай хуваалцсан түлхүүр нь DHS-ийг бүх боломжийг бүрэн ашиглах боломжийг олгодог. 4Б, C 4Б, C 4Б, C 4Б, C Нэгдүгээрт, DHS болон мэдрэмжийг нэмэгдүүлэх нь харьцуулахад харьцуулагдсан үр ашигтай линеар хэлбэрийн шийдлийг шийдэхийн тулд хамгийн тохиромжтой шийдлийг үүсгэдэг. Эдгээр принципейг ашиглан бид мэдрэмжтай GPU програмуудтай ямар ч тодорхой мэдлэггүй загварыг импровизац хийхэд нейрохимийн шинжлэх ухааны шинжлэх ухааны платформыг ашиглаж болно. Дараа нь бид DeepDendrite-ийг шинжлэх ухааны ажиллагаанд ашиглах талаархи мэдрэмжийг харуулж байна. Үзээлбэл хэсэгт AI-тэй холбоотой ажиллагаанд DeepDendrite-ийг дэмжих боломжийг харуулж байна. DHS нь спингийн түвшин загвар хийх боломжтой Dendritic ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний шир , , , , Гэсэн хэдий ч, ширхэг нь маш бага байдаг ( ~ 1 μm урт) tension-dependent үйл явцыг харьцуулахад шууд эмчлэхэд. Иймээс, теоретик ажил ширхэг тооцоо бүрэн мэдэгдэхэд чухал юм. 10 48 49 50 51 Бид хоёр өрөөтэй нэг ширээний загвар хийх боломжтой: ширээний ширээний ширээ, ширээний ширээний ширээ, ширээний ширээний ширээний ширээний ширээ. The theory predicts that the very thin spinal neck (0.1-0.5 умм диаметр) electronically isolates the spinal head from its parent dendritis, Иймээс spinal head дээр үүсгэсэн сигналуудыг compartmentalizing . Гэсэн хэдий ч, dendrites дээр бүрэн дистрибутируулсан ширхэгтэй дэлгэрэнгүй загвар (“full-spine загвар”) нь компьютерийн хувьд маш үнэтэй юм. Хэвийн компромисс шийдэл нь мембранын хатуу, даралтын өөрчилж байна Өнгөрсөн , бүх ширээний хэлбэрээр хэлбэрээр хэлбэрээр. Энд, спин фактор нь биеийн мембраны биофизикийн шинж чанарыг хамарна. . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the Dendrites-д dendrites-д dendrites-ийг нэгтгэхийн тулд dendrites-ийг нэгтгэсэн хэдий ч хэд хэдэн dendrites-ийг явдалд холбогдсон байсан юм (“Dendrites-ийг хэд хэдэн dendrites-ийг”). ) үнэ цэнэ Тэдний загварууд нь dendritic талбай, реконструигдсан өгөгдлийн ширээний талбайд тооцогдсон байна. Тиймээс бид Eyal-ийн бага ширээний загваруудтай илүү тохиромжтой байхын тулд тэдний реконструигдсан өгөгдлийг нь ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ширээний ши ) болон Spike вероятност (Фиг. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) харин хэд хэдэн ширээний загвар (Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Эксперимент суулгах. Бид хоёр гол төрөл загварууд шалгаж байна: хэд хэдэн богино загварууд болон бүрэн богино загварууд. хэд хэдэн богино загварууд (зүүн дээр хоёр) нь глобал богино талбайг dendrites-д холбогдсон загварууд бөгөөд зөвхөн тусгай богино, идэвхтэй синапс нь холбогдсон байна. бүрэн богино загварууд (зүүн дээр хоёр), бүх богино нь бүрэн dendrites-д явдалд холбогдсон байна. Бид хэд хэдэн богино загварууд болон бүрэн богино загварууд дээр цуглуулсан болон хязгаарлагдмал дистрибутированных синаптик давуурын нөлөө үзэж байна. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in янз бүрийн симуляцийн арга хэрэгсэл. NEURON: нэг CPU ядраар ажилладаг стандарт NEURON симулятор. CoreNEURON: нэг GPU дээр CoreNEURON симулятор. DeepDendrite: нэг GPU дээр DeepDendrite. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) Simulation үр дүнг хамаарах үед (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. Үүнээс гадна Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Hines-ийн арга хэрэгсэл нь харьцангуй арга хэрэгсэл ашиглан хурдасгахын тулд олон жилийн турш үйл ажиллагаа явуулж байна. Эхний ажил нь ихэвчлэн сүлжээний түвшин харьцангуй дээр анхаарлаа хандуулдаг. сүлжээний симуляцид, Hines-ийн арга хэрэгсэл ашиглан өөр өөрсдийгөө харьцангуй харьцангуй харьцангуй харьцангуй харьцангуй харьцангуй шийддэг. сүлжээний түвшин харьцангуй арга хэрэгсэл нь хэд хэдэн харьцангуй сүлжээг хуваалцах, бүр харьцангуй харьцангуй харьцангуй харьцангуй харьцангуй хуваалцах болно. , . With network-level methods, we can simulate detailed networks on clusters or supercomputers Хамгийн сүүлийн үеийн жилийн хугацаанд, GPU нь дэлгэрэнгүй сүлжээний симуляцийг ашиглаж байна. GPU нь том тооцоолох нэгж агуулсан тул, жигнэмэг нь ихэвчлэн жигнэмэг групптай нэг цамцтай орно. , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. Cellular-level parallel methods-ийн гол санаа нь өөр өөр өөр нэг суб-блокид бүгд хуваалцах, эдгээр суб-блокийг хуваалцах юм. , Гэсэн хэдий ч, шинж чанарын түвшин арга (жишээ нь, "multi-split" арга) ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , Хөргөлтийн бүтэц, уян хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хавар , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine Гэсэн хэдий ч, класик нэг дэлгэрэнгүй хавтгайны загварууд, бүх хавтгай нь coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , Тавтай морилноор "структур plasticity" гэж нэрлэдэг спингийн морфологийн энэ нь туршлагатай өөрчлөлтийг өргөн үзсэн байна. , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice эсвэл хүний кортикаль нейрон in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , Whisker системд сенсор-мотор интеграци , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу! , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . dendritic normalization нь биофизик үйл ажиллагаа дээр суурилсан, dendritic арборын бүтэц нь компьютерийн туслах талаар сонирхолтой үзүүлэлт санал болгож байна. Эдгээр судалгааны үнэ цэнэтэй мэдрэмжийг санал болгож байгаа ч, тэд нь ихэвчлэн орон сууцны өргөн хүрээтэй нейронээс үүсгэгдсэн апстракцид дээр суурилсан бөгөөд dendrites-ийн дэлгэрэнгүй биологийн шинж чанарыг болон орон сууцны мэдээллийг бүрэн ашиглахгүй. Дараагийн судалгаа нь шинж чанарын компьютерийн болон уян хатан суралцалтыг суралцахад илүү бодит нейрон загварыг ашиглах боломжийг харуулж байна. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; нэмэлт ширээ ). 6А, Б 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Трансфер adversarial атак туршилтын ажлын үйл явц. Бид эхлээд 20-ийн хавтгай ResNet дээр цуглуулсан туршилтын adversarial дээж үүсгэдэг. Дараа нь энэ adversarial дээж (шуурын зураг) ашиглаж, цэвэр зурагтай боловсруулсан загваруудын ангилалт нарийвчлал шалгана. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —Anonymous-ийг алдартай болгохын тулд зорилготой боловсруулсан туршилт. Үзүүлэлттэй, одоогийн гипотез нь dendrites болон synapses нь ийм ачаалалтай эсрэг байгалийн хамгаалах болно гэж үздэг. . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6D, E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , харьцангуй алгоритм нь харьцангуй цуврал алгоритмтай харьцангуй үр дүнг өгдөг бөгөөд энэ нь харьцангуй алгоритм дахь өгөгдлийн үйл явцыг нь цуврал аргаар өгөгдлийн түншлэлтэй харьцангуй байдаг. Hines арга нь хоёр симметрийн үе шаттай байдаг: triangularization болон back-substitution. , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ) Тиймээс бид янз бүрийн гадаргуудын нодуудыг паралель тооцох боломжтой бөгөөд тэдний үнэ цэнэтэй биш юм. 34 55 1d Hines-ийн цуврал компьютерийн арга замаар өгөгдлийн түгээмэл байдал дээр суурилсан бид харьцуулахад харьцуулахад харьцуулахад харьцуулахад Hines-ийн цуврал компьютерийн арга замаар харьцуулахад гурван нөхцөл санал болгож байна: (1) Төмөр morphology болон бүх нодоодын эхний үнэ нь харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуула Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set Нөхцөл into Нөхцөл, түүнчлэн = { Нөхцөл Үнэгүй } ямар нэг дэд цомогт хэмжээ Өнгөрсөн ≤ гэх мэт, хамгийн их нодоос бүр үйл ажиллагаа явуулж болно, учир нь зөвхөн threads. The process of the triangularization phase follows the order: → → … → , , болон нодууд нь нэг дэд цомогт can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Нөхцөл Үнэгүй k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Өргөтгөлт = { Нөхцөл } , pozitive integer , where Энэ нь Node-set болон is the edge set. Define partition ( ) = { Нөхцөл Үнэгүй }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | Эмэгтэйчүүд ( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 үзүүлэлт V2 Нөхцөл Vi k i Vi Үнэгүй Vi v Vi c c v Vj j i P* V P* V Эдүүлбэр consists of all nodes that will be computed at -th step (Fig. ), so | Өнгөрсөн ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node Энэ нь зүгээр л түүний бүх Хүүхдийн түншүүд боловсруулсан байх болно. Үнэгүй i 2E Vi k k k v Vi c c v Vj j i v DHS implementation Бид хамгийн тохиромжтой арга замыг олж авах зорилготой юм. ДХС нь хамгийн тохиромжтой түлхүүр авахын тулд анх удаа топологийг анализ, урт хугацааг тооцох ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in болон тэднийг орно , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q Эдүүлбэр k Q Vi 2d Үнэгүй Vi+1 DHS-ийн баталгаажуулалт After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Үнэгүй k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset Өнгөрсөн . DHS-ийн имплементацид харуулсан шиг, дор бүлэгт бүх нодууд are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in Энэ нь , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from Өнгөрсөн . As shown before, the child nodes of all nodes in are in { Нөхцөл , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Үнэгүй Q Q Vi V1 V2 Эдүүлбэр1 Vn V1 Үнэгүй V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Хамгийн сүүлийн үеийн Өнгөрсөн ( ), DHS хөдөлгөөн (Thread тоо) Хамгийн гүнзгий нодоос нь харьцуулахад candidate багц Өнгөрсөн . Хэрэв Node тоо is smaller than Бүх нунтаг нь Өнгөрсөн Хэвлэх нь, бид , дөрвөлжин уян хатан сув Хамгийн давуу тал нь .All субсети нь ( ) Макс уян хатан критерийг хангах (Дополнительный Фиг. ) : . Бид дараа нь хамгийн гүнзгий зүрхүүдийг сонгох нь хамгийн тохиромжтой хувилбар. Хэрэв хамгийн тохиромжтой хувилбар байдаг бол Үнэгүй Нөхцөл Үнэгүй } хамгийн их нарийвчлалтай критерийг хангахын тулд дор бүтэц агуулсан, бид дор бүтэц өөрчлөх боломжтой ( ) нь бүх дор бүтэц нь хамгийн гүнзгий зүрхүүдээс бүрдэнэ Үйлчилгээний тоо: ( )|) remain the same after modification. Үнэгүй P V k Үнэгүй Үнэгүй Үнэгүй k Үнэгүй Үнэгүй Өнгөрсөн k Үнэгүй P V 6а Эдүүлбэр Эдүүлбэр V * 1 V * 2 V * С P * V Q P* V Without any loss of generalization, we start from the first subset хязгаарлагдмал нөхцөл, т.н. Хоёр боломжийн тохиолдолд not satisfy the max-depth criteria: (1) | | < гэхдээ ямар ч үр дүнтэй нунтаг байдаг Энэ нь ; (2) | | = but nodes in are not the deepest nodes in . Эдүүлбэр V*i V*i k Qi Эдүүлбэр V*i k V*i k Qi Зарим тохиолдолд (1), учир нь зарим кандидатайн түдгэлзүүлсэн , these nodes must be in the subsequent subsets. As | Зөвлөгөө , бид дараагийн дэд цомогт харьцуулахад харьцуулахад чансаж болно , энэ нь субсетин тоо нэмэгдүүлэхгүй бөгөөд satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , Эдгээр гүнзгий зүрхүүд Kandidate Set-ээс хуваалцахгүй into must be added to subsequent subsets (Supplementary Fig. , доор). Эдгээр гүнзгий зүрхүүд дараагийн дор цуглуулах боломжтой through the following method. Assume that after filling , нь сонгосон байна, нэг нь Хамгийн гүнзгий нунтаг is still in Энэ нь will be put into a subsequent subset ( > ) Бид эхлээд from to + , дараа нь subset өөрчлөх + as follows: if | + | ≤ and none of the nodes in + is the parent of node , Өнгөрсөн дэд цомогт өөрчилж байлга. Дараа нь өөрчилж + Өнгөрсөн as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V*i V*i < k Эдүүлбэр V*i 6Б Эдүүлбэр k Qi V*i 6b V*i Эдүүлбэр v k v’ Qi V » V*j j i v V*i V*i 1 Эдүүлбэр 1 V*i 1 k V*i 1 v V*i 1 6C v V*i 1 V*i 2 V*i 1 V*i 2 Эдүүлбэр Эдүүлбэр 1 V*i 2 V*j-1 v’ V*j Эдүүлбэр With the modification strategy described above, we can replace all shallower nodes in Энэ нь -th deepest node in and keep the number of subsets, i.e., | ( ) хязгаарлагдмал дараа нь хатуу. Бид бүгд дэд цомогт хатуу стратегийг өөрчилж болно. ( ) хамгийн гүнзгий налуудыг агуулсан биш юм. Өнгөрсөн, бүх дор багц ∈ ( ) тавтай морилно уу max-глубин критерийг хангах боломжтой, болон ( )| does not change after modifying. V*i k Үнэгүй P * V P* V V*i P * V P* V Эцэст нь, DHS нь хувилбар үүсгэдэг ( ) , болон бүх субсети ∈ ( ) хамгийн их нарийвчлалтай нөхцөл: . ямар ч бусад хамгийн тохиромжтой хуваалцах ( ) бид түүний дэд цомогт өөрчилж болно нь түүний бүтэц нь ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Үнэгүй P V P* V P V P * V | P V GPU имплементаци, памятник нэмэгдүүлэх Өндөр памятник дамжуулалт авахын тулд, GPU нь (1) глобал памятник, (2) кеш, (3) бүртгэлийг ашигладаг, Глобал памятник нь том хүчин чадалтай боловч бага дамжуулалттай бөгөөд бүртгэлийг бага хүчин чадалтай боловч өндөр дамжуулалттай байдаг. Бид GPU-ийн памятник дамжуулалтыг ашиглан памятник дамжуулалтыг нэмэгдүүлэх зорилготой. GPU нь SIMT (Single-Instruction, Multiple-Thread) архитектурыйг ашигладаг. Warps нь GPU-д үндсэн график нэгж юм (warp нь 32 паралель утас бүлэг юм). Warp нь өөр утас нь өөр өгөгдөлтэй нэг үйл явцыг гүйцэтгэдэг . Зөвлөгөөний тохиромжтой хуваалцах нь warps-д компьютерийн энэ хуваалцах нь чухал юм. DHS-ийн цуврал Hines-ийн арга замтай ижил үр дүнд олж авахын тулд. GPU дээр DHS-ийг гүйцэтгэх үед бид анх удаа ихэнх шилүүд нь ихэвчлэн ихэвчлэн morphologies дээр суурилсан олон warps-ийг багтааж байна. Хамгийн сүүлийн үеийн morphologiesтай шилүүд нь нэг warp-д багтаасан байна. Бид дараа нь DHS-ийг бүх нейрон дээр хэрэглэдэг. Дараа нь тусгай нейрон нь хэд хэдэн утас руу хуваалцах. Хэрэв нейрон нь warps-д багтаасан бөгөөд энэ нь нэг neuron-ийн утас нь нэг warp-д байна. Тиймээс warps-д байгалийн 46 Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу, Хэрвээ та энэ нь тавтай морилно уу. Full-spine болон few-spine биофизикийн загвар We used the published human pyramidal neuron мембраны Capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω см. Энэ загвар дахь бүх dendrites passive кабель гэж загварласан бөгөөд somas актив байсан. l = -83.1 mV. На + болон K + гэх мэт ион суваг soma болон эхний аксон дээр суулгасан бөгөөд тэдний эргэлтийн потенциалууд нь Na = 67.6 mV, K = -102 mV дагуу. Эдгээр тусгай параметрүүд нь Eyal, et al.-ийн загварыг хамаарна. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 Хоёр хавхлагатай загварууд дээр, мембраны хавхлага, dendritic кабелийн хамгийн их хязгаарлалт 60 μm нь soma-аас хязгаарлагдмал байна. ширээний фактор нь dendritic ширээний ойролцоо. Энэ загвар дээр, ширхэг нь 1.9-д тохиромжтой байсан. Зөвхөн синаптик хандах ширхэг нь dendrites-д явж байна. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 Бохирдлын morphologies болон биофизикийн механизмыг хэд хэдэн богирдлын болон бүрэн богирдлын загваруудтай байдаг. Богирдлын хавтгай урт neck = 1.35 μm and the diameter ширхэг = 0.25 μm, харин ширхэг нь урт, диаметр нь 0.944 μm байсан, түүнчлэн ширхэг нь ширхэг нь 2.8 μm2 дээр тохируулж байна. = -86 мВ. Специфик мембран хүчин чадал, мембран эсэргүүцэл, аксиал эсэргүүцэл dendrites-ийн ижил байсан. L D Эл Synaptic Inputs нь Бид дистрибуирован, clustered synaptic input-ийн хувьд нейрон уян хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан хатан ха AMPA-д суурилсан, NMDA-д суурилсан синаптикийн цагираг нь Eyal et al.-ийн ажлын дагуу симулигдсан. AMPA дамжуулалт нь хоёр экспоненцийн функц, NMDA дамжуулалт нь хүчдэлийн дагуу хоёр экспоненцийн функц гэж загварласан байна. AMPA загвар нь тодорхой Өнгөрсөн & decay were set to 0.3 and 1.8 ms. For the NMDA model, Өнгөрсөн & decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Загварын шугам We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , НМДА-ийн хамгийн их дамжуулалт нь 1.57-аас 3.275-ээр харьцуулагдсан бөгөөд энэ нь AMPA-ийн NMDA-ийн харьцуулалт нь өндөр байна. t Synaptic Inputs Neural excitability судалгаа Бид хэд хэдэн синапс нэг удаа идэвхжүүлсэн үед шилдэг чадварыг судлах. Дистрибьютированный вход нь бид 14 тохиолдолд, 0 нь 240 идэвхжүүлсэн синапс нь шалгаж байна. Clustered inputs нь, бид нийт 9 тохиолдолд шалгаж, 0 нь 12 cluster-ээс идэвхжүүлэх. Бүх cluster нь 20 синапс агуулсан байна. Дистрибьютированный болон clustered inputs нь бүх тохиолдолд бид шилдэг чадварыг 50 хязгааргүй дээжтэй тооцож байна. шилдэг чадварыг шилжсэн нейроны тоо, нийт дээж тоотай харьцуулагдсан. Бидний DeepDendrite платформ дээр бүх 1150 дээж нь нэг удаа симулируулсан бөгөөд симуляцийн хугацаа нь өдөр-аас минутын дотор бууруулж байна. DeepDendrite платформтай AI-ийн үйл ажиллагаа явуулах Хэвийн нарийвчлалтай нейрон симуляторууд нь орчин үеийн AI-ийн ажиллагаанд чухал хоёр функцийг хязгаарладаг: (1) хязгаарлалттай шинэчлэхгүйгээр симуляци, жин шинэчлэх нь аль аль аль аль аль аль нь хийх, (2) хязгаарлалттай хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн олон нарийвчлалтай дээж боловсруулах. Энд бид DeepDendrite платформуйг санал болгож байна. DeepDendrite нь гурван модуль юм (Дэлгэрэнгүй зураг. ): (1) I/O модуль; (2) DHS-д суурилсан симуляцийн модуль; (3) суралцах модуль. Сургалтын үйл ажиллагаа явуулахын тулд биофизикийн тодорхой загваргыг сургах үед хэрэглэгчид анх удаа суралцаж, дараа нь суралцажтай загвардлыг суралцаж, суралцажтай загвардлыг суралцаж болно. Сургалтын хооронд тусгай шатанд I/O модуль нь тодорхой даралт, түүний даралттай суралцагч сигналыг (хэдийгээр шаардлагатай бол) бүх суралцалтын дээжээс сонгоно, суралцаж нь сүлжээний загвартай холбогдсон. Дараа нь DHS-д суурилсан симуляцийн модуль загварыг эхлэх, суралцаж эхэлнэ. Сургалтын дараа суралцаж нь бүх си 5 HPC-Net загвар Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net нь гурван хавтгай байдаг, түүнээс дээш, input layer, hidden layer, and output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. Хамгийн сүүлийн үеийн загварууд нь хамгийн сүүлийн үеийн загваруудтай загваруудтай загваруудтай загваруудтай загваруудтай загваруудтай загваруудтай ( ) in the image, the corresponding spike train has a constant interspike interval Эдүүлбэр ( ) (Ms) нь пикселийн үнэээр тодорхойлох ( ) гэхэд Eq. ( Нөхцөл X, Y τ X, Y p X, Y 1 Бидний туршид, бүр даралт нь симуляци нь 50 мс хугацаатай. Бүх spike галт тэрэг нь 9 + дээр эхэлсэн ISI ms болон симуляцийн эцсийн хүртэл үргэлжлүүлэн. Дараа нь бид бүх spike галт тэрэг нь нэг-д нэг аргаар input layer нейрон дээр холбогдсон байна. Энэ нь τ Т0 Үнэндээ post-synaptic хүчдэл, өөрсдийн хүчдэл syn = 1 mV, хамгийн их synaptic conductance max = 0.05 μS, цаг хугацааны тогтвортой = 0.5 мс v E g τ Хэвлэлийн хавтгай дахь нейроны пассив нэг хавтгайны загвартай загварласан байна. Специфик параметрүүд дараах хэлбэрээр тохируулсан байна: мембран capacitance m = 1.0 μF cm-2, мембран даралт m = 104 Ω cm2, аксиал соронзон a = 100 Ω см, пассивны өрөөний ач холбогдолтой хүчин чадал l = 0 mV c r r E Хадгаламжийн хавтгай нь хүний пирамидал нейрон загвар бүлэг агуулсан бөгөөд input layer neurons-ийн соматик хүчдэл хүлээн авах. Morphology Eyal, et al. , болон бүх нейроны пассив кабельтай загварласан байна. Специфик мембран capacitance m = 1.5 μF cm-2, мембран даралт m = 48,300 Ω cm2, аксиал соронзон a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -Th input neuron дээр нейрон ’s dendrite нь Eq. ( ), where is the synaptic conductance, Синаптик жин, ReLU-тай соматик идэвхжүүлэх функц юм, соматик хүчдэл нь -Th input neuron үед . 51 c r r E k i j 4 Өргөтгөл Байрлал i t Бүртгүүлгийн хавтгай дахь нейрон нь пассив нэг хавтгайны загвартай загварыг загварласан бөгөөд тус бүр хавтгай нейрон нь зөвхөн нэг синаптик холболт хийж байна. Бүх тусгай параметрүүд хэрэглээний нейронтай харьцуулагдсан. Хавтгай нейрон дээр идэвхтэй синаптик цагираг нь Eq хэлбэрээр байдаг. ( ). 4 HPC-Net ашиглан зураг цуглуулах Дараа нь бид normalized пикселийн үнэт 0.0-1.0-д бүх пикселийн үнэт normalized. Дараа нь бид normalized пикселийн үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэт үнэ Үнэндээ is the probability of -th зэрэг HPC-Net-ийн урьдчилан сэргийлсэн, 20 мс-аас 50 мс-ийн дунд соматик хүчдэл юм -Th output нейрон, болон Энэ нийтлэлд бид HPC-Net-ийг 784 input neurons, 64 hidden neurons, 10 output neurons нь бий болгосон байна. 6 pi i i C HPC-Net-ийн Synaptic Plasticity нөхцөл Өмнөх үйл явдлын суурилсан , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), Хэрэв Энэ нь Class-ийн урьдчилсан чадварыг юм. Нөхцөл indicates the actual class the stimulus image belongs to, = 1 Тавтай морилно уу Үнэгүй = 0 ямар ч. 36 7 Пи i Өнгөрсөн Өнгөрсөн i yi HPC-Net сургалт үед бид жин дээр шинэчлэлийг тооцох (Synaptic жин нь -th synapse connecting neuron Энэ нь neuron ) хоорондоо үйл явцад. Бүх зураг даралт нь симуляцийг дараа ЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэр ): Wijk k i j Байрлал 8 Энд суралцах хурд, цаг хугацааны шинэчлэлт үнэ юм Нөхцөл Нөхцөл Соматик хүчдэл нь нейрон and Үүнээс гадна, Энэ нь Synaptic Current нь нейрон-ийн идэвхжүүлэх Энэ нь neuron Нөхцөл Энэ нь synaptic conductance юм. Энэ нь тээвэрлэлтийн эсэргүүцэл нь Neuron-ийн холбогдсон хуудсууд Энэ нь neuron Dendrite нь нейрон Өнгөрсөн S = 30 Мс e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( Нөхцөл t vj Үнэгүй i j Эдүүлбэр k i j gijk Эдүүлбэр k i j j t t 10 11 Бүх output нейрон нь нэг хэсгүүд юм, харьцуулахад өрөөний давуу талтай байдаг. Трансфер болон давуу тал нь NEURON-ийн тооцоолж байна. Mini-batch training нь илүү их урьдчилан сэргийлэх нарийвчлал, конвергенцийг хурдан авахын тулд уян хатан суралцах арга юм. DeepDendrite бас мини-batch training дэмждэг. Mini-batch size нь HPC-Net сургалт үед Батч, бид batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N HPC-Net ашиглан давуу талбарыг эсрэг хүчтэй HPC-Net-ийн тогтвортой байдлыг харуулахын тулд бид антагонист дээж дээр урьдчилан сэргийлэх нарийвчлал шалгаж, аналог ANN-ийг харьцуулав (ямар ч аналог 784-64-10 бүтэц, ReLU идэвхжүүлэлттэй нэг, HPC-Net-д харьцангуй харьцангуй харьцангуй HPC-Net-ийн бүр эх үүсвэртэй нейрон нь зөвхөн нэг синаптик холбогдсон). Бид эхлээд HPC-Net болон ANN-ийг эх үүсвэртэй сургалтын багтаар (ордүүлбэрээр цэвэр зургийг) боловсруулсан. Дараа нь бид туршилтын багтанд антагонист шууд нэмж, шулуун туршилтын багтанд тэдний урьдчилан сэргийлэх нарийвчлал , FGSM арга хэрэгсэл ашиглан adversarial шугам үүсгэх ANN PyTorch-тэй сургалт авсан , болон HPC-Net бидний DeepDendrite нь сургаж байна. Үнэлгээ нь бид маш янз бүрийн сүлжээний загварыг, 20-р давхар ResNet дээр давуу тал үүсгэдэг. Шуудангийн түвшин 0.02 нь 0.2 байна. Бид MNIST гэж нэрлэдэг хоёр стандарт өгөгдлийн багц дээр туршиж байна. Үнэндээ Fashion-MNIST Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogue ANN, дагуу. 98 99 93 100 101 95 96 Үзүүлэлт судалгааны дизайны талаархи дэлгэрэнгүй мэдээлэл нь Энэ нийтлэлтэй холбоотой. Nature Портфолио Reporting Сургалт Data availability Энэ судалгааны үзүүлэлтүүдийг дэмжих өгөгдөл нь харьцуулахад боломжтой бөгөөд энэ харьцуулахад хандуулсан нэмэлт мэдээлэл, эхний өгөгдлийн файлууд. – are available at . The MNIST dataset is publicly available at Fashion-MNIST өгөгдлийн бүтэц нь албан ёсны боломжтой байна Үйлчилгээ are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Хадгаламжийн код DeepDendrite-ийн эхний код, Figs-ийн хэвлэхэд хэрэглэгдсэн загвар, код. – Эдгээр судалгааны талаар . 3 6 https://github.com/pkuzyc/DeepDendrite Үзүүлэлт McCulloch, W. S. & Pitts, W. Нэртэй үйл ажиллагаатай санаа нь логик тооцоо. Булл. Math. Biophys. 5, 115-133 (1943). LeCun, Y., Bengio, Y. & Хинтон, G. Гайхамшигтай суралцах. Байгалийн 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. загварын CA1 пирамидалын шил дээр доорх синаптик хуваалцны аритметик. Neuron 37, 977–987 (2003). Лондон, М. & Häusser, М. Dendritic calculation. Annu. Rev. Neurosci. 28, 503-532 (2005). Бранко, Т. & Häusser, М. Нерв систем дахь үндсэн функц нэгж гэж нэг dendritic бүтэц. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic интеграци: 60 жилийн хөгжлийн. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. Компьютерийн загвартай dendritic функцийг илрүүлэх. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritic шүршүүрийн нь нейрон интеграцийн үндсэн функц нэгж юм. Байгалийн 375, 682-684 (1995). Engert, F. & Bonhoeffer, T. Хиппокампалын урт хугацааны синаптикийн хуваалцтай Dendritic ширээний өөрчлөлүүд. Байгалийн 399, 66-70 (1999). Yuste, R. Dendritic ширхэг, дистрибутированные схем. Neuron 71, 772–781 (2011). Yuste, R. Dendritic ширээний цахилгаан хуваалцах. Annu. Rev. Neurosci. 36, 429-449 (2013). Rall, W. Dendritic сав ба мотоневроны мембраны эсэргүүцэл. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. Хэвлэсэн dendritic ширээний тоног төхөөрөмжийн судалгаа. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Гайхамшигтай нейрон сүлжээг болон арьс хайлтын тоглолтонд гарын авлага. Nature 529, 484–489 (2016). Silver, D. et al. Шахах, шоги, автомашины тоглолтонд оюутнуудыг оюутнуудыг оюутнуудыг оюутнуудыг оюутнуудыг агуулсан алгоритм. Science 362, 1140-1144 (2018). McCloskey, M. & Cohen, N. J. Connectivist сүлжээнд катастрофийн хослуулах: sequential learning problem. Француз, R. M. Connectivist сүлжээнд катастрофын олох. Тенденц Cogn. Sci. 3, 128-135 (1999). Naud, R. & Sprekeler, H. Sparse бэрхшээл нь мультиплекстэй нейрон кодд мэдээллийг дамжуулах optimize. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits backpropagation алгоритмыг харуулсан. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-д суурилсан синаптик хуванцар нь хиеррахийн хоолойдаас суралцах боломжтой. Nat. Neurosci. 24, 1010-1019 (2021). Bicknell, B. A. & Häusser, M. Нейрон 109, 4001–4017 (2021) нь хязгааргүй dendritic тоног төхөөрөмж ашиглахын тулд синаптикийн суралцал. Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: dendritic nonlinearities, структурын plasticity, gradient descent дамжуулан ангилалтын үйл явцыг шийдэхийн тулд суралцах загвар нь. PLoS Comput. Biol. 17, e1009015 (2021). Hodgkin, A. L. & Huxley, A. F. мембран цахилгаан тооцрын тодорхойлолт, мэдрэгчдэд дамжуулалт, мэдрэгчдэд хэрэглэдэг. J. Physiol. 117, 500-544 (1952). Rall, W. Dendrites физиологийн шинж чанарын теори. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. Нейрон симуляцийн байгаль орчинд. Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. The Book of GENESIS: General Neural Simulation System ашиглан реалістик нейрон загварууд судлах (eds Bower, J. M. & Beeman, D.) 17-27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Компьютерийн холбогдсон паралель сүлжээний симуляцид Neuron-ийн хуваалцлага нь хоёр удаа илүү олон процессоруудтай ачаалалтай. J. Comput. Neurosci. 25, 203–210 (2008). Hines, M. L., Markram, H. & Schürmann, F. Нэг нейрондын бүрэн дундаж харьцангуй симуляци. J. Comput. Neurosci. 25, 439-448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. График боловсруулах нэгж дээр өрөөний загвар нь хурдан. Front. Neuroinform. 7, 4 (2013). Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. График боловсруулах нэгж дээр зүрхний бүтэцтэй нейрон загваруудын үр дүнтэй нумерик симуляци. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, АНУ-ын GPU дээр нейрон симуляцид параллелизуулагч Hines Matrix Solver. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. GPU дээр hines матриц нь үр дүнтэй арьс шийдэл. Preprint at https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Combinatorial Оптимизацийн теори, алгоритм 6 edn (Springer, 2018). Gebali, F. Алгоритм болон харьцуулалтын компьютерийн (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: NEURON симулятор нь optimized тоног төхөөрөмж. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. Соматик Spiking-ийн dendritic prediction дээр суралцах. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. График процессорууд дээр параллель генетик алгоритмыг ашиглан ион каналын загвар optimizing. J. Neurosci. Methods 206, 183-194 (2012). Mascagni, M. Кабелийн нейрон загварууд нь компьютерийн шийдлийг паралелизуулах алгоритм. J. Neurosci. Метод 36, 105-114 (1991). McDougal, R. A. et al. МодельDB-ийн 20 жил, түүнээс дээш: нейрон шинжлэх ухааны дараагийн хувьд чухал загвар хийх хэрэгсэл бий болгох. J. Comput. Neurosci. 42, 1-10 (2017). Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih нь CA1 пирамидалын нейрон дахь хязгааргүй дисталь давуурын цаг хугацааны суулгахын тулд сонгодог. J. Comput. Neurosci. 16, 5–13 (2004). Hemond, P. et al. Хиппокампус 18, 411-424 (2008) нь хиппокампусын газар CA3b-д янз бүрийн класс пирамидын түлхүүргийн загваруудтай. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Neocortical хавтгай 5b пирамидасын хавтгай нь өргөн хүрээтэй dendritic болон perisomatic идэвхтэй шинж чанарыг хамарна. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Ажлын үр дүнтэй purkinje шилэн загвар дээр үйл ажиллагааны хүчин чадал боловсруулах аксоны хуваалцах нь чухал үүрэг харуулдаг. Front. Cell. Neurosci. 9, 47 (2015). Lindroos, R. et al. Базалын гангли neuromodulation олон цаг хугацааны болон барилгын түвшин дээр - шууд зам MSN-ийн симуляци нь допаминергийн нөлөөний хурдан эх үүсгэх судалгаа, Kv4.2 -ийг үзүүлээрэй. Front. Neural Circuits 12, 3 (2018). Migliore, M. et al. Synaptic clusters нь ариун цутгамал ариун цутгамал ариун цутгамал ариун цутгамал болгон ажилладаг. Proc. Natl Acad. Sci. USa 112, 8499-8504 (2015). NVIDIA. CUDA C++ програмчлалын гарын авлага. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Шилдэг практик гарын авлага. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. Dendritic ширхэг дамжуулан синаптик амплификаци нь импортын хамтын ажиллагааг сайжруулдаг. Байгалийн 491, 599–602 (2012). Чиу, C. Q. et al. Dendritic Spines-ийн GABAergic суулгах нь Compartmentalization. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Хөргөлтийн хавтгай хуваалцны хуваалц нь синапсын хуваалцлыг хянах. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Хөдөлгөөний пирамидын нейрон: ширхэгээс ширхэг дамжуулан загвар. Front. Cell. Neurosci. 12, 181 (2018). Кох, C. & Задор, А. Dendritic шүршүүрийн функц: биохимийн ач холбогдол, цахилгаан хуваалцлын ач холбогдолтой төхөөрөмжүүд. J. Neurosci. 13, 413-422 (1993). Кох, C. Dendritic spines. In Biophysics of Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. Параллел шилэн фоналын үйл ажиллагаа нь церебелларын purkinje-ийн шилэн шинж чанар дээр нөлөө. Нейрон компьютерийн 4, 518-533 (1992). Хийнс, М. Нерв хэлбэрийн үр ашигтай тооцоо. Int. J. Bio-Med. Comput. 15, 69-76 (1984). Nayebi, A. & Ganguli, S. Хязгаарлагдмал хавтгай дөрвөлжин сүлжээний байгалийн хамгаалах. Preprint at https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Large-scale Simulation Using Parallel GENESIS. In The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. НЭУРОН-тэй харьцангуй сүлжээний симуляци. J. Компьютерийн Neurosci. 21, 119 (2006). Lytton, W. W. et al. Мониторинг нейротехнологийн ухааны судалгааг урьдчилан сэргийлэх: NEURON-д том сүлжээг харьцуулахад. Neural Comput. 28, 2063–2090 (2016). Valero-Lara, P. et al. cuHinesBatch: GPU-д олон Hines системийг шийдэл. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—Дэлгэрэнгүй morphologically нейрон сүлжээний симуляцийн библиотек орчин үеийн өндөр гүйцэтгэлийн компьютерийн архитектур. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274-282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: GPU дээр олон хэсэгт, биофизикийн тодорхойлолттай нейрон симуляцийг хурдасгах. J. Neurosci. Метод 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. Нэртэй бүтэц дээр нейрон үйл ажиллагаатай холбоотой реакци-диффузийн харьцуулагч алгоритм. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. Хэмжээтэй нейрон тэсвэр симуляцийг хэт авианы шийдэл. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Dendritic шүршүүрийн дотоод хүчдэлийн жагсаалтыг квант тод хамарсан nanopipettes ашиглан ашигладаг. Nat. Nanotechnol. 12, 335-342 (2017). Palmer, L. M. & Stuart, G. J. Dendritic шүршүүрийн мембраны хүчин чадал нь үйл ажиллагааны потенциалууд болон синаптик импортын хооронд өөрчлөх. J. Neurosci. 29, 6897-6903 (2009). Nishiyama, J. & Yasuda, R. Хөргөлтийн бүтэц plasticity нь биохимийн тооцоо. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Долгоцны синаптик хуваалцтай холбоотой dendritic ширээний морфологийн өөрчлөлт. Annu. Rev. Neurosci. 24, 1071-1089 (2001). Holtmaat, A. & Svoboda, K. Зурагны мозгийн туршлагатай структурын синаптик хуваалцах. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Сургалтын plasticity дээр суралцах: зохицуулалт, функц. Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. Насанд хүрэгчдэд үзэсгэлэнт хоолойтай реорганизацид нейрон хоолойны массив реструктуризаци. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Өргөтгөл нь кортикоз циркуляцид урт хугацааны бүтэц хэлбэрээр харуулж байна. Nature 457, 313–317 (2009). Trachtenberg, J. T. et al. Өнгөрсөн туршлагатай синаптик хуваалцлын урт хугацааны in vivo илрүүлэлт. Nature 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Somatosensory cortex-ийн уян хатан, хязгаарлагч нейроны аксонал динамик. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. Өнгөрсөн хөдөлгүүрийн санахын тулд синапсын хурдан үүсгэх, selective stabilization. Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Моторын суралцах шинэ үүсгэсэн dendritic шүршүүрийн тогтвортой байдлыг сайжруулдаг. Neuron 109, 3298-3311 (2021). Бранко, Т. & Häusser, М. Синнаптикийн интеграцийг нэг саргийн пирамидалын эсийн dendrites. Neuron 69, 885-892 (2011). Major, G., Larkum, M. E. & Schiller, J. Neocortical pyramidal нейрон dendrites нь идэвхтэй шинж чанарыг. Annu. Rev. Neurosci. 36, 1-24 (2013). Gidon, A. et al. Dendritic үйл ажиллагааны потенциалууд, хүний хавтгай 2/3 кортикаль нейрон дээр тооцоо. Science 367, 83-87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Цагтай синаптик хязгаарлалт NMDA ширхэг хэлбэрээр, орон нутгийн dendritic боловсруулах, дэлхий даяар I / O шинж чанарыг нөлөөлж. Cell Rep. 21, 1550-1561 (2017). Du, K. et al. Cell-type-специфик dendritic хавтгай потенциалын дарангуйлын ширээний проекцийн нейрон. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017). Смит, С. Л., Смит, И. Т., Бранко, Т. & Häusser, М. Dendritic шивээс нь in vivo кортиконы нейронд даралт selectivity сайжруулдаг. Nature 503, 115-120 (2013). Xu, N.-l et al. Актив мэдрэгчтэй үйл явцыг үед мэдрэгчтэй, хөдөлгүүрийн дарангуй интеграци. Nature 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Активтай кортикал dendrites мэдрэмжийг модулийг. Шинжлэх ухааны 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Dendritic арьс хооронд кальцийн хязгаарлагдмал хатуу нь газар газар газар шинж чанарыг урьдчилан сэргийлдэг. Nature 517, 200–204 (2015). Markram, H. et al. Neocortical микроциркуляторгийн шинэчлэл, симуляци. Cell 163, 456-492 (2015). Billeh, Y. N. et al. Структур, үйл ажиллагаатай өгөгдлийн олон тооны загварууд нь системийн интеграци. Neuron 106, 388–403 (2020). Hjorth, J. et al. Striatum microcircuits нь silico. Proc. Natl Acad. Sci. АНУ-ын 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Өнгөрсөн суралцажтай dendrites. elife 6, e22901 (2017). Iyer, A. et al. Хязгаарлалыг хязгаарлах: идэвхтэй dendrites динамик орчинд олон үйл ажиллагаатай суралцах боломжийг олгодог. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Нэг нейрон нь dendritic арьс дээр нарийвчилсан тооцоолол дамжуулан гайхамшигтай машин суралцах асуудал шийдэх болно? Neural Comput. 33, 1554–1571 (2021). Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalization нь хязгаарлагдмал холбогдсон artificial neural networks дээр суралцах сайжруулдаг. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Судалгааны жишээг тайлбарлах, ашиглах. 3rd International Conference on Learning Representations (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Машины суралцал дахь дамжуулалт: хар хайрцагтай дээж ашиглан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан ха Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient дээр суурилсан суралцах документын мэдлэгдэх хэрэглэдэг. Proc. IEEE 86, 2278-22324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: машин суралцах алгоритмыг бенчмаркинг зориулсан шинэ зураг өгөгдлийн багц. http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Biologically-motivated deep learning algorithms and architectures scalability assessment. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: Машины суралцах загваруудын хүчтэй байдлыг харуулсан Python хэрэгсэл хайрцаг. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: Императив хэлбэртэй, өндөр гүйцэтгэлийн уян хатан суралцах библиотек. Нейрон мэдээллийн боловсруулах системд дэвшилтэт 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Хөгжлийн хүлээн зөвшөөрөх зориулалттай гүнзгий суралцах. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). Ажлын Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Зохиогчийн эрх © Энэ нийтлэл нь CC by 4.0 Deed (Attribution 4.0 International) лицензтай байдаг. Энэ текст нь CC by 4.0 Ажлын (Attribution 4.0 International) лицензийн дагуу. Байгалийн боломжтой
