ავტორი : იურიდიული Zhang Go მთავარი მე ვარ XiaoFei Liu J. J. იოანესის Hjorth Alexander კოსლოვა Yutao ის Shenjian შანხა Jeanette Hellgren დატვირთვა Yonghong ტაინ სტეპერი Grillner როდესაც თქვენ Tiejun Huang ავტორი : იურიდიული Zhang Go მთავარი მე ვარ XiaoFei Liu J. J. იოანესის Hjorth Alexander კოსლოვა Yutao ის Shenjian შანხა Jeanette Hellgren დატვირთვა Yonghong ტაინ სტეპერი Grillner როდესაც თქვენ Tiejun Huang Abstract პოსტი Biophysically დეტალური მრავალფეროვანი მოდელები არის ძლიერი ინსტრუმენტები შეამოწმოთ კომპიუტერული პრინციპები ტვინის და ასევე ფუნქციონირებს როგორც ტურისტული რკინიგზია გენერირების ალგორტიზები ხელოვნური ინტელექტურობის (AI) სისტემები. თუმცა, ფასიანი კომპიუტერული ღირებულება სავარაუდოდ შეზღუდებს განაცხადების ორივე ნეიროზია და AI ფართობი. ძირითადი bottleneck დროს Simulating დეტალური პარამეტრების მოდელები არის შესაძლებლობა Simulator გადაიხადოს დიდი სისტემები ხაზები. აქ, ჩვენ გთავაზობთ ახალი Endritix იერარკოტიკური Cheduling (DHS) მეთოდი, რათა აჩქაროთ ასეთი პროცესს. ჩვენ სავარაუდოდ აჩვენებთ, რომ DHS განახლება კომპიუტერული ოპტიმალურია და სიზუსტით. ეს GPU-based მეთოდი მუშაობს 2-3 სიჩქარით უმაღლესი სიჩქარით, ვიდრე კლასიკური სერიაფიკური Hines მეთოდი კონდიციონერული CPU პლატფორმაში. ჩვენ აშენებთ DeepDendrite Framework, რომელიც ინტეგრირებს DHS მეთოდი და GPU კომპიუტერული საავტომობილო NEURON Simulator და აჩვენებს DeepDendrite განაცხადების ნეიროზინგის სამუშაოები. ჩვენ კვლევათ, თუ როგორ სფეროტიკული მოდელები spin input ეფექტურად ეფექტებს ნეი D H S კონტაქტი ნეირონიების კოდირების და კომპიუტერული პრინციპების გამოხატვა ნეირონიის მეცნიერებისთვის მნიშვნელოვანია. ნეირონიის ტვინები შეიცავს მეტი ათასობით სხვადასხვა ტიპის ნეირონიებს, რომლებიც უნიკალური morphological და biophysical თვისებები. მიუხედავად იმისა, რომ ეს არ არის πλέον კონცეფციული ფაქტი, "პონტზე ნეირონი" დოკუმენტი ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად. თუმცა, გარდა ამისა, რომ ინტელექტური კომპიუტერები ერთ-ერთი ნეირონის დონეზე, ნეირონის dendrites, როგორიცაა subcellular compartments, ასევე შეუძლია გააკეთოს nonlinear ოპერაციები, როგორც დამოუკიდებელი კომპიუტერული ერთეული. , , , , გარდა ამისა, dendritic spines, მცირე გამოხატვა, რომელიც სიზუსტით შეიცავს dendrites in spiny neurons, შეიძლება compartmentalize synaptic სინათლის, რომელიც საშუალებას გაძლევთ, რომ მათ გამოხატული dendrites ex vivo და in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 Simulations using biologically detailed neurons provide a theoretical framework for linking biological details to computational principles. მთავარი biophysically detailed multi-compartment model framework. , ეს საშუალებას გაძლევთ ნიმუშავოთ ნეირონიებს რეალური dendritic morphologies, intrinsic ionic conductance, და extrinsic synaptic input. The backbone of the detailed multi-compartment model, ეს არის, dendrites, მზადდება კლასიკური საკაბელო teorys. , რომელიც მოდულებს dendrites biophysical membrane თვისებები, როგორც პასტიკური კაბელები, უზრუნველყოფს მექანიკური აღწერა, თუ როგორ ელექტრონული სინათლის ინვესტიციები და გაფართოება მასშტაბით კომპლექსური ნეილონი პროცესები. მიერ ინტეგრირება კაბელი ტურისტები აქტიური biophysical მექანიკაციები, როგორიცაა ion channels, excitatory და inhibitory synaptic currents, და ა.შ., დეტალური multi-compartment მოდელი შეუძლია მიღწევა Cellular და subcellular ნეილონი კომპიუტერები გარშემო გამოცდილება შეზღუდვები , . 12 13 12 4 7 უპირატესობრივი ეფექტურობის გარდა, ბიოლოგიურად დეტალური ნეირონის მოდელები უახლესი ხნის წინ გამოიყენება ნეირონის სტრუქტურული და ბიოფსიქიკური დეტალების და AI- ის შორის სიზუსტით. თანამედროვე AI- ის სფეროში უპირატესობრივი ტექნიკა არის ANNs, რომელიც შედგება point neurons, biological neural networks. მიუხედავად იმისა, რომ ANNs “backpropagation-of-error” (backprop) algorithm- ის უპირატესობრივი შესრულება სპეციალიზებული განაცხადებში, მაშინაც კი უპირატესობრივი ადამიანის პროფესიონალი მოთამაშეებს Go- ის თამაშებში და სქესში. , Human Brain ჯერ კიდევ უპირატესობა ANNs დონეზე, რომელიც მოიცავს უფრო დინამიური და ხმაური გარემოები , უახლესი ტურისტული კვლევები გთავაზობთ, რომ dendritic ინტეგრიაცია მნიშვნელოვანია წარმოების ეფექტური სასწავლო ალგორტატები, რომელიც პოტენციურად უმაღლესი backprop პარამეტრების ინფორმაცია დამუშავება. , , გარდა ამისა, ერთი დეტალური multi-partment მოდელი შეუძლია გაიგოს ქსელის დონეზე nonlinear calculations for point neurons by adjusting only the synaptic strength. , ამით, უმაღლესი პარამეტრების გააუმჯობესება ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური ინგლისური 14 15 16 17 18 19 20 21 22 ერთ-ერთი ხანგრძლივი მოვლენები დეტალური მოდული ხელმისაწვდომობის მდებარეობს მისი ძალიან მაღალი კომპიუტერული ღირებულება, რომელიც მძიმე შეზღუდული მისი გამოყენება ნეიროზინგი და AI. ძირითადი ბოთლი ბეჭედი მოდული არის გადაწყვეტილებების ხაზები, რომელიც დაფუძნებულია ძირითადი teories დეტალური მოდული. , , ეფექტურობის გაუმჯობესებლად კლასიკური Hines- ის მეთოდი შეამციროს დროის მოწინავეას, რაც O(n3)- ს და O(n)- ს, რომელიც ფართოდ გამოიყენება როგორც ძირითადი ალგორტიმი პოპულარული სმულატორებში, როგორიცაა NEURON. და Genesis ამ მეთოდი გამოიყენებს სერიაფიკური მიზნით თითოეული პარამეტრების გაფართოებას. როდესაც Simulation მოიცავს მრავალფეროვანი biophysically დეტალური dendrites ერთად dendritic spines, linear equation matrix (“Hines Matrix”) scales შესაბამისად ზრდის რაოდენობით dendrites ან spines (მაგ. ), რაც Hines მეთოდი არ არის πλέον პრაქტიკული, რადგან ეს შეიცავს ძალიან დიდი ტანსაცმელი მთელი სმულაცია. 12 23 24 25 26 1E 5 კლასის pyramidal ნეიროონის მოდელი და მექანიკური ფორმულა, რომელიც გამოიყენება დეტალური ნეიროონის მოდელები. ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქციონალური ფუნქცია. მაგალითად, linear equations მოიცავს Simulation. Hines- ის მეთოდის მონაცემთა დამოკიდებულება linear equations solving in linear equations Hines Matrix- ის ზომა მოდულების მოცულობათან ერთად შეიცავს. ხაზოვანი მოცულობის სისტემის ზომა მნიშვნელოვნად ზრდის, როდესაც მოდელები უფრო დეტალურია. Computational cost (steps taken in the equation solving phase) of the serial Hines method on different types of neuron models. სხვადასხვა ნაწილები ნეირონის გაქირავება მრავალფეროვანი დამუშავების ერთეულებში პარამეტრების მეთოდები (სამრავი, მარტო), ჩვენება განსხვავებული ფერები. სერიაფიკური მეთოდში (სამრავი), ყველა პარამეტრები გაქირავება ერთი ერთეულით. კომპიუტერული ღირებულება სამი მეთოდები პრიალდიული მოდელის შედარებით შედარებით შედარებით შედარებით. ამჟამად, ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამჟამად ამ a b c d c e f g h g i ბოლო ათწლეულებში, უზარმაზარი გაუმჯობესება გააუმჯობესდა Hines მეთოდის გამოყენებით პარამეტრების მეთოდები ცილის დონეზე, რომელიც საშუალებას გაძლევთ პარამეტრების კომპიუტერის სხვადასხვა ნაწილები თითოეული ცილის. , , , , , ამჟამად, ამჟამად მობილური დონეზე პარამეტრების მეთოდები ხშირად არ აქვს ეფექტური პარამეტრების სტრატეგიას ან არ აქვს საკმარისი ნომერი სიზუსტით, ვიდრე პირველი Hines მეთოდები. 27 28 29 30 31 32 აქ, ჩვენ განვითარებთ სრულიად ავტომატური, ციფრული სიზუსტით და ოპტიმიზებული სმულაცია ინსტრუმენტი, რომელიც შეიძლება მნიშვნელოვანია გააუმჯობესოს კომპიუტერული ეფექტურობის და შეამციროს კომპიუტერული ღირებულება. გარდა ამისა, ეს სმულაცია ინსტრუმენტი შეიძლება შეუწყოს და ტესტირება ნერვული ქსელები biological დეტალები მანქანული სასწავლო და AI განაცხადების. ძირითადად, ჩვენ ფორმირება პარამეტრების კომპიუტერული კომპიუტერაცია Hines მეთოდი, როგორც მატამტიკური სტაბილაციის პრობლემა და შექმნათ Dendritic Hierarchical Scheduling (DHS) მეთოდი დაფუძნებული კომბინატორიული ოპტიმიზაცია Parallel Computing θεωρία ჩვენ აჩვენებთ, რომ ჩვენი ალგორტიმი უზრუნველყოფს ოპტიმიზირებული გარიგება ნებისმიერი სიზუსტით დაკარგული გარეშე. გარდა ამისა, ჩვენ გაუმჯობესებთ DHS- ს ამჟამად ყველაზე მოწინავე GPU ჩიპზე, იღებს GPU- ის მახასიათებლები და მახასიათებლები. ერთად, DHS- ს შეუძლია გააუმჯობესოს კომპიუტერებს 60-1,500 წუთი (დაწვრილებით, დამატებითი მაგიდა) ) შედარებით კლასიკური Simulator Neuron შეინარჩუნეთ იგივე სიზუსტით. 33 34 1 25 იმისათვის, რომ გაძლევთ დეტალური dendritic Simulations გამოყენების AI, ჩვენ შემდეგ შექმნა DeepDendrite Framework მიერ ინტეგრირებული DHS- ის ინტეგრირებული CoreNEURON პლატფორმა (ოპტიმიზებული კომპიუტერული საავტომობილო NEURON) როგორც Simulation Engine და ორი მხარდაჭერა მოდულები (I/O მოდულები და Learning მოდულები) მხარდაჭერა dendritic სასწავლო ალგორტატები Simulations. DeepDendrite მუშაობს GPU hardware პლატფორმა, მხარდაჭერა ორივე რეგულარული Simulation სამუშაოები neuroscience და სასწავლო სამუშაოები AI. 35 DeepDendrite- ის გამოყენებით ჩვენ ასევე გთავაზობთ რამდენიმე განაცხადებს, რომლებიც მიუთითებენ ზოგიერთი ძირითადი პრობლემები ნეიროზინაში და AI- ში: (1) ჩვენ განიხილებთ, თუ როგორ დენდრიტიკური ტვინის ინტენსიების სართული მოდელები ეფექტურობენ ნეირონის საქმიანობას ნეირონებში, რომლებიც შეიცავს ტვინის მთელი დენდრიტიკური ტვინის მასშტაბით (full-spine მოდელები). DeepDendrite- ის საშუალებას გაძლევთ ნეირონური კომპიუტერების შეამოწმოებას ნერონული ნეირონონის მოდულში ~25,000 დენდრიტიკური ტვინის მასშტაბით. (2) ამ განხილვისას ჩვენ ასევე ვფიქრობთ DeepDendrite- ის ყველა წყარო კოდი, full-spine მოდელები და დეტალური dendritic ქსელის მოდელი პოპულარულად ხელმისაწვდომია ონლაინში (იხილეთ კოდი ხელმისაწვდომობა). ჩვენი open-source სასწავლო framework შეიძლება ადვილად ინტეგრირებული იყოს სხვა dendritic სასწავლო წესები, როგორიცაა სასწავლო წესები nonlinear (full-active) dendrites Burst-dependent synaptic პლასტიკა და სწავლა spike პროგნოზი საერთო, ჩვენი კვლევა უზრუნველყოფს სრული კომპლექტი ინსტრუმენტები, რომლებიც შესაძლებელია შეცვალოს მიმდინარე კომპიუტერული neuroscience საზოგადოების ოკსიპედია. გამოყენებით ძალა GPU კომპიუტერის, ჩვენ ვფიქრობთ, რომ ეს ინსტრუმენტები დაეხმარება სისტემის დონეზე კვლევა კომპიუტერული პრინციპები ტვინის მინიმალური სტრუქტურები, ისევე როგორც გაუმჯობესოს ინტერაქტიის შორის neuroscience და თანამედროვე AI. 21 20 36 შედეგები Dendritic Hierarchical Scheduling (DHS) მეთოდი კომპიუტერული იონური წნევა და გადაწყვეტა ხაზოვანი შეზღუდვები არის ორი მნიშვნელოვანი ფაზები, როდესაც Simulating biophysically დეტალური ნეიროონები, რომელიც არის დროული და შეიცავს მძიმე კომპიუტერული წნევა. ბედნიეროდ, კომპიუტერული იონური წნევა თითოეული კაბინეტი არის სრულიად დამოუკიდებელი პროცესი, ასე რომ მას შეუძლია ბუნებრივ პარამეტრების მოწყობილობები მასალური პარამეტრი კომპიუტერული ერთეული, როგორიცაა GPUs მას შემდეგ, რაც ხარისხის შეზღუდვა გადაიხადოს, ხარისხის შეზღუდვა გადაიხადოს (Fig. ) და 37 1A–F ამ ბოთლიკური შეზღუდვის გაუმჯობესებლად მობილური დონეზე პარამეტრების მეთოდები შეიმუშეს, რომლებიც ერთ-ერთი ცილის კომპიუტერის გაუმჯობესებას გაუმჯობესებენ, რათა ერთი ცილის “სამთავრებას” რამდენიმე პარამეტრს, რომელიც შეგიძლიათ კომპიუტერული კომპიუტერები გაუმჯობესოს. , , თუმცა, ასეთი მეთოდები მნიშვნელოვნად დამოკიდებულია წინასწარ ცოდნა, რათა შექმნათ პრაქტიკული სტრატეგიები, თუ როგორ უნდა გაზიაროთ ერთი ნეირონი პარამეტრები (მაგ. დამატებითი Fig. მას შემდეგ, რაც ეს იღებს ნაკლებად ეფექტური ნერვონებს, რომლებიც არმამეტრიული morphologies, მაგალითად, pyramidal ნერვონები და Purkinje ნერვონები. 27 28 38 1 გ 1 ჩვენ მიზნით, რათა განვითარდეს უფრო ეფექტური და სიზუსტით პარამეტრი მეთოდი simulation ბიოლოგიურად დეტალური ნერვული ქსელების. პირველი, ჩვენ შექმნათ კრეტიფიკატები სიზუსტით ცილის დონეზე პარამეტრი მეთოდი. დაფუძნებული teories in პარამეტრი კომპიუტერის , ჩვენ გთავაზობთ სამი პირობები, რათა უზრუნველყოს, რომ პარამეტრების მეთოდები აწარმოებს იგივე გადაწყვეტილებები, როგორიცაა სერიაფიკური კომპიუტერული Hines მეთოდის მიხედვით მონაცემთა დამოკიდებულება Hines მეთოდში (იხილეთ მეთოდები). შემდეგ teorically assess the run time, ეს არის, ეფექტურობა, სერიაფიკური და პარამეტრების კომპიუტერული მეთოდები, ჩვენ გთავაზობთ და ფორმირებთ კონცეფცია კომპიუტერული ღირებულება, როგორც ნაბიჯების რაოდენობა მეთოდის გადაწყვეტში (იხილეთ მეთოდები). 34 Simulation სიზუსტით და კომპიუტერული ღირებულება, ჩვენ ფორმირება parallelization პრობლემა, როგორც მექანიკური გრაფიკული პრობლემა (იხილეთ მექანიკაციები). მარტივად, ჩვენ ვხედავ ერთი ნეილონი, როგორც ფერი მრავალი ღონისძიებები (შემატები). პლატფორმა, ჩვენ შეგვიძლია კომპიუტერები ყველაზე თითოეული ნაბიჯში, მაგრამ ჩვენ უნდა უზრუნველყოს, რომ ნიმუში შეფასება მხოლოდ იმ შემთხვევაში, თუ ყველა მისი ბავშვთა ნიმუში შეუშავებულია; ჩვენი მიზანია, რომ იპოვოთ სტრატეგიას, რომელიც შეიცავს მინიმალური ნომერი ნიმუში მთელი პროცესი. k k ჩვენ გთავაზობთ გზა, რომელიც გამოიყენება Dendritic Hierarchical Scheduling (DHS) (თეტიკური გამოცდილება გთავაზობთ Methods). DHS- ის ძირითადი იდეა არის ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად ღრმად DHS მეთოდი მოიცავს ორი ნაბიჯებს: ანალიზი dendritic ტოპოლოგია და იპოვოს საუკეთესო partition: (1) მონაცემებით დეტალური მოდელი, ჩვენ პირველი მიიღებთ მისი corresponding dependency tree და დააყენოთ სიზუსტით თითოეული ღილაკს (შემოთობის ღილაკს არის რაოდენობა მისი ასაკის ღილაკები) ღილაკს (გ. 2) მას შემდეგ, რაც topology ანალიზი, ჩვენ შეამოწმეთ კლიენტებს და აირჩიეთ მაქსიმალურად უმაღლესი კლიენტური ღონისძიებები (კონდი არის კლიენტური მხოლოდ თუ ყველა მისი ბავშვთა ღონისძიებები დამუშავებული არიან). ეს პროცესი გაგრძელდება, სანამ ყველა ღონისძიებები დამუშავებულია (გ. ) და 2A 2B და C k 2d DHS ოპერაციები, DHS ოპერაციები ყველაზე მგრძნობიარე კლიენტური nodes თითოეული iteration. განიხილება, თუ როგორ უნდა დააკმაყოფილოს პორტატული მოდელის ღონისძიება. მოდელი პირველ რიგში კონვერტებულია ხის სტრუქტურაში, მაშინ თითოეული ღონისძიების ღონისძიება დააკმაყოფილია. ფერები აჩვენებენ განსხვავებული ღონისძიებების ღირებულებები. Topology ანალიზი სხვადასხვა ნეირონი მოდელები. Six ნეირონიები განსხვავებული morphologies ჩვენება აქ. თითოეული მოდელი, soma აირჩიეთ, როგორც root of the tree ასე რომ გლუვი ღილაკს იზრდება soma (0) to distal dendrites. DHS- ის შესრულების მოდელი in კლიენტები: ღილაკები, რომლებიც შეიძლება დამუშავდეს. შერჩეული ღილაკები: ღილაკები, რომლებიც DHS- ის მიერ შერჩეული არიან. ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად, ამჟამად. DHS- ის მიღებული პარამეტრების სტრატეგიის შემდეგ პროცესში DHS შემცირებს სერიაფიკაციის ნომერი დამუშავების ნაბიჯებს 14-დან 5-ზე, გათავისუფლების ნომრები მრავალფეროვანი ნომერი. Relative Cost, ეს არის DHS- ის კომპიუტერული ღირებულების თანხა Hines- ის მეთოდის თანხა, როდესაც DHS- ის გამოყენება განსხვავებული ნიმუში სხვადასხვა ნიმუში. a k b c d b k e d f მაგალითად, გამოყენებით სერიაფიკური კომპიუტერული Hines მეთოდის, ეს იღებს 14 ნაბიჯებს ყველა ნომრები, ხოლო გამოყენებით DHS ერთად ოთხი პარამეტრი ერთეული შეიძლება partition მისი ნომრები 5 ნომრები (მაგ. ) და 2d 2E შემდეგი, ჩვენ გამოიყენოთ DHS მეთოდი 6 რეპუტატული დეტალური ნეირონის მოდელები (სირჩიეთ ModelDB-დან) ) განსხვავებული რაოდენობით სარეცხი (Fig. ) :, მათ შორის კორტიკური და hippocampal pyramidal ნერვონები , , Cerebellar Purkinje ნერვონები Striatal Projection Neurons (SPN) - სტრიატური პროექციური ნეირონი ), და olfactory bulb mitral cells ჩვენ შემდეგ შეამციროს კომპიუტერული ღირებულება. Relative კომპიუტერული ღირებულება აქ განკუთვნილია თანხა კომპიუტერული ღირებულება DHS, რომ სერია Hines მეთოდის. კომპიუტერული ღირებულება, ეს არის, რაოდენობით ნაბიჯები გადაწყვეტა შეზღუდვები, მინიმუმ ზრდის ნავთობის ნომრები. მაგალითად, 16 ნავთობის, კომპიუტერული ღირებულება DHS არის 7%-10% შედარებით სერია Hines მეთოდის. საინტერესო, DHS მეთოდის მიაღწია ქვემოთ ხაზები მათი კომპიუტერული ღირებულება გამოქვეყნებული ნავთობის, როდესაც მიერ 16 ან კიდევ 8 პარამეტრი ნავთობის (მაგ. ), გთავაზობთ, რომ უფრო მეტი სარეცხი დამატება არ გაუმჯობესებს შესრულებას უფრო მეტი, რადგან dependencies შორის სარეცხი ნაწილები. 39 2f 40 41 42 43 44 45 2f DHS მეთოდი, რომელიც საშუალებას იძლევა ავტომატური ანალიზი dendritic ტოპოლოგია და ოპტიმიზირებული partition for parallel computing. მნიშვნელოვანია, რომ DHS იპოვებს ოპტიმიზირებული partition სანამ Simulation დაიწყო, და არ არის საჭირო დამატებითი კომპიუტერები გადაწყვეტილებების შედარებით. გააუმჯობესება DHS by GPU memory boosting DHS კომპიუტერებს თითოეული ნერვონი მრავალფეროვანი ნერვებში, რომლებიც ნერვული ქსელის მოდულების გაკეთების დროს დიდი რაოდენობით ნერვებს იყენებენ. გრაფიკული დამუშავების ერთეული (GPUs) შედგება დიდი დამუშავების ერთეული (მაგ. სინათლის პროცესორები, SPs, Fig. 1). Parallel კომპიუტერები teorically, ბევრი SPs on the GPU should support efficient simulation for large-scale neural networks (მაგ. ) თუმცა, ჩვენ მუდმივად შეამოწმოთ, რომ DHS- ის ეფექტურობა მნიშვნელოვანია შემცირდა, როდესაც ქსელის ზომა ზრდა, რაც შეიძლება იყოს გამოწვეული ფართო მონაცემთა შენახვის ან დამატებითი მეხსიერების ხელმისაწვდომობის გამო, რომელიც გამოწვეულია საწყისი შედეგების ჩამოტვირთვა და ჩაწერება (მაგ. და შეთავაზება) 3A და B 46 3c 3d GPU არქიტექტურა და მისი მეხსიერება. თითოეული GPU შეიცავს დიდი დამუშავების ერთეულებს (პროზერები). სხვადასხვა სახის მეხსიერება განსხვავდება. არქიტექტურა Streaming Multiprocessors (SMs). თითოეული SM შეიცავს მრავალფეროვანი streaming პროცესორები, რეგისტრატორები და L1 cache. DHS- ის გამოყენება ორი ნეილონიზე, თითოეული მათთან ერთად ოთხი სინათლისა. სინათლის დროს თითოეული სინათლის შესრულება ერთი სინათლის პროცესორზე. გრაფიკულ პანელიზე მეხსიერების ოპტიმიზაციის სტრატეგია. DHS- ის ზედა პანელი, სარეკლამო და მონაცემთა შენახვა, მეხსიერების გაუმჯობესების წინასწარ (შესაბათს) და შემდეგ (შესაბათს) მეხსიერების გაუმჯობესება. ქვემოთ, მაგალითად, ერთი ნაბიჯა Triangularization- ში, როდესაც Simulating Two Neurons in მონაცემთა მოთხოვნების გადაცემა მონაცემთა მოთხოვნით, რათა მონაცემები დატვირთოთ თითოეული ქსელი გლობალური მექანიზმისგან. მექანიზმის გაუმჯობესების გარეშე (შესაბათს), ყველა მოთხოვნების მონაცემების და ზოგიერთი დამატებითი გადაცემის გაუმჯობესება მოთხოვნების მონაცემების გაუმჯობესებისთვის. მექანიზმის გაუმჯობესება (ესაბათს), ყველა მოთხოვნების მონაცემების გაუმჯობესება მხოლოდ ორი გადაცემის გაუმჯობესება, რეგისტრაციები გამოიყენება მექანიზმის შედეგებისთვის, რაც გაუმჯობესებს მექანიზმის გაუმჯობესებას. Runtime of DHS (32 thread each cell) with and without memory boosting on multiple layer 5 pyramidal models with spines. გააუმჯობესება მეხსიერების გაუმჯობესება მრავალფეროვანი 5 pyramidal მოდელები ერთად spin. მეხსიერების გაუმჯობესება გაუმჯობესება 1.6-2 წუთი. a b c d d e f ამ პრობლემას გადაიხადეთ GPU მეხსიერების გაუმჯობესება, მეხსიერების გაუმჯობესების მეთოდი GPU- ის მეხსიერების ჰიერერარგიის და ხელმისაწვდომობის მექანიზმის გამოყენებით. GPU- ის მეხსიერების გაუმჯობესების მეხსიერების მეხსიერების მიხედვით, გაუმჯობესებული და გაუმჯობესებული მონაცემების გაუმჯობესება გაუმჯობესებს მეხსიერების გაუმჯობესებას, ვიდრე გაუმჯობესებული მონაცემების გაუმჯობესება, რაც შეამციროს მეხსიერების გაუმჯობესებას. , დასაწყისი, ჩვენ შეესაბამება კომპიუტერული ბრძანებებს ღილაკების და rearrange ღილაკები მიხედვით რაოდენობის ღილაკები მათ. შემდეგ ჩვენ გადამცემა მონაცემთა შენახვის გლობალური მახასიათებლები, რომელიც შეესაბამება კომპიუტერული ბრძანებებს, ეს არის, ღილაკები, რომლებიც დამუშავებულია იგივე ნაბიჯში მახასიათებლები მახასიათებლები გლობალური მახასიათებლები. გარდა ამისა, ჩვენ გამოიყენოთ GPU რეგისტრატორები შენახვა საშუალო შედეგები, შემდგომი გაუმჯობესება მახასიათებლები. მაგალითად, მახასიათებლები გაუმჯობესება მოითხოვს მხოლოდ ორი მახასიათებლები, რათა დატვირთ გარდა ამისა, ექსპერიმენტები მრავალჯერადი რაოდენობით pyramidal neurons ერთად spin და ტიპიური neuron მოდელები (გ. დამატებითი Fig. ) აჩვენებს, რომ მეხსიერების გაუმჯობესება იძლევა 1.2-3.8-ჯერ უფრო სწრაფად, ვიდრე ნეიური DHS. 46 47 3d 3E და F 2 DHS- ის შესრულების შეამოწმებლად GPU- ის მეხსიერების გაუმჯობესების გამოყენებით, ჩვენ აირჩიეთ 6 ტიპიური ნეიროონების მოდელები და შეფასებთ კაბელი სიზუსტების გადაწყვეტილებების შესრულების დრო თითოეული მოდელის დიდი რაოდენობით (მაგ. ). ჩვენ შეამოწმოთ DHS ერთად ოთხი მავთულები (DHS-4) და ოთხი მავთულები (DHS-16) თითოეული ნეირონი, შესაბამისად. შედარებით GPU მეთოდის CoreNEURON, DHS-4 და DHS-16 შეიძლება გააუმჯობესოს დაახლოებით 5 და 15 წუთი, შესაბამისად (ფილები. გარდა ამისა, შედარებით კონდიციონალური სერიაული Hines მეთოდის NEURON- ში, რომელიც იყენებს ერთ-ერთი CPU- ს, DHS გააუმჯობესებს Simulation- ის 2-3 დონეზე (დაწვრილებით. ), ხოლო შეინარჩუნება იგივე ნომერი სიზუსტით присутствие მშრალი spines (ფილამენტური Figs. და ), ფუნქციონალური dendrites (ფექტუალური Fig. ) and different segmentation strategies (Supplementary Fig. ) და 4 4A 3 4 8 7 7 CoreNEURON: პრაქტიკული მეთოდი, რომელიც გამოიყენება CoreNEURON; DHS-4: DHS ერთად ოთხი ნეირონი თითოეული ნეირონი; DHS-16: DHS ერთად 16 ნეირონი თითოეული ნეირონი. და DHS-4 და DHS-16- ის partition- ის ვიზუალიზაცია, თითოეული ფერი აჩვენებს ერთი სარეცხი. კომპიუტერის დროს თითოეული სარეცხი განსხვავებს სხვადასხვა სარეცხი სარეცხი სარეცხი. a b c DHS შექმნათ ცილის ტიპის კონკრეტული ოპტიმიზირებული partitioning DHS მეთოდის მუშაობის მექანიზმების მიმოხილვა, ჩვენ ვიზუალიზებული partitioning პროცესი მეშვეობით mapping პარამეტრები თითოეული სინათლის (შვეობით თითოეული ფერი წარმოადგენს ერთი სინათლის Fig. ). ვიზუალიზაცია აჩვენებს, რომ ერთი სინათლის ხშირად ცვლილება სხვადასხვა სინათლის შორის (გ. Interestingly, DHS აწარმოებს შეესაბამებული partitions in morphologically symmetric neurons such as the striatal projection neuron (SPN) and the Mitral cell (მაგ. ). გარდა ამისა, ის იწვევს morphologically asymmetric neurons, როგორიცაა pyramidal neurons და Purkinje ცილი (მაგ. ), რომელიც აჩვენებს, რომ DHS გაზიარებს ნეირორალური თხევადი თითოეული პარტნიორული ზომის (მაგ., თხევადი ღონისძიება) ვიდრე ფართო ზომის. ეს ცილის ტიპის სპეციფიკაციური სინათლის გაზიარება საშუალებას აძლევს DHS სრულიად გამოიყენოთ ყველა ხელმისაწვდომი თხევადი. 4B და C 4B და C 4B და C 4B და C DHS და მეხსიერების გაუმჯობესება აწარმოებს ფიზიკურად გამოცდილი ოპტიმიზალური გადაწყვეტილებები ხარისხის შედარებით ხარისხის გადაწყვეტზე. ამ პრინციპი გამოყენებით, ჩვენ აშენდა Open-access DeepDendrite პლატფორმა, რომელიც შეიძლება გამოიყენოს ნეიროზისტები მოდულების განლაგება გარეშე კონკრეტული GPU პროგრამირების ცოდნა. ქვემოთ, ჩვენ გთავაზობთ, თუ როგორ ჩვენ შეგვიძლია გამოიყენოთ DeepDendrite neuroscience სამუშაოები. ჩვენ ასევე განიხილავთ პოტენციას DeepDendrite Framework AI-related სამუშაოები სექციაში. DHS საშუალებას იძლევა spin-level მოდელი როგორც dendritic spines მიიღოს ყველაზე excitatory input to cortical და hippocampal pyramidal ნერვონები, striatal პროგნოზი ნერვონები, და ა.შ., მათი morphologies და პლასტიკა მნიშვნელოვანია რეგულარული ნერვული excitability , , , , თუმცა, სქემები ძალიან მცირე ( ~ 1 μm სიგრძე) შეიძლება პირდაპირი შეზღუდული ექსპერიმენტური დაკავშირებით ძაბვის დამოკიდებული პროცესები. ასე რომ, ფიზიკური მუშაობა მნიშვნელოვანია სრული განიხილება სქემის კომპიუტერები. 10 48 49 50 51 ჩვენ შეგვიძლია მოდელი ერთი სითბოს ორი ნაწილები: სითბოს მთავარი, სადაც synapses მდებარეობს და სითბოს კურსი, რომელიც შეუერთებს სითბოს მთავარი dendrites The theory predicts that the very thin spinal neck (0.1-0.5 um დიამეტრი) electronically isolates the spinal head from its parent dendrite, ასე compartmentalizing the signals generated at the spinal head თუმცა, დეტალური მოდელი სრულიად გაფართოებული spines on dendrites (“full-spine მოდელი”) არის კომპიუტერული ძალიან ძვირი. საერთო კომპიუტერული გადაწყვეტილება არის შეცვალოთ capacitance და წინააღმდეგობის membrane მიერ Spine ფაქტორი ამ შემთხვევაში, როგორც წაიკითხა, ყველა ფორმულა განიცდიან. აქ Spine Factor მიზნით ეფექტი spin on biophysical თვისებები უჯრედის membrane . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , ჩვენ შეამოწმოთ, თუ როგორ განსხვავებული ფართო მოდელები excitatory ინტენსიები შექმნილია dendritic spines ფორმირება ნერვული საქმიანობა human pyramidal ნერვული მოდელი ერთად გამოხატული spines (გ. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d შეამოწმოთ ორი ძირითადი ტიპის მოდელები: მცირე სქემის მოდელები და სრული სქემის მოდელები. მცირე სქემის მოდელები (სქემის ორი მხარეს) არის მოდელები, რომლებიც გლობალური სქემის ტერიტორიაზე გლობალური dendrites და მხოლოდ შეესაბამება თითოეული სქემის ერთად ინტეგრირებული სქემის. სრული სქემის მოდელები (სქემის ორი მხარეს), ყველა სქემის სპეციფიკურად შეესაბამება მთელი dendrites. ჩვენ შეამოწმოთ ეფექტებს კრისტრირებული და მოდელი-სქემის მოდელები და სრული სქემის მოდელები, შესაბამისად. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d DeepDendrite პლატფორმაში, ორივე სრული პლატფორმა და პატარა პლატფორმა მოდელები გააკეთა 8 წუთი სიჩქარით, ვიდრე CoreNEURON GPU პლატფორმაზე და 100 წუთი სიჩქარით, ვიდრე სერიაული NEURON CPU პლატფორმაზე. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks ჩვენ აჩვენებთ, რომ DeepDendrite შეუძლია მხარს უჭერს ორივე ნეიროზიაული სმულატები და AI- ის დაკავშირებული დეტალური ნეიროზიაული ქსელის ქსელის ქსელები შეუზღუდავი სიჩქარით, ასე რომ მნიშვნელოვანია გაუმჯობესოს დეტალური ნეიროზიაული სმულატები და პოტენციურად მომავალში AI- ის ექსპერიმენტებს. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , მას შემდეგ, რაც შემდგომი ოპტიმიზაცია, GPU-based მეთოდები მიიღოს უფრო მაღალი ეფექტურობის ქსელის Simulation. თუმცა, კომპიუტერები სართულებში ჯერ კიდევ სერიაფიკური ქსელის დონეზე მეთოდები, ასე რომ ისინი ჯერ კიდევ არ შეუძლიათ გააკეთოს პრობლემა, როდესაც “Hines Matrix” თითოეული სართულები დიდი. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , მასშტაბით, როგორც მაღალი input impedance, ერთ-ერთი synaptic input შეიძლება მოვუწოდოს “გიბანტიული” EPSP ( ~ 20 mV) at the spine-head level. , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , უახლესი, in vivo შეტყობინებები ღრმა ან ქცევის მილები უზრუნველყოფს ძლიერი ინსტრუქციები, რომ dendritic spikes / plateau პოტენციები მნიშვნელოვანია orientation selectivity in Visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 Dendrites და ცხოველთა (და მათ შორის ადამიანის) ქცევის მოდელები შორის კურსიული ურთიერთობა დადგება, დიდი ზომის biophysically დეტალური ნეიროლის ქცევის მოდელები არის ძლიერი კომპიუტერული ინსტრუმენტი ამ მიზნით. თუმცა, ფართო ზომის დეტალური ქცევის მოდელი 10 000-100 000 ნეირონი, როგორც წესი, მოითხოვს supercomputers კომპიუტერული ძალა. ეს არის კიდევ უფრო რთული, რათა გაუმჯობესოთ ასეთი მოდელები in vivo მონაცემებს, რადგან მას მოითხოვს მოდელები. DeepDendrite Framework შეუძლია პირდაპირ მხარს უჭერს მრავალი სტანდარტული დიდი ქცევის მოდელები , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ამ ქსელის ეფექტური სასწავლო შესაძლებლობები სურათების კლასისზაციის სამუშაოები, მიღების დაახლოებით 25-ჯერ სიჩქარე შედარებით სასწავლო ტრადიციული CPU დაფუძნებული პლატფორმა (მაგ. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. მინი-ბარიფის ტრენინგი. მრავალჯერადი ქსელები იმიტომ, რომ განსხვავებული სურათები როგორც ინტენსიები. საერთო წონის განახლებები ΔW ითვლება ΔWi- ის საშუალო მიხედვით თითოეული ქსელისგან. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simulation ერთად DHS CoreNEURON simulator ( ) uses the NEURON არქიტექტურა და არის ოპტიმიზირებული ორივე მეხსიერების გამოყენების და კომპიუტერული სიჩქარით. ჩვენ განახლებთ ჩვენი Dendritic Hierarchical Scheduling (DHS) მეთოდი CoreNEURON გარემოში მისი წყარო კოდი განახლება. ყველა მოდელები, რომლებიც შეუძლიათ შეიმუშავება GPU ერთად CoreNEURON შეიძლება ასევე შეიმუშავება DHS მიერ შემდეგი ბრძანება: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v Vi c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ » ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset შეამოწმოთ, თუ ეს არ არის ნაქსოვი (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, რაც იმას ნიშნავს, რომ ღონისძიება მხოლოდ მას შემდეგ, რაც ყველა მისი ბავშვები დამუშავებულია, რაც შეესაბამება პირობას 2: Triangularization, ღონისძიება შეუძლია დამუშავებული თუ და მხოლოდ თუ ყველა მისი ბავშვები ღონისძიებები უკვე დამუშავებული. Back-substitution, კომპიუტერული ბრძანება არის განსხვავებული, რომ Triangularization, ეს არის, from to . As shown before, the child nodes of all nodes in are in { , , … are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset და ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to თუ ზოგიერთი ნომერი არ არის is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi VI Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | » and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + წერილი ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6b V * და k Qi V*i 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in ერთად The -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V * და k Qi P* V P* V V * და P* V P* V In conclusion, DHS generates a partition ( ), and all subsets ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) იგივე შემდეგ, რაც განახლება. ასე რომ, partition ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P* V P V P* V | P V GPU implementation and memory boosting To achieve high memory throughput, GPU utilizes the memory hierarchy of (1) global memory, (2) cache, (3) register, where global memory has large capacity but low throughput, while registers have low capacity but high throughput. We aim to boost memory throughput by leveraging the memory hierarchy of GPU. GPU employs SIMT (Single-Instruction, Multiple-Thread) architecture. Warps are the basic scheduling units on GPU (a warp is a group of 32 parallel threads). A warp executes the same instruction with different data for different threads . Correctly ordering the nodes is essential for this batching of computation in warps, to make sure DHS obtains identical results as the serial Hines method. When implementing DHS on GPU, we first group all cells into multiple warps based on their morphologies. Cells with similar morphologies are grouped in the same warp. We then apply DHS on all neurons, assigning the compartments of each neuron to multiple threads. Because neurons are grouped into warps, the threads for the same neuron are in the same warp. Therefore, the intrinsic synchronization in warps keeps the computation order consistent with the data dependency of the serial Hines method. Finally, threads in each warp are aligned and rearranged according to the number of compartments. 46 მას შემდეგ, რაც გრაფიკული მექანიზმი და გრაფიკული მექანიზმი, მას შეუძლია სრულიად გამოიყენოთ cache, რომელიც იწვევს მაღალი მექანიზმი გადაცემა, ხოლო ხელმისაწვდომი scatter-შემატარული მონაცემები შეამციროს მექანიზმი გადაცემა. მას შემდეგ, რაც პარტნიორები გადაცემა და thread rearrangement, ჩვენ გადაცემა მონაცემები გრაფიკული მექანიზმი, რათა იგი შეესაბამება კომპიუტერული ბრძანებებს, ასე რომ გრაფიკული მექანიზმი შეუძლია გადაცემა შემდგომი გადაცემა მონაცემები, როდესაც პროგრამა გაკეთება. გარდა ამისა, ჩვენ დააყენოთ საჭირო დროული მოდული რეგისტრატორები, ვიდრე გრაფიკული მექანი Full-spine და few-spine biophysical მოდელები We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. ყველა ეს კონკრეტული პარამეტრები დააყენა იგივე როგორც მოდელი Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, მაქსიმალური სინპტიკური კონდიქტენცია max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the -th synapse of the -th input neuron on neuron ), where is the synaptic conductance, არის synaptic წონა, არის ReLU-მაგული somatic activation ფუნქცია, და არის somatic წნევა -th input neuron at time . 51 c r r E k i j 4 Go მთავარი Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), სადაც is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i yi yi i yi When training HPC-Net, we compute the update for weight (სანიპტიკური წონა -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, როგორც წაიკითხა Eq. ( ): სანაპირო k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, S = 30 მმ e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j იურიდიული k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch სასწავლო არის ტიპიური მეთოდი Deep Learning- ში, რათა მიიღოთ მაღალი პროგნოზი სიზუსტით და გააუმჯობესოს კონვერტაცია. DeepDendrite ასევე მხარს უჭერს mini-batch სასწავლო. როდესაც სასწავლო HPC-Net ერთად mini-batch ზომა batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net HPC-Net- ის robustness- ის მიმოხილვა, ჩვენ ტესტირება მისი პროგნოზი სიზუსტით adversarial ნიმუში და შედარებით იგი ანალოგური ANN (ერთი ერთად იგივე 784-64-10 სტრუქტურა და ReLU დატენვის, ბედნიერი შედარებით ჩვენი HPC-Net- ში, თითოეული ინტენსიური ნეირონი მხოლოდ ერთ synaptic კავშირი თითოეული ჩართული ნეირონი). ჩვენ პირველი ტრენინგი HPC-Net და ANN ერთად Original Training Set (original Clean Images). შემდეგ ჩვენ დაამატა adversarial ტესტი კომპლექტი და შეზღუდული მათი პროგნოზი სიზუსტით ღუმელი ტესტი კომპლექტი. ჩვენ გამოიყენება Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 შეტყობინება Further information on research design is available in the linked to this article. Nature Portfolio ანგარიშები Data availability მონაცემები, რომლებიც მხარს უჭერს ამ კვლევის შედეგებს, ხელმისაწვდომია დოკუმენტში, დამატებითი ინფორმაცია და წყარო მონაცემთა ფაილი, რომელიც ამ დოკუმენტში მიწოდება. წყარო კოდი და მონაცემები, რომლებიც გამოიყენება შედეგების რეპუტაცია Fig. – are available at . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at . ეს ქაღალდი უზრუნველყოფა. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability DeepDendrite წყარო კოდი, ისევე როგორც მოდელები და კოდი, რომელიც გამოიყენება Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. სტრატეგიული კომბინირება იდეები, რომელიც მორგებულია ნერვული საქმიანობის. Bull. Math. Biophys. 5, 115–133 (1943). LeCun, Y., Bengio, Y. და Hinton, G. Deep learning. ბუნება 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 ლონდონში, M. და Häusser, M. Dendritic კომპიუტერაცია. Annu. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. ერთი dendritic ფართობი როგორც ძირითადი ფუნქციური ერთეული ნერვული სისტემაში. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritic integration: 60 years of progress. , 1713–1721 (2015). Nat. Neurosci. 18 P. Poirazi, P. & Papoutsi, A. Dendritic ფუნქციების გაუმჯობესება კომპიუტერული მოდელები. Nat. Rev. Neurosci. 21, 303–321 (2020). Yuste, R. & Denk, W. Dendritic spines როგორც ძირითადი ფუნქციური ერთეული ნეირონის ინტეგრირება. ბუნება 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. Dendritic ქსელის ცვლილებები, რომელიც დაკავშირებულია hippocampal ხანგრძლივი synaptic plasticity. ბუნება 399, 66–70 (1999). Yuste, R. Dendritic spines და გაფართოებული circuits. Neuron 71, 772–781 (2011). Yuste, R. ელექტრო compartmentalization in dendritic spin. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. დენდრიტიკური თევზი და motoneuron membrane resistivity. Exp. Neurol. 1, 491–527 (1959). Segev, I. და Rall, W. კომპიუტერული კვლევების გაფართოებული dendritic spin. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. Go- ის თამაშის გაუმჯობესება გლუვი ნერვული ქსელების და ხის კვლევის გამოყენებით. Nature 529, 484–489 (2016). Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. , 1140–1144 (2018). Science 362 McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 R. M. Catastrophic forgetting in connectivist networks. Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse ბრიზები გაუმჯობესებს ინფორმაცია გადაცემას multiplexed ნეიროლის კოდი. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits დაახლოებით backpropagation algorithm. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst- ის დამოკიდებული სინამპტიკური პლასტიკა შეუძლია იერანგიული circuits. Nat. Neurosci. 24, 1010–1019 (2021). Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. , 4001–4017 (2021). Neuron 109 Moldwin, T., Kalmenson, M. & Segev, I. Gradient clusteron: მოდელი ნეირონი, რომელიც გააკეთებს კლასიკური სამუშაოები გადაწყვეტა dendritic nonlinearities, სტრუქტურული პლასტიკური და gradient descent. PLoS Comput. Biol. 17, e1009015 (2021). Hodgkin, A. L. და Huxley, A. F. ხარისხის აღწერა მმერიანი წნევის და მისი განაცხადის მიწოდების და გაფართოების ნერვში. J. Physiol. 117, 500-544 (1952). Rall, W. Theory of physiological properties of dendrites. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. და Carnevale, N. T. Neural Comput. 9, 1179–1209 (1997). Bower, J. M. & Beeman, D. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (შეს Bower, J. M. & Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. სრულიად შეუზღუდავი პარამეტრიული Simulation ერთი ნეირონი. J. Comput. Neurosci. 25, 439–448 (2008). Ben-Shalom, R., Liberman, G. & Korngreen, A. გააუმჯობესება პარტნიორული მოდულების გრაფიკული დამუშავების ერთეული. front. Neuroinform. 7, 4 (2013). Tsuyuki, T., Yamamoto, Y. და Yamazaki, T. ეფექტური ნეირონის მოდულების ეფექტური მოდული გრაფიკული დამუშავების ერთეულებში. In Proc. 2016 საერთაშორისო კონფერენცია Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. & Vygen, J. 6 edn (Springer, 2018). Combinatorial Optimization Theory and Algorithms Gebali, F. algorithms და პარამეტრი კომპიუტერის (Wiley, 2011). Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. Learning by the dendritic prediction of somatic spiking. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. ოპტიმიზაციის იონური საკანელების მოდელები გამოყენებით პარამეტრი გენეტიკური ალგორტიმი გრაფიკული პროცესორები. J. Neurosci. მეთოდები 206, 183-194 (2012). Mascagni, M. პარამეტრიზაციის ალგორტიზაცია კომპიუტერული გადაწყვეტილებები arbitrarily გაფართოებული კაბელი ნეიროონის მოდელები. J. Neurosci. მეთოდები 36, 105–114 (1991). McDougal, R. A. et al. Twenty years of modelDB and beyond: building essential modeling tools for the future of neuroscience. , 1–10 (2017). J. Comput. Neurosci. 42 Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively ბლოკებს დროული შეზღუდვა არ სინქრონიზებული distal input in CA1 pyramidal ნეიროონები. J. Comput. Neurosci. 16, 5–13 (2004). Hemond, P. et al. განსხვავებული კლასები ფარმაცევტული კლიენტები გთავაზობთ ერთ-ერთი და ერთ-ერთი შეუზღუდავი ფარმაცევტული პორტატონები ჰიპოკამპლის ტერიტორიაზე CA3b. Hippocampus 18, 411–424 (2008). Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Models of neocortical layer 5b pyramidal cells capturing a wide range of dendritic and perisomatic active Properties. , e1002107 (2011). PLoS Comput. Biol. 7 Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. et al. Basal ganglia neuromodulation მრავალფეროვანი დროული და სტრუქტურული სიზუსტით - Simulations of direct pathway MSNs კვლევა სწრაფი დასაწყისში dopaminergic ეფექტები და პროგნოზი roll of Kv4.2. front. Neural Circuits 12, 3 (2018). Migliore, M. et al. Synaptic clusters ფუნქციონირება როგორც ხმა ოპერატორები ხმის ბურთი. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. სინამპტიკური გაუმჯობესება dendritic spin გაუმჯობესებს input cooperativity. ბუნება 491, 599–602 (2012). Chu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. მეცნიერება 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. სითბოს კურსი პლასტიკა რეგულარებს სინამპსის პარამეტრიზაცია. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. ფუნქცია dendritic spines: მოწყობილობები subserving biochemical ვიდრე ელექტრო compartmentalization. J. Neurosci. 13, 413–422 (1993). Koch, C. Dendritic spines. in Biophysics of Computation (Oxford University Press, 1999). Rapp, M., Yarom, Y. & Segev, I. ეფექტი პარამეტრი ბოჭკოვანი საფუძველზე საქმიანობის კაბელი თვისებები cerebellar purkinje ცილის. Neural Comput. 4, 518–533 (1992). Hines, M. ეფექტური კომპიუტერული გაფართოებული ნერვული შედარებით. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biologically inspired protection of deep networks from adversarial attacks. Preprint at (2017). https://arxiv.org/abs/1703.09202 Goddard, N. H. & Hood, G. Large-Scale Simulation Using Parallel GENESIS. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (დაახ Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel ქსელის სმულატები NEURON. J. კომპიუტერული Neurosci. 21, 119 (2006). Lytton, W. W. et al. Simulation neurotechnologies for advancing brain research: parallelizing large networks in NEURON. , 2063–2090 (2016). Neural Comput. 28 Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566–575 (IEEE, 2017). Akar, N. A. et al. Arbor — morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: გააუმჯობესება მრავალფეროვანი, ბიოფსიქიკურად დეტალური ნეირონი სმულატები GPUs. J. Neurosci. მეთოდები 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. An ultrascalable solution to large-scale neural tissue simulation. , 15 (2011). Front. Neuroinform. 5 Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama, J. და Yasuda, R. ბიოჰიმიური კომპიუტერები ქსელის სტრუქტურული პლასტიკა. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat, A. & Svoboda, K. გამოცდილება დამოკიდებული სტრუქტურული synaptic პლასტიკა მშრალი. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. სტრუქტურული პლასტიკა სწავლის დროს: რეგულარაცია და ფუნქციები. Nat. Rev. Neurosci. 13, 478–490 (2012). Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. გამოცდილება აძლევს მუდმივი სტრუქტურული ნაბიჯები კურსიკური circuits. ბუნება 457, 313–317 (2009). Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 XU, T. et al. სწრაფი შექმნა და სილამაზის სტაბილაცია მგრძნობიარე საავტომობილო მეშვეობით. ბუნება 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. Enhancing motor learning by increasing the stability of newly formed dendritic spines in the motor cortex. , 3298–3311 (2021). Neuron 109 Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. , 885–892 (2011). Neuron 69 Major, G., Larkum, M. E. & Schiller, J. Active properties of neocortical pyramidal neuron dendrites. , 1–24 (2013). Annu. Rev. Neurosci. 36 Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, influencing local dendritic processing and global I/O properties of cortical neurons. , 1550–1561 (2017). Cell Rep. 21 Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritic spikes გააუმჯობესოს სილამაზის selectivity in cortical neurons in vivo. ბუნება 503, 115–120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Calcium გადაზიდვის prevalence across the dendritic arbour პროგნოზი ადგილზე ფართო თვისებები. ბუნება 517, 200–204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. სტრუქტურული და ფუნქციონალური მონაცემების სტრუქტურული და ფუნქციონალური ინტეგრირება მილის primary visual cortex. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. შეიძლება ერთი ნეირონი დაეხმაროს საინტერესო მანქანა სწავლის პრობლემები შემდეგი კომპიუტერები მისი dendritic tree? Neural Comput. 33, 1554–1571 (2021). Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 XIAO, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: ახალი სურათის მონაცემთა სერტიფიკაცია მანქანა სწავლის ალგორტატების ბენშმარიკაციისთვის. წინასწარ ბეჭდვა http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox ნაქსოვი: სწრაფი კონდიციონერული თავმჯდომარე შედარებით robustness მანქანა სასწავლო მოდელები PyTorch, TensorFlow, და JAX. J. Open Source Softw. 5, 2607 (2020). პასკი, A. et al. PyTorch: imperative style, მაღალი ეფექტურობის deep learning library. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) აღიარება The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. ხელმისაწვდომია ბუნება
