مصنفین : Yichen Zhang Gan He لائی می Xiaofei Liu J. J. Johannes Hjorth کے بارے میں Alexander Kozlov کے بارے میں Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian کے ساتھ Sten Grillner Kai Du چاندی Huang مصنفین : جیون جیون گانا ہے لائی می لائیو لائیو J. J. Johannes Hjorth کے بارے میں Alexander Kozlov کے بارے میں یوٹیوب میں شینجین جیانگ جینٹ Hellgren Kotaleski Yonghong Tian کے ساتھ سٹین گرلر جب آپ چاندی Huang abstract کے بائیو فیزیکی طور پر تفصیلی multi-partment ماڈل دماغ کی کمپیوٹرز کے اصولوں کا تجربہ کرنے کے لئے طاقتور آلات ہیں اور یہ بھی مصنوعی ذہانت (AI) سسٹموں کے لئے الگورتھم پیدا کرنے کے لئے ایک نظریاتی فریم ورک کے طور پر خدمت کرتے ہیں. تاہم، مہنگی کمپیوٹرنگ کی لاگت نے نیورو سائنس اور AI میدانوں میں دونوں اطلاقات کو شدید حد تک محدود کیا ہے. تفصیلی کمرے کے ماڈل کی نمائش کے دوران اہم بوتلنگ ایک سمیٹر کی بڑی نظام کی لائن مساوات کو حل کرنے کی صلاحیت ہے. endriti کے جغرافیائی اس طرح کے عمل کو تیز کرنے کے لئے cheduling (DHS) طریقہ کار. ہم نظریاتی طور پر اس بات کا ثبوت دیتے ہیں کہ ڈی ایچ ایس اپلی کیشن کمپیوٹرز کے طور پر بہترین اور درست ہے. یہ GPU پر مبنی طریقہ کار عام CPU پلیٹ فارم میں کلاسیکی سیریز ہینس طریقہ کار کے مقابلے میں 2-3 مرتبہ زیادہ رفتار کے ساتھ کام کرتا ہے. ہم ایک DeepDendrite فریم ورک کی تعمیر کرتے ہیں، جس میں DHS طریقہ کار اور NEURON سمیٹر کے GPU کمپیوٹرنگ انجن کو منسلک کرتا ہے اور نیوروسائنس کے کاموں میں DeepDendrite کے اطلاقات کو ظاہر کرتا ہے. ہم تحقیق کرتے ہیں کہ کس طرح روایتی پیٹرن انٹرویو کے نمونے 25،000 سپین کے ساتھ ایک تفصیلی انسانی پیرامیڈل D H S انٹرویو نیورونز کے کوڈنگ اور کمپیوٹرنگ اصولوں کو ختم کرنا نیورو سائنس کے لئے ضروری ہے. مچھلیوں کے دماغوں کو ہزاروں سے زائد مختلف قسم کے نیورونز سے تشکیل دیا جاتا ہے جس میں منفرد morphological اور biophysical خصوصیات ہیں. جس میں نیورونز کو سادہ شمولیت یونٹس کے طور پر سمجھا جاتا تھا، اب بھی نیورل کمپیوٹرنگ میں وسیع پیمانے پر لاگو کیا جاتا ہے، خاص طور پر نیورل نیٹ ورک تجزیہ میں. تاہم، انفرادی نیورون کی سطح پر جامع کمپیوٹرز کے علاوہ، نیورونال ڈینڈریٹس کی طرح ذاتی کمرے بھی مستقل کمپیوٹر یونٹس کے طور پر غیر لائن کارروائیوں کو انجام دے سکتے ہیں. , , , , اس کے علاوہ، dendritic سپینز، چھوٹے پھیلاؤ جو گہری طور پر spiny neurons میں dendrites کو چھپاتے ہیں، synaptic سگنلز کو کمرے میں تقسیم کر سکتے ہیں، ان کے والدین dendrites ex vivo اور in vivo سے جدا کرنے کی اجازت دیتا ہے. , , , . 1 2 3 4 5 6 7 8 9 10 11 بیولوجی طور پر تفصیلی نیورونز کا استعمال کرتے ہوئے سمیلیشنز بیولوجی تفصیلی اصولوں کو کمپیوٹرز کے اصولوں سے منسلک کرنے کے لئے ایک نظریاتی فریم ورک فراہم کرتے ہیں. , ہمیں حقیقی dendritic morphologies، intrinsic ionic conductance، اور extrinsic synaptic input کے ساتھ نیورونز ماڈل کرنے کی اجازت دیتا ہے. ڈنڈریٹس کی بیوفیزیک مینیجر خصوصیات کو منسلک کیبل کے طور پر ماڈل کرتا ہے، جس میں الیکٹرانک سیگنالوں کو پیچیدہ نیورل پروسیسسز کے ذریعے کس طرح داخل اور پھیلانے کے لئے ایک ریاضی کی وضاحت فراہم کرتا ہے. فعال بیوفیزیک میکانزم جیسے ایونٹ چینلز، حوصلہ افزائی اور روکنے والے سنپتک بجنے، وغیرہ کے ساتھ کیبل نظریہ کو شامل کرنے کے ذریعے، ایک تفصیلی multi-compartment ماڈل تجرباتی حدود سے باہر سیلولر اور subcellular neuronal calculations حاصل کر سکتے ہیں. , . 12 13 12 4 7 نوری سائنس پر اس کے عمدہ اثر کے علاوہ، بیولوجی طور پر تفصیلی نیورون ماڈلوں کو حال ہی میں نیورون کی ساختی اور بیوفیزیکی تفصیلات اور AI کے درمیان فاصلے کو پلگ ان کرنے کے لئے استعمال کیا گیا تھا. جدید AI میدان میں پائیدار تکنیک پائیدار نیورونز سے تشکیل شدہ ANNs ہے، جس میں بیولوجی نیورل نیٹ ورک کے ایک نمونہ ہے. اگرچہ "backpropagation-of-error" (backprop) الگورتھم کے ساتھ ANNs ماہر ایپلی کیشنز میں قابل ذکر کارکردگی حاصل کرتے ہیں، یہاں تک کہ Go اور شطرنج کے کھیلوں میں سب سے اوپر انسانی پیشہ ور کھلاڑیوں کو شکست دیتے ہیں. , انسانی دماغ اب بھی ANNs کے مقابلے میں کام کرتا ہے جس میں زیادہ متحرک اور شور ماحول شامل ہیں. , حالیہ نظریاتی مطالعہ سے پتہ چلتا ہے کہ ڈینڈریٹک انضمام موثر سیکھنے کے اعداد و شمار کو پیدا کرنے میں اہم ہے جو ممکنہ طور پر paralel information processing میں backprop سے زیادہ ہے. , , اس کے علاوہ، ایک منفرد تفصیلی multi-compartment ماڈل نیٹ ورک کی سطح پر point neurons کے لئے غیر لائن محاسبات سیکھ سکتے ہیں صرف synaptic طاقت کو منظم کرتے ہوئے. , اس وجہ سے، یہ زیادہ طاقتور دماغ کی طرح AI سسٹموں کی تعمیر میں تفصیلی ماڈلوں کی پوری صلاحیت کو ظاہر کرتا ہے. اس وجہ سے، یہ بڑے پیمانے پر بیولوجی طور پر تفصیلی نیٹ ورکوں کے لئے انفرادی تفصیلی نیورون ماڈل سے دماغ کی طرح AI میں پیرامیٹرز کو بڑھانے کے لئے اہم ہے. 14 15 16 17 18 19 20 21 22 تفصیلی نمائش کے نقطہ نظر کی ایک طویل مدتی چیلنج اس کے انتہائی اعلی کمپیوٹرنگ کی لاگت میں ہے، جس نے نیوروسائنس اور AI کے لئے اس کی درخواست کو شدید حد تک محدود کیا ہے. , , کارکردگی کو بہتر بنانے کے لئے، کلاسیکی ہینس کے طریقہ کار O(n3) سے O(n) تک توازنوں کو حل کرنے کے لئے وقت کی پیچیدگی کو کم کرتا ہے، جس کا وسیع پیمانے پر پبلک سمیلیٹرز جیسے NEURON میں بنیادی الگورتھم کے طور پر استعمال کیا گیا ہے. Genesis کے تاہم، یہ طریقہ ہر کمرے کو سلسلہ طور پر پروسیسنگ کرنے کے لئے ایک سیریز نقطہ نظر کا استعمال کرتا ہے. جب ایک نمونہ ڈیڈریٹز کے ساتھ ڈیڈریٹک سپینز کے ساتھ کئی بیوفیزیسک طور پر تفصیلی ڈیڈریٹز کو شامل کرتا ہے تو، لینیئر مساوات مٹیکس ("Hines مٹیکس") ڈیڈریٹز یا سپینز کی بڑھتی ہوئی تعداد کے ساتھ اس کے مطابق پیمائش کرتا ہے. )، ہینس کے طریقہ کار کو اب عملی نہیں بناتا، کیونکہ یہ پورے نمونہ پر ایک بہت بڑا بوجھ بناتا ہے. 12 23 24 25 26 1 اور ایک rekonstructed layer-5 پیرامیڈل نیورون ماڈل اور متحرک فارمولہ تفصیلات کے ساتھ استعمال کیا نیورون ماڈل کے ساتھ. کام کی رفتار جب رقم سے تفصیلات کے نیورون ماڈلوں کی نمائش کرتے ہیں. Equation-solving phase is the bottleneck in the simulation. ایک نمونہ میں لائن مساوات کا ایک مثال. Hines کے طریقہ کار کے اعداد و شمار کی ذمہ داری جب لائن مساوات کو حل کرنے کے لئے . ہینس میٹرکس کی سائز کے سائز ماڈل کی پیچیدگی کے ساتھ ہیں. حل کرنے کے لئے لائن مساوات کے نظام کی تعداد میں اضافہ ہوتا ہے جب ماڈل زیادہ تفصیلی ہو رہے ہیں. مختلف قسم کے نیورون ماڈل پر سیریز ہینس کے طریقہ کار کی کمپیوٹیکل لاگت (ایکشن حل کے مرحلے میں لے جانے والے اقدامات) مختلف حل کے طریقوں کی تصویر. ایک نیورون کے مختلف حصوں کو کئی پروسیسنگ یونٹس کو متضاد طریقوں (مرتبہ، دائیں) میں دیا جاتا ہے، مختلف رنگوں کے ساتھ دکھایا جاتا ہے. Computational cost of three methods in ایک پیرامیڈل ماڈل کے مساوات کو سپنوں کے ساتھ حل کرتے وقت. 500 پیرامیڈل ماڈلوں کے لئے مساوات کو حل کرنے پر مختلف طریقوں کا چلنے کا وقت. چلنے کا وقت 1s نمائش کے وقت کا اشارہ کرتا ہے (ایک وقت کے مرحلے کے ساتھ مساوات کو 40،000 مرتبہ حل کرتا ہے 0.025 ms). p-Hines متضاد طریقہ CoreNEURON (GPU پر)، فریم پر مبنی متضاد طریقہ (GPU پر)، DHS ڈینڈریٹک ہائیریشیکل منصوبہ بندی کا طریقہ (GPU پر). a b c d c e f g h g i گزشتہ برسوں میں، سیل کی سطح پر متضاد طریقوں کا استعمال کرتے ہوئے ہینس کے طریقہ کار کو تیز کرنے میں بہتری حاصل کی گئی ہے، جس سے ہر سیل میں مختلف حصوں کے حساب کو متضاد کرنے کی اجازت دی جاتی ہے. , , , , , تاہم، موجودہ سیلولر سطح پر متضاد طریقوں کو اکثر ایک مؤثر متضاد کرنے کی حکمت عملی کی ضرورت نہیں ہے یا اصل ہینس کے طریقہ کار کے مقابلے میں کافی رقم کی درستگی کی ضرورت نہیں ہے. 27 28 29 30 31 32 یہاں، ہم ایک مکمل طور پر خود کار طریقے سے، شماری طور پر درست، اور آپریٹنگ کے آلے کو تیار کرتے ہیں جو کمپیوٹنگ کی کارکردگی کو اہم طور پر تیز کرسکتا ہے اور کمپیوٹنگ کی لاگت کو کم کرسکتا ہے. اس کے علاوہ، اس نمائش کے آلے کو براہ راست مشین سیکھنے اور AI ایپلی کیشنز کے لئے بیولوجی تفصیلات کے ساتھ اعصابی نیٹ ورک کی تعمیر اور ٹیسٹ کرنے کے لئے استعمال کیا جا سکتا ہے. اہم طور پر، ہم ہینس کے طریقہ کار کی parallel calculation کو ایک ریاضیاتی منصوبہ بندی کے مسئلے کے طور پر بیان کرتے ہیں اور ترکیب کے آپریٹنگ پر مبنی ایک Dendritic Hierarchical Scheduling (DHS) طریقہ کار پیدا کرتے ہیں. Parallel Computing نظریہ ہم اس بات کا ثبوت دیتے ہیں کہ ہمارا الگورتھم کسی بھی حد تک درستگی کے نقصان کے بغیر بہترین منصوبہ بندی فراہم کرتا ہے. اس کے علاوہ، ہم نے GPU میموری ہائیریریش اور میموری تک رسائی کے میکانیزم کا استعمال کرتے ہوئے فی الحال سب سے زیادہ اعلی درجے کے GPU چپس کے لئے DHS کو بہتر بنایا ہے. ) کلاسیکی Simulator NEURON کے مقابلے میں اس کے علاوہ، ایک ہی درستگی کو برقرار رکھیں. 33 34 1 25 AI میں استعمال کرنے کے لئے تفصیلی dendritic نمائش کی اجازت دینے کے لئے، ہم DHS-embedded CoreNEURON پلیٹ فارم (NERON کے لئے ایک بہتر کمپیوٹنگ انجن) انٹرویو کے ذریعے DeepDendrite فریم ورک قائم کرتے ہیں. as the simulation engine and two auxiliary modules (I/O module and learning module) supporting dendritic learning algorithms during simulations. DeepDendrite runs on the GPU hardware platform, supporting both regular simulation tasks in neuroscience and learning tasks in AI. 35 Last but not least, we also present several applications using DeepDendrite, targeting a few critical challenges in neuroscience and AI: (1) We demonstrate how spatial patterns of dendritic spine inputs affect neuronal activities with neurons containing spines throughout the dendritic trees (full-spine models). DeepDendrite ہمیں ایک نمونہ human pyramidal neuron model with ~25,000 dendritic spines میں neuronal calculation کا تجربہ کرنے کی اجازت دیتا ہے. (2) بحث میں ہم بھی AI کے تناظر میں DeepDendrite کی صلاحیت پر غور کرتے ہیں، خاص طور پر، morphologically detailed human pyramidal neurons کے ساتھ ANNs پیدا کرنے میں. All source code for DeepDendrite, the full-spine models and the detailed dendritic network model are publicly available online (see Code Availability). Our open-source learning framework can be readily integrated with other dendritic learning rules, such as learning rules for nonlinear (full-active) dendrites انفیکشن پر منحصر synaptic plasticity اور spike prediction کے ساتھ سیکھنا مجموعی طور پر، ہمارا مطالعہ ایک مکمل سیٹ کے اوزار فراہم کرتا ہے جو موجودہ کمپیوٹرک نیوروسائنس کمیونٹی ایشیائی سسٹم کو تبدیل کرنے کی صلاحیت رکھتا ہے.GPU کمپیوٹرنگ کی طاقت کا استعمال کرتے ہوئے، ہم توقع کرتے ہیں کہ یہ اوزار دماغ کے افقی ساختوں کے کمپیوٹرک اصولوں کے نظام کی سطح پر تجزیہ کو آسان کریں گے، اور نیوروسائنس اور جدید AI کے درمیان بات چیت کو فروغ دیں گے. 21 20 36 Results Dendritic Hierarchical Scheduling (DHS) طریقہ کار کمپیوٹنگ ایونٹک بجلی اور لائنری مساوات کو حل کرنے کے دو اہم مرحلے ہیں جب بیوفیزیکی طور پر تفصیلی نیورونز کی نمائش کرتے ہیں، جو وقت لگاتے ہیں اور سنگین کمپیوٹنگ بوجھوں کا سامنا کرتے ہیں. خوش قسمتی سے، ہر کمرے کے ایونٹک بجلی کا کمپیوٹنگ ایک مکمل طور پر مستقل عمل ہے تاکہ یہ قدرتی طور پر پی سی یو جیسے بڑے پیمانے پر متضاد کمپیوٹنگ یونٹس کے ساتھ آلات پر موازنہ کیا جا سکتا ہے. اس کے نتیجے کے طور پر، لائن مساوات کو حل کرنے کے لئے parallelization کے عمل کے لئے باقی بوتل ٹکڑا بن جاتا ہے (Fig. ) 37 1A سے F اس بوتل چیلنج کو حل کرنے کے لئے، سیلولر سطح پر متضاد طریقوں کو تیار کیا گیا ہے، جو ایک ہی سیل کو کئی کمرے میں ایک ہی سیل کو "ٹکڑنے" کی طرف سے ایک ہی سیلول حساب کو تیز کرسکتے ہیں جو متضاد میں حساب کیا جا سکتا ہے. , , تاہم، اس طرح کے طریقوں کو ایک انفرادی نیورون کو کمرے میں تقسیم کرنے کے لئے کس طرح پر عملی حکمت عملی پیدا کرنے کے لئے پہلے سے ہی علم پر بھروسہ کرتے ہیں. · اضافی فہرست اس کے نتیجے میں، یہ غیر متبادل morphologies کے ساتھ نیورونوں کے لئے کم مؤثر ہو جاتا ہے، مثال کے طور پر، پیرامیڈل نیورونز اور Purkinje نیورونز. 27 28 38 1 جی 1 ہم بیولوجی طور پر تفصیلی عصبی نیٹ ورکوں کی نمائش کے لئے ایک زیادہ مؤثر اور درست متوازن طریقہ تیار کرنے کا ارادہ رکھتے ہیں. سب سے پہلے، ہم ایک سیلولر سطح متوازن طریقہ کی درستگی کے لئے معیار قائم کرتے ہیں. ہم اس بات کو یقینی بنانے کے لئے تین شرائط پیش کرتے ہیں کہ ایک متضاد طریقہ کار Hines طریقہ کار کے مطابق Hines طریقہ کار کے اعداد و شمار کے طور پر اسی طرح کے حل پیدا کرے گا (دیکھیں طریقہ کار). پھر نظریاتی طور پر چلنے کا وقت، یعنی کارکردگی، سیریز اور متضاد کمپیوٹنگ طریقوں کا اندازہ لگانے کے لئے، ہم ذرائع کو حل کرنے میں ایک طریقہ کار کے اقدامات کی تعداد کے طور پر کمپیوٹنگ کی لاگت کا تصور پیش کرتے ہیں اور بیان کرتے ہیں (دیکھیں طریقہ کار). 34 نمائش کی درستگی اور کمپیوٹرنگ کی لاگت پر مبنی، ہم parallelization مسئلہ کو ایک Mathematical scheduling problem کے طور پر بیان کرتے ہیں (دیکھیں Methods). parallel threads, we can compute at most ہر مرحلے میں ہڈز، لیکن ہمیں اس بات کو یقینی بنانے کی ضرورت ہے کہ ایک ہڈ صرف اگر ان کے تمام بچوں ہڈز کو پروسیسنگ کیا گیا ہے، ہمارے مقصد پورے عمل کے لئے کم از کم اقدامات کے ساتھ ایک حکمت عملی تلاش کرنا ہے. k k ایک بہترین پارٹیشن پیدا کرنے کے لئے، ہم Dendritic Hierarchical Scheduling (DHS) کہا جاتا ہے کہ ایک طریقہ پیش کرتے ہیں (ایک نظریاتی ثبوت Methods میں پیش کیا جاتا ہے). DHS طریقہ کار میں دو مرحلے شامل ہیں: ڈیڈریٹک ٹپوولوجی کا تجزیہ اور بہترین حصے کو تلاش: (1) ایک تفصیلی ماڈل فراہم کرتے ہوئے، ہم سب سے پہلے اس کے مطابقت کے درخت کو حاصل کرتے ہیں اور درخت پر ہر نیچے کی گہرائی کا حساب کرتے ہیں (ایک نیچے کی گہرائی اس کے پرانے نیچے کی تعداد ہے). ). (2) After topology analysis, we search the candidates and pick at most deepest candidate nodes (a node is a candidate only if all its children nodes have been processed). This procedure repeats until all nodes are processed (Fig. ) 2A 2B اور C k 2D کے DHS پروسیسنگ - DHS پروسیسنگ سب سے زیادہ گہری کانگریس ہر iteration. ایک کمرے کے ماڈل کے نیٹ ورک کی گہرائی کا حساب کرنے کی تصویر۔ ماڈل سب سے پہلے ایک درخت کی ساخت میں تبدیل کیا جاتا ہے پھر ہر نیٹ ورک کی گہرائی کا حساب کیا جاتا ہے۔ رنگ مختلف گہرائی کے معیار کا اشارہ کرتے ہیں۔ مختلف نیورون ماڈل پر تپولوجی تجزیہ. مختلف morphologies کے ساتھ چھ نیورونز یہاں دکھایا جاتا ہے. ہر ماڈل کے لئے، soma درخت کی ریٹ کے طور پر منتخب کیا جاتا ہے تاکہ نیچے کی گہرائی soma (0) سے ڈسٹال dendrites میں اضافہ ہوتا ہے. DHS پر ماڈل پر عملدرآمد کی وضاحت چار ٹائڈز کے ساتھ. کانگریس: کانگریس جو عمل کیا جا سکتا ہے. منتخب کانگریس: کانگریس جو DHS کی طرف سے منتخب کیا جاتا ہے، یعنی، سب سے زیادہ گہری امیدوار. پروسیسنگ نڈوز: نڈوز جو پہلے بھی پروسیسنگ کیا گیا ہے. Parallelization strategy obtained by DHS after the process in . Each node is assigned to one of the four parallel threads. DHS reduces the steps of serial node processing from 14 to 5 by distributing nodes to multiple threads. نسبتا لاگت، یعنی DHS کی کمپیوٹنگ کی لاگت کا حصہ، DHS کو مختلف اقسام کے ماڈل پر مختلف تعداد کے تاروں کے ساتھ استعمال کرتے وقت سیریز ہینس کے طریقہ کار کے ساتھ. a k b c d b k e d f مثال کے طور پر 15 کمرے کے ساتھ ایک سادہ ماڈل لے لو، سیریز کمپیوٹرنگ ہینس کے طریقہ کار کا استعمال کرتے ہوئے، یہ تمام نڈوس کو پروسیسنگ کرنے کے لئے 14 اقدامات لیتا ہے، جبکہ چار متضاد یونٹس کے ساتھ DHS کا استعمال کرتے ہوئے اس کے نڈوس کو پانچ ذیل سیٹ میں تقسیم کر سکتے ہیں. ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ، ) 2D کے 2 اور اس کے بعد، ہم چھ نمائندہ تفصیلی نیورون ماڈل (ModelDB سے منتخب) پر DHS طریقہ استعمال کرتے ہیں. ) مختلف تعداد میں threads کے ساتھ (Fig. ):، cortical اور hippocampal پیرامیڈل نیورون سمیت , , cerebellar Purkinje نیورونز Striatal Projection Neurons (SPN) کے بارے میں ) اور لیمب mitral کے خلیات , covering the major principal neurons in sensory, cortical and subcortical areas. We then measured the computational cost. The relative computational cost here is defined by the proportion of the computational cost of DHS to that of the serial Hines method. The computational cost, i.e., the number of steps taken in solving equations, drops dramatically with increasing thread numbers. For example, with 16 threads, the computational cost of DHS is 7%-10% as compared to the serial Hines method. Intriguingly, the DHS method reaches the lower bounds of their computational cost for presented neurons when given 16 or even 8 parallel threads (Fig. )، مزید تاروں کو شامل کرنے کا مطلب یہ ہے کہ کمرے کے درمیان انفرادیات کی وجہ سے کارکردگی کو مزید بہتر نہیں کرتا. 39 2F 40 41 42 43 44 45 2F Together, we generate a DHS method that enables automated analysis of the dendritic topology and optimal partition for parallel computing. It is worth noting that DHS finds the optimal partition before the simulation starts, and no extra computation is needed to solve equations. GPU میموری بڑھانے کے ذریعہ DHS کی تیزی DHS ہر نیورون کو کئی تاروں کے ساتھ حساب کرتا ہے، جو نیورل نیٹ ورک نمائشوں کو چلانے کے دوران بہت سے تاروں کو استعمال کرتا ہے. Parallel Computing کے لئے . In theory, many SPs on the GPU should support efficient simulation for large-scale neural networks (Fig. تاہم، ہم مسلسل نظر آتے ہیں کہ نیٹ ورک کے سائز میں اضافہ ہونے کے بعد DHS کی کارکردگی قابل قدر طور پر کم ہو گئی ہے، جس کے نتیجے میں ڈیٹا اسٹوریج یا اضافی میموری تک رسائی کی وجہ سے اختتام کے نتائج لوڈ اور لکھنے کی وجہ سے ہوسکتی ہے. بائیں ) 3A اور B 46 3c 3D کے GPU آرکیٹیکل اور اس کی میموری ہائیریاریش. ہر GPU میں بڑے پیمانے پر پروسیسنگ یونٹس (ریچ پروسیسرز) موجود ہیں. Streaming Multiprocessors (SMs) کی آرکیٹیکل: ہر SM میں کئی سٹریم پروسیسرز، رجسٹرز اور L1 کیش شامل ہیں. DHS کو دو نیورونز پر لاگو کیا جاتا ہے، ہر ایک کے ساتھ چار تارے. GPU پر میموری کو بہتر بنانے کی حکمت عملی. top panel, thread assignment and data storage of DHS, before (left) and after (right) memory boosting.Bottom, a example of a single step in triangularization when simulating two neurons in پروسیسرز عالمی میموری سے ہر ٹرانسمیشن کے لئے ڈیٹا لوڈ کرنے کے لئے ایک ڈیٹا درخواست بھیجتے ہیں۔ میموری بڑھانے کے بغیر (بائیں) تمام درخواست کے اعداد و شمار کو لوڈ کرنے کے لئے سات ٹرانسمیشنوں کی ضرورت ہوتی ہے اور intermediate نتائج کے لئے کچھ اضافی ٹرانسمیشنوں کی ضرورت ہوتی ہے۔ میموری بڑھانے کے ساتھ (بائیں) تمام درخواست کے اعداد و شمار کو لوڈ کرنے کے لئے صرف دو ٹرانسمیشنوں کی ضرورت ہوتی ہے، ریکارڈز intermediate نتائج کے لئے استعمال ہوتے ہیں، جو میموری ٹرانسمیشن کو مزید بہتر بناتے ہیں۔ DHS کے چلانے کا وقت (32 فی سلائڈز ہر سلائڈز) کے ساتھ اور اس کے بغیر مینو کی بڑھتی ہوئی 5 پائمیڈل ماڈلوں پر گھومنے کے ساتھ. زیادہ سے زیادہ layer 5 پیرامیڈل ماڈلوں پر میموری بڑھانے کی تیزی. میموری بڑھانے 1.6-2 گنا بڑھاتا ہے. a b c d d e f ہم اس مسئلہ کو GPU میموری بڑھانے کی طرف سے حل کرتے ہیں، جس میں GPU کی میموری ہائیریریش اور رسائی کے میکانیزم کو استعمال کرتے ہوئے میموری کی ٹرانسمیشن کو بڑھانے کا ایک طریقہ ہے. GPU کی میموری لوڈ کے میکانیزم پر مبنی طور پر، متضاد ٹرانسمیشن لائیوڈ اور متضاد طور پر ذخیرہ کردہ ڈیٹا لوڈ کرنے کے بعد میموری ٹرانسمیشن کو کم کرتا ہے، جس میں سٹار پر ذخیرہ کردہ ڈیٹا تک رسائی حاصل کرنے کے مقابلے میں ایک اعلی میموری ٹرانسمیشن پیدا ہوتا ہے. , . To achieve high throughput, we first align the computing orders of nodes and rearrange threads according to the number of nodes on them. Then we permute data storage in global memory, consistent with computing orders, i.e., nodes that are processed at the same step are stored successively in global memory. Moreover, we use GPU registers to store intermediate results, further strengthening memory throughput. The example shows that memory boosting takes only two memory transactions to load eight request data (Fig. اس کے علاوہ، سپنوں کے ساتھ پیرامیڈل نیورونوں کی متعدد تعداد پر تجربات اور معمولی نیورون ماڈل (اعداد و شمار). · اضافی فہرست ) یہ ظاہر کرتا ہے کہ ذہنی DHS کے مقابلے میں میموری بڑھانے 1.2-3.8 گنا تیز رفتار حاصل کرتا ہے. 46 47 3D کے 3۔ f 2 GPU میموری بڑھانے کے ساتھ DHS کی کارکردگی کو مکمل طور پر ٹیسٹ کرنے کے لئے، ہم چھ عام نیورون ماڈل منتخب کرتے ہیں اور ہر ماڈل کی بڑی تعداد پر کیبل مساوات کو حل کرنے کے لئے چلانے کا وقت کا اندازہ کرتے ہیں. ). We examined DHS with four threads (DHS-4) and sixteen threads (DHS-16) for each neuron, respectively. Compared to the GPU method in CoreNEURON, DHS-4 and DHS-16 can speed up about 5 and 15 times, respectively (Fig. اس کے علاوہ، NEURON میں روایتی سیریز ہینس کے طریقہ کار کے مقابلے میں، DHS سی پی یو کے ایک ہی ٹرانسمیشن کے ساتھ چلتا ہے، سی ایم ایس 2-3 درجہ حرارت کے احکامات کو تیز کرتا ہے. ), while retaining the identical numerical accuracy in the presence of dense spines (Supplementary Figs. اور )، فعال dendrites (تقریبا فہرست. ) اور مختلف سیکنڈنگ کی حکمت عملی (تقریبا فہرست. ) 4 4a 3 4 8 7 7 GPU (dt = 0.025 ms، 40,000 iterations کے مجموعی طور پر) پر ایک 1 s نمائش کے لئے مساوات کو حل کرنے کے لئے چلانے کا وقت.CoreNEURON: CoreNEURON میں استعمال ہونے والے متوازن طریقہ؛ DHS-4: DHS ہر نیورون کے لئے چار تاروں کے ساتھ؛ DHS-16: DHS ہر نیورون کے لئے 16 تاروں کے ساتھ. ، DHS-4 اور DHS-16 کی طرف سے پارٹیشن کی بصیرت، ہر رنگ ایک ہی تار کا اشارہ کرتا ہے. a b c DHS cell-type-specific optimal partitioning پیدا کرتا ہے DHS طریقہ کار کے کام کے میکانیزم میں نقطہ نظر حاصل کرنے کے لئے، ہم ہر ٹرانسپورٹ (ہر رنگ فہرست میں ایک ہی ٹرانسپورٹ پیش کرتا ہے) کے کمرے کا نقشہ لگانے کی طرف سے تقسیم کے عمل کو تصور کیا. ) بصیرت یہ دکھاتا ہے کہ ایک ہی فہرست اکثر مختلف فہرستوں کے درمیان سوئچ کرتا ہے (اعداد و شمار). دلچسپ بات یہ ہے کہ ڈی ایچ ایس morphologically symmetric neurons such as the striatal projection neuron (SPN) and the Mitral cell (Fig. بدقسمتی سے، یہ morphologically asymmetric neurons جیسے پیرامیڈل نیورونز اور Purkinje سیل (Fig. )، اس بات کا اشارہ کرتے ہوئے کہ DHS انفرادی کمرے کی پیمائش (مثال کے طور پر، درخت نائٹ) کے بجائے زون کی پیمائش پر نیورل درخت کو تقسیم کرتا ہے. اس سیل کی قسم کے مخصوص افسانے کا حصہ DHS کو تمام دستیاب تاروں کو مکمل طور پر استعمال کرنے کی اجازت دیتا ہے. 4B اور C 4B اور C 4b, c 4B اور C In summary, DHS and memory boosting generate a theoretically proven optimal solution for solving linear equations in parallel with unprecedented efficiency. Using this principle, we built the open-access DeepDendrite platform, which can be utilized by neuroscientists to implement models without any specific GPU programming knowledge. Below, we demonstrate how we can utilize DeepDendrite in neuroscience tasks. We also discuss the potential of the DeepDendrite framework for AI-related tasks in the Discussion section. DHS enables spine-level modelling جیسا کہ dendritic سپینز cortical اور hippocampal پیرامیڈل نیورونز، striatal پرویکشن نیورونز، وغیرہ کے لئے سب سے زیادہ جذباتی داخلہ حاصل کرتے ہیں، ان کی مورفولوجی اور پلاسٹکیت neuronal جذبیت کو منظم کرنے کے لئے اہم ہیں. , , , , تاہم، سپینز بہت چھوٹے ہیں ( ~ 1 μm لمبائی) کے لئے براہ راست تجرباتی طور پر ٹرانسمیشن پر منحصر طریقے سے پیمائش کیا جا سکتا ہے. لہذا، نظریاتی کام سپینک کے حساب کے مکمل سمجھنے کے لئے اہم ہے. 10 48 49 50 51 ہم دو کمرے کے ساتھ ایک واحد کمرے کی ماڈل کر سکتے ہیں: کمرے کا سر جہاں سنپاسز واقع ہیں اور کمرے کا گردہ جس میں کمرے کا سر ڈنڈریٹس سے منسلک ہے یہ نظریہ پیش کرتا ہے کہ بہت ہی ٹھنڈا پٹھوں کی گردن (0.1-0.5 ایم ایم کے قطر میں) الیکٹرانک طور پر پٹھوں کے سر کو اس کے والدین ڈینڈریٹ سے جدا کرتا ہے، اس طرح پٹھوں کے سر پر پیدا ہونے والے سگنلوں کو کمرے میں تقسیم کرتا ہے. . However, the detailed model with fully distributed spines on dendrites (“full-spine model”) is computationally very expensive. A common compromising solution is to modify the capacitance and resistance of the membrane by a اسپین فیکٹر ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے ،جیسے spin factor کے مقاصد سلائڈ مینیجر کی بیوفیزیکی خصوصیات پر سلائڈ کا اثر قریب کرنے کے لئے ہے . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in رنگوں کو نشانہ بناتا ہے کہ کشیدگی کا حجم ہے. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d DeepDendrite پلیٹ فارم میں، دونوں مکمل اور تھوڑا سا پیٹرن ماڈل GPU پلیٹ فارم پر CoreNEURON کے مقابلے میں 8 گنا تیز رفتار اور CPU پلیٹ فارم پر سیریز NEURON کے مقابلے میں 100 گنا تیز رفتار حاصل کی. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) paralelization کی حکمت عملی پر کم توجہ دینا۔ ایک اچھی paralelization کی حکمت عملی کی کمی کے نتیجے میں ناپسندیدہ کارکردگی۔ اعلی کارکردگی کو حاصل کرنے کے لئے، کچھ مطالعہ اضافی کمپیوٹرنگ آپریشنز کی پیشکش کی طرف سے زیادہ اچھی طرح سے parallelization حاصل کرنے کی کوشش کرتے ہیں , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus Basal Ganglia کے بارے میں in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 کمپیوٹر بصیرت کے کاموں کے لئے ANNs میں فعال dendrites کے کردار میں بھی ترقی کی گئی ہے. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. HPC نیٹ کی موازنہ تربیت سے پہلے اور بعد. بائیں، چھپے نیورون جوابات کو ایک مخصوص انٹرویو سے پہلے (سب سے اوپر) اور (سب سے نیچے) تربیت کے بعد. دائیں، چھپے layer وزن (انٹرویو سے چھپے layer) تقسیم سے پہلے (سب سے اوپر) اور (سب سے نیچے) تربیت کے بعد. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 خلاصہ کے طور پر، DeepDendrite نے تصویر کی درجہ بندی کے کاموں میں قابل ذکر صلاحیت ظاہر کی ہے، ایک دلچسپ مستقبل کی سمتوں اور امکانات کی ایک دنیا کھولنے کے لئے. DeepDendrite اور AI کاموں میں بیولوجی طور پر تفصیلی dendritic ماڈلز کی درخواست کو مزید آگے بڑھانے کے لئے، ہم multi-GPU سسٹمز کی ترقی پر توجہ مرکوز کرسکتے ہیں اور دیگر شعبوں میں ایپلی کیشنز کا تجربہ کرسکتے ہیں، جیسے قدرتی زبان کی پروسیسنگ (NLP)، جہاں dendritic فلٹرنگ خصوصیات انسانی زبان کے متعارف کرایا جاتا ہے. چیلنجوں میں بڑے پیمانے پر مسائل میں پیمائش کو ٹیسٹ کرنے، مختلف کاموں اور ڈومینز کے درمیان کارکردگی کو سمجھنے، اور نئی بیولوجیاتی اصولوں، Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset اس کے علاوہ، ہم اس کے ساتھ کام کرسکتے ہیں، لہذا، ہم | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: ایک درخت کے ساتھ = { , } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { ، , … }, | | ≤ , 1 ≤ ≤ n، جہاں | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset جہاں 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 V2 Vn Vi k i Vi Vi Vi v Vi c c v VJ کے j i P* V P* کے V Here subset اس میں شامل ہیں تمام لنک جو کمپیوٹرز میں شامل ہوں گے. -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ ان کے تمام بچوں کو نیندیں | ∈children( )} must in a previous subset جہاں 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2 اور Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ ، یعنی، کانگریس نڈوسوں کی تعداد دستیاب نڈوسوں کی تعداد سے کم یا برابر ہے، تمام نڈوسوں کو ہٹا دیں and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset مرحلہ (1) پر جائیں اور اگلے مرحلے پر جائیں . d v v V v V Q Q k Q V*i k Q Vi 2d vi کے Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … ۔ ۔ ۔ ۔ ۔ ۔ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking اس کے بعد ہم اس بات کا ثبوت دیتے ہیں کہ DHS میں کمپیوٹرز کی دوبارہ ترتیب کے نتیجے میں سیریز ہینس کے طریقہ کار کے ساتھ ایک ہی نتیجہ مل جائے گا. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. For each subset in ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in . All subsets in ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V*1 V*2 V*s P* V Q P* کے V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the گہری نیندوں میں . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to ،یہ نوٹوں کو اگلے سوئچ میں ہونا چاہئے. | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into اگلے حصوں میں شامل کیا جانا چاہئے (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to مندرجہ ذیل طریقہ کار کے ذریعے. فرض کریں کہ مکمل کرنے کے بعد , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + اس کے علاوہ (Fig. ): if the parent node of is in + , move this parent node to + کے ; else move the node with minimum depth from + دو + . After adjusting , modify subsequent subsets + کے , + , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6B V*i k Qi کے V*i 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*I میں 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*I میں 1 V*i 2 V*i V*i 1 V*I میں 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the سب سے زیادہ گہری Node and keep the number of subsets, i.e., | ( ہم تبدیل کرنے کے بعد اسی طرح کی ہے. ہم تمام subsets کے لئے ایک ہی حکمت عملی کے ساتھ نڈوس کو تبدیل کر سکتے ہیں. ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* کے V P* V V*i P* V P* V In conclusion, DHS generates a partition ( ،اور تمام اقسام کے ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V vi کے P V P* V P V P* V | P V GPU انضمام اور میموری بڑھانے To achieve high memory throughput, GPU utilizes the memory hierarchy of (1) global memory, (2) cache, (3) register, where global memory has large capacity but low throughput, while registers have low capacity but high throughput. We aim to boost memory throughput by leveraging the memory hierarchy of GPU. GPU SIMT (Single-Instruction, Multiple-Thread) آرکیٹیکل کا استعمال کرتا ہے. Warps GPU پر بنیادی منصوبہ بندی یونٹس ہیں (ایک warp 32 متضاد تاروں کا ایک گروپ ہے). ایک warp مختلف تاروں کے لئے مختلف اعداد و شمار کے ساتھ ایک ہی حکم کو چلتا ہے اس بات کو یقینی بنانے کے لئے کہ DHS سیریز ہینس کے طریقہ کار کے طور پر اسی نتائج حاصل کرتا ہے. جب ہم GPU پر DHS کو لاگو کرتے ہیں تو، ہم سب سے پہلے تمام خلیات کو ان کی مورفولوجیوں پر مبنی کئی warps میں گروپ کرتے ہیں. اسی طرح کے morphologies کے ساتھ خلیات ایک ہی warp میں گروپ کیے جاتے ہیں. ہم اس کے بعد DHS کو تمام نیورونوں پر لاگو کرتے ہیں، ہر نیورون کے حصوں کو کئی نیوروں میں تقسیم کرتے ہیں. کیونکہ نیورونوں کو warps میں گروپ کیا جاتا ہے، اسی نیورون کے حصوں کو ایک ہی warp میں ہیں. اس وجہ سے، warps میں ان کے اندرونی سنکرانسنگ کو سیریز ہینس کے طریقہ کار کے اعداد و شمار پر منحصر رکھتا ہے. آخر میں، ہر warp 46 When a warp loads pre-aligned and successively-stored data from global memory, it can make full use of the cache, which leads to high memory throughput, while accessing scatter-stored data would reduce memory throughput. After compartments assignment and threads rearrangement, we permute data in global memory to make it consistent with computing orders so that warps can load successively-stored data when executing the program. Moreover, we put those necessary temporary variables into registers rather than global memory. Registers have the highest memory throughput, so the use of registers further accelerates DHS. مکمل اور تھوڑا سا کمرے کی بائیو فیزیکی ماڈل We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2، membrane مزاحمت m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck گردن = 1.35 μm اور قطر neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and 0.3 اور 1.8 ms کے لئے مقرر کیا گیا تھا NMDA ماڈل، rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise ہم نے ایک زیادہ حقیقی ماحول کی نمائش کرنے کے لئے ہر خلیے پر پیڈل ہلکا شامل کیا. ہلکا ماڈل Poisson سپیک ٹرینوں کے طور پر ایک مستحکم شرح 1.0 Hz کے ساتھ انسٹال کیا گیا تھا. start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs neuronal excitability کے بارے میں معلومات We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. DeepDendrite پلیٹ فارم کے ساتھ AI کاموں کو انجام دیں روایتی تفصیلی نیورون سمیلیٹرز کو جدید AI کاموں کے لئے اہم دو افعال کی کمی ہوتی ہے: (1) متبادل طور پر سمیلیشنز اور وزن اپ ڈیٹ کرنے کے بغیر سنگین دوبارہ شروع کرنے اور (2) ایک ہی وقت میں کئی حوصلہ افزائی نمونوں کو بیٹری کی طرح پروسیسنگ. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model تصویر کی درجہ بندی AI کے میدان میں ایک معمولی کام ہے. اس کام میں، ایک ماڈل کو ایک مخصوص تصویر میں مواد کو پہچاننے اور متعلقہ لیبل کو پیدا کرنے کے لئے سیکھنا چاہئے. یہاں ہم HPC-Net کی پیشکش کرتے ہیں، ایک نیٹ ورک جس میں تفصیلی انسانی پیرامیڈل نیورون ماڈل شامل ہیں جو ڈیپ ڈینڈریٹ پلیٹ فارم کا استعمال کرتے ہوئے تصاویر کی درجہ بندی کے کاموں کو انجام دینے کے لئے سیکھ سکتے ہیں. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (Ms میں) جس کو پکسل کے معیار کی طرف سے مقرر کیا جاتا ہے ( ) as shown in Eq. ( ) x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms اور نمونہ کے اختتام تک جاری کیا. پھر ہم نے تمام سپیک ٹرینوں کو ایک ہی طریقے سے input layer neurons میں شامل کیا.The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS، اور وقت مستحکم = 0.5 میٹر v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment L = 0 mV c r r E خفیہ layer میں انسانی پیرامیڈل نیورون ماڈلوں کا ایک گروپ شامل ہے، input layer neurons کی سمیٹک وولٹیج حاصل. ، اور تمام نیورونوں کو ذاتی کیبل کے ساتھ ماڈل کیا گیا تھا. m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. -th synapse of the -th input neuron on neuron ’s dendrite کے طور پر بیان کیا جاتا ہے Eq. ( ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the ٹائم ٹائم ٹائم ٹائم ٹائم ٹائم ٹائم . 51 c r r E k i j 4 gijk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 HPC-Net کے ساتھ تصویر کی درجہ بندی For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net ماضی کے کام سے منسوب اس کے علاوہ، ہم آپ کو اس بات کو یقینی بنانا چاہتے ہیں کہ آپ کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات کی مصنوعات ہے. ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 pi i جی yi i yi When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time ، , are somatic voltages of neuron and respectively, is the -th synaptic current activated by neuron on neuron , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron نیورون کے لئے Dendrite to neuron میں نے سونا، s = 30 ms e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 کیونکہ تمام نکالنے والے نیورونز ایک واحد کمرے ہیں، جو متعلقہ کمرے کے داخلے کے مزاحمت کے برابر ہیں، ٹرانسفر اور داخلے کے مزاحمتوں کو نیورون کی طرف سے شمار کیا جاتا ہے. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N HPC-Net کے ساتھ مخالف حملے کے خلاف مضبوط To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary ڈیٹا دستیاب The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at MNIST ڈیٹا سیٹ عام طور پر دستیاب ہے . The Fashion-MNIST dataset is publicly available at . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability DeepDendrite کے ذریعہ کوڈ کے ساتھ ساتھ ماڈل اور کوڈ Figs کو متعارف کرنے کے لئے استعمال کیا جاتا ہے. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References کے McCulloch, W. S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. , 115–133 (1943). Bull. Math. Biophys. 5 LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. , 436–444 (2015). Nature 521 Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 LONDON، M. & Häusser، M. Dendritic calculation. Annu. Rev. Neurosci. 28, 503-532 (2005). Branco, T. & Häusser, M. The single dendritic branch as a fundamental functional unit in the nervous system. , 494–502 (2010). Curr. Opin. Neurobiol. 20 Stuart, G. J. & Spruston, N. Dendritic integration: 60 years of progress. , 1713–1721 (2015). Nat. Neurosci. 18 Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. , 303–321 (2020). Nat. Rev. Neurosci. 21 Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. Dendritic spine changes associated with hippocampal long-term synaptic plasticity. , 66–70 (1999). Nature 399 Yuste, R. Dendritic spines and distributed circuits. , 772–781 (2011). Neuron 71 Yuste, R. Electrical compartmentalization in dendritic spines. , 429–449 (2013). Annu. Rev. Neurosci. 36 Rall, W. Branching dendritic trees and motoneuron membrane resistivity. , 491–527 (1959). Exp. Neurol. 1 Segev, I. & Rall, W. Computational study of an excitable dendritic spine. , 499–523 (1988). J. Neurophysiol. 60 Silver، D. et al. deep neural networks and tree search. Nature 529, 484–489 (2016). Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. , 1140–1144 (2018). Science 362 McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 French, R. M. Catastrophic forgetting in connectionist networks. , 128–135 (1999). Trends Cogn. Sci. 3 Naud، R. & Sprekeler، H. Sparse دھماکے ایک multiplexed عصبی کوڈ میں معلومات کی نقل و حمل کو بہتر بناتے ہیں. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits. , 1010–1019 (2021). Nat. Neurosci. 24 Bicknell، B. A. & Häusser، M. غیر لائن ڈینڈریٹک کمپیوٹنگ کا استعمال کرنے کے لئے ایک سائنپٹک سیکھنے کا قاعدہ. Neuron 109, 4001–4017 (2021). Moldwin، T. Kalmenson، M. & Segev، I. گریڈینٹ کلسترون: ایک ماڈل نیورون جو ڈیڈریٹک غیر لائنریٹس، ساختی پلاسٹکیت اور گریڈینٹ نیچے حل کرنے کے لئے سیکھتا ہے. Hodgkin, A. L. & Huxley, A. F. A quantitative description of membrane current and Its application to conduction and excitation in nerve. , 500–544 (1952). J. Physiol. 117 Rall, W. Theory of physiological properties of dendrites. , 1071–1092 (1962). Ann. N. Y. Acad. Sci. 96 Hines, M. L. & Carnevale, N. T. The NEURON simulation environment. , 1179–1209 (1997). Neural Comput. 9 Bower, J. M. & Beeman, D. The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer نیویارک, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. Fully implicit parallel simulation of single neurons. , 439–448 (2008). J. Comput. Neurosci. 25 Ben-Shalom، R، Liberman، G. اور Korngreen، A. ایک گرافک پروسیسنگ یونٹ پر کمرشل ماڈلنگ کی تیزی. Tsuyuki، T، Yamamoto، Y. اور Yamazaki، T. گرافک پروسیسنگ یونٹس پر فضائی ساخت کے ساتھ نیورون ماڈلوں کی مؤثر شمولیت. In Proc. 2016 بین الاقوامی کانفرنس کے نیورل معلومات پروسیسنگ (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. & Vygen, J. 6 edn (Springer, 2018). Combinatorial Optimization Theory and Algorithms Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar، P. et al. CoreNEURON: NEURON Simulator کے لئے ایک بہتر کمپیوٹر انجن. Front. Neuroinform. 13, 63 (2019). Urbanczik، R. & Senn، W. سمیٹک spiking کے dendritic پیش گوئی کی طرف سے سیکھنے. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizing ion channel models using a parallel genetic algorithm on graphical processors. , 183–194 (2012). J. Neurosci. Methods 206 Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. , 105–114 (1991). J. Neurosci. Methods 36 McDougal, R. A. et al. Twenty years of modelDB and beyond: building essential modeling tools for the future of neuroscience. , 1–10 (2017). J. Comput. Neurosci. 42 Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih selectively blocks temporal summation of unsynchronized distal inputs in CA1 pyramidal neurons. , 5–13 (2004). J. Comput. Neurosci. 16 Hemond, P. et al. Distinct classes of pyramidal cells exhibit mutually exclusive firing patterns in hippocampal area CA3b. , 411–424 (2008). Hippocampus 18 Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Models of neocortical layer 5b pyramidal cells capturing a wide range of dendritic and perisomatic active Properties. , e1002107 (2011). PLoS Comput. Biol. 7 Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore، M. et al. Synaptic clusters function as odor operators in the olfactory bulb. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. . (2021). CUDA C++ Best Practices Guide https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html Harnett، M. T. ، Makara، J. K. ، Spruston، N. ، Kath، W. L. اور Magee، J. C. dendritic سپینز کی طرف سے synaptic amplification input cooperativity کو بڑھاتا ہے. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. , 759–762 (2013). Science 340 Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. , 181 (2018). Front. Cell. Neurosci. 12 Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 Koch, C. Dendritic spines. In (Oxford University Press, 1999). Biophysics of Computation Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. Biologically inspired protection of deep networks from adversarial attacks. Preprint at (2017). https://arxiv.org/abs/1703.09202 Goddard, N. H. & Hood, G. Parallel GENESIS استعمال کرتے ہوئے بڑے پیمانے پر نمائش. in The Book of GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer نیویارک, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Parallel network simulations with NEURON. , 119 (2006). J. Comput. Neurosci. 21 Lytton، W. W. et al. دماغ کی تحقیق کو آگے بڑھانے کے لئے نمونہ نیوٹو ٹیکنالوجی: NEURON میں بڑے نیٹ ورکوں کو موازنہ. Valero-Lara، P. et al. cuHinesBatch: GPUs انسانی دماغ پروجیکٹ پر کئی Hines نظام کو حل. In Proc. 2017 بین الاقوامی کانفرنس پر کمپیوٹیکل سائنس 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom, R. et al. NeuroGPU: Accelerating multi-compartment, biophysically detailed neuron simulations on GPUs. , 109400 (2022). J. Neurosci. Methods 366 Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski، J. اور Wagner، J. بڑے پیمانے پر عصبی کسٹم کے لئے ایک انتہائی پیمانے پر حل. Front. Neuroinform. 5, 15 (2011). Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama، J. اور Yasuda، R. پٹھوں کی ساختی پلاسٹکیت کے لئے بیوکومییکل کمپیوٹرز. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. Morphological changes in dendritic spines associated with long-term synaptic plasticity. , 1071–1089 (2001). Annu. Rev. Neurosci. 24 Holtmaat، A. & Svoboda، K. تجربے پر منحصر ساختہ سنپٹی پلاسٹک دماغ میں. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. Experience leaves a lasting structural trace in cortical circuits. , 313–317 (2009). Nature 457 Trachtenberg, J. T. et al. Long-term in vivo imaging of experience-dependent synaptic plasticity in adult cortex. , 788–794 (2002). Nature 420 Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 Xu، T. et al. طویل مدتی حرکات کی یادوں کے لئے sinapses کی تیزی سے تخلیق اور انتخابی مستحکم. Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. نیورون 109, 3298-3311 (2021) میں نئے طور پر پیدا ہونے والے dendritic سپینوں کی استحکام کو بڑھانے کی طرف سے موٹر سیکھنے کو بہتر بنانے. Branco, T. & Häusser, M. Synaptic integration gradients in single cortical pyramidal cell dendrites. , 885–892 (2011). Neuron 69 Major, G., Larkum, M. E. & Schiller, J. Neocortical pyramidal neuron dendrites کے فعال خصوصیات. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritic action potentials and computation in human layer 2/3 cortical neurons. , 83–87 (2020). Science 367 Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, influencing local dendritic processing and global I/O properties of cortical neurons. , 1550–1561 (2017). Cell Rep. 21 Du, K. et al. Cell-type-specific inhibition of the dendritic plateau potential in striatal spiny projection neurons. , E7612–E7621 (2017). Proc. Natl Acad. Sci. USA 114 Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritic spikes enhance stimulus selectivity in cortical neurons in vivo. , 115–120 (2013). Nature 503 Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi، N.، Oertner، T. G.، Hegemann، P. اور Larkum، M. E. فعال cortical dendrites ماڈیولٹ شناخت. سائنس 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh، Y. N. et al. ڈھانچے اور عملی اعداد و شمار کو ماؤں کے ابتدائی بصری کوریکس کے متعدد پیمانے پر ماڈلوں میں منظم انضمام. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev، J. Lillicrap، T. P. & Richards، B. A. تقسیم ڈنڈریٹس کے ساتھ گہری سیکھنے کی طرف. elife 6, e22901 (2017). Iyer، A. et al. تباہی سے بچنے: فعال dendrites متحرک ماحول میں multi-task سیکھنے کی اجازت دیتا ہے. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. بیان اور مخالف مثالوں کا استعمال کرتے ہوئے. in 3rd International Conference on Learning Representations (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: مشین سیکھنے کے ماڈل کی مضبوطی کو بینچ کرنے کے لئے ایک پائٹون toolbox. in Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke، A. et al. PyTorch: ایک ضروری سٹائل، اعلی کارکردگی گہری سیکھنے کی لائبریری. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Acknowledgements مصنفین کی کونسل نے جی پی یو کمپیوٹرز کی قیمتی تکنیکی حمایت کے لئے ڈاکٹر Rita Zhang، Daochen Shi اور NVIDIA کے ارکان کی حوصلہ افزائی کی. یہ کام چین کی قومی کلیدی R&D پروگرام (نور 2020AAA0130400) سے K.D. اور T.H.، چین کی قومی قدرتی سائنس فنڈ (نور 61825102) سے Y.T.T.، سویڈش تحقیق کونسل (VR-M-2020-01652)، سویڈش ایچ ڈی تحقیق مرکز (نور 2022ZD01163005) سے L.M.، Guangdong صوبے کی اہم علاقے R&D پروگرام (نور 2018B030338001) سے T.H.، چین کی قومی قدرتی سائنس فنڈ (نور 61825101) سے Y.T.، سویڈش تحقیق کونسل (VR- This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. قدرتی طور پر دستیاب یہ کاغذ ہے CC کی طرف سے 4.0 کام (Attribution 4.0 بین الاقوامی) لائسنس کے تحت. قدرتی طور پر دستیاب
