المؤلفين : زينب زينب هان ليا ما شياوووووووووو J.J. جوهانس هيرث Alexander Kozlov يوسف هو شينجيان Zhang جينيت هيلغرين كوتاليسكي يانغ تانغ ستيفن برميل إذا كنت تامر حسني المؤلفين : زينب زينب هان ليا ما شياوووووووووو J.J. جوهانس هيرث ألكسندر كوزلوف يوسف هو شينجيان Zhang جينيت هيلغرين كوتاليسكي يانغ تانغ ستيفن برميل إذا كنت تامر حسني abstract وتعمل النماذج متعددة الأجزاء البيولوجية التفصيلية على أدوات قوية لاستكشاف مبادئ الحسابات في الدماغ وكذلك كوسيلة نظرية لإنتاج ألغاز لتقنيات الذكاء الاصطناعي (AI). ومع ذلك ، فإن تكلفة الحسابات الكبيرة تقتصر بشكل كبير على التطبيقات في مجال العلوم العصبية والذكاء الاصطناعي. الأندرويد اليهودية ونحن في نظرنا نثبت أن تطبيق DHS هو الأكثر كفاءة وواقعية من الناحية الحسابية. ويعمل هذا الطريقة المرتبطة بتقنية GPU مع سرعة أعلى بنسبة 2-3 أسطر من سرعة طريقة Hines السريعة الكلاسيكية في منصة CPU التقليدية. ونحن نبتكر نموذج DeepDendrite الذي يتكامل مع طريقة DHS ومحرك تحديد GPU من متصفح NEURON وتثبيت تطبيقات DeepDendrite في مهام العلوم العصبية. ونحن نبحث عن كيفية تأثير نموذجات الفضاء من الدماغ على الإثارة العصبية في نموذج العصبي البشري مفصل مع 25,000 الدماغ. بالإضافة إلى ذلك، ونحن نقدم بحثًا قصيرًا عن إمكانات DeepD D H S إدراج يعتمد العقل البشري على أكثر من آلاف أنواع مختلفة من العقل البشري مع خصائص مادية وبيولوجية فريدة. على الرغم من أن هذا لا يزال حقيقيًا من الناحية الفكرية، فإن الدكتاتورية "مثل العقل البشري" ويعتبر هذا النوع من الأدوية، الذي يعتبره العصبيون واحدًا بسيطًا، لا يزال يستخدم على نطاق واسع في الحساب العصبي، وخاصة في تحليل الشبكات العصبية.في السنوات الأخيرة، استخدم الذكاء الاصطناعي الحديث هذا المبدأ وتطويره أدوات قوية، مثل الشبكات العصبية العصبية الفريدة (ANN). ومع ذلك ، بالإضافة إلى الحسابات المتكاملة على مستوى العصائر الفردية ، يمكن أن تنفذ الفقرات الدماغية الدقيقة ، مثل العصائر الدماغية ، أيضًا العمليات غير الصلبة كوحدة حسابية مستقلة. , , , , وبالإضافة إلى ذلك ، يمكن أن تختلف الأقراص الأندرويدية ، الموجات الصغيرة التي تغطي عميق الأقراص الأندرويدية في عصابات الأقراص الأندرويدية ، مما يسمح لهم بتحديد إشارات الأقراص الأندرويدية ، مما يسمح لهم بتحديدها من الأقراص الأندرويد الأقراص الأساسية الخاصة بهم ex vivo و in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 توفر التثبيتات باستخدام العلامات العصبية البيولوجية التفصيلية إطارًا نظريًا لتصل التفاصيل البيولوجية إلى المبادئ الحسابية. , يتيح لنا نموذج العصبيات مع نموذجات داندريكية واقعية، والحركة الألوانية الداخليه، والتوجيهات العصبية الداخليه. ، الذي يُعد نموذجًا للخصائص البيولوجية للمخاطر كخطوط إيجابية ، مما يوفر وصفًا علميًا عن كيفية دخول الإشارات الإلكترونية وتوزيعها في جميع أنحاء العمليات العصبية المعقدة.من خلال دمج نظرية الشبكة مع الآليات البيولوجية النشطة مثل قنوات اليونان ، والضغط والضغط النووي ، وما إلى ذلك ، يمكن أن يحقق نموذجًا متكاملًا متعدد القطاعات الحسابات العصبية الخلوية والخلوية فوق الحدود التجريبية. , . 12 13 12 4 7 بالإضافة إلى تأثيره العميق على العلوم العصبية، تم استخدام نموذجين عصبيين مفصلين بيولوجيًا لزيادة الفجوة بين التفاصيل الهيكلية والبيولوجية العصبية العصبية والآلية العصبية العصبية العصبية العصبية العصبية. , وبالتالي فإن الدماغ البشري لا يزال يتحقق من ANN في المجالات التي تشمل بيئات أكثر ديناميكية وأكثر صداقة. , وتشير الدراسات النظرية الأخيرة إلى أن التكامل الدردريسي أمر حاسم في إنتاج ألغاز التعلم الفعالة التي يمكن أن تتجاوز التكلفة في معالجة المعلومات المباشرة. , , وبالإضافة إلى ذلك، يمكن أن تتعلم نموذجًا متكاملًا واحدًا متعدديًا على المستوى الشبكي الحسابات غير الصلبة للعيون الضوئية عن طريق تعديل القوة الضوئية فقط. , وبالتالي، من الضروري توسيع نموذجات الذكاء الاصطناعي في الذكاء الاصطناعي من نموذجين نفسيين مفصلين إلى شبكات بيولوجية مفصلة كبيرة. 14 15 16 17 18 19 20 21 22 يقع التحدي الأكبر الذي يواجه نهج التمثيل التفصيلية في تكلفة الحسابات عالية للغاية، مما يهدد بشكل كبير تطبيقه إلى العلوم العصبية والذكاء الاصطناعي. , , من أجل تحسين الكفاءة ، يقلل الطريقة الكلاسيكية Hines التكلفة في الوقت لتسوية التوازنات من O(n3) إلى O(n) ، والتي تم تطبيقها على نطاق واسع كمعالج أساسي في المحاكاة الشهيرة مثل NEURON. و Genesis ومع ذلك، فإن هذه الطريقة تستخدم نهج سلسلة لتعميم كل غرفة بشكل سلس. عندما تتضمن تثبيت عدسات متعددة مع التفسيرات البيولوجية التفصيلية مع الأقراص الدنماركية، يزداد مارتشات التوازن الصلب ("القراصنة الدنماركية") مع عدد متزايد من الأقراص الدنماركية أو الأقراص (الصور. )، مما يجعل طريقة هينيس غير عمليًا، لأنها تشكل ضغطًا كبيرًا على جميع المحاكاة. 12 23 24 25 26 1E نموذج العضوية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية الخلفية. عملية العمل عند تثبيت نموذج عصري مفصل.المرحلة حل المعادلة هي الحد الأدنى في التثبيت. مثال على التوازنات الصلبة في التثبيت. تقسيم البيانات من طريقة Hines عند حل المقاصد الصلبة في . . يزداد عدد نظام المعادلات الخطية التي يتم حلها مع زيادة كبيرة عندما تنمو النماذج بشكل أكثر تفصيلا. تكلفة الحسابية (الخطوات التي اتخذتها في مرحلة حل المعادلة) من طريقة هينيس السريعة على أنواع مختلفة من النماذج العصبية. صورة من طرق حل مختلفة. يتم تخصيص أجزاء مختلفة من عصري إلى وحدات معالجة متعددة في طرق متوازية (أوسع، حق)، وتشير إلى الألوان المختلفة. تكلفة التخزين من ثلاث طرق عند حل التوازنات من نموذج الفرامل مع الأقمشة. وقت التشغيل من الأساليب المختلفة على حل التوازنات لـ 500 نموذجًا بيراميديا مع الأقراص. وقت التشغيل يشير إلى استهلاك الوقت من تثبيت 1 ثانية (تصحيح التوازن 40،000 مرات مع خطوة وقتية من 0.025 ms). طريقة p-Hines متوازنة في CoreNEURON (على GPU)، طريقة متوازنة على القاعة على أساس القاعة (على GPU)، طريقة التخطيط التقليدي Dendritic (على GPU). a b c d c e f g h g i خلال العقود الماضية، تم تحقيق تقدم كبير في تسريع عملية Hines باستخدام أساليب متوازنة على المستوى الخلوي، مما يسمح بتوازن حسابات الأجزاء المختلفة في كل خلية. , , , , , ومع ذلك ، غالبًا ما لا يمتلك أساليب التوازن الحالية على المستوى الخلوي استراتيجية التوازن الفعالة أو لا يمتلك دقة عددية كافية مقارنة مع طريقة Hines الأصلية. 27 28 29 30 31 32 هنا، ونحن نطمح إلى تطوير أداة التثبيت تلقائياً تماماً، وفقاً للضوء، وتوسيع نطاق التثبيت التي يمكن أن تسرع بشكل كبير في كفاءة الحوسبة وتقليل تكلفة الحوسبة. بالإضافة إلى ذلك، يمكن استخدام هذه الأداة التثبيتية بشكل لا يتجزأ لإنشاء وإجراء اختبار الشبكات العصبية مع التفاصيل البيولوجية للتعلم الآلي والتطبيقات الذكية. نظرية الحاسوب المباشر ونحن نثبت أن ألغازنا تتيح التخطيط المثالي دون فقدان أي دقة.إلا أننا تمكننا من تحسين DHS لشركة GPU الأكثر تطورا في الوقت الحالي عن طريق الاستفادة من هيكل الذاكرة GPU ومهام الوصول إلى الذاكرة. مقارنة مع متصفح Neuron الكلاسيكي مع الحفاظ على المساواة. 33 34 1 25 من أجل تزويد المحاكاة التفصيلية للأداء في الذكاء الاصطناعي، فإننا نأمل في إنشاء إطار DeepDendrite من خلال دمج منصة CoreNEURON (محرك حساب متكامل لتنظيم الذكاء الاصطناعي) مع DHS. مثل محرك التثبيت ودورات مساعدة (معدل I/O ومعدل التعلم) التي تدعم ألغاز التعلم الأندرويدية أثناء التثبيت DeepDendrite يعمل على منصة الأجهزة GPU، وتدعم كل من المهام التثبيت العادية في العلوم العصبية والمهام التعلم في الذكاء الاصطناعي. 35 وأخيرًا، فإننا نقدم العديد من التطبيقات التي تستخدم DeepDendrite، وتهدف إلى بعض التحديات الأكثر أهمية في العلوم العصبية والذكاء الاصطناعي: (1) نُشير إلى كيفية تأثير النماذج الإقليمية على نشاطات العصائر العصبية مع العصائر التي تحتوي على العصائر في جميع أنحاء العصائر العصبية (محاكاة العصائر الكاملة). DeepDendrite يتيح لنا استكشاف الحساب العصبي في نموذج العصائر العصائر العصبية البشري مع 25،000 العصائر العصبية. (2) في النقاش، ونحن أيضا نبحث عن إمكانية DeepDendrite في سياق الذكاء الاصطناعي، وبشكل خاص، في إنشاء ANNs مع يتم توفير جميع إصدارات إصدارات DeepDendrite، ونماذج الدنمارك الكاملة، ونماذج الشبكة الدنماركية التفصيلية عبر الإنترنت بشكل عام (انظر إصدارات الدنمارك المتاحة). الخصائص المرتبطة بـ Burst-dependent synaptic plasticity دراسة مع Spike Prediction بشكل عام ، يوفر دراستنا مجموعة كاملة من الأدوات التي لديها القدرة على تغيير منظومة مجتمعات علم الأعصاب الحاسوبية الحالية.من خلال الاستفادة من قوة الحوسبة GPU ، ونحن نتوقع أن هذه الأدوات سوف تسهل التحقيقات على مستوى النظام من المبادئ الحاسوبية للهياكل الصغيرة في الدماغ ، فضلا عن تعزيز التفاعل بين العلوم العصبية والذكاء الاصطناعي الحديث. 21 20 36 النتائج طريقة التخطيط الترفيهي (Dendritic Hierarchical Scheduling) تعتبر حسابات الكهرباء الأوكسجين والحلول الصلبة دو مرحلة حاسمة عند تثبيت الأنابيب البيولوجية التفصيلية، والتي تستغرق وقتاً وتشكل ضغطاً كبيراً للكشف عن الكهرباء. ونتيجة لذلك، يصبح حل التوازنات الصلبة حجر الزاوية المتبقية لعملية التوازن (الصور. ) 37 1A-F من أجل حل هذه الحواجز، تم تطوير أساليب متوازنة على المستوى الخلوي، والتي تسرع الحساب الفردي من خلال "تقسيم" الخلية الفردية إلى العديد من المرافق التي يمكن الحساب بشكل متوازن. , , ومع ذلك ، فإن هذه الأساليب تعتمد بشكل كبير على المعرفة السابقة لإنتاج استراتيجيات عملية حول كيفية تقسيم عصري واحد إلى مخازن (الصور. إضافية Fig. وبالتالي فإنها أصبحت أقل كفاءة للأعصاب مع نموذج متوازن ، على سبيل المثال ، للأعصاب الفريدة والأعصاب Purkinje. 27 28 38 1G - I 1 ونحن نهدف إلى تطوير طريقة متوازنة أكثر كفاءة وأكثر دقة لتثبيت الشبكات العصبية البيولوجية التفصيلية. أولا، ونحن نحدد معايير دقة طريقة متوازنة على المستوى الخلوي. ونحن نقدم ثلاث شروط لضمان أن الطريقة المرتبطة سوف تنتج حلول مماثلة مثل طريقة Hines الحاسوبية وفقا للتأثير على البيانات في طريقة Hines (انظر طريقة). ثم لتقييم الوقت التنفيذي، أي كفاءة، من طرق الحاسوب المرتبطة والمرتبطة، ونحن نقدم ونصنع مفهوم تكلفة الحاسوبية كعدد الخطوات التي يتخذها الطريقة في حل التوازنات (انظر طرق). 34 استناداً إلى دقة التثبيت ومكلفة الحساب، نقوم بتصميم مشكلة التوازن مثل مشكلة التخطيط الرياضية (انظر المنهجيات). على سبيل المثال، يمكننا أن نحصل على أكثر من في كل خطوة، ولكننا بحاجة إلى التأكد من أن نقطة يتم حسابها فقط إذا تم معالجة كل نقطة طفلها؛ هدفنا هو العثور على استراتيجية مع الحد الأدنى من الخطوات لجميع الإجراءات. k k من أجل إنشاء جزء مثالي، ونحن نقترح طريقة تسمى Dendritic Hierarchical Scheduling (DHS) (أظهرت الأدلة النظرية في الأساليب). وتشمل طريقة DHS خطواتين: تحليل تكوين الدردشة والعثور على أفضل الفرق: (1) وفقاً لنماذج مفصلة، نستحصل أولاً على شجرة التكامل المناسب، ونحصل على عمق كل نقطة (على عمق نقطة هو عدد أجزاء أجيالها) على الشجرة (الصور). (2) بعد تحليل التمويل ، نبحث عن المرشحين ويختار أعلى الأقراص المستقبلية الأكبر (الأقراص المستقبلية فقط إذا تم معالجة جميع أقراصها المستقبلية).تكرار هذه العملية حتى يتم معالجة جميع الأقراص (الصور. ) 2a 2B ، C k 2D DHS Workflow - عملية DHS أقصى قوائم المرشح كل إتباع. نموذج تحديد عمق النيكود من نموذج الفصل. يتم تحويل النموذج أولا إلى هيكل شجرة ثم يتم تحديد عمق كل ناقل. تحليل تكوين على نموذجين عصريين مختلفين. ستة عصريين مع نموذجين منفصلين يتم عرضها هنا. بالنسبة لكل نموذج، يتم اختيار السماء كخلفية الشجرة بحيث تزيد عمق النيكود من السماء (0) إلى الأندريستات الخلفية. تصنيف إجراء DHS على النموذج في مع أربعة أجزاء: المرشحين: المرشحين الذين يمكنهم معالجة المرشحين: المرشحين الذين يتم اختيارهم من قبل DHS، أي المرشحين الذين يمكنهم معالجة المرشحين. الأقراص المعدلة: الأقراص التي تم معالجتها من قبل. استراتيجية التوازن التي تم الحصول عليها من قبل DHS بعد العملية في يتم تخصيص كل نقطة إلى واحدة من أربعة أجزاء متوازية DHS يقلل خطوات معالجة الأجزاء السريعة من 14 إلى 5 عن طريق توزيع الأجزاء إلى أجزاء متعددة. تكلفة نسبية ، أي نسبة تكلفة الحساب من DHS إلى طريقة Hines السريعة ، عند تطبيق DHS مع عدد مختلف من الأدوات على أنواع مختلفة من النماذج. a k b c d b k e d f اتخذ نموذجًا بسيطًا مع 15 فرقًا على سبيل المثال، باستخدام طريقة Hines الحسابية السريعة، فإنه يستغرق 14 خطوة لتشخيص جميع القنوات، في حين يستخدم DHS مع أربعة وحدات متوازنة يمكن تقسيم القنوات إلى خمس مجموعات (الصور. {وَمَا أَرْسَلْنَا مِن قَبْلِكَ مِن رَّسُولٍ إِلاَّ نُوحِي إِلَيْهِ أَنَّهُ لا إِلَهَ إِلاَّ أَنَا فَاعْبُدُونِ} [الأنبياء: 25]. ) 2D 2 E ثم نقوم بتطبيق طريقة DHS على ستة نموذجات عصبية مفصلة (تختار من ModelDB) ) مع عدد مختلف من الأدوات (الصور. ) : ، بما في ذلك عصابات البروستاتا الكرتونية والأوبوكامبتية , , أدوات التهاب الكبد Purkinje أدوات التخطيط الضوئي (SPN) ) و الخلايا الضوئية الضوئية الضوئية ، وتغطي العلامات العصبية الرئيسية في المناطق الحساسة ، القلبية والخلفية. ثم تم قياس تكلفة الحساب. يتم تحديد تكلفة الحساب المرتبطة هنا عن طريق نسبة تكلفة الحساب من DHS إلى تلك من طريقة Hines السريعة. تكلفة الحساب ، أي عدد الخطوات التي اتخذتها في حل المقاصد ، تراجع بشكل كبير مع زيادة عدد العلامات. على سبيل المثال ، مع 16 العلامات ، تكلفة الحساب من DHS هو 7٪-10٪ مقارنة مع طريقة Hines السريعة. من المثير للاهتمام ، يصل طريقة DHS إلى حدود أقل من تكلفة الحساب الخاصة بهم للالعلامات المذكورة عند إعطاء 16 أو حتى 8 العلامات المرتبطة (الصور. ويشير إلى إضافة المزيد من الأدوات لا تحسين الأداء بشكل أكبر بسبب التوازنات بين المجموعات. 39 2F 40 41 42 43 44 45 2F معًا، نحن نخلق طريقة DHS التي تتيح تحليلًا تلقائيًا للموضوعية البيندريكية وتقسيمًا إيجابيًا لتقسيمات متوازية. تحسين DHS من خلال زيادة الذاكرة GPU ويقوم DHS بتحليل كل عصبي باستخدام العديد من الأدوات ، والتي تستخدم كمية كبيرة من الأدوات عند تشغيل محاكاة الشبكة العصبية. (بالإضافة إلى الحواسيب المباشرة) في النظرية ، فإن العديد من SPs على GPU يجب أن تدعم التثبيت الفعلي لخطوط العصبية الكبيرة (الصور. ومع ذلك، فإننا نلاحظ باستمرار أن كفاءة DHS تراجع بشكل كبير عندما تزداد حجم الشبكة، والتي قد تكون نتيجة لتخزين البيانات المزدوجة أو الوصول إلى الذاكرة الإضافية الناجمة عن تحميل وتسجيل النتائج المتوسطة (الصور. إلى اليمين ) 3a ، b 46 3C 3D تصميم GPU ومعدل ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة ذاكرة تكنولوجيا المراقبة المتنقلة (SMs) كل SM يحتوي على العديد من المراقبة المتنقلة، والمجلات، وطاقم L1. يتم تطبيق DHS على اثنين من العينات ، كل منها لديها أربعة العينات ، أثناء التثبيت ، يتم تنفيذ كل العينات على معالج واحد. استراتيجية تحسين الذاكرة على GPU. قائمة أعلى، تخصيص الذاكرة و تخزين البيانات من DHS، قبل (السقف) و بعد (السقف) زيادة الذاكرة. يقوم المعالجين بإرسال طلبات البيانات لإرسال البيانات لكل نطاق من الذاكرة العالمية، دون زيادة الذاكرة (الخلفي)، ويستغرق ذلك سبعة عمليات لإرسال جميع البيانات المطلوبة، وبعض التغييرات الإضافية لنتائج منتظمة. وقت التشغيل من DHS (32 أسطوانات لكل الخلايا) مع وبدون زيادة الذاكرة على العديد من الطوابق 5 نموذج البرايميدية مع الخلايا. أسرع من زيادة الذاكرة على نموذج 5 الفرامل متعددة الأبعاد مع الأقراص. a b c d d e f We solve this problem by GPU memory boosting, a method to increase memory throughput by leveraging GPU’s memory hierarchy and access mechanism. Based on the memory loading mechanism of GPU, successive threads loading aligned and successively-stored data lead to a high memory throughput compared to accessing scatter-stored data, which reduces memory throughput , من أجل تحقيق إنتاجية عالية، ونحن نقيس أولاً أوامر الكمبيوتر من الأقراص ونقيس الأقراص وفقًا لعدد الأقراص على الأقراص. ثم نقيس تخزين البيانات في الذاكرة العالمية، وفقًا لتخزين الأقراص، أي أن الأقراص التي يتم معالجةها في نفس الخطوة يتم تخزين متتاليًا في الذاكرة العالمية. بالإضافة إلى ذلك، ونحن نستخدم محفظات GPU لتخزين النتائج المتوسطة، مما يزيد من إنتاجية الذاكرة. وبالإضافة إلى ذلك ، فإن التجارب على أرقام متعددة من العوامل العصبية البراميكية مع الأقمار الصناعية والأنماط العصبية التقليدية (الصور. إضافية Fig. ) يظهر أن زيادة الذاكرة يحقق 1.2-3.8 مرات أسرع مقارنة مع DHS البسيط. 46 47 3D 3 E ، F 2 To comprehensively test the performance of DHS with GPU memory boosting, we select six typical neuron models and evaluate the run time of solving cable equations on massive numbers of each model (Fig. لقد بحثنا DHS مع أربعة أجزاء (DHS-4) وستة عشر أجزاء (DHS-16) لكل عصري، على التوالي. مقارنة مع طريقة GPU في CoreNEURON، DHS-4 و DHS-16 يمكن أن تسرع حوالي 5 و 15 مرة، على التوالي (الصور. وبالإضافة إلى ذلك، مقارنة مع طريقة Hines التالية التقليدية في NEURON يعمل مع خط واحد من CPU، DHS يسرع التثبيت بنظام 2-3 من حجم (الصورة التالية. ) ، مع الحفاظ على دقة الرقمية الذاتية في حالة وجود حوافز ضخمة (الحوافز الإضافية. و ) ، الأكسدة النشطة (الإضافي Fig. ) و استراتيجيات التجميل المختلفة (التركيب التالي. ) 4 4a 3 4 8 7 7 الوقت المحدد لتسوية المقاربات لمرحلة من التثبيت على GPU (dt = 0.025 ms، 40,000 التكرارات في المجموع).CoreNEURON: طريقة متوازية تستخدم في CoreNEURON; DHS-4: DHS مع أربعة أجزاء لكل عصري; DHS-16: DHS مع 16 أجزاء لكل عصري. ، تظهر الجانب من الجانب عن طريق DHS-4 و DHS-16, كل لون يشير إلى قنبلة واحدة. a b c DHS يخلق تقسيمًا مثاليًا محددًا على نوع الخلية للحصول على رؤية حول آلية عمل طريقة DHS ، قمنا بتصوير عملية القسمة من خلال خرائط المجموعات لكل سلة (كل لون يعرض سلة واحدة في الصورة. يظهر التصوير أن خط واحد يتبدل في كثير من الأحيان بين النقاط المختلفة (الصور. من المثير للاهتمام، يخلق DHS الفرق المرتبطة في العوامل العصبية الماركسية مثل العوامل العصبية الضوئية (SPN) و الخلايا الضوئية (الصور. في المقابل، فإنها تنتج فرقات من عصابات عصبية غير متناقضة في الجوانب الطبيعية مثل عصابات البرايميدية و الخلايا Purkinje (الصور. )، مما يدل على أن DHS تقسيم الشجرة العصبية على نطاق الفقرات الفردية (أي نطاق الشجرة) بدلاً من نطاق النطاق. 4B ، C 4B ، C 4B ، C 4B ، C وفي المقابل، فإن DHS ورفع الذاكرة يخلق حلًا مثاليًا مؤكدًا في النظرية لتحديد المعادلات الصلبة مع كفاءة غير مسبوقة. باستخدام هذا المبدأ، قمنا بتطوير منصة DeepDendrite مفتوحة الوصول، والتي يمكن استخدامها من قبل العلماء العصبيين لتنفيذ النماذج دون أي معرفة برامج GPU محددة. أدناه، نحن نثبت كيف يمكننا استخدام DeepDendrite في المهام العصبية. DHS تتيح نموذج المستوى الخلفي نظرًا لأن الأقفاص الأندرويدية تلقى معظم الدفع الإشعاعي إلى العنصر البروفيسور الأبيض والأوبكومبوس، العنصر البروفيسور الإشعاعي، وما إلى ذلك، فإن نموذجها ونموذجها أمرًا حاسمًا لتنظيم الإشعاع العصبي. , , , , ومع ذلك ، فإن الأقراص صغيرة للغاية ( ~ 1 ملم طويل) لتقييمها مباشرة تجريبيا فيما يتعلق بالعمليات المرتبطة بالطاقة. 10 48 49 50 51 يمكننا نموذج ثنائي الخلفية مع اثنين من الخلفيات: رأس الخلفية حيث يتم تثبيت الشوارع والخلفية الخلفية التي تتواصل رأس الخلفية مع الأندرويد. تنبأ النظرية أن الحديد الأبيض الأصفر (0.1-0.5 ملم في المتوسط) يحدد بالكهرباء إلكترونيا رأس النحل من الأبقار ، وبالتالي تختلف الإشارات التي تم إنشاؤها في رأس النحل. ومع ذلك، فإن النماذج التفصيلية مع التوزيع الكامل على الأندرويد ("نماذج الأندرويد الكامل") تكلفة كبيرة من الناحية الحسابية. spine factor على سبيل المثال، على سبيل المثال، على سبيل المثال، على سبيل المثال، على سبيل المثال. يهدف العنصر الخلفي إلى تقليص تأثير الخلفي على الخصائص البيولوجية للخلفية الخلفية . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of وبالتالي فقدنا قوائم الثدي في نموذجهم من منطقة الثدي في منطقة الثدي في البيانات التي تم إنشاؤها. وبالتالي فقدنا قوائم الثدي من البيانات التي تم إنشاؤها من أجل جعل نموذج الثدي الكامل أكثر تعقيداً مع نموذج الثدي الكبير من Eyal. مع قوائم الثدي التي تم إنشاؤها إلى 1.3 μm-1, تم تجميع نموذج الثدي الثدي في نموذج الثدي الثدي في نموذج الثدي حوالي 25،000 بدون تغيير خصائص الثدي الأصلية والبيولوجية. بالإضافة إلى ذلك ، قمنا بتكرار البروتوكولات التجارية السابقة مع نموذج الثدي الكبير وقياس الثدي الكبير. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. and Supplementary Table ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , هذه استراتيجيات التوازن الخلقي يمكن أن تحصل على كفاءة أعلى ولكنها لا تحصل على كفاءة عددية كافية كما في طريقة Hines الأصلية. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex التكامل الذكي الذكي في نظام Whisker , , والرقابة الفضائية في منطقة هوباكامبت CA1 . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , وبالإضافة إلى ذلك، فإن بطاقة GPU واحدة مثل Tesla A100 يمكن أن تدعم بسهولة تشغيل نموذج محدد من محطات ما يصل إلى 10،000 عصابات، وبالتالي توفر خطط كفاءة الكربون ومكلفة للمختبرات العادية لتطوير وتحسين نموذجها المحدد على نطاق واسع. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. وقد أظهرت هذه الشبكة القدرة على التدريب بشكل فعال في مهام تصنيع الصور، مما أدى إلى زيادة سرعة حوالي 25 مرة مقارنة مع التدريب على منصة CPU التقليدية (الصور. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. تحديد دقة كل نموذج على العناصر المتنافسة بعد تدريب 30 زمنية على مجموعة البيانات من MNIST (السقف) و Fashion-MNIST (السقف). Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. الطرق Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and أدوات الحساب الأساسية (أدوات الحساب الأساسية) للقيام بتشكيل ثلاثي الأبعاد ، وتشكيل ثلاثي الأبعاد المباشر يساوي تقسيم مجموعة العنصر of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset يمكن أن يتم إجراءها في الحد الأدنى، وبالتالي، نحن نحدد | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { ، } and a positive integer , where is the node-set and is the edge set. Define partition ( ) = { , , … | ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( (الإجمالي هو الحد الأدنى. T V E k V E P V V1 V2 Vn Vi k i Vi Vi VI v Vi c c v Vj j i P* V P* V Here subset يتكون من جميع الأقراص التي سيتم حسابها في -th step (Fig. ), so | | ≤ indicates that we can compute nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node can be processed only if all its child nodes are processed. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from وإذا أضفنا إليها . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , ، ... }, | , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset 2 . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , ، ... }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from 2 . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn v1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. لكل جزء من في ( DHS تتحرك (مجموع أرقام الشريط) أعلى الأقراص من مجموعة المرشح المناسب 2 . If the number of nodes in is smaller than إرسال جميع الأقراص من to لتوسيع نطاق العمل، نحن نقدم , indicating the depth sum of الأقمار الأوسع في . All subsets in ( ) تلبية متطلبات عمق ماكس (الجزء التالي. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { ، , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P*(V) V * 1 V * 2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | and there exist some valid nodes in that are not put to ; (2) | | = ولكن الأقراص في are not the deepest nodes in . V*i V*i V*i k Qi V*i V * i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset ( > ). We first move from to + , then modify subset + as follows: if | + and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of هو في + , move this parent node to + ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , … with the same strategy. Finally, move from to . V*i V*i < k V*i V*i 6B V*i k Qi V*i 6b V*i V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v » V*j V * i مع استراتيجية التعديل المذكورة أعلاه ، يمكننا استبدال جميع الأقراص الصلبة في with the -th deepest node in and keep the number of subsets, i.e., | ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V * i k Qi P* V P* V V*i p * V P* V في نهاية المطاف ، تقوم DHS بتنشيط ( ( ) و جميع المكونات ∈ ( - تلبية الاحتياطات المطلوبة: بالنسبة لأي فرق مثالي آخر ( ) يمكننا تعديل أجزاءه لتصبح هيكلها متوافقة مع ( ) ، أي ، تتكون كل مجموعة ثانية من الأقمار الأكثر دقة في مجموعة المرشحين ، ويحافظ على ( ) كما هو الحال بعد التعديلات، ولهذا السبب ( ) تم الحصول عليها من DHS هي واحدة من الفرق المثالية. P V VI P V p * V P V P* V | P V تطوير GPU ورفع الذاكرة للحصول على ميزة عالية من الذاكرة ، تستخدم GPU تقسيم الذاكرة من (1) الذاكرة العالمية ، (2) الذاكرة المتحركة ، (3) المستند ، حيث الذاكرة العالمية لديها ميزة كبيرة ولكن ميزة منخفضة ، في حين أن المستندات لديها ميزة منخفضة ولكن ميزة منخفضة. يقوم GPU بتصنيع SIMT (Single-Instruction, Multiple-Thread).Warps هي وحدات التخطيط الأساسية على GPU (Warp هو مجموعة من 32 شرائح متوازية).Warp يقوم بتنفيذ نفس الإرشادات مع بيانات مختلفة للشرائح المختلفة. ويجب أن نؤكد على أن التخطيط الصحيح للخلايا هو ضرورة أساسية لهذا التخطيط للخلايا في الخلايا، لضمان أن DHS يحصل على النتائج المماثلة مثل طريقة Hines السريعة. عند تنفيذ DHS على GPU، نحن أولاً نقوم بتخطيط جميع الخلايا إلى عدة الخلايا بناءً على نمطياتهم. يتم جمع الخلايا ذات نمطيات مماثلة في نفس الخلايا في نفس الخلايا. ثم نقوم بتخطيط DHS على جميع الخلايا العصبية، وتخصيص أجزاء كل الخلايا إلى أجزاء متعددة. لأن الخلايا يتم جمعها في الخلايا، فإن أجزاء نفس الخلايا تقع في نفس الخلايا. وبالتالي فإن التخطيط الداخلي في الخلايا 46 عندما يتم تحميل البيانات المتعددة الأبعاد من الذاكرة العالمية، فإنه يمكن استخدامه بالكامل من الذاكرة، مما يؤدي إلى حجم الذاكرة عالية، في حين أن الوصول إلى البيانات المتعددة الأبعاد سيقلل من حجم الذاكرة. بعد تخصيص المجموعات وتعديل الذاكرة، فإننا نقوم بتخصيص البيانات في الذاكرة العالمية لتكون متوافقة مع أوامر الحساب، بحيث يمكن للذاكرة تحميل البيانات المتعددة الأبعاد عند تنفيذ البرنامج. النماذج البيولوجية الكاملة والعديدة الكاملة We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, مقاومة المفاصل m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F في نموذج الكرة الكاملة ، تم إدراج جميع الكرة الكاملة على وجه التحديد إلى الأندرويد. لقد حصلنا على ضغط الكرة الكاملة مع العنصر العصبي المعدل في Eyal ، et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Background noise We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in على سبيل المثال ، إلا أنه تم توزيع الحد الأقصى من NMDA على نطاق متساوي من 1.57 إلى 3.275 ، مما يؤدي إلى نسبة AMPA إلى NMDA أعلى. t Synaptic Inputs Exploring neuronal excitability لقد بحثنا عن احتمالات الارتفاع عند تثبيت العديد من الأقمار الصناعية في وقت واحد. بالنسبة للاتصالات المتنقلة، اختبرنا 14 حالة، من 0 إلى 240 مقارنة بالأقمار الصناعية المتنقلة. بالنسبة للاتصالات المتنقلة، اختبرنا 9 حالات في مجموعها، وتثبيت من 0 إلى 12 مقارنة. كان كل مقارنة يتكون من 20 مقارنة. بالنسبة لكل مقارنة في كل مقارنة من الأقمار الصناعية المتنقلة والمتنقلة، فقد حصلنا على احتمالات الارتفاع مع 50 عينات عشوائية. تم تحديد احتمالات الارتفاع كمعدل عدد الأقمار الصناعية المتنقلة إلى مجموع عدد العينات. تم تثبيت جميع العينات 1150 في وقت واحد على منصة DeepDendrite Performing AI tasks with the DeepDendrite platform Conventional detailed neuron simulators lack two functionalities important to modern AI tasks: (1) alternately performing simulations and weight updates without heavy reinitialization and (2) simultaneously processing multiple stimuli samples in a batch-like manner. Here we present the DeepDendrite platform, which supports both biophysical simulating and performing deep learning tasks with detailed dendritic models. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, y τ x, y p x و y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where is the post-synaptic voltage, the reversal potential syn = 1 mV, the maximum synaptic conductance max = 0.05 μS ، والمرحلة الدائمة = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. Input neurons could make multiple connections to randomly-selected locations on the dendrites of hidden neurons. The synaptic current activated by the - الـ Synapse of the -th input neuron on neuron ’s dendrite is defined as in Eq. ( ), where ومنه قوله صلى الله عليه وآله وسلم: (إنما الأعمال بالنيات، وإنما لكل امرئ ما نوى). is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 gijk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -th class predicted by the HPC-Net, is the average somatic voltage from 20 ms to 50 ms of the -th output neuron, and يظهر عدد الطبقات، والتي تساوي عدد العلامات العصبية الخلفية.الطبقة التي لديها أعلى احتمال متوقع هي النتيجة النهائية من التخصيص.في هذه المقالة، قمنا بتطوير شبكة HPC مع 784 العلامات العصبية الخلفية، 64 العلامات العصبية الخلفية، و 10 العلامات العصبية الخلفية. 6 pi i i C Synaptic plasticity rules for HPC-Net Inspired by previous work , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and = 0 if not. 36 7 Pi i yi yi i جين When training HPC-Net, we compute the update for weight (القدرة الشمسية على -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and وبالتالي ، is the -th synaptic current activated by neuron on neuron , من خلال القيادة السينمائية، is the transfer resistance between the -th connected compartment of neuron on neuron » تداول العملات الأجنبية neuron ’s soma, s = 30 ms e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ). t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. التدريب على القطع الصغيرة هو طريقة عادية في التعلم العميق لتحقيق دقة التوقعات أعلى وتسريع التفاوض. DeepDendrite يدعم أيضا التدريب على القطع الصغيرة. batch, we make batch copies of HPC-Net. During training, each copy is fed with a different training sample from the batch. DeepDendrite first computes the weight update for each copy separately. After all copies in the current training batch are done, the average weight update is calculated and weights in all copies are updated by this same amount. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , and HPC-Net was trained with our DeepDendrite. For fairness, we generated adversarial noise on a significantly different network model, a 20-layer ResNet وتتراوح مستويات الضوضاء من 0.02 إلى 0.2، ونجحنا في إجراء تجربة على مجموعة من البيانات التقليدية، MNIST. and Fashion-MNIST وأظهرت النتائج أن دقة التنبؤ من HPC-Net هو 19% و 16.72% أعلى من ذلك من ANN المماثلة، على التوالي. 98 99 93 100 101 95 96 Reporting summary معلومات إضافية عن تصميم البحث متوفرة في linked to this article. Nature Portfolio Reporting Summary Data availability البيانات التي تدعم نتائج هذه الدراسة متوفرة في المجلد، معلومات إضافية و ملفات البيانات المصدرية المتوفرة مع هذه المجلد. – وهي متاحة في . The MNIST dataset is publicly available at تتوفر مجموعة البيانات Fashion-MNIST بشكل عام في . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data كود متاح The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. & Pitts, W. حساب منطقي من الأفكار الممتازة في النشاط العصبي. LeCun, Y., Bengio, Y. & Hinton, G. التعلم العميق. الطبيعة 521, 436–444 (2015). P. Poirazi، P. Brannon، T. & Mel، B. W. أرقام الحسابات العنقودية تحت الحد الأدنى في خلايا الفرامل CA1 نموذجية. لندن، M. & Häusser، M. الحسابات الدنماركية. سنة. Rev. Neurosci. 28, 503–532 (2005). Branco, T. & Häusser, M. النقطة الوحدوية واحدة كواحدة فعالة أساسية في النظام العصبي. Stuart, G. J. & Spruston, N. التكامل الديني: 60 سنة من التقدم. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi، P. و Papoutsi، A. إضاءة وظيفة دندريكية مع النماذج الحسابية. Yuste, R. & Denk, W. الأبواب الدنماركية كواحدة وظيفة أساسية من التكامل العصبي. Nature 375, 682–684 (1995). Engert, F. & Bonhoeffer, T. تغييرات الثديية المرتبطة بزيادة طويلة الأجل من الصلب. الطبيعة 399, 66–70 (1999). Yuste, R. Dendritic spines and distributed circuits. , 772–781 (2011). Neuron 71 يوروس، R. التفاعلات الكهربائية في الأورام الأندرويدية. سنة. Rev. Neurosci. 36, 429-449 (2013). Rall, W. تراجع الأبقار الأندرويدية ومقاومة الخلايا motoneuron. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. Computational study of an excitable dendritic spine. , 499–523 (1988). J. Neurophysiol. 60 Silver, D. et al. Mastering the game of go with deep neural networks and tree search. , 484–489 (2016). Nature 529 Silver، D. et al. ألغاز التعلم الكامل التي تتحكم في الشطرنج، الشطرنج، والذهاب من خلال اللعب الذاتي. McCloskey، M. & Cohen، N. J. التدخل الكارثي في الشبكات الاتصالية: مشكلة التعلم التالي. French, R. M. Catastrophic forgetting in connectionist networks. , 128–135 (1999). Trends Cogn. Sci. 3 Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. , E6329–E6338 (2018). Proc. Natl Acad. Sci. USA 115 Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. ميكروسيرات الكورتيزية الدنماركية تقترب من ألغاز التوسع الخلفي. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits. , 1010–1019 (2021). Nat. Neurosci. 24 Bicknell, B. A. & Häusser, M. قواعد التعلم العصبي لاستغلال الحساب العصبي غير التقليدي. Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. الكومسترون الترددي: عصبي نموذجي الذي يتعلم على حل المهام التخصيصية من خلال غير التردديات التردديّة، والضبابية البنية التحتية، والخسارة التردديّة. Hodgkin, A. L. و Huxley, A. F. وصف كميكانيكي للطاقة البلاستيكية وتطبيقها على القيادة والتعب في العقل. Rall, W. نظرية خصائص البيولوجية من الأندرويد. Ann. N. Y. أكاديمية Sci. 96, 1071-1092 (1962). Hines, M. L. و Carnevale, N. T. البيئة التثبيت النيوترون. الكمبيوتر العصبي 9، 1179-1209 (1997). Bower, J. M. & Beeman, D. في كتاب النبوة: استكشاف النماذج العصبية الإيجابية مع نظام التعبير العصبي العام (eds Bower, J. M. & Beeman, D.) 17-27 (Springer نيويورك, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron splitting in compute-bound parallel network simulations enables runtime scaling with twice as many processors. , 203–210 (2008). J. Comput. Neurosci. 25 Hines, M. L., Markram, H. & Schürmann, F. المحاكاة المباشرة الكاملة المباشرة للأدوية الفردية. J. Comput. Neurosci. Ben-Shalom، R، Liberman، G. & Korngreen، A. تسريع نموذج الحجم على وحدات معالجة الرسومات. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. نموذج متكامل فعال من النماذج العصبية مع الهيكل الفردي على وحدات معالجة الرسومات. In Proc. 2016 المؤتمر الدولي حول معالجة المعلومات العصبية (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber، F. حل شجرة فعالة لالغازات على GPU. الترجمة على https://arxiv.org/abs/1810.12742 (2018). Korte ، B. & Vygen ، J. نظرة التحسين المشترك والتحليلات 6 edn (Springer ، 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar، P. et al. CoreNEURON: محرك الحاسب الآلي المتقدمة لمحاكاة NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. التعلم من خلال التوقيت الدرديرية من التهابات النفسية. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizing ion channel models using a parallel genetic algorithm on graphical processors. , 183–194 (2012). J. Neurosci. Methods 206 Mascagni، M. ألغاز التوازن لإنشاء حلول محددة لتكوين نموذج عصبي كابل مرفق. J. Neurosci. McDougal، R. A. et al. عشرون عامًا من النموذج DB وأكثر من ذلك: بناء أدوات النموذج الأساسية للمستقبل من العلوم العصبية. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih يمنع تلقائيًا تلقائيًا من إدراجات الفراش غير المزمنة في عصبيات الفراش الفراشية CA1. Hemond, P. et al. فئات مختلفة من الخلايا البائمة تظهر نموذجًا إطلاقًا منفصلًا في منطقة الخرطوم CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. نموذج من الخلايا الخضراء الخلفية الخلفية 5b التي تجمع مجموعة واسعة من الخصائص النشطة الأندريكية والخلفية. PLoS Comput. Masoli, S., Solinas, S. & D’Angelo, E. معالجة الإمكانات العملية في نموذج خلايا Purkinje مفصل يظهر دورًا حاسمًا في التجميل الأكسوني. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. المجموعات العصبية تعمل كاستشاريات الرائحة في حبة الرائحة. Proc. Natl Acad. NVIDIA. كود C++ برنامج الماجستير. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ أفضل الممارسات دليل. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett ، M. T. ، Makara ، J. K. ، Spruston ، N. ، Kath ، W. L. و Magee ، J. C. تزايد التزايد العصبي من قبل الأقراص الدنماركية يعزز التعاون في الدخول. Nature 491, 599–602 (2012). Chiu، C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. Spine neck plasticity regulates compartmentalization of synapses. , 678–685 (2014). Nat. Neurosci. 17 Eyal, G. et al. عصابات البروستاتا البروستاتية البشريّة: من الأقمار الصناعية إلى الأقمار الصناعية من خلال النماذج. Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 كوك، C. Dendritic spines. in Biophysics of Computation (Oxford University Press، 1999). Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. الحماية البيولوجية المتمثلة في الشبكات العميقة من الهجمات العدوانية. إرسال مستمر في https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Large-Scale Simulation Using Parallel GENESIS. In (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). The Book of GENESIS: Exploring Realistic Neural Models with the GEneral NEural SImulation System Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. نموذج شبكة متوازية مع NEURON. Lytton, W. W. et al. النموذج التكنولوجيات العصبية لتطوير أبحاث الدماغ: موازنة الشبكات الكبيرة في NEURON. Valero-Lara، P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor—A morphologically-detailed neural network simulation library for contemporary high-performance computing architectures. In 274–282 (IEEE, 2019). Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) Ben-Shalom، R. et al. NeuroGPU: تسرع التثبيتات العصبية متعددة الأقسام، البيولوجية التفصيلية على GPUs. J. Neurosci. Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. An ultrascalable solution to large-scale neural tissue simulation. , 15 (2011). Front. Neuroinform. 5 Jayant, K. et al. Targeted intracellular voltage recordings from dendritic spines using quantum-dot-coated nanopipettes. , 335–342 (2017). Nat. Nanotechnol. 12 Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama، J. و Yasuda، R. الحسابات البيولوجية للمضادات الحيوية البولية. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. التغيرات المارونية في الأورام الأندرويدية المرتبطة بالضبطية العصبية طويلة الأمد. Holtmaat, A. & Svoboda, K. الخلايا العصبية البنية التحتية المرتبطة بالخبرات في الدماغ الماشية. Caroni, P., Donato, F. & Muller, D. البلاستيكية الهيكلية عند التعلم: التنظيم والعمليات. ككك، T. et al. إعادة هيكلة كبيرة من محطات العصبي أثناء إعادة هيكلة وظيفية من الحجم البشري البالغ. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. الخبرة تترك علامة تجارية مستمرة في محطات القلب. Nature 457, 313–317 (2009). Trachtenberg, J. T. et al. صورة طويلة الأجل في الحيوان من البلاستيك التفاعلية التي تعتمد على الخبرة في الكرنك البالغ. Nature 420, 788-794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. ديناميكيات الأكسونية من العوامل العصبية التعبيرية والتعذيبية في القوس الذهني. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. تشكيل السريع والتحكم الاختياري للالتهابات الحرارية المستمرة. Nature 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. تعزيز التعلم الحركي عن طريق زيادة استقرار الأقفاص الدنماركية الجديدة التي تم تشكيلها في القفر الحركي Neuron 109, 3298-3311 (2021). برانكو، T. & Häusser، M. التقدمات التكاملية العنقودية في الدنماركية الخلايا الفراملية الفراملية واحدة. Neuron 69, 885-892 (2011). Major, G., Larkum, M. E. & Schiller, J. خصائص النشاط النشاط الفولاذ المقاوم للبروستاتا neocortical dendrites. Gidon، A. et al. إمكانات النشاط الأندريتي والتمثيل في طبقة 2/3 العصائر العصبية البشرية. Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. نموذج الهجمات العصبية في الوقت المناسب يخلط NMDA الطوابق، تؤثر على معالجة الدنماركية المحلية والخصائص I / O العالمية للأعصاب العصبية. Cell Rep. 21, 1550-1561 (2017). Du, K. et al. التهاب نوع الخلايا ذات الخصائص المحددة من إمكانيات المرتفعات الدنماركية في عصابات التصوير الضوئي الضوئي الضوئي الضوئي. Proc. Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. النجوم الدردشة تحسين اختيارية التهابات في عصابات العظام الدردشة في الحيوان. Nature 503, 115-120 (2013). Xu, N.-l et al. التكامل الدرقي غير الداخلي من الدخول الذهني والسياسي أثناء مهمة التفكير النشط. Nature 492, 247–251 (2012). Takahashi، N. ، Oertner ، T. G. ، Hegemann ، P. و Larkum ، M. E. الأدوية العضوية المضادة للرؤية. العلم 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. انتشار الكالسيوم المفاجئ في جميع أنحاء حديقة دندريتي تنبأ خصائص المجال. Nature 517, 200–204 (2015). Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Avoiding catastrophe: active dendrites enable multi-task learning in dynamic environments. , 846219 (2022). Front. Neurorobot. 16 Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. Preprint at (2016). https://arxiv.org/abs/1605.07277 Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. Gradient-based learning applied to document recognition. , 2278–2324 (1998). Proc. IEEE 86 Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox الأصلية: الهجمات العدوانية السريعة لتقييم قوة نموذج التعلم الآلي في PyTorch، TensorFlow، و JAX. Paszke, A. et al. PyTorch: An imperative style, high-performance deep learning library. In (NeurIPS, 2019). Advances in Neural Information Processing Systems 32 (NeurIPS 2019) He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) الاعترافات The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. هذه المقالة متوفرة في الطبيعة تحت لائحة CC by 4.0 Deed (Attribution 4.0 International). هذه الرسالة هي تحت رخصة CC by 4.0 Deed (Attribution 4.0 International). متاحة في الطبيعة
