סופרים : Yichen Zhang גאן הוא לי מא ליאו Xiaofei ג'ון ג'ון Hjorth אלכסנדר קוזלוב Yutao He Shenjian Zhang ג'נטה Hellgren Kotaleski יונגו Tian סטן גרינר כשאתה טויוטה Huang סופרים : ג'אנג Zhang גאן הוא לי מא ליאו Xiaofei ג'ון ג'ון Hjorth אלכסנדר קוזלוב יואב הוא Shenjian ג'אנג ג'נטה Hellgren Kotaleski יונגו Tian סטן גרינר כשאתה טויוטה Huang abstractעריכה מודלים רב-מחלקה מפורטים ביופיזית הם כלים חזקים לחקור עקרונות חישובים של המוח וגם לשמש כמסגרת תיאורטית ליצירת אלגוריתמים עבור מערכות אינטליגנציה מלאכותית (AI). אנדריטיקה ירושלמי שיטת cheduling (DHS) כדי להאיץ תהליך כזה באופן משמעותי. אנו מוכיחים תיאורטי כי יישום DHS הוא אופטימלי ומדויק מבחינה מחשבתית. שיטה מבוססת GPU זו פועלת במהירות של 2-3 סדרות גדולות יותר מאשר שיטת Hines הסדרה הקלאסית בפלטפורמת ה-CPU המסורתית. אנו בונים מסגרת DeepDendrite, המשלבת את שיטת DHS ואת מנוע החישוב GPU של סימולטור NEURON ומדגישה יישומים של DeepDendrite במשימות מדעי העצבים. אנו חוקרים כיצד דפוסי מרחב של כניסות עמוד השדרה משפיעים על התרגשות נוירונלית במודל פירמידה אנושי מפורט עם 25,000 ספנים. יתר על כן, אנו מספקים די D H S הוצאת קריאת עקרונות הקוד והמחשוב של נוירונים היא חיונית למדעי העצבים.מוחי היונקים מורכבים ממיליוני סוגים שונים של נוירונים עם תכונות מורפולוגיות וביופפיזיות ייחודיות.למרות שזה כבר לא נכון מבחינה מושגית, הדוקטרינה של "נקודת נוירונים" , שבו נוירונים נחשבו יחידות סיכום פשוטות, עדיין מיושם באופן נרחב במחשב נוירלי, במיוחד בניתוח רשתות נוירליות. בשנים האחרונות, האינטליגנציה המודרנית המלאכותית (AI) השתמשה ביסוד זה ופיתחה כלים חזקים, כגון רשתות נוירליות מלאכותיות (ANN). עם זאת, בנוסף לחישובים מקיפים ברמת נוירון יחיד, מחלקות תת-תאיות, כגון דנדריטים נוירונים, יכולות גם לבצע פעולות לא ליניאריות כאחידות חישוב עצמאיות. , , , , יתר על כן, מפרקים דנדריטיים, מפרקים קטנים המכסים בדחיפות את דנדריטים בנוירונים ספייניים, יכולים לחלק אותות סינפטיים, ומאפשרים להם להיות נפרדים מהדנדריטים ההורים שלהם ex vivo ו in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 סימולציות באמצעות נוירונים מפורטים ביולוגית מספקות מסגרת תיאורטית לקשר פרטים ביולוגיים לעקרונות חישוביים. , מאפשר לנו למודל נוירונים עם מורפולוגיות דנדריטיות מציאותיות, נתיבות יוניות פנימיות, והכניסות סינפטיות חיצוניות. , אשר מודל את המאפיינים הביופפיזיים של דנדריטים ככבלים פסיביים, מספק תיאור מתמטי של האופן שבו אותות אלקטרוניים פולשים ומתפשטים לאורך תהליכים נוירונים מורכבים.באמצעות שילוב תאוריה כבל עם מנגנונים ביופפיזיים פעילים כגון ערוצי יונים, זרמים סינפטיים מעוררים ומעכבים, וכו ', מודל מפורט רב מחלקה יכול להשיג חישובים נוירונים תאיים ותת תאיים מעבר להגבלות הניסוי , . 12 13 12 4 7 מלבד ההשפעה העמוקה שלה על המדע העצמי, מודלים נוירונים מפורטים ביולוגית שימשו לאחרונה כדי לחצות את הפער בין הפרטים המבניים הביולוגיים של הנוירונים לבין ה- AI. הטכניקה השולטת בתחום ה- AI המודרני היא ANNs המורכב נוירונים נקודות, אנלוגי לרשתות נוירליות ביולוגיות. , המוח האנושי עדיין עולה על ANNs בתחומים המעורבים בסביבות דינמיות וקולות יותר. , מחקרים תיאורטיים האחרונים מראים כי אינטגרציה דנדריטית חשובה ליצירת אלגוריתמים למידה יעילים שעשויים להתגבר על אחיזה במקביל לעיבוד מידע. , , יתר על כן, מודל רב-מחלקה מפורט אחד יכול ללמוד חישובים לא ליניאריים ברמת הרשת עבור נוירונים נקודה על ידי התאמה רק של כוח הסינפטי. , לכן, יש עדיפות גבוהה להרחיב פרדיגמות במוח כמו AI מ מודלים נוירונים מפורטים יחידים לרשתות ביולוגיות מפורטות בקנה מידה גדול. 14 15 16 17 18 19 20 21 22 האתגר הארוך של הגישה לסימולציה מפורטת הוא העלות החישובית הגבוהה ביותר שלה, שהגביל באופן חמור את היישום שלה למדעי העצבים והאינטליגנציה האינטלקטואלית. , , כדי לשפר את היעילות, השיטה הקלאסית של היינס מקצרת את המורכבות בזמן לפתרון משוואות מ- O(n3) ל- O(n), אשר מיושם באופן נרחב כאלגוריתם הליבה בסימולטורים פופולריים כגון NEURON. גנטיז עם זאת, שיטה זו משתמשת בגישה סדרתית לעיבוד כל מחלקה ברציפות.כאשר סימולציה כרוכה בדנדריטים מרובים מפורטים ביופיזית עם ספנים דנדריטיים, המתיש של המשוואה ליניארית ("מתיש Hines") מדרג בהתאם עם מספר הולך וגדל של דנדריטים או ספנים (איור. ), מה שהופך את שיטת הינס לא מעשית יותר, שכן היא מהווה עומס כבד מאוד על כל הסימולציה. 12 23 24 25 26 1 E מודל נוירונים פירמידי של שכבה 5 ופורמולה מתמטית המשמשת עם מודלים נוירונים מפורטים. זרימת העבודה בעת סימולציה מספרית של מודלים נוירונים מפורטים, השלב של פתרון המשוואה הוא מחסום הבקבוק בסימולציה. דוגמה של משוואות לינאריות בסימולציה. תלות נתונים של שיטת Hines בעת פתרון משוואות ליניאריות → מספר המערכת של משוואות לינאריות לפתור עובר עלייה משמעותית כאשר המודלים גדלים לפרטים יותר. עלות חישובית (השלבים שנלקחו בשלב פתרון המשוואה) של שיטת הינס הסורית על סוגים שונים של מודלים נוירונים. איור של שיטות פתרון שונות.חלקים שונים של נוירון מוקצים ליחידות עיבוד מרובות בשיטות מקבילות (מרכז, ימין), מוצגים בצבעים שונים. עלות המחשב של שלוש שיטות כאשר לפתור משוואות של מודל פירמידה עם ספנים. זמן ההפעלה של שיטות שונות על פתרון משוואות עבור 500 מודלים פירמידיים עם ספינים. זמן ההפעלה מציין את צריכת הזמן של סימולציה של 1 s (פתור את המשוואה 40,000 פעמים עם צעד זמן של 0.025 ms). p-Hines שיטה מקבילה ב CoreNEURON (ב- GPU), שיטה מקבילה מבוססת ענף (ב- GPU), DHS שיטת תזמון הירירית Dendritic (ב- GPU). a b c d c e f g h g i במהלך העשורים האחרונים, התקדמות עצומה נעשתה כדי להאיץ את שיטת היינס באמצעות שיטות מקבילות ברמת התאים, המאפשרות להדביק את החישוב של חלקים שונים בכל תא. , , , , , עם זאת, שיטות מקבילות ברמת התאים הנוכחיות לעתים קרובות חסרות אסטרטגיית מקבילות יעילה או חסרות דיוק מספרי מספיק בהשוואה לשיטת הינס המקורית. 27 28 29 30 31 32 כאן, אנו מפתחים כלי סימולציה אוטומטי לחלוטין, מדויק במספרים, ואופטימיזציה שיכולה להאיץ באופן משמעותי את יעילות החישוב ולהפחית את עלויות החישוב.בנוסף, כלי סימולציה זה ניתן לאמץ בקלות כדי להקים ולבדוק רשתות נוירליות עם פרטים ביולוגיים עבור יישומי למידה מכונה ו- AI. תיאוריה של מחשב מקביל אנו מוכיחים כי האלגוריתם שלנו מספק תזמון אופטימלי ללא כל אובדן של דיוק. יתר על כן, אנו אופטימליזמים את DHS עבור הצ'יפ GPU המתקדם ביותר כיום על ידי ניצול הידררכיה של זיכרון GPU ומנגנונים גישה זיכרון. ) בהשוואה לסימולטור קלאסי NEURON תוך שמירה על דיוק זהה. 33 34 1 25 כדי לאפשר סימולציות דנדריטיות מפורטות לשימוש בעבודה מלאכותית, אנו ממשיכים להקים את מסגרת DeepDendrite על ידי אינטגרציה של פלטפורמת CoreNEURON (מנוע חישוב אופטימלי עבור NEURON) המוטבע ב- DHS. כמו מנוע הסימולציה ושני מודולים עזר (מודול I/O ומודול למידה) התומכים אלגוריתמים למידה דנדריטיים במהלך סימולציות. DeepDendrite פועל על פלטפורמת החומרה של GPU, תומך הן משימות סימולציה רגילות במדעי העצבים ומשימות למידה ב- AI. 35 Last but not least, we also present several applications using DeepDendrite, targeting a few critical challenges in neuroscience and AI: (1) We demonstrate how spatial patterns of dendritic spine inputs affect neuronal activities with neurons containing spines throughout the dendritic trees (models full-spine). DeepDendrite מאפשר לנו לחקור חישובים נוירוניים במודל נוירון פירמידה אנושי מדויק עם ~25,000 dendritic spines. (2) בדיון אנו גם לשקול את הפוטנציאל של DeepDendrite בהקשר של AI, במיוחד, ביצירת ANNs עם נוירונים פירמידה אנושיים מפורטים מבחינה מורפולוגית. כל קוד המקור של DeepDendrite, המודלים המלאים והמודל המפורט של הרשת הדנדריטית זמינים בפומבי באינטרנט (ראה זמינות קוד). פלסטיות סינפטית תלויה בפיצוץ , וללמוד עם תחזית ספייק באופן כללי, המחקר שלנו מספק סט שלם של כלים שיש להם את הפוטנציאל לשנות את המערכת האקולוגית של הקהילה הנוכחית של מדעי המחשב.באמצעות ניצול הכוח של מחשוב GPU, אנו מצפים כי כלים אלה יקלו על חקירות ברמה המערכת של עקרונות מחשוב של מבנים עדינים של המוח, כמו גם לקדם את האינטראקציה בין מדעי העצבים ו- AI מודרני. 21 20 36 תוצאות שיטת לוח הזמנים הירוארכי (Dendritic Hierarchical Scheduling - DHS) חישוב זרמים יוניים ופתרון משוואות לינאריות הם שני שלבים קריטיים בעת סימולציה של נוירונים מפורטים ביופסיכולוגית, אשר לוקחים זמן ומייצגים עומס חישובי חמור.למזל, חישוב זרמים יוניים של כל מחלקה הוא תהליך עצמאי לחלוטין, כך שזה יכול להיות מקבילה באופן טבעי על מכשירים עם יחידות מחשוב מקבילות גדולות כגון GPUs כתוצאה מכך, פתרון משוואות ליניאריות הופך את הבקבוק הנותר לתהליך ההשוואה (איור. ) 37 1א-ג כדי להתמודד עם מחסום זה, שיטות מקבילות ברמת התאים פותחו, אשר להאיץ חישוב תאים יחידים על ידי "חלוקת" תא יחיד למספר חלקיקים שניתן לחשב במקביל. , , עם זאת, שיטות כאלה מסתמכות מאוד על ידע מראש כדי ליצור אסטרטגיות מעשיות על איך לחלק נוירון יחיד לחלקים (איור. תוספת פיג. כתוצאה מכך, הוא הופך פחות יעיל עבור נוירונים עם מורפולוגיות אסימטריות, למשל, נוירונים פירמידיים נוירונים Purkinje. 27 28 38 1 ג 1 אנו שואפים לפתח שיטה מקבילה יעילה יותר ומדויקת עבור סימולציה של רשתות נוירליות מפורטות ביולוגית. ראשית, אנו קובעים את הקריטריונים עבור הדיוק של שיטה מקבילה ברמת התא. , אנו מציעים שלושה תנאים כדי להבטיח שיטה מקבילה תביא פתרונות זהים כמו שיטת החישוב הסורי Hines על פי תלות הנתונים בשיטת Hines (ראה שיטות). 34 בהתבסס על דיוק הסימולציה ועלות חישובית, אנו מתארים את הבעיה של הפרלמציה כבעיה של תזמון מתמטי (ראה שיטות). תגיות קשורות אנו יכולים לחשב אנחנו צריכים להבטיח שהקוטר מחושב רק אם כל קוטר הילדים שלו מעובד; המטרה שלנו היא למצוא אסטרטגיה עם מספר מינימלי של צעדים עבור ההליך כולו. k k כדי ליצור מחלקה אופטימלית, אנו מציעים שיטה בשם Dendritic Hierarchical Scheduling (DHS) (הוכחה תיאורטית מוצגת בשיטות). שיטת DHS כוללת שתי צעדים: ניתוח טופולוגיה דנדריטית ומציאת המקטע הטוב ביותר: (1) בהנחה של מודל מפורט, אנו מקבלים תחילה את עץ ההתמכרות המתאים ולחשב את העומק של כל כפתור (עומק כפתור הוא מספר כפתורים אבותיו) על העץ (איור. (2) לאחר ניתוח טופולוגיה, אנו מחפשים את המועמדים ולבחור את המקסימום ערכי המועמד העמוקים ביותר (יחידה היא מועמדת רק אם כל ערכי הילדים שלה מעובדים). ) 2א 2B , C k 2D DHS Workflow - תהליכים של DHS המועמד העמוק ביותר מכסה כל iteration. איור של חישוב עומק החלק של מודל מחלקה.המודל הופך תחילה למבנה עץ ולאחר מכן מחושב עומק כל אחד מהחלקים.הצבעים מצביעים על ערכים שונים של עומק. ניתוח טופולוגיה על מודלים נוירונים שונים. שישה נוירונים עם מורפולוגיות שונות מוצגים כאן. עבור כל מודל, הסומה נבחרה כשורש העץ כך העומק של הצומת עולה מן הסומה (0) לדנדריטים הדיסטליים. איור של ביצוע DHS על המודל ב המועמדים: המועמדים שנבחרו: המועמדים שנבחרו על-ידי DHS, כלומר, המועמדים שנבחרו על-ידי המועמדים העמוקים ביותר: כפתורים מעובדים: כפתורים שעובדים בעבר. אסטרטגיית ההשוואה שקיבלה DHS לאחר התהליך ב DHS מפחית את השלבים של עיבוד כפתורים סדרתיים מ-14 ל- 5 על ידי הפצה של כפתורים לתוך כפתורים מרובים. עלות יחסית, כלומר, היחס של עלות החישוב של DHS לזה של שיטת Hines סדרתי, בעת יישום DHS עם מספרים שונים של חוטים על סוגים שונים של מודלים. a k b c d b k e d f קחו לדוגמה מודל פשוט עם 15 חלקיקים, באמצעות שיטת החישוב הסורי של Hines, זה לוקח 14 צעדים כדי לעבד את כל הצמתים, בעוד באמצעות DHS עם ארבעה יחידות מקבילות ניתן לחלק את הצמתים לחמישה תת קבוצות (איור. מכיוון שנושאים באותו תת-הסדרה יכולים להיות מעובדים במקביל, נדרשים רק חמישה צעדים כדי לעבד את כל הנושאים באמצעות DHS (איור 5). ) 2D 2 E לאחר מכן, אנו מיישמים את שיטת DHS על שישה מודלים נוירונים מפורטים מייצגים (בחרו מתוך ModelDB ) with different numbers of threads (Fig. ): כולל נוירונים פירמידיים קורטיקים והיפוקמפלים , , , cerebellar Purkinje neurons נוירונים פרויקטים סטריאטליים (Striatal Projection Neurons - SPNs) תאים מיטראליים (Mitral cell olfactory bulb) , המכסה את הנוירונים העיקריים העיקריים באזורים חושי, קורטיקה וסובקורטיקה. לאחר מכן נמדד את עלות החישוב. עלות החישוב היחסית כאן מוגדרת על ידי היחס של עלות החישוב של DHS לזה של שיטת Hines הסורית. עלות החישוב, כלומר, מספר הצעדים שנלקחו בפתרון משוואות, יורד באופן דרמטי עם מספר החוטים הגדל. לדוגמה, עם 16 חוטים, עלות החישוב של DHS היא 7%-10% בהשוואה לשיטת Hines הסורית. מעניין, שיטת DHS מגיעה לגבולות הנמוכים של עלות החישוב שלהם עבור נוירונים מוצגים כאשר נתנו 16 או אפילו 8 חוטים מקבילים (איור. ), המצביע על הוספת נושאים נוספים אינה משפרת את הביצועים עוד יותר בגלל התמכרות בין מחלקות. 39 2F 40 41 42 43 44 45 2F יחד, אנו מייצרים שיטה DHS המאפשרת ניתוח אוטומטי של טופולוגיה דנדריטית ומחלקה אופטימלית עבור חישוב מקביל.זה ראוי לציין כי DHS מוצא את המחלקה האופטימלית לפני תחילת הסימולציה, ואין חישוב נוסף נדרש לפתור משוואות. להאיץ DHS על ידי GPU זיכרון Boosting DHS מחשב כל נוירון עם חוטים מרובים, אשר צורכים כמות עצומה של חוטים בעת ביצוע סימולציות רשתות נוירליות. • מחשבים מקבילים בתיאוריה, SPs רבים על GPU צריך לתמוך סימולציה יעילה עבור רשתות נוירליות בקנה מידה גדול (איור. עם זאת, ציינו באופן עקבי כי היעילות של DHS ירדה באופן משמעותי כאשר גודל הרשת גדל, אשר עשוי להיות תוצאה של אחסון נתונים מפוזר או גישה לזיכרון נוסף שנגרם על ידי טעינה וכתוב תוצאות ביניים (איור. על שמאל ) 3א, ב 46 3C 3D ארכיטקטורה של ה-GPU והירוארכיה של הזיכרון שלה.כל GPU מכיל יחידות עיבוד גדולות (מעבדי זרם). ארכיטקטורה של Streaming Multiprocessors (SMs).כל SM מכיל מעבדים מרובים, רישומים ו- L1 cache. יישום DHS על שני נוירונים, כל אחד עם ארבעה חוטים.במהלך הסימולציה, כל חוט פועל על מעבד זרם אחד. אסטרטגיית אופטימיזציה של הזיכרון על GPU. לוח העליון, הפקדת החוט והאחסון של הנתונים של DHS, לפני (שמאל) ואחרי (ימין) שיפור הזיכרון. מעבדים שולחים בקשה לנתונים כדי לטעון נתונים עבור כל חוט מהזיכרון הגלובלי.ללא קידום זיכרון (שמאל), זה לוקח שבעה עסקאות כדי לטעון את כל הנתונים של בקשה וכמה עסקאות נוספות לתוצאות ביניים.עם קידום זיכרון (ימין), זה לוקח רק שתי עסקאות כדי לטעון את כל הנתונים של בקשה, רישומים משמשים לתוצאות ביניים, אשר משפרים עוד יותר את כוח הזיכרון. זמן הפעלה של DHS (32 חוטים בכל תא) עם וללא זיכרון קידום על מודלים פירמידיים מרובים שכבה 5 עם ספינים. להאיץ את שיפור הזיכרון על מודלים פירמידיים 5 שכבות מרובות עם ספינים. a b c d d e f We solve this problem by GPU memory boosting, a method to increase memory throughput by leveraging GPU’s memory hierarchy and access mechanism. Based on the memory loading mechanism of GPU, successive threads loading aligned and successively-stored data lead to a high memory throughput compared to accessing scatter-stored data, which reduces memory throughput , כדי להשיג ביצועים גבוהים, אנו מקדישים תחילה את ההזמנות החישוביות של הצמיגים ומארגנים מחדש את החוטים בהתאם למספר הצמיגים עליהם. לאחר מכן אנו מעבירים את אחסון הנתונים בזיכרון הגלובלי, בהתאם להזמנות החישוב, כלומר, הצמיגים המעובדים באותו שלב מאוחסנים ברציפות בזיכרון הגלובלי. יתר על כן, אנו משתמשים ברשימות GPU כדי לאחסן תוצאות ביניים, לחזק עוד יותר את ביצועי הזיכרון. יתר על כן, ניסויים על מספרים מרובים של נוירונים פירמידיים עם ספנים ומודלים נוירונים טיפוסיים (איור. תוספת פיג. ) מראה כי שיפור הזיכרון משיג מהירות של 1.2-3.8 פעמים בהשוואה ל- naïve DHS. 46 47 3D 3 E , F 2 כדי לבדוק באופן מקיף את הביצועים של DHS עם חיזוק זיכרון GPU, אנו בוחרים שישה מודלים נוירונים טיפוסיים ומעריכים את זמן ההפעלה של פתרון משוואות כבל על מספרים מסיביים של כל מודל (איור. בדקנו DHS עם ארבעה חוטים (DHS-4) ושישה עשר חוטים (DHS-16) עבור כל נוירון, בהתאמה. יתר על כן, בהשוואה לשיטת Hines הסורית המסורתית ב-NEURON המופעלת עם זרם יחיד של ה-CPU, DHS מאיץ את הסימולציה ב- 2-3 סדרות של גודל (איור תוספת. ), תוך שמירה על הדיוק המספרי זהה בנוכחות ספנים צפופים (Figs תוספת. ו , דנדריטים פעילים (תוספת פיג. ) ו אסטרטגיות קטגוריות שונות (Fig. ) 4 4a 3 4 8 7 7 זמן הפעלה של פתרון משוואות עבור סימולציה של 1 s על GPU (dt = 0.025 ms, 40,000 iterations בסך הכל). CoreNEURON: השיטה המקבילה המשמשת ב CoreNEURON; DHS-4: DHS עם ארבעה חוטים עבור כל נוירון; DHS-16: DHS עם 16 חוטים עבור כל נוירון. , ויזואליזציה של המחלקה על ידי DHS-4 ו- DHS-16, כל צבע מציין חוט יחיד. a b c DHS יוצר חלוקת אופטימלית ספציפית לסוג התא כדי לקבל תובנות על מנגנון העבודה של שיטת DHS, אנו חזותינו את תהליך ההחלקה על-ידי מיפוי חלקיקים לכל חוט (כל צבע מציג חוט יחיד בתמונה. ויזואליזציה מראה כי חוט יחיד לעתים קרובות מחליפים בין ענפים שונים (איור. מעניין, DHS מייצרת חלקיקים ממוקדים בנוירונים סימטריים מורפולוגיים כגון נוירון התצפית הסטריאטי (SPN) ותא מיטראלי (איור. ). By contrast, it generates fragmented partitions of morphologically asymmetric neurons like the pyramidal neurons and Purkinje cell (Fig. ), המעיד על כך ש- DHS מחלק את העץ הנוירלי בקנה מידה של מחלקה בודדת (כלומר, צינור עץ) ולא בקנה מידה של ענף. 4B ו-C 4B ו-C 4B ו-C 4B ו-C לסיכום, DHS ו- Memory Boosting מייצרים פתרון אופטימלי מוכח בתיאוריה לפתרון משוואות ליניאריות במקביל עם יעילות חסרת תקדים. באמצעות עיקרון זה, נבנו את פלטפורמת הגישה הפתוחה DeepDendrite, שניתן להשתמש בה על ידי מדענים נוירולוגיים כדי ליישם מודלים ללא ידע ספציפי בתכנות GPU. DHS enables spine-level modelling מאחר שספינות דנדריטיות מקבלות את מרבית הכניסה המרגשת לניורונים הפירמידיים הקוריאליים והיפוקמפוליים, נוירונים פרויקטים סטריאטיים וכו ', המורפולוגיות והפלסטיות שלהם הן קריטיות עבור הרגולציה של התרגשות נוירונלית. , , , , עם זאת, שורשים הם קטנים מדי ( ~ 1 μm אורך) כדי להיות נמדד ישירות בניסוי ביחס לתהליכים תלויים מתח. 10 48 49 50 51 אנו יכולים לעצב עמוד השדרה יחיד עם שני חלקיקים: ראש עמוד השדרה שבו נמצאים הסינפסים ואת צוואר עמוד השדרה המחבר את ראש עמוד השדרה לדנדריטים התיאוריה ציינה כי צוואר השדרה הצטמצם מאוד (0.1-0.5 מיקרומטר בקוטר) מבדיל אלקטרונית את ראש השדרה מן הדנדריט הוריו, ובכך מחלק את האותות שנוצרות בראש השדרה. עם זאת, המודל המפורט עם ספינים מחולקים לחלוטין על דנדריטים ("מודל ספינים מלאים") הוא מחושב מאוד יקר. גורם Spine במקום להדביק את כל הסוגים, יש כאן גורם עמוד השדרה שואף להתקרב להשפעה של עמוד השדרה על המאפיינים הביאופיזיים של קרום התא . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to גודל הבר: 20 ms, 20 mV Color-coded voltages during the simulation in צבעים מצביעים על גודל המתח. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in . Background noise is attached. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. ו ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. ; Supplementary Fig. שולחן תוספת ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks אנו מראים כי DeepDendrite יכול לתמוך הן סימולציות מדעי העצבים והן משימות רשתות נוירניות מפורטות הקשורות ל- AI במהירות חסרת תקדים, ובכך מקדם באופן משמעותי סימולציות מדעי העצבים מפורטות ואולי גם לחקירות AI עתידיות. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , או לעשות גישות על כמה חלקיקים קריטיים, תוך פתרון משוואות ליניאריות , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine עם זאת, במודלים קלאסיים של חלקיקים בודדים מפורטים, כל הספנים מוחלפים על ידי coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , קורטקס סומטוסנסורי , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite יתר על כן, דנדריטים דיסטליים יכולים לייצר אירועים מתחדשים כגון קפיצות נתרן דנדריטי, קפיצות סידן, ואת NMDA קפיצות / פוטנציאל שטח , . Such dendritic events are widely observed in mice or even human cortical neurons in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. • שולחן תוספות ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST datasets (Fig. ראיות אלה מצביעות על כך כי המאפיינים הביופפיזיים הקיימים של דנדריטים עשויים להיות חיוניים להגדיל את עוצמת ANNs נגד הפרעות adversarial. . 93 56 94 95 96 6d, e 97 לסיכום, DeepDendrite הראתה פוטנציאל מדהים במשימות של דירוג תמונה, פותחת עולם של כיוונים ואפשרויות עתידיים מרגשים. כדי לקדם עוד יותר את DeepDendrite ואת היישום של מודלים דנדריטיים מפורטים ביולוגית במשימות AI, אנו עשויים להתמקד בפיתוח מערכות רב-GPU ולחקור יישומים בתחומים אחרים, כגון עיבוד שפה טבעית (NLP), שבהם תכונות מסנן דנדריטי מתאימות היטב עם הטבע הרעש והחשוד של השפה האנושית. האתגרים כוללים בדיקות גמישות בבעיות בקנה מידה גדול יותר, הבנה של ביצועים ברחבי משימות ושדות שונים, וטיפול במורכבות החישובית שהוצגה על ידי עקרונות Methods Simulation with DHS CoreNEURON simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 Accuracy of the simulation using cellular-level parallel computation To ensure the accuracy of the simulation, we first need to define the correctness of a cellular-level parallel algorithm to judge whether it will generate identical solutions compared with the proven correct serial methods, like the Hines method used in the NEURON simulation platform. Based on the theories in parallel computing , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , אנו מוצאים כי תלות הנתונים שלה ניתן להגדיר כמבנה עץ, שבו הצמתים על העץ מייצגים את החלקים של מודל הנוירונים המפורטים. בתהליך של משולש, הערך של כל הצמתים תלוי הצמתים הילדים שלה. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1d Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method כדי להעריך באופן תיאורטי את זמן ההפעלה, כלומר, את היעילות, של שיטות החישוב הסוריות והדמיוניות, אנו מציגים ומגדירים את המושג של עלות חישובית כדלקמן: and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V V1 V2 Vn Vi k k k V1 V2 Vn Vi V V n בעיות תכנית מתמטית Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Given a tree = { , } and a positive integer איפה זהו ה-Node-set וה הגדרת מחלוקת - Define partition ( ) = { , , ... חחחחחח תגיות ≤ , 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ » . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V V1 v2 VN VI k i Vi Vi Vi v VI c c v Vj j i P* V P* V כאן התחתון consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ זה אומר שאנחנו יכולים לחשב nodes each step at most because the number of available threads is . The restriction “for each node ∈ כל הילדים שלה נוטים | ∈children( )} must in a previous subset , where 1 ≤ < ” indicates that node זה יכול להיות מעובד רק אם כל החלקים של הילד שלה מעובדים. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( עבור כל הונדים ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set מחלקה היא מועמדת רק אם כל מחלקי הילדים שלה מעובדים או שאין לה מחלקי ילדים. | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset . Label these nodes as processed nodes (Fig. לאחר מילוי התחתון , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( ) = { , , … }, | | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to כפי שמוצג ביישום של DHS, כל הצמתים בחלק התחתון הם נבחרים מתוך המועמד , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T v1 Vn Vi Q Q Vi V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Vn Optimality proof for DHS הרעיון של ההוכחה הוא שאם יש פתרון אופטימלי אחר, ניתן להפוך אותו לפתרון DHS שלנו מבלי להגדיל את מספר הצעדים הנדרש על ידי האלגוריתם, ובכך להצביע על כך שהפתרון DHS הוא אופטימלי. עבור כל תת in ( ), DHS moves (thread number) deepest nodes from the corresponding candidate set to . If the number of nodes in is smaller than , move all nodes from to . To simplify, we introduce , indicating the depth sum of deepest nodes in כל החלקים התחתונים ב ( ) satisfy the max-depth criteria (Supplementary Fig. ): . We then prove that selecting the deepest nodes in each iteration makes an optimal partition. If there exists an optimal partition = { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. Vi P V k Qi Vi Qi k Qi Vi Di k Qi P V 6a P(V) P * (V) V*1 V*2 V*s P* V Q P* V ללא כל אובדן של כלליזציה, אנו מתחילים מן החלק הראשון not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to ; (2) | | = but nodes in are not the deepest nodes in . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | | , we can move the corresponding nodes from the subsequent subsets to , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , אלה כפתורים עמוקים יותר שאינם נועדו ממערכת המועמדת into must be added to subsequent subsets (Supplementary Fig. , bottom). These deeper nodes can be moved from subsequent subsets to לאחר מכן, יש להניח כי לאחר מילוי , is picked and one of the -th deepest nodes is still in , thus will be put into a subsequent subset (למשל > ). We first move from to + , then modify subset + as follows: if | + | ≤ and none of the nodes in + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + ; else move the node with minimum depth from + 2 + . After adjusting , לשנות את תת-התמונות הבאות + , + , … with the same strategy. Finally, move מ to . V*i V*i < k V*i V*i 6B V*i k Qi V*i 6b V*i V*i v k v’ Qi v’ V * J j i v V*i V * I 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V*i 1 V*i 2 V*i V*i 1 V*i 2 V*j-1 v’ V*j V*i With the modification strategy described above, we can replace all shallower nodes in with the -th deepest node in ושמור את מספר תת קבוצות, כלומר, ( ניתן לשנות את החלקים עם אותה אסטרטגיה עבור כל החלקים התחתונים ב ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) can satisfy the max-depth criteria, and | ( )| does not change after modifying. V*i k Qi P* V P* V V*i P* V P* V In conclusion, DHS generates a partition ( (למשל, כל התוספים ∈ ( ) satisfy the max-depth condition: . For any other optimal partition ( ) we can modify its subsets to make its structure the same as ( ), i.e., each subset consists of the deepest nodes in the candidate set, and keep | ( ) the same after modification. So, the partition ( ) obtained from DHS is one of the optimal partitions. P V Vi P V P* V P V P* V | P V יישום GPU ושיפור הזיכרון כדי להשיג ביצועי זיכרון גבוהים, GPU משתמשת ביוררכיה של זיכרון של (1) זיכרון גלובלי, (2) קח, (3) רישום, שבו זיכרון גלובלי יש קיבולת גדולה אבל ביצועים נמוכים, בעוד רישומים יש קיבולת נמוכה אבל ביצועים גבוהים. GPU משתמש בארכיטקטורה SIMT (Single-Instruction, Multiple-Thread). Warps הם יחידות התזמון הבסיסיות על GPU (warp הוא קבוצה של 32 חוטים מקבילים). warp מבצע את אותה ההוראה עם נתונים שונים עבור חוטים שונים הסדר הנכון של הצמתים הוא חיוני לקטגוריה זו של חישוב בורפים, כדי לוודא DHS מקבל תוצאות זהות כמו שיטת Hines הסדרה. בעת יישום DHS על GPU, אנחנו קודם כל קבוצות את כל התאים בורפים מרובים בהתבסס על המורפולוגיות שלהם. התאים עם מורפולוגיות דומות מסווגים באותו warp. לאחר מכן אנו מיישמים DHS על כל הנוירונים, הקצאת החלקים של כל נוירון לתוך חוטים מרובים. מכיוון שהנוירונים מסווגים לתוך warps, החלקים עבור אותו נוירון הם באותו warp. לכן, הסינכרון הפנימי של warps שומר את סדר החישוב בקנה אחד עם תלות הנתונים של שיטת Hines הסדרה. לבסוף, החלקים בכל 46 כאשר וורפ מוריד נתונים ממוקדים מראש ומאוחסנים ברציפות מהזיכרון הגלובלי, הוא יכול לנצל במלואו את ה-Cache, מה שמוביל לביצוע זיכרון גבוה, בעוד גישה לנתונים מאוחסנים ב-Scatter יפחית את ביצועי ה-Scatter.לאחר מינוי מחלקות וארגון מחדש של חוטים, אנו מעבירים נתונים בזיכרון הגלובלי כדי להפוך אותם תואמים להזמנות חישוב, כך ש-Warps יוכלו להוריד נתונים מאוחסנים ברציפות בעת ביצוע התוכנית. מודלים ביופפיזיים של עמוד השדרה מלאה ופחות עמוד השדרה We used the published human pyramidal neuron . The membrane capacitance m = 0.44 μF cm-2, membrane resistance m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV respectively. All these specific parameters were set the same as in the model of Eyal, et al. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 המורפולוגיה והמנגנונים הביופפיזיים של עמודי השדרה היו זהים במודלים של כמה עמודי השדרה ושל כל עמוד השדרה. neck = 1.35 μm and the diameter neck = 0.25 μm, whereas the length and diameter of the spine head were 0.944 μm, i.e., the spine head area was set to 2.8 μm2. Both spine neck and spine head were modeled as passive cables, with the reversal potential = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. AMPA-based and NMDA-based synaptic currents were simulated as in Eyal et al.’s work. AMPA conductance was modeled as a double-exponential function and NMDA conduction as a voltage-dependent double-exponential function. For the AMPA model, the specific rise and decay were set to 0.3 and 1.8 ms. For the NMDA model, rise and decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ רעש רקע We attached background noise to each cell to simulate a more realistic environment. Noise patterns were implemented as Poisson spike trains with a constant rate of 1.0 Hz. Each pattern started at start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs Exploring neuronal excitability We investigated the spike probability when multiple synapses were activated simultaneously. For distributed inputs, we tested 14 cases, from 0 to 240 activated synapses. For clustered inputs, we tested 9 cases in total, activating from 0 to 12 clusters respectively. Each cluster consisted of 20 synapses. For each case in both distributed and clustered inputs, we calculated the spike probability with 50 random samples. Spike probability was defined as the ratio of the number of neurons fired to the total number of samples. All 1150 samples were simulated simultaneously on our DeepDendrite platform, reducing the simulation time from days to minutes. Performing AI tasks with the DeepDendrite platform סימולטורים נוירונים מפורטים קונבנציונאליים חסרים שתי פונקציונליות חשובות למשימות AI המודרניות: (1) ביצוע סימולציות ושדרוג משקל ללא התחלה מחדש כבדה, ו- (2) עיבוד במקביל של דגימות גירויים מרובות בצורה דמויות. DeepDendrite consists of three modules (Supplementary Fig. ): (1) an I/O module; (2) a DHS-based simulating module; (3) a learning module. When training a biophysically detailed model to perform learning tasks, users first define the learning rule, then feed all training samples to the detailed model for learning. In each step during training, the I/O module picks a specific stimulus and its corresponding teacher signal (if necessary) from all training samples and attaches the stimulus to the network model. Then, the DHS-based simulating module initializes the model and starts the simulation. After simulation, the learning module updates all synaptic weights according to the difference between model responses and teacher signals. After training, the learned model can achieve performance comparable to ANN. The testing phase is similar to training, except that all synaptic weights are fixed. 5 HPC-Net model Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. HPC-Net has three layers, i.e., an input layer, a hidden layer, and an output layer. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. For each image stimulus, we first convert each normalized pixel to a homogeneous spike train. For pixel with coordinates ( ) in the image, the corresponding spike train has a constant interspike interval ISI( ) (in ms) which is determined by the pixel value ( ) as shown in Eq. ( ). x, y τ x, y p x, y 1 In our experiment, the simulation for each stimulus lasted 50 ms. All spike trains started at 9 + ISI ms and lasted until the end of the simulation. Then we attached all spike trains to the input layer neurons in a one-to-one manner. The synaptic current triggered by the spike arriving at time is given by τ t0 where הוא מתח פוסט סינפטי, הפוטנציאל ההפוך syn = 1 mV, the maximum synaptic conductance max = 0.05 μS, and the time constant = 0.5 ms. v E g τ Neurons in the input layer were modeled with a passive single-compartment model. The specific parameters were set as follows: membrane capacitance m = 1.0 μF cm-2, membrane resistance m = 104 Ω cm2, axial resistivity a = 100 Ω cm, reversal potential of passive compartment l = 0 mV. c r r E The hidden layer contains a group of human pyramidal neuron models, receiving the somatic voltages of input layer neurons. The morphology was from Eyal, et al. , and all neurons were modeled with passive cables. The specific membrane capacitance m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261.97 Ω cm, and the reversal potential of all passive cables l = 0 mV. נוירונים כניסה יכולים לבצע חיבורים מרובים למקומות שנבחרו באופן אקראי על הדנדריטים של נוירונים מוסתרים. -th synapse of the -th input neuron on neuron כאמור, ההגדרה של דנדיט היא כפי שנקבע ב-Eq. ), where is the synaptic conductance, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the -th input neuron at time . 51 c r r E k i j 4 gijk Wijk i t Neurons in the output layer were also modeled with a passive single-compartment model, and each hidden neuron only made one synaptic connection to each output neuron. All specific parameters were set the same as those of the input neurons. Synaptic currents activated by hidden neurons are also in the form of Eq. ( ). 4 Image classification with HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation , where is the probability of -הכיתה שנקבעה על ידי HPC-Net, היא המתח הסומטי הממוצע מ -20 ms ל -50 ms של -th output neuron, and indicates the number of classes, which equals the number of output neurons. The class with the maximum predicted probability is the final classification result. In this paper, we built the HPC-Net with 784 input neurons, 64 hidden neurons, and 10 output neurons. 6 pi i i C Synaptic plasticity rules for HPC-Net בהשראת עבודות קודמות , we use a gradient-based learning rule to train our HPC-Net to perform the image classification task. The loss function we use here is cross-entropy, given in Eq. ( ), where is the predicted probability for class , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class , and 0 אם לא. 36 7 pi i yi yi i yi When training HPC-Net, we compute the update for weight (the synaptic weight of the -th synapse connecting neuron to neuron ) at each time step. After the simulation of each image stimulus, is updated as shown in Eq. ( ): Wijk k i j Wijk 8 Here is the learning rate, is the update value at time , , are somatic voltages of neuron and respectively, is the זרם סינפטי מופעל על ידי נוירונים נוירונים , its synaptic conductance, is the transfer resistance between the -th connected compartment of neuron on neuron ’s dendrite to neuron ’s soma, s = 30 ms, e = 50 ms are start time and end time for learning respectively. For output neurons, the error term can be computed as shown in Eq. ( ). For hidden neurons, the error term is calculated from the error terms in the output layer, given in Eq. ( ) t vj vi i j Iijk k i j gijk rijk k i j j t t 10 11 Since all output neurons are single-compartment, equals to the input resistance of the corresponding compartment, . Transfer and input resistances are computed by NEURON. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size batch, we make עותקים במשלוח של HPC-Net. במהלך האימון, כל עותק מועבר עם דגימה אימון שונה מהמשלוח. DeepDendrite מחשב תחילה את עדכון המשקל עבור כל עותק בנפרד. לאחר כל העותקים במשלוח האימון הנוכחי נעשו, עדכון המשקל הממוצע מחושב והמשקל בכל העותקים מתעדכן באותו סכום. N N Robustness against adversarial attack with HPC-Net To demonstrate the robustness of HPC-Net, we tested its prediction accuracy on adversarial samples and compared it with an analogous ANN (one with the same 784-64-10 structure and ReLU activation, for fair comparison in our HPC-Net each input neuron only made one synaptic connection to each hidden neuron). We first trained HPC-Net and ANN with the original training set (original clean images). Then we added adversarial noise to the test set and measured their prediction accuracy on the noisy test set. We used the Foolbox , to generate adversarial noise with the FGSM method . ANN was trained with PyTorch , ו- HPC-Net הוכנסו עם DeepDendrite שלנו. לצורך הוגנות, יצרנו רעש נגד על מודל רשת שונה באופן משמעותי, ResNet של 20 שכבות . The noise level ranged from 0.02 to 0.2. We experimented on two typical datasets, MNIST and Fashion-MNIST . Results show that the prediction accuracy of HPC-Net is 19% and 16.72% higher than that of the analogous ANN, respectively. 98 99 93 100 101 95 96 Reporting summary Further information on research design is available in the linked to this article. Nature Portfolio Reporting Summary Data availability The data that support the findings of this study are available within the paper, Supplementary Information and Source Data files provided with this paper. The source code and data that used to reproduce the results in Figs. – are available at . The MNIST dataset is publicly available at . The Fashion-MNIST dataset is publicly available at . are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Source data Code availability The source code of DeepDendrite as well as the models and code used to reproduce Figs. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite התייחסות McCulloch, W. S. & Pitts, W. חישוב לוגי של הרעיונות העומדים בפני הפעילות העצבית. LeCun, Y., Bengio, Y. & Hinton, G. למידה עמוקה. טבע 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic of subthreshold synaptic summation in a model CA1 pyramidal cell. , 977–987 (2003). Neuron 37 London, M. & Häusser, M. Dendritic computation. , 503–532 (2005). Annu. Rev. Neurosci. 28 Branco, T. & Häusser, M. The single dendritic branch as a fundamental functional unit in the nervous system. , 494–502 (2010). Curr. Opin. Neurobiol. 20 Stuart, G. J. & Spruston, N. אינטגרציה דנדריטית: 60 שנים של התקדמות. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. תאורה של פונקציה דנדריטית עם מודלים חישוביים. Yuste, R. & Denk, W. Dendritic spines as basic functional units of neuronal integration. , 682–684 (1995). Nature 375 Engert, F. & Bonhoeffer, T. שינויי עמוד השדרה דנדריטיים הקשורים לפלסטיות סינפטית לטווח ארוך של היפוקמפוס Nature 399, 66-70 (1999). Yuste, R. ספנים דנדריטיים ומעגלים מפוזרים. Neuron 71, 772–781 (2011). Yuste, R. Electrical compartmentalization in dendritic spines. , 429–449 (2013). Annu. Rev. Neurosci. 36 Rall, W. ענף עצים dendritic ו motoneuron membrane resistivity. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. מחקר מחשב של עמוד השדרה dendritic מרגש. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Mastering the game of go with deep neural networks and tree search. , 484–489 (2016). Nature 529 Silver, D. et al. אלגוריתם ללימוד חיזוק כללי המאסטר שחמט, שוג'י, וללכת דרך משחק עצמי. McCloskey, M. & Cohen, N. J. Catastrophic interference in connectionist networks: the sequential learning problem. , 109–165 (1989). Psychol. Learn. Motiv. 24 צרפתי, R. M. שכחה קטסטרופית ברשתות קישור. Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. , E6329–E6338 (2018). Proc. Natl Acad. Sci. USA 115 Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritic cortical microcircuits approximate the backpropagation algorithm. in (NeurIPS*,* 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. פלסטיות סינפטית תלויה בברסט יכולה לתאם למידה במעגלים הירוארכיים. Bicknell, B. A. & Häusser, M. חוק למידה סינפטית לניצול חישוב דנדריטי לא לינארי Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. clusteron gradient: נוירון מודל שמלמד לפתור משימות דירוג באמצעות nonlinearities dendritic, פלסטיות מבנית, ו gradient יורד. Hodgkin, A. L. & Huxley, A. F. תיאור כמותי של זרם קרום ואת היישום שלה לניהול והתרגשות בעצב. Rall, W. Theory of physiological properties of dendrites. , 1071–1092 (1962). Ann. N. Y. Acad. Sci. 96 Hines, M. L. & Carnevale, N. T. סביבת הסימולציה של נוירונים. Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. בספרו של GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer ניו יורק, 1998). Hines, M. L., Eichner, H. & Schürmann, F. חלוקת נוירונים בסימולציות רשתות מקבילות מחשב מאפשרת גודל זמן הפעלה עם פעמיים יותר מעבדים. Hines, M. L., Markram, H. & Schürmann, F. סימולציה מקבילה לחלוטין של נוירונים יחידים. Ben-Shalom, R., Liberman, G. & Korngreen, A. Accelerating compartmental modeling on a graphical processing unit. , 4 (2013). Front. Neuroinform. 7 Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. סימולציה מספרית יעילה של מודלים נוירונים עם מבנה מרחב על יחידות עיבוד גרפי. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U. S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In 388–397 (IEEE, 2017). Proc. IEEE 24th International Conference on High Performance Computing (HiPC) Huber, F. Efficient tree solver for hines matrices on the GPU. Preprint at (2018). https://arxiv.org/abs/1810.12742 Korte, B. & Vygen, J. תיאוריה אופטימיזציה משולבת ואלגוריתמים 6 edn (Springer, 2018). Gebali, F. אלגוריתמים ומחשוב מקביל (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: An optimized compute engine for the NEURON simulator. , 63 (2019). Front. Neuroinform. 13 Urbanczik, R. & Senn, W. למידה על ידי תחזית דנדריטית של פיקינג סומטי. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. Optimizing ion channel models using a parallel genetic algorithm on graphical processors. , 183–194 (2012). J. Neurosci. Methods 206 Mascagni, M. A parallelizing algorithm for computing solutions to arbitrarily branched cable neuron models. , 105–114 (1991). J. Neurosci. Methods 36 McDougal, R. A. et al. Twenty years of modelDB and beyond: building essential modeling tools for the future of neuroscience. , 1–10 (2017). J. Comput. Neurosci. 42 Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih חוסם באופן סלקטיבי את הסכום הזמני של כניסות דיסטליות לא סינכרוניות בנוירונים פירמידיים CA1. Hemond, P. et al. Distinct classes of pyramidal cells exhibit mutually exclusive firing patterns in hippocampal area CA3b. , 411–424 (2008). Hippocampus 18 Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. Models of neocortical layer 5b pyramidal cells capturing a wide range of dendritic and perisomatic active Properties. , e1002107 (2011). PLoS Comput. Biol. 7 Masoli, S., Solinas, S. & D’Angelo, E. Action potential processing in a detailed purkinje cell model reveals a critical role for axonal compartmentalization. , 47 (2015). Front. Cell. Neurosci. 9 Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales—simulations of direct pathway MSNs investigate the fast onset of dopaminergic effects and predict the role of Kv4.2. , 3 (2018). Front. Neural Circuits 12 Migliore, M. et al. Synaptic clusters function as odor operators in the olfactory bulb. , 8499–8504 (2015). Proc. Natl Acad. Sci. USa 112 NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. הרחבה סינפטית על ידי עמודי dendritic משפרת שיתוף פעולה כניסה. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. פלסטיות צוואר השדרה קובעת הפרמנטליזציה של סינפסים. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. The function of dendritic spines: devices subserving biochemical rather than electrical compartmentalization. , 413–422 (1993). J. Neurosci. 13 Koch, C. Dendritic spines. in Biophysics of Computation (אוניברסיטת אוקספורד פרס, 1999). Rapp, M., Yarom, Y. & Segev, I. The impact of parallel fiber background activity on the cable properties of cerebellar purkinje cells. , 518–533 (1992). Neural Comput. 4 Hines, M. Efficient computation of branched nerve equations. , 69–76 (1984). Int. J. Bio-Med. Comput. 15 Nayebi, A. & Ganguli, S. הגנה מעוררת השראה ביולוגית של רשתות עמוקות מפני התקפות יריבות. הדפסה מוקדמת ב https://arxiv.org/abs/1703.09202 (2017). גודארד, N.H. & הוד, G. סימולציה בקנה מידה גדול באמצעות GENESIS מקבילה. in הספר של GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer ניו יורק, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. סימולציות רשתות מקבילות עם NEURON. Lytton, W. W. et al. נירוטכנולוגיות סימולציה לקידום מחקר מוחי: משותף רשתות גדולות ב- NEURON. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In 566–575 (IEEE, 2017). Proc. 2017 International Conference on Computational Science Akar, N. A. et al. Arbor — ספריית סימולציה של רשתות נוירליות מפורטת מבחינה מורפוולוגית עבור ארכיטקטורות מחשוב ביעילות גבוהה עכשוויות. In Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: מהיר multi-compartment, סימולציות נוירונים מפורטות ביופיזית על GPUs. J. Neurosci. שיטות 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A predictor-corrector algorithm for reaction-diffusion equations associated with neural activity on branched structures. , 2139–2161 (2006). SIAM J. Sci. Comput. 28 Kozloski, J. & Wagner, J. An ultrascalable solution to large-scale neural tissue simulation. , 15 (2011). Front. Neuroinform. 5 Jayant, K. et al. קלטות המטרות של מתח בתוך תאים מ- dendritic spines באמצעות nanopipettes מכוסים בנקודה קוונטית. Nat. Nanotechnol. 12, 335-342 (2017). Palmer, L. M. & Stuart, G. J. Membrane potential changes in dendritic spines during action potentials and synaptic input. , 6897–6903 (2009). J. Neurosci. 29 Nishiyama, J. & Yasuda, R. חישוב ביוכימי עבור פלסטיות מבנית של עמוד השדרה. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. שינויים מורפולוגיים בחוטים דנדריטיים הקשורים לפלסטיות סינפטית לטווח ארוך. Holtmaat, A. & Svoboda, K. Experience-dependent structural synaptic plasticity in the mammalian brain. , 647–658 (2009). Nat. Rev. Neurosci. 10 Caroni, P., Donato, F. & Muller, D. Structural plasticity upon learning: regulation and functions. , 478–490 (2012). Nat. Rev. Neurosci. 13 Keck, T. et al. Massive restructuring of neuronal circuits during functional reorganization of adult visual cortex. , 1162 (2008). Nat. Neurosci. 11 Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. חוויה משאירה עקבות מבניות מתמשכות במעגלים קורטיים. Trachtenberg, J. T. et al. תדמית ארוכת טווח in vivo של הפלסטיות הסינפטית תלויה בניסיון בקרום מבוגר. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Axonal dynamics of excitatory and inhibitory neurons in somatosensory cortex. , e1000395 (2010). PLoS Biol. 8 Xu, T. et al. היווצרות מהירה ויציבות סלקטיבית של סינפסיות לזכרונות מוטוריים מתמשכים Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. שיפור הלמידה המוטורית על ידי הגדלת היציבות של שורשי dendritic שנוצרו לאחרונה בקרום המוטורי Neuron 109, 3298-3311 (2021). ברנקו, T. & Häusser, M. גרדינטים של אינטגרציה סינפטית בדנדריטים של תאי פירמידה קרום יחיד. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. תכונות פעיל של neocortical pyramidal נוירון dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. פוטנציאל הפעולה דנדריטי ומחשב בשכבה אנושית 2/3 נוירונים קורטיקה. Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Timed synaptic inhibition shapes NMDA spikes, influencing local dendritic processing and global I/O properties of cortical neurons. , 1550–1561 (2017). Cell Rep. 21 Du, K. et al. דיכוי ספציפי לסוג תאים של הפוטנציאל של שטח דנדריטי בנוירונים התצפית של עמוד השדרה. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017) Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. קוצים דנדריטיים להגדיל את סלקטיביות גירוי בנוירונים קורטיים in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. Nonlinear dendritic integration of sensory and motor input during an active sensing task. , 247–251 (2012). Nature 492 Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. Active cortical dendrites modulate perception. , 1587–1590 (2016). Science 354 Sheffield, M. E. & Dombeck, D. A. Calcium transient prevalence across the dendritic arbour predicts place field properties. , 200–204 (2015). Nature 517 Markram, H. et al. Reconstruction and simulation of neocortical microcircuitry. , 456–492 (2015). Cell 163 Billeh, Y. N. et al. Systematic integration of structural and functional data into multi-scale models of mouse primary visual cortex. , 388–403 (2020). Neuron 106 Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. הימנעות אסון: dendrites פעיל לאפשר למידה רב משימות בסביבות דינמיות. Jones, I. S. & Kording, K. P. Might a single neuron solve interesting machine learning problems through successive computations on its dendritic tree? , 1554–1571 (2021). Neural Comput. 33 Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritic normalisation improves learning in sparsely connected artificial neural networks. , e1009202 (2021). PLoS Comput. Biol. 17 Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. העברה בלימוד מכונה: מן התופעות לתקיפות קופסת שחורה באמצעות דגימות יריבות. הדפסה מוקדמת ב https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. למידה מבוססת Gradient מיושם לזיהוי מסמכים. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. Assessing the scalability of biologically-motivated deep learning algorithms and architectures. In (NeurIPS, 2018). Advances in Neural Information Processing Systems 31 (NeurIPS 2018) Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In (2017). Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: fast adversarial attacks to benchmark the robustness of machine learning models in PyTorch, TensorFlow, and JAX. , 2607 (2020). J. Open Source Softw. 5 Paszke, A. et al. PyTorch: בסגנון אימפריטיבי, ספריית למידה עמוקה ביצועים גבוהים. ב Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) ההכרה The authors sincerely thank Dr. Rita Zhang, Daochen Shi and members at NVIDIA for the valuable technical support of GPU computing. This work was supported by the National Key R&D Program of China (No. 2020AAA0130400) to K.D. and T.H., National Natural Science Foundation of China (No. 61088102) to T.H., National Key R&D Program of China (No. 2022ZD01163005) to L.M., Key Area R&D Program of Guangdong Province (No. 2018B030338001) to T.H., National Natural Science Foundation of China (No. 61825101) to Y.T., Swedish Research Council (VR-M-2020-01652), Swedish e-Science Research Centre (SeRC), EU/Horizon 2020 No. 945539 (HBP SGA3), and KTH Digital Futures to J.H.K., J.H., and A.K., Swedish Research Council (VR-M-2021-01995) and EU/Horizon 2020 no. 945539 (HBP SGA3) to S.G. and A.K. Part of the simulations were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at PDC KTH partially funded by the Swedish Research Council through grant agreement no. 2018-05973. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on nature הנייר הזה הוא רישיון CC by 4.0 Deed (Attribution 4.0 International) זמין בטבע
