סופרים : Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang סופרים : ג'אנג Zhang גאן הוא לי מא ליאו Xiaofei ג'ון ג'ון Hjorth אלכסנדר קוזלוב יואב הוא Shenjian ג'אנג ג'נטה Hellgren Kotaleski יונגו Tian סטן גרינר כשאתה טויוטה Huang abstractעריכה מודלים רב-מחלקה מפורטים ביופיזית הם כלים חזקים לחקור עקרונות חישובים של המוח וגם לשמש כמסגרת תיאורטית ליצירת אלגוריתמים עבור מערכות אינטליגנציה מלאכותית (AI). אנדריטיקה ירושלמי שיטת cheduling (DHS) כדי להאיץ תהליך כזה באופן משמעותי. אנו מוכיחים תיאורטי כי יישום DHS הוא אופטימלי ומדויק מבחינה מחשבתית. שיטה מבוססת GPU זו פועלת במהירות של 2-3 סדרות גדולות יותר מאשר שיטת Hines הסדרה הקלאסית בפלטפורמת ה-CPU המסורתית. אנו בונים מסגרת DeepDendrite, המשלבת את שיטת DHS ואת מנוע החישוב GPU של סימולטור NEURON ומדגישה יישומים של DeepDendrite במשימות מדעי העצבים. אנו חוקרים כיצד דפוסי מרחב של כניסות עמוד השדרה משפיעים על התרגשות נוירונלית במודל פירמידה אנושי מפורט עם 25,000 ספנים. יתר על כן, אנו מספקים די D H S הוצאת קריאת עקרונות הקוד והמחשוב של נוירונים היא חיונית למדעי העצבים.מוחי היונקים מורכבים ממיליוני סוגים שונים של נוירונים עם תכונות מורפולוגיות וביופפיזיות ייחודיות.למרות שזה כבר לא נכון מבחינה מושגית, הדוקטרינה של "נקודת נוירונים" , שבו נוירונים נחשבו יחידות סיכום פשוטות, עדיין מיושם באופן נרחב במחשב נוירלי, במיוחד בניתוח רשתות נוירליות. בשנים האחרונות, האינטליגנציה המודרנית המלאכותית (AI) השתמשה ביסוד זה ופיתחה כלים חזקים, כגון רשתות נוירליות מלאכותיות (ANN). עם זאת, בנוסף לחישובים מקיפים ברמת נוירון יחיד, מחלקות תת-תאיות, כגון דנדריטים נוירונים, יכולות גם לבצע פעולות לא ליניאריות כאחידות חישוב עצמאיות. , , , , יתר על כן, מפרקים דנדריטיים, מפרקים קטנים המכסים בדחיפות את דנדריטים בנוירונים ספייניים, יכולים לחלק אותות סינפטיים, ומאפשרים להם להיות נפרדים מהדנדריטים ההורים שלהם ex vivo ו in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 סימולציות באמצעות נוירונים מפורטים ביולוגית מספקות מסגרת תיאורטית לקשר פרטים ביולוגיים לעקרונות חישוביים. , מאפשר לנו למודל נוירונים עם מורפולוגיות דנדריטיות מציאותיות, נתיבות יוניות פנימיות, והכניסות סינפטיות חיצוניות. , אשר מודל את המאפיינים הביופפיזיים של דנדריטים ככבלים פסיביים, מספק תיאור מתמטי של האופן שבו אותות אלקטרוניים פולשים ומתפשטים לאורך תהליכים נוירונים מורכבים.באמצעות שילוב תאוריה כבל עם מנגנונים ביופפיזיים פעילים כגון ערוצי יונים, זרמים סינפטיים מעוררים ומעכבים, וכו ', מודל מפורט רב מחלקה יכול להשיג חישובים נוירונים תאיים ותת תאיים מעבר להגבלות הניסוי , . 12 13 12 4 7 מלבד ההשפעה העמוקה שלה על המדע העצמי, מודלים נוירונים מפורטים ביולוגית שימשו לאחרונה כדי לחצות את הפער בין הפרטים המבניים הביולוגיים של הנוירונים לבין ה- AI. הטכניקה השולטת בתחום ה- AI המודרני היא ANNs המורכב נוירונים נקודות, אנלוגי לרשתות נוירליות ביולוגיות. , המוח האנושי עדיין עולה על ANNs בתחומים המעורבים בסביבות דינמיות וקולות יותר. , מחקרים תיאורטיים האחרונים מראים כי אינטגרציה דנדריטית חשובה ליצירת אלגוריתמים למידה יעילים שעשויים להתגבר על אחיזה במקביל לעיבוד מידע. , , יתר על כן, מודל רב-מחלקה מפורט אחד יכול ללמוד חישובים לא ליניאריים ברמת הרשת עבור נוירונים נקודה על ידי התאמה רק של כוח הסינפטי. , לכן, יש עדיפות גבוהה להרחיב פרדיגמות במוח כמו AI מ מודלים נוירונים מפורטים יחידים לרשתות ביולוגיות מפורטות בקנה מידה גדול. 14 15 16 17 18 19 20 21 22 האתגר הארוך של הגישה לסימולציה מפורטת הוא העלות החישובית הגבוהה ביותר שלה, שהגביל באופן חמור את היישום שלה למדעי העצבים והאינטליגנציה האינטלקטואלית. , , כדי לשפר את היעילות, השיטה הקלאסית של היינס מקצרת את המורכבות בזמן לפתרון משוואות מ- O(n3) ל- O(n), אשר מיושם באופן נרחב כאלגוריתם הליבה בסימולטורים פופולריים כגון NEURON. גנטיז עם זאת, שיטה זו משתמשת בגישה סדרתית לעיבוד כל מחלקה ברציפות.כאשר סימולציה כרוכה בדנדריטים מרובים מפורטים ביופיזית עם ספנים דנדריטיים, המתיש של המשוואה ליניארית ("מתיש Hines") מדרג בהתאם עם מספר הולך וגדל של דנדריטים או ספנים (איור. ), מה שהופך את שיטת הינס לא מעשית יותר, שכן היא מהווה עומס כבד מאוד על כל הסימולציה. 12 23 24 25 26 1 E מודל נוירונים פירמידי של שכבה 5 ופורמולה מתמטית המשמשת עם מודלים נוירונים מפורטים. זרימת העבודה בעת סימולציה מספרית של מודלים נוירונים מפורטים, השלב של פתרון המשוואה הוא מחסום הבקבוק בסימולציה. דוגמה של משוואות לינאריות בסימולציה. תלות נתונים של שיטת Hines בעת פתרון משוואות ליניאריות → מספר המערכת של משוואות לינאריות לפתור עובר עלייה משמעותית כאשר המודלים גדלים לפרטים יותר. עלות חישובית (השלבים שנלקחו בשלב פתרון המשוואה) של שיטת הינס הסורית על סוגים שונים של מודלים נוירונים. איור של שיטות פתרון שונות.חלקים שונים של נוירון מוקצים ליחידות עיבוד מרובות בשיטות מקבילות (מרכז, ימין), מוצגים בצבעים שונים. עלות המחשב של שלוש שיטות כאשר לפתור משוואות של מודל פירמידה עם ספנים. זמן ההפעלה של שיטות שונות על פתרון משוואות עבור 500 מודלים פירמידיים עם ספינים. זמן ההפעלה מציין את צריכת הזמן של סימולציה של 1 s (פתור את המשוואה 40,000 פעמים עם צעד זמן של 0.025 ms). p-Hines שיטה מקבילה ב CoreNEURON (ב- GPU), שיטה מקבילה מבוססת ענף (ב- GPU), DHS שיטת תזמון הירירית Dendritic (ב- GPU). a b c d c e f g h g i במהלך העשורים האחרונים, התקדמות עצומה נעשתה כדי להאיץ את שיטת היינס באמצעות שיטות מקבילות ברמת התאים, המאפשרות להדביק את החישוב של חלקים שונים בכל תא. , , , , , עם זאת, שיטות מקבילות ברמת התאים הנוכחיות לעתים קרובות חסרות אסטרטגיית מקבילות יעילה או חסרות דיוק מספרי מספיק בהשוואה לשיטת הינס המקורית. 27 28 29 30 31 32 כאן, אנו מפתחים כלי סימולציה אוטומטי לחלוטין, מדויק במספרים, ואופטימיזציה שיכולה להאיץ באופן משמעותי את יעילות החישוב ולהפחית את עלויות החישוב.בנוסף, כלי סימולציה זה ניתן לאמץ בקלות כדי להקים ולבדוק רשתות נוירליות עם פרטים ביולוגיים עבור יישומי למידה מכונה ו- AI. תיאוריה של מחשב מקביל אנו מוכיחים כי האלגוריתם שלנו מספק תזמון אופטימלי ללא כל אובדן של דיוק. יתר על כן, אנו אופטימליזמים את DHS עבור הצ'יפ GPU המתקדם ביותר כיום על ידי ניצול הידררכיה של זיכרון GPU ומנגנונים גישה זיכרון. ) בהשוואה לסימולטור קלאסי NEURON תוך שמירה על דיוק זהה. 33 34 1 25 כדי לאפשר סימולציות דנדריטיות מפורטות לשימוש בעבודה מלאכותית, אנו ממשיכים להקים את מסגרת DeepDendrite על ידי אינטגרציה של פלטפורמת CoreNEURON (מנוע חישוב אופטימלי עבור NEURON) המוטבע ב- DHS. כמו מנוע הסימולציה ושני מודולים עזר (מודול I/O ומודול למידה) התומכים אלגוריתמים למידה דנדריטיים במהלך סימולציות. DeepDendrite פועל על פלטפורמת החומרה של GPU, תומך הן משימות סימולציה רגילות במדעי העצבים ומשימות למידה ב- AI. 35 Last but not least, we also present several applications using DeepDendrite, targeting a few critical challenges in neuroscience and AI: (1) We demonstrate how spatial patterns of dendritic spine inputs affect neuronal activities with neurons containing spines throughout the dendritic trees (models full-spine). DeepDendrite מאפשר לנו לחקור חישובים נוירוניים במודל נוירון פירמידה אנושי מדויק עם ~25,000 dendritic spines. (2) בדיון אנו גם לשקול את הפוטנציאל של DeepDendrite בהקשר של AI, במיוחד, ביצירת ANNs עם נוירונים פירמידה אנושיים מפורטים מבחינה מורפולוגית. כל קוד המקור של DeepDendrite, המודלים המלאים והמודל המפורט של הרשת הדנדריטית זמינים בפומבי באינטרנט (ראה זמינות קוד). פלסטיות סינפטית תלויה בפיצוץ , וללמוד עם תחזית ספייק באופן כללי, המחקר שלנו מספק סט שלם של כלים שיש להם את הפוטנציאל לשנות את המערכת האקולוגית של הקהילה הנוכחית של מדעי המחשב.באמצעות ניצול הכוח של מחשוב GPU, אנו מצפים כי כלים אלה יקלו על חקירות ברמה המערכת של עקרונות מחשוב של מבנים עדינים של המוח, כמו גם לקדם את האינטראקציה בין מדעי העצבים ו- AI מודרני. 21 20 36 תוצאות שיטת לוח הזמנים הירוארכי (Dendritic Hierarchical Scheduling - DHS) חישוב זרמים יוניים ופתרון משוואות לינאריות הם שני שלבים קריטיים בעת סימולציה של נוירונים מפורטים ביופסיכולוגית, אשר לוקחים זמן ומייצגים עומס חישובי חמור.למזל, חישוב זרמים יוניים של כל מחלקה הוא תהליך עצמאי לחלוטין, כך שזה יכול להיות מקבילה באופן טבעי על מכשירים עם יחידות מחשוב מקבילות גדולות כגון GPUs כתוצאה מכך, פתרון משוואות ליניאריות הופך את הבקבוק הנותר לתהליך ההשוואה (איור. ) 37 1א-ג כדי להתמודד עם מחסום זה, שיטות מקבילות ברמת התאים פותחו, אשר להאיץ חישוב תאים יחידים על ידי "חלוקת" תא יחיד למספר חלקיקים שניתן לחשב במקביל. , , עם זאת, שיטות כאלה מסתמכות מאוד על ידע מראש כדי ליצור אסטרטגיות מעשיות על איך לחלק נוירון יחיד לחלקים (איור. תוספת פיג. כתוצאה מכך, הוא הופך פחות יעיל עבור נוירונים עם מורפולוגיות אסימטריות, למשל, נוירונים פירמידיים נוירונים Purkinje. 27 28 38 1 ג 1 אנו שואפים לפתח שיטה מקבילה יעילה יותר ומדויקת עבור סימולציה של רשתות נוירליות מפורטות ביולוגית. ראשית, אנו קובעים את הקריטריונים עבור הדיוק של שיטה מקבילה ברמת התא. , אנו מציעים שלושה תנאים כדי להבטיח שיטה מקבילה תביא פתרונות זהים כמו שיטת החישוב הסורי Hines על פי תלות הנתונים בשיטת Hines (ראה שיטות). 34 בהתבסס על דיוק הסימולציה ועלות חישובית, אנו מתארים את הבעיה של הפרלמציה כבעיה של תזמון מתמטי (ראה שיטות). תגיות קשורות אנו יכולים לחשב אנחנו צריכים להבטיח שהקוטר מחושב רק אם כל קוטר הילדים שלו מעובד; המטרה שלנו היא למצוא אסטרטגיה עם מספר מינימלי של צעדים עבור ההליך כולו. k k כדי ליצור מחלקה אופטימלית, אנו מציעים שיטה בשם Dendritic Hierarchical Scheduling (DHS) (הוכחה תיאורטית מוצגת בשיטות). שיטת DHS כוללת שתי צעדים: ניתוח טופולוגיה דנדריטית ומציאת המקטע הטוב ביותר: (1) בהנחה של מודל מפורט, אנו מקבלים תחילה את עץ ההתמכרות המתאים ולחשב את העומק של כל כפתור (עומק כפתור הוא מספר כפתורים אבותיו) על העץ (איור. (2) לאחר ניתוח טופולוגיה, אנו מחפשים את המועמדים ולבחור את המקסימום ערכי המועמד העמוקים ביותר (יחידה היא מועמדת רק אם כל ערכי הילדים שלה מעובדים). ) 2א 2B , C k 2D DHS Workflow - תהליכים של DHS המועמד העמוק ביותר מכסה כל iteration. איור של חישוב עומק החלק של מודל מחלקה.המודל הופך תחילה למבנה עץ ולאחר מכן מחושב עומק כל אחד מהחלקים.הצבעים מצביעים על ערכים שונים של עומק. ניתוח טופולוגיה על מודלים נוירונים שונים. שישה נוירונים עם מורפולוגיות שונות מוצגים כאן. עבור כל מודל, הסומה נבחרה כשורש העץ כך העומק של הצומת עולה מן הסומה (0) לדנדריטים הדיסטליים. איור של ביצוע DHS על המודל ב המועמדים: המועמדים שנבחרו: המועמדים שנבחרו על-ידי DHS, כלומר, המועמדים שנבחרו על-ידי המועמדים העמוקים ביותר: כפתורים מעובדים: כפתורים שעובדים בעבר. אסטרטגיית ההשוואה שקיבלה DHS לאחר התהליך ב DHS מפחית את השלבים של עיבוד כפתורים סדרתיים מ-14 ל- 5 על ידי הפצה של כפתורים לתוך כפתורים מרובים. עלות יחסית, כלומר, היחס של עלות החישוב של DHS לזה של שיטת Hines סדרתי, בעת יישום DHS עם מספרים שונים של חוטים על סוגים שונים של מודלים. a k b c d b k e d f קחו לדוגמה מודל פשוט עם 15 חלקיקים, באמצעות שיטת החישוב הסורי של Hines, זה לוקח 14 צעדים כדי לעבד את כל הצמתים, בעוד באמצעות DHS עם ארבעה יחידות מקבילות ניתן לחלק את הצמתים לחמישה תת קבוצות (איור. מכיוון שנושאים באותו תת-הסדרה יכולים להיות מעובדים במקביל, נדרשים רק חמישה צעדים כדי לעבד את כל הנושאים באמצעות DHS (איור 5). ) 2D 2 E לאחר מכן, אנו מיישמים את שיטת DHS על שישה מודלים נוירונים מפורטים מייצגים (בחרו מתוך ModelDB ) עם מספר שונה של שורות (איור. ): כולל נוירונים פירמידיים קורטיקים והיפוקמפלים , , נוירונים Cerebellar Purkinje נוירונים פרויקטים סטריאטליים (Striatal Projection Neurons - SPNs) תאים מיטראליים (Mitral cell olfactory bulb) , המכסה את הנוירונים העיקריים העיקריים באזורים חושי, קורטיקה וסובקורטיקה. לאחר מכן נמדד את עלות החישוב. עלות החישוב היחסית כאן מוגדרת על ידי היחס של עלות החישוב של DHS לזה של שיטת Hines הסורית. עלות החישוב, כלומר, מספר הצעדים שנלקחו בפתרון משוואות, יורד באופן דרמטי עם מספר החוטים הגדל. לדוגמה, עם 16 חוטים, עלות החישוב של DHS היא 7%-10% בהשוואה לשיטת Hines הסורית. מעניין, שיטת DHS מגיעה לגבולות הנמוכים של עלות החישוב שלהם עבור נוירונים מוצגים כאשר נתנו 16 או אפילו 8 חוטים מקבילים (איור. ), המצביע על הוספת נושאים נוספים אינה משפרת את הביצועים עוד יותר בגלל התמכרות בין מחלקות. 39 2F 40 41 42 43 44 45 2F יחד, אנו מייצרים שיטה DHS המאפשרת ניתוח אוטומטי של טופולוגיה דנדריטית ומחלקה אופטימלית עבור חישוב מקביל.זה ראוי לציין כי DHS מוצא את המחלקה האופטימלית לפני תחילת הסימולציה, ואין חישוב נוסף נדרש לפתור משוואות. להאיץ DHS על ידי GPU זיכרון Boosting DHS מחשב כל נוירון עם חוטים מרובים, אשר צורכים כמות עצומה של חוטים בעת ביצוע סימולציות רשתות נוירליות. • מחשבים מקבילים בתיאוריה, SPs רבים על GPU צריך לתמוך סימולציה יעילה עבור רשתות נוירליות בקנה מידה גדול (איור. עם זאת, ציינו באופן עקבי כי היעילות של DHS ירדה באופן משמעותי כאשר גודל הרשת גדל, אשר עשוי להיות תוצאה של אחסון נתונים מפוזר או גישה לזיכרון נוסף שנגרם על ידי טעינה וכתוב תוצאות ביניים (איור. על שמאל ) 3א, ב 46 3C 3D ארכיטקטורה של ה-GPU והירוארכיה של הזיכרון שלה.כל GPU מכיל יחידות עיבוד גדולות (מעבדי זרם). ארכיטקטורה של Streaming Multiprocessors (SMs).כל SM מכיל מעבדים מרובים, רישומים ו- L1 cache. יישום DHS על שני נוירונים, כל אחד עם ארבעה חוטים.במהלך הסימולציה, כל חוט פועל על מעבד זרם אחד. אסטרטגיית אופטימיזציה של הזיכרון על GPU. לוח העליון, הפקדת החוט והאחסון של הנתונים של DHS, לפני (שמאל) ואחרי (ימין) שיפור הזיכרון. מעבדים שולחים בקשה לנתונים כדי לטעון נתונים עבור כל חוט מהזיכרון הגלובלי.ללא קידום זיכרון (שמאל), זה לוקח שבעה עסקאות כדי לטעון את כל הנתונים של בקשה וכמה עסקאות נוספות לתוצאות ביניים.עם קידום זיכרון (ימין), זה לוקח רק שתי עסקאות כדי לטעון את כל הנתונים של בקשה, רישומים משמשים לתוצאות ביניים, אשר משפרים עוד יותר את כוח הזיכרון. זמן הפעלה של DHS (32 חוטים בכל תא) עם וללא זיכרון קידום על מודלים פירמידיים מרובים שכבה 5 עם ספינים. להאיץ את שיפור הזיכרון על מודלים פירמידיים 5 שכבות מרובות עם ספינים. a b c d d e f אנו פותרים בעיה זו על-ידי הגדלת זיכרון GPU, שיטה להגדיל את קצב הזיכרון על-ידי ניצול של שורת הזיכרון של ה-GPU ומנגנון הגישה.בהתבסס על מנגנון טעינת הזיכרון של ה-GPU, חוטים רצופים של טעינה של נתונים מאוזנים ומאוחסנים ברציפות מובילים לקצב זיכרון גבוה בהשוואה לגישה לנתונים מאוחסנים ב-Scatter, אשר מפחית את קצב הזיכרון. , כדי להשיג ביצועים גבוהים, אנו מקדישים תחילה את ההזמנות החישוביות של הצמיגים ומארגנים מחדש את החוטים בהתאם למספר הצמיגים עליהם. לאחר מכן אנו מעבירים את אחסון הנתונים בזיכרון הגלובלי, בהתאם להזמנות החישוב, כלומר, הצמיגים המעובדים באותו שלב מאוחסנים ברציפות בזיכרון הגלובלי. יתר על כן, אנו משתמשים ברשימות GPU כדי לאחסן תוצאות ביניים, לחזק עוד יותר את ביצועי הזיכרון. יתר על כן, ניסויים על מספרים מרובים של נוירונים פירמידיים עם ספנים ומודלים נוירונים טיפוסיים (איור. תוספת פיג. ) מראה כי שיפור הזיכרון משיג מהירות של 1.2-3.8 פעמים בהשוואה ל- naïve DHS. 46 47 3D 3 E , F 2 כדי לבדוק באופן מקיף את הביצועים של DHS עם חיזוק זיכרון GPU, אנו בוחרים שישה מודלים נוירונים טיפוסיים ומעריכים את זמן ההפעלה של פתרון משוואות כבל על מספרים מסיביים של כל מודל (איור. בדקנו DHS עם ארבעה חוטים (DHS-4) ושישה עשר חוטים (DHS-16) עבור כל נוירון, בהתאמה. יתר על כן, בהשוואה לשיטת Hines הסורית המסורתית ב-NEURON המופעלת עם זרם יחיד של ה-CPU, DHS מאיץ את הסימולציה ב- 2-3 סדרות של גודל (איור תוספת. ), תוך שמירה על הדיוק המספרי זהה בנוכחות ספנים צפופים (Figs תוספת. ו , דנדריטים פעילים (תוספת פיג. ) ו אסטרטגיות קטגוריות שונות (Fig. ) 4 4a 3 4 8 7 7 זמן הפעלה של פתרון משוואות עבור סימולציה של 1 s על GPU (dt = 0.025 ms, 40,000 iterations בסך הכל). CoreNEURON: השיטה המקבילה המשמשת ב CoreNEURON; DHS-4: DHS עם ארבעה חוטים עבור כל נוירון; DHS-16: DHS עם 16 חוטים עבור כל נוירון. , ויזואליזציה של המחלקה על ידי DHS-4 ו- DHS-16, כל צבע מציין חוט יחיד. a b c DHS יוצר חלוקת אופטימלית ספציפית לסוג התא כדי לקבל תובנות על מנגנון העבודה של שיטת DHS, אנו חזותינו את תהליך ההחלקה על-ידי מיפוי חלקיקים לכל חוט (כל צבע מציג חוט יחיד בתמונה. ויזואליזציה מראה כי חוט יחיד לעתים קרובות מחליפים בין ענפים שונים (איור. מעניין, DHS מייצרת חלקיקים ממוקדים בנוירונים סימטריים מורפולוגיים כגון נוירון התצפית הסטריאטי (SPN) ותא מיטראלי (איור. לעומת זאת, היא מייצרת חלקיקים מפוזרים של נוירונים אסימטריים מורפולוגיים כגון נוירונים פירמידיים ותא Purkinje (איור. ), המעיד על כך ש- DHS מחלק את העץ הנוירלי בקנה מידה של מחלקה בודדת (כלומר, צינור עץ) ולא בקנה מידה של ענף. 4B ו-C 4B ו-C 4B ו-C 4B ו-C לסיכום, DHS ו- Memory Boosting מייצרים פתרון אופטימלי מוכח בתיאוריה לפתרון משוואות ליניאריות במקביל עם יעילות חסרת תקדים. באמצעות עיקרון זה, נבנו את פלטפורמת הגישה הפתוחה DeepDendrite, שניתן להשתמש בה על ידי מדענים נוירולוגיים כדי ליישם מודלים ללא ידע ספציפי בתכנות GPU. DHS מאפשר מודלים ברמת עמוד השדרה מאחר שספינות דנדריטיות מקבלות את מרבית הכניסה המרגשת לניורונים הפירמידיים הקוריאליים והיפוקמפוליים, נוירונים פרויקטים סטריאטיים וכו ', המורפולוגיות והפלסטיות שלהם הן קריטיות עבור הרגולציה של התרגשות נוירונלית. , , , , עם זאת, שורשים הם קטנים מדי ( ~ 1 μm אורך) כדי להיות נמדד ישירות בניסוי ביחס לתהליכים תלויים מתח. 10 48 49 50 51 אנו יכולים לעצב עמוד השדרה יחיד עם שני חלקיקים: ראש עמוד השדרה שבו נמצאים הסינפסים ואת צוואר עמוד השדרה המחבר את ראש עמוד השדרה לדנדריטים התיאוריה ציינה כי צוואר השדרה הצטמצם מאוד (0.1-0.5 מיקרומטר בקוטר) מבדיל אלקטרונית את ראש השדרה מן הדנדריט הוריו, ובכך מחלק את האותות שנוצרות בראש השדרה. עם זאת, המודל המפורט עם ספינים מחולקים לחלוטין על דנדריטים ("מודל ספינים מלאים") הוא מחושב מאוד יקר. גורם Spine במקום להדביק את כל הסוגים, יש כאן גורם עמוד השדרה שואף להתקרב להשפעה של עמוד השדרה על המאפיינים הביאופיזיים של קרום התא . 52 53 F 54 F 54 בהשראת עבודות קודמות של Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ראוי לציין כי Eyal et al. השתמשו גורם עמוד השדרה כדי לכלול עמוד השדרה לתוך דנדריטים בעוד רק כמה עמודים פעילים היו מחוברים באופן מפורש לדנדריטים ("מודל מספר עמוד השדרה" בתמונה. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5D 5D 5D Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Somatic voltages recorded for cases in צבעים של קווי המתח מתאימים , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. Somatic spike probability as a function of the number of simultaneously activated synapses (as in Eyal et al.’s work) for four cases in רעש רקע מחובר. זמן של ניסויים ב עם שיטות סימולציה שונות. NEURON: סימולטור NEURON קונבנציונלי פועל על ליבה יחידה של ה-CPU. CoreNEURON: סימולטור CoreNEURON על GPU יחיד. DeepDendrite: DeepDendrite על GPU יחיד. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. • שולחן תוספות ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion In this work, we propose the DHS method to parallelize the computation of Hines method ואנחנו מוכיחים במתמטיקה כי DHS מספק פתרון אופטימלי ללא כל אובדן של דיוק.אחר כך, אנו מיישמים DHS על פלטפורמת החומרה של GPU ומשתמשים בטכניקות חיזוק הזיכרון של GPU כדי לחדד את DHS (איור. ). When simulating a large number of neurons with complex morphologies, DHS with memory boosting achieves a 15-fold speedup (Supplementary Table בהשוואה לשיטת ה-GPU המשמשת ב-CoreNEURON והאיצה של עד 1,500 פעמים בהשוואה לשיטת Hines הסורית בפלטפורמת ה-CPU (איור. תוספת פיג. שולחן תוספת ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks אנו מראים כי DeepDendrite יכול לתמוך הן סימולציות מדעי העצבים והן משימות רשתות נוירניות מפורטות הקשורות ל- AI במהירות חסרת תקדים, ובכך מקדם באופן משמעותי סימולציות מדעי העצבים מפורטות ואולי גם לחקירות AI עתידיות. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , . With network-level methods, we can simulate detailed networks on clusters or supercomputers . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , עם אופטימיזציה נוספת, שיטות מבוססות GPU להשיג יעילות גבוהה הרבה יותר בסימולציה רשת, עם זאת, החישוב בתוך התאים הוא עדיין סדרתי בשיטות ברמת הרשת, כך שהם עדיין לא יכולים להתמודד עם הבעיה כאשר "המטריצה Hines" של כל תאים גודל גדול. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , . The structure of the spine, with an enlarged spine head and a very thin spine neck—leads to surprisingly high input impedance at the spine head, which could be up to 500 MΩ, combining experimental data and the detailed compartment modeling approach , בשל עמידות כניסה גבוהה כזו, כניסה סינפטית אחת יכולה להזכיר EPSP "גנטי" ( ~ 20 mV) ברמת ראש השדרה. , , thereby boosting NMDA currents and ion channel currents in the spine עם זאת, במודלים קלאסיים של חלקיקים בודדים מפורטים, כל הספנים מוחלפים על ידי coefficient modifying the dendritic cable geometries גישה זו עשויה לפצות על זרמים זיהום וקפדנציה זרמים עבור ספינים.עם זאת, זה לא יכול לשחזר את האימפינדציה הכניסה הגבוהה בראש עמוד השדרה, אשר עשוי לחולל את כניסות סינפטיות מעורר, במיוחד זרמים NMDA, ובכך להפחית את הלא ליניאריות בקו הכניסה-יציאה של הנוירון. 10 11 48 65 48 66 11 F 54 מצד שני, המחלקה החשמלית של עמוד השדרה מלווה תמיד במחלקה הביוכימית. , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , שינויים אלה תלויים בחוויה במורפולוגיה של עמוד השדרה, הידועים גם בשם "פלסטיות מבנית", נצפו באופן נרחב בקרום הראייה. , קורטקס סומטוסנסורי , , motor cortex היפוקמפוס , and the basal ganglia in vivo. הם משחקים תפקיד קריטי בלימוד המנוע והמרחב, כמו גם היווצרות הזיכרון. עם זאת, בשל עלויות החישוב, כמעט כל המודלים המפורטים של הרשת מנצלים את הגישה "F-factor" כדי להחליף ספינים בפועל, ולכן אינם מסוגלים לחקור את הפונקציות של עמוד השדרה ברמה המערכת. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , לדוגמה, נוירונים פירמידיים קורטיים יכולים לבצע אינטגרציה סינפטית סובליארית בדנדריט proximal אבל בהדרגה לעבור לאינטגרציה supralinear בדנדריט דיסטלי. . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice או אפילו נוירונים קורטיים אנושיים in vitro, which may offer various logical operations , or gating functions , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 עבודות אחרונות על גילוי התפקידים הדנדריטיים בלימוד ספציפי למשימות השיגו תוצאות מדהימות בשתי כיוונים, כלומר, פתרון משימות מאתגרות כגון קבוצת נתוני דימוי ImageNet עם רשתות דנדריטיות פשוטות , and exploring full learning potentials on more realistic neuron , עם זאת, קיים מחלוקת בין גודל המודל לבין הפרטים הביולוגיים, שכן עלייה בקנה מידה של הרשת מתבצעת לעתים קרובות בשל מורכבות ברמת הנוירונים. , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 בתגובה לאתגרים הללו, פיתחנו את DeepDendrite, כלי המשתמש בשיטת Dendritic Hierarchical Scheduling (DHS) כדי להפחית באופן משמעותי את עלויות החישוב, וכולל מודול I/O ומודול למידה כדי לטפל במערכות נתונים גדולות. רשת זו הראתה יכולות אימון יעילות במשימות דירוג תמונה, והשיגה מהירות של כ-25 פעמים בהשוואה לאימון על פלטפורמת מבוססת CPU מסורתית (איור. • שולחן תוספות ). 6a, b 6f 1 האיור של רשת התאים הפירמידיים האנושיים (HPC-Net) עבור דירוג תמונה. התמונות מתהפכות לתוך רכבות פיק וניתן להאכיל את המודל הרשת. אימון עם מיני-באט.רשתות מרובות מדגימות בו זמנית עם תמונות שונות ככניסות.העדכוני המשקל הכולל ΔW מחושבים כממוצע ΔWi מכל רשת. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. זרימת העבודה של ניסוי התקפות התנגדות העברה אנו מייצרים תחילה דגימות התנגדות של המבחן המותקף על ResNet של 20 שכבות ולאחר מכן משתמשים בדגימות התנגדות אלה (תמונות רעשות) כדי לבדוק את הדיוק של דירוג של מודלים מאומנים עם תמונות נקיות. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. זמן ההכשרה והבדיקה עבור HPC-Net. גודל החבילה מוגדר ל- 16. שמאל, זמן ההכשרה של עידן אחד. ימין, זמן ההכשרה של הבדיקה. Parallel NEURON + Python: הכשרה והבדיקה על CPU יחיד עם ליבות מרובות, באמצעות 40 תהליך parallel NEURON כדי לסמול את HPC-Net וקוד Python נוסף כדי לתמוך באימון מיני-בטיחות. DeepDendrite: הכשרה ובדיקה של HPC-Net על GPU יחיד עם DeepDendrite. a b c d e f בנוסף, ידוע כי הביצועים של רשתות נוירליות מלאכותיות (ANNs) יכולים להיות מושפעים על ידי התקפות יריבות. —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks תוצאות הניסוי שלנו באמצעות HPC-Net תומכות בהשערה זו, כפי שראינו כי רשתות המסופקות עם מבנים דנדריטיים מפורטים הוכיחו כמה התנגדות מוגברת להעברת התקפות יריבות. compared to standard ANNs, as evident in MNIST and Fashion-MNIST נתונים אישיים (Fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 6d, e 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. שיטות Simulation with DHS קוריאנית תסמונת ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu אפשרויות השימוש הן כמו בשולחן . 1 דיוק הסימולציה באמצעות חישוב מקביל ברמת התאים כדי להבטיח את הדיוק של הסימולציה, אנו צריכים קודם כל להגדיר את הדיוק של אלגוריתם מקביל ברמת התאים כדי לשפוט אם זה יפיק פתרונות זהים בהשוואה לשיטות סדרתיות נכונות מוכחות, כגון שיטת היינס המשמשת בפלטפורמת הסימולציה NEURON. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1D Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. העלות החישובית של שיטת חישוב מקביל ברמת התאים כדי להעריך באופן תיאורטי את זמן ההפעלה, כלומר, את היעילות, של שיטות החישוב הסוריות והדמיוניות, אנו מציגים ומגדירים את המושג של עלות חישובית כדלקמן: ו threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into תת-תת-תת תת-תת תת-תת = { , , … } where the size of each subset | | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: → → → → → , ונוטים באותו תת-הסדרה can be processed in parallel. So, we define | | (the size of set , i.e., here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V v1 V2 Vn VI k k k V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: נתנו לעץ • { , } ו- integer חיובי איפה זהו ה-Node-set וה is the edge set. Define partition ( ) = { , , ... חחחחחח | ≤ 1 ≤ ≤ n, שבו דוגמה: cardinal number of subset , כלומר, את מספר המשתתפים ב על כל נוגד ∈ כל הילדים שלה נוטים תגיות ילד קטן ( )} must in a previous subset , where 1 ≤ < המטרה שלנו היא למצוא מחלקה אופטימלית ( ) whose computational cost | ( )| is minimal. T V E k V E P V v1 v2 Vn VI k i Vi VI VI v VI c c v Vj j i P * V P * V Here subset זה כולל את כל החומרים שיכולים להיחשב ב -th step (Fig. ), so | | ≤ זה אומר שאנחנו יכולים לחשב nodes each step at most because the number of available threads is . The restriction “for each node ∈ , all its children nodes { | ∈children( (הצטרך להופיע בתפריט הקודם) , where 1 ≤ » זה אומר שהנוד can be processed only if all its child nodes are processed. VI i 2 E VI k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( ) for all nodes ∈ . Then, the following two steps will be executed iteratively until every node ∈ מיועדת לחלקה: (1) מצא את כל הצרכים המועמדים והכניס את הצרכים הללו למערכת המועמדים. מחלקה היא מועמדת רק אם כל מחלקי הילדים שלה מעובדים או שאין לה מחלקי ילדים. | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove החלק העמוק ביותר של and add them to subset . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V * I k Q Vi 2d VI 1 + 1 הוכחה נכונה ל- DHS לאחר יישום DHS לעץ נוירלי = { , אנחנו מקבלים מחלקה ( ) = { , , ... }, | | ≤ , 1 ≤ ≤ כפתורים באותו תת-הסדרה will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n ההפרדה ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) נלקח מן העץ הנוירלי נתון . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to כפי שמוצג ביישום של DHS, כל הצמתים בחלק התחתון are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in הם ב , , ... }, so parent nodes of nodes in are in { , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T v1 Vn Vi Q Q VI v1 V2 Vi-1 VN v1 Vi v1 V2 וי-1 Vi Vi+1 Vi+2 Vn הוכחת אופטימיות עבור DHS הרעיון של ההוכחה הוא שאם יש פתרון אופטימלי אחר, ניתן להפוך אותו לפתרון DHS שלנו מבלי להגדיל את מספר הצעדים הנדרש על ידי האלגוריתם, ובכך להצביע על כך שהפתרון DHS הוא אופטימלי. עבור כל תת ב ( DHS תנועות (מספר החוט) הצמיגים העמוקים ביותר של קבוצת המועמדים המתאימה 2 אם מספר המשתתפים ב הוא קטן יותר מ להזיז את כל הצמיגים מ 2 כדי להקל עלינו, אנו מציגים כדי לציין את עומק הסכום של החלק העמוק ביותר של כל החלקים התחתונים ב ( ) לעמוד בקריטריונים של עומק מקסימלי (תוספת תמונה. לאחר מכן אנו מוכיחים כי בחירת הצמתים העמוקים ביותר בכל iteration גורמת חלוקה אופטימלית אם יש חלוקה אופטימלית • { , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from and the number of subsets ( | ( )|) remain the same after modification. VI P V k Qi VI Qi k Qi VI דה k Qi P V 6a פ (ב) P * (V) V * 1 V * 2 V*s P* V Q P* V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in that are not put to · (2) תגיות | = but nodes in are not the החלק העמוק ביותר של . V*i V*i V*i k Qi V*i V*i k V*i k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | תגיות , we can move the corresponding nodes from the subsequent subsets to זה לא יגדיל את מספר המשתתפים והופך את satisfy the criteria (Supplementary Fig. למקרה מסוים (2) יונתן = , אלה כפתורים עמוקים יותר שאינם נועדו ממערכת המועמדת בתוך יש להוסיף את החלקים הבאים (תוספת תמונה. , bottom). These deeper nodes can be moved from subsequent subsets to through the following method. Assume that after filling , הוא נבחר ואחד מהם הוא האוזניים העמוקים ביותר is still in , thus will be put into a subsequent subset (למשל > קודם כל אנחנו זזים from to + לאחר מכן, לשנות את התחתון + as follows: if | + | ≤ אף אחד מהדפים ב + is the parent of node , stop modifying the latter subsets. Otherwise, modify + כפי שניתן לראות בהמשך (Fig. (א) אם הוריו של הוא ב + , move this parent node to + ; else move the node with minimum depth from + to + . After adjusting , modify subsequent subsets + , + , ... with the same strategy. Finally, move מ 2 . V * I V*i < k V*i V*i 6b V * I k Qi V * I 6b V*i V*i v k v’ Qi v’ V * J j i v V*i V*i 1 V * I 1 V * I 1 k V*i 1 v V*i 1 6c v V*i 1 V * I 2 V * I 1 V * I 2 V * I V * I 1 V*i 2 V*j-1 v’ V * J V*i עם אסטרטגיית השינוי המתוארת לעיל, אנו יכולים להחליף את כל הצמתים השטחיים ביותר עם The החלק העמוק ביותר ב ושמור את מספר תת קבוצות, כלומר, ( )| the same after modification. We can modify the nodes with the same strategy for all subsets in ( (למשל, לא מופיעים כל הסעיפים הקודמים, כל הסעיפים הקודמים ∈ ( ) יכול לעמוד בקריטריונים של עומק מקסימלי, וכן ( )| does not change after modifying. V * I k Qi P* V P * V V*i P* V P* V לסיכום, DHS מייצרת מחלקה ( (למשל, כל התוספים ∈ ( הגדרת עומק מקסימלי: עבור כל מחלקה אופטימלית אחרת ( ) אנו יכולים לשנות את תת המערכות שלה כדי להפוך את המבנה שלה אותו כמו ( ), כלומר, כל תת קבוצה מורכבת מהקונדיטורים העמוקים ביותר בסדרה המועמדת, ולשמור על ( ) כך גם לאחר ההחלפה, כך גם לאחר ההחלפה. ( ) נלקח מ- DHS הוא אחד המקטעים האופטימליים. P V VI P V P * V P V P * V | P V יישום GPU ושיפור הזיכרון כדי להשיג ביצועי זיכרון גבוהים, GPU משתמשת ביוררכיה של זיכרון של (1) זיכרון גלובלי, (2) קח, (3) רישום, שבו זיכרון גלובלי יש קיבולת גדולה אבל ביצועים נמוכים, בעוד רישומים יש קיבולת נמוכה אבל ביצועים גבוהים. GPU משתמש בארכיטקטורה SIMT (Single-Instruction, Multiple-Thread). Warps הם יחידות התזמון הבסיסיות על GPU (warp הוא קבוצה של 32 חוטים מקבילים). warp מבצע את אותה ההוראה עם נתונים שונים עבור חוטים שונים הסדר הנכון של הצמתים הוא חיוני לקטגוריה זו של חישוב בורפים, כדי לוודא DHS מקבל תוצאות זהות כמו שיטת Hines הסדרה. בעת יישום DHS על GPU, אנחנו קודם כל קבוצות את כל התאים בורפים מרובים בהתבסס על המורפולוגיות שלהם. התאים עם מורפולוגיות דומות מסווגים באותו warp. לאחר מכן אנו מיישמים DHS על כל הנוירונים, הקצאת החלקים של כל נוירון לתוך חוטים מרובים. מכיוון שהנוירונים מסווגים לתוך warps, החלקים עבור אותו נוירון הם באותו warp. לכן, הסינכרון הפנימי של warps שומר את סדר החישוב בקנה אחד עם תלות הנתונים של שיטת Hines הסדרה. לבסוף, החלקים בכל 46 כאשר וורפ מוריד נתונים ממוקדים מראש ומאוחסנים ברציפות מהזיכרון הגלובלי, הוא יכול לנצל במלואו את ה-Cache, מה שמוביל לביצוע זיכרון גבוה, בעוד גישה לנתונים מאוחסנים ב-Scatter יפחית את ביצועי ה-Scatter.לאחר מינוי מחלקות וארגון מחדש של חוטים, אנו מעבירים נתונים בזיכרון הגלובלי כדי להפוך אותם תואמים להזמנות חישוב, כך ש-Warps יוכלו להוריד נתונים מאוחסנים ברציפות בעת ביצוע התוכנית. מודלים ביופפיזיים של עמוד השדרה מלאה ופחות עמוד השדרה We used the published human pyramidal neuron • יכולת המברשת m = 0.44 μF cm-2, עמידות קרום m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. ערוצים איוניים כגון Na+ ו- K+ הוצבו על הסומה והאקסון הראשוני, והפוטנציאלים ההפוך שלהם היו Na = 67.6 mV, K = -102 mV בהתאמה.כל הפרמטרים הספציפיים האלה נקבעו אותו הדבר כמו במודל של Eyal, et al. , לקבלת פרטים נוספים אנא פנה למודל שפורסם (ModelDB, גישה מספר 238347). 51 c r r E E E 51 במודל של כמה עמודי השדרה, הקפדניטציה של המ membrane ואת הקפדניטציה המקסימלית של כבלים דנדריטיים 60 מיקרומטר ממרחק של soma היו מרובים על ידי spine factor to approximate dendritic spines. In this model, spine was set to 1.9. Only the spines that receive synaptic inputs were explicitly attached to dendrites. F F In the full-spine model, all spines were explicitly attached to dendrites. We calculated the spine density with the reconstructed neuron in Eyal, et al. צפיפות עמוד השדרה מוגדרת ל- 1.3 μm-1, וכל תא מכיל 24994 ספנים על דנדריטים במרחק של 60 μm מהסומה. 51 המורפולוגיה והמנגנונים הביופפיזיים של עמודי השדרה היו זהים במודלים של כמה עמודי השדרה ושל כל עמוד השדרה. neck = 1.35 μm and the diameter צוואר = 0.25 מיקרומטר, בעוד האורך והקוטר של ראש עמוד השדרה היו 0.944 מיקרומטר, כלומר, שטח ראש עמוד השדרה הוגדר ל 2.8 מיקרומטר. = -86 mV. The specific membrane capacitance, membrane resistance, and axial resistivity were the same as those for dendrites. L D El תגיות Synaptic Inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. זרמים סינפטיים מבוססי AMPA ו- NMDA סימולו כמו בעבודתו של Eyal et al. AMPA היה מודל כפונקציה דו-אקספוננציאלית ו- NMDA היה פונקציה כפונקציה דו-אקספוננציאלית תלויה במתח. עלייה ו ההפרשות נקבעו ל- 0.3 ו- 1.8 ms עבור מודל NMDA, עלייה ו קווי התפשטות נקבעו ל- 8.019 ו- 34.9884 ms, בהתאמה, המוליכות המרבית של AMPA ו- NMDA היו 0.73 nS ו- 1.31 nS. τ τ τ τ רעש רקע הוספת רעש רקע לכל תא כדי לסמולציה של סביבה מציאותית יותר. דפוסי רעש הושגו כמו רכבות פיק פויסון עם קצב קבוע של 1.0 Hz. start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , למעט העובדה כי המוליכות המקסימלית של NMDA היה מחולק באופן שווה מ 1.57 ל 3.275, מה שמוביל יחס AMPA ל- NMDA גבוה יותר. t Synaptic Inputs חקר התרגשות נוירונית בדקנו את סבב הסיכוי כאשר פעלו סינפסים מרובים בו זמנית. עבור כניסות מפוזרות, בדקנו 14 מקרים, מ- 0 עד 240 כניסות מפוזרות. עבור כניסות מפוזרות, בדקנו 9 מקרים בסך הכל, הפעלו מ- 0 עד 12 קבוצות בהתאמה. כל קבוצה מורכבת מ-20 סינפסים. עבור כל מקרה בכניסות מפוזרות ומפוזרות, חישבנו את סבב הסיכוי עם 50 דגימות אקראיות. סבב הסיכוי מוגדר כמידת המספר של נוירונים שפורסמו למספר הכולל של דגימות. כל 1150 הדגימות סימנו בו זמנית על פלטפורמת DeepDendrite שלנו, והפחית את זמן הסימולציה מעת לעת ביצוע משימות AI עם פלטפורמת DeepDendrite סימולטורים נוירונים מפורטים קונבנציונאליים חסרים שתי פונקציונליות חשובות למשימות AI המודרניות: (1) ביצוע סימולציות ושדרוג משקל ללא התחלה מחדש כבדה, ו- (2) עיבוד במקביל של דגימות גירויים מרובות בצורה דמויות. DeepDendrite מורכב משלושה מודולים (תוספת תמונה. ): (1) מודול I/O; (2) מודול סימולציה מבוסס DHS; (3) מודול למידה. בעת אימון מודל מפורט ביופיזית כדי לבצע משימות למידה, המשתמשים קובעים תחילה את הכלל של למידה, ולאחר מכן מזינים את כל דגימות האימון למודל המפורט ללמידה. בכל שלב במהלך האימון, מודול I/O בוחר גירוי ספציפי ואת האות המורה המתאימה לו (אם יש צורך) מכל דגימות האימון ומקשר את הגירוי למודל הרשת. לאחר מכן, מודול הסימולציה מבוסס DHS מתחיל את המודל ומתחיל את הסימולציה. לאחר סימולציה, מודול למידה מעודכן את כל משקלים סינפטיים בהתאם להבדל בין תשובות המודל 5 מודל HPC-Net דירוג התמונה הוא משימה טיפוסית בתחום ה- AI. במשימה זו, מודל צריך ללמוד לזהות את התוכן בתמונה נתונה ולהוציא את התווית המתאימה. HPC-Net יש שלושה שכבות, כלומר שכבה input, שכבה מוסתרת, שכבה output. The neurons in the input layer receive spike trains converted from images as their input. Hidden layer neurons receive the output of input layer neurons and deliver responses to neurons in the output layer. The responses of the output layer neurons are taken as the final output of HPC-Net. Neurons between adjacent layers are fully connected. עבור כל גירוי תמונה, אנו מעבירים תחילה כל פיקסל נורמליזציה לתוך מסלול פיקוד הומוגני. ) בתמונה, הרכבת הספייק המתאימה יש טווח interspike קבוע איטליה ( ) (ב ms) אשר נקבע על ידי ערך פיקסל ( ) כפי שמוצג ב Eq. ( ) x , y τ x , y p x , y 1 בניסוי שלנו, הסימולציה עבור כל גירוי נמשכה 50 ms. ISI ms ונמשך עד סוף הסימולציה.אחר כך אנחנו קשרו את כל רכבות הספייק אל נוירונים שכבת ההכנסה בצורה אחת לאחת.הזרם הסינפטי מופעל על ידי הספייק מגיע בזמן ניתנה על ידי τ t0 איפה הוא מתח פוסט סינפטי, הפוטנציאל ההפוך syn = 1 mV, המוליכות הסינפטית המקסימלית מקס = 0.05 μS, והקבוע הזמן • 0.5 מ"מ v E g τ נוירונים בשכבה ההכנסה מודלנו עם מודל פסיבי יחיד-חטיבה. m = 1.0 μF cm-2, עמידות קרום m = 104 Ω cm2, התנגדות אסיאלית a = 100 Ω cm, פוטנציאל הפוך של חלל פסיבי L = 0 mV c r r E שכבה מוסתרת מכילה קבוצה של דגמי נוירונים פירמידיים אנושיים, מקבלים את המתח הסומטי של נוירונים שכבה כניסה. , וכל הנוירונים היו מודל עם כבלים פסיביים. m = 1.5 μF cm-2, עמידות קרום m = 48,300 Ω cm2, התנגדות axial a = 261.97 Ω ס"מ, ואת הפוטנציאל ההפוך של כל הכבלים הפסיביים l = 0 mV. נוירונים כניסה יכולים לבצע חיבורים מרובים למקומות שנבחרו באופן אקראי על הדנדריטים של נוירונים מוסתרים. הסינפסיה של ה כניסה נוירונים על נוירונים כאמור, ההגדרה של דנדיט היא כפי שנקבע ב-Eq. ) איפה זהו המנהיג הסינפטי, is the synaptic weight, is the ReLU-like somatic activation function, and is the somatic voltage of the כניסה נוירונים בזמן . 51 c r r E k i j 4 gijk השכונה i t דוגמה נוספת היא דוגמה של נוירונים בשטח היציאה, אשר דוגמת מודל פסיבי יחיד-מחלקה, וכל נוירון מוסתר עשה רק חיבור סינפטי אחד לכל נוירון היציאה. ) 4 דירוג התמונות באמצעות HPC-Net For each input image stimulus, we first normalized all pixel values to 0.0-1.0. Then we converted normalized pixels to spike trains and attached them to input neurons. Somatic voltages of the output neurons are used to compute the predicted probability of each class, as shown in equation איפה האם האפשרות של -הכיתה שנקבעה על ידי HPC-Net, היא המתח הסומטי הממוצע מ -20 ms ל -50 ms של תוצאת נוירונים, ו מדגיש את מספר הכיתות, אשר שווה את מספר הנוירונים היציאה. הכיתה עם הסיכוי המקסימלי צפוי הוא התוצאה הסופית של הסיווג. במאמר זה, נבנה HPC-Net עם 784 נוירונים כניסה, 64 נוירונים מוסתרים, 10 נוירונים היציאה. 6 פי i i C חוקי הפלסטיות הסינפטית עבור HPC-Net בהשראת עבודות קודמות אנו משתמשים בפונקציונליזציה של ה-HPC-Net כדי לבצע את המשימה של דירוג התמונות. ( ) איפה מהו הסיכוי הצפוי לכיתה , indicates the actual class the stimulus image belongs to, = 1 אם התמונה הכניסה שייכת לכיתה , ו 0 אם לא. 36 7 pi i איה איה i איה When training HPC-Net, we compute the update for weight (המשקל הסינפטי של סינפסיה מחברת נוירונים 2 נוירונים לאחר סימולציה של כל גירוי תמונה, כאמור מופיע בהודעה שפורסמה ב-Eq. ( ) : השכונה k i j השכונה 8 הנה שיעור הלמידה, זה הערך העדכון בזמן , , מתח סומטי של נוירונים ו בהתאמה is the זרם סינפטי מופעל על ידי נוירונים on neuron , המנהיגות הסינפטית שלה, is the transfer resistance between the המחלקה המחוברת של הנוירון נוירונים תגיות קשורות neuron של סומא, s = 30 ms כאמור, ניתן להגדיר את התופעה כ- 50 מ"ל (למשל, תופעה זו יכולה להתרחש כ- 50 מ"ל) או כ- 50 מ"ל (למשל, תופעה זו יכולה להתרחש כ- 50 מ"ל). (למשל, התשובה לשאלת התשובה היא שניתן לחשב את התשובה לשאלת התשובה (למשל, התשובה לשאלת התשובה היא התשובה לשאלת התשובה). ) t VJ VI i j איטליה k i j גייק ריק k i j j t t 10 11 מאחר שכל הנוירונים היוצאים הם יחיד-מחלקה, שווה התנגדות הכניסה של המחלקה המתאימה, התנגדות העברה והכניסה מחושבות על ידי נוירון. Mini-batch training הוא שיטה טיפוסית ללמידה עמוקה כדי להשיג דיוק תחזית גבוהה יותר ולהאיץ את התכנסות. DeepDendrite תומך גם mini-batch training. When training HPC-Net with mini-batch size בנט, אנחנו עושים עותקים במשלוח של HPC-Net. במהלך האימון, כל עותק מועבר עם דגימה אימון שונה מהמשלוח. DeepDendrite מחשב תחילה את עדכון המשקל עבור כל עותק בנפרד. לאחר כל העותקים במשלוח האימון הנוכחי נעשו, עדכון המשקל הממוצע מחושב והמשקל בכל העותקים מתעדכן באותו סכום. N N עוצמה נגד התקפות נגד עם HPC-Net כדי להוכיח את עוצמתה של HPC-Net, בדקנו את הדיוק של התחזית על דגימות adversarial ולהשוות אותו עם ANN אנלוגי (אחד עם אותו מבנה 784-64-10 ופעולה ReLU, להשוואה הוגנת ב HPC-Net שלנו כל נוירון כניסה עשה רק חיבור סינפטי אחד לכל נוירון מוסתר). , כדי ליצור רעש נגד באמצעות שיטת FGSM ANN היה מאומן עם PyTorch , ו- HPC-Net הוכנסו עם DeepDendrite שלנו. לצורך הוגנות, יצרנו רעש נגד על מודל רשת שונה באופן משמעותי, ResNet של 20 שכבות רמת הרעש נעה בין 0.02 ל- 0.2.אנחנו ניסו בשני קבוצות נתונים טיפוסיות, MNIST אופנה-MNIST התוצאות מראות כי דיוק התחזית של HPC-Net הוא 19% ו 16.72% גבוה יותר מאשר של ANN אנלוגי, בהתאמה. 98 99 93 100 101 95 96 Reporting summary מידע נוסף על עיצוב המחקר זמין ב קישור למאמר זה. תגית: Nature Portfolio נתונים זמינים הנתונים התומכים בממצאים של מחקר זה זמינים במסמך, קבצי מידע נוספים וקבצי נתונים מקוריים שסופקו עם מסמך זה. – זמינים ב ערכת הנתונים של MNIST זמינה לציבור ב קבוצת הנתונים של Fashion-MNIST זמינה לציבור ב → are provided with this paper. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist מקורות נתונים קוד זמינות קוד המקור של DeepDendrite וכן המודלים והקוד המשמשים לשחזר את Figs. – מחקר זה זמין ב . 3 6 https://github.com/pkuzyc/DeepDendrite התייחסות McCulloch, W. S. & Pitts, W. חישוב לוגי של הרעיונות העומדים בפני הפעילות העצבית. LeCun, Y., Bengio, Y. & Hinton, G. למידה עמוקה. טבע 521, 436–444 (2015). Poirazi, P., Brannon, T. & Mel, B. W. Arithmetic של סכום סינפטי תת-מידה בתא פירמידה מודל CA1 Neuron 37, 977–987 (2003). London, M. & Häusser, M. Dendritic calculation. Annu. Rev. Neurosci. 28, 503–532 (2005). ברנקו, T. & Häusser, M. ענף דנדריטי יחיד כאחידה פונקציונלית בסיסית במערכת העצבים. Curr. Opin. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. אינטגרציה דנדריטית: 60 שנים של התקדמות. Nat. Neurosci. 18, 1713-1721 (2015). Poirazi, P. & Papoutsi, A. תאורה של פונקציה דנדריטית עם מודלים חישוביים. Yuste, R. & Denk, W. עמודי דנדריטים כאחידות פונקציונליות בסיסיות של אינטגרציה נוירונאלית. Engert, F. & Bonhoeffer, T. שינויי עמוד השדרה דנדריטיים הקשורים לפלסטיות סינפטית לטווח ארוך של היפוקמפוס Nature 399, 66-70 (1999). Yuste, R. ספנים דנדריטיים ומעגלים מפוזרים. Neuron 71, 772–781 (2011). Yuste, R. מחלוקת חשמלית בחוטים דנדריטיים. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. ענף עצים dendritic ו motoneuron membrane resistivity. Exp. Neurol. 1, 491-527 (1959). Segev, I. & Rall, W. מחקר מחשב של עמוד השדרה dendritic מרגש. J. Neurophysiol. 60, 499-523 (1988). Silver, D. et al. Mastering the game of go with deep neural networks and tree search. Nature 529, 484–489 (2016). Silver, D. et al. אלגוריתם ללימוד חיזוק כללי המאסטר שחמט, שוג'י, וללכת דרך משחק עצמי. McCloskey, M. & Cohen, N. J. הפרעה קטסטרופית ברשתות קישור: הבעיה של למידה רצופית. צרפתי, R. M. שכחה קטסטרופית ברשתות קישור. Naud, R. & Sprekeler, H. Sparse התפרצויות אופטימיזציה העברת מידע בקוד נוירלי מרובים. Proc. Natl Acad. Sci. USA 115, E6329-E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. microcircuits cortical dendritic להתקרב אלגוריתם backpropagation. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. פלסטיות סינפטית תלויה בברסט יכולה לתאם למידה במעגלים הירוארכיים. Bicknell, B. A. & Häusser, M. חוק למידה סינפטית לניצול חישוב דנדריטי לא לינארי Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. clusteron gradient: נוירון מודל שמלמד לפתור משימות דירוג באמצעות nonlinearities dendritic, פלסטיות מבנית, ו gradient יורד. Hodgkin, A. L. & Huxley, A. F. תיאור כמותי של זרם קרום ואת היישום שלה לניהול והתרגשות בעצב. Rall, W. תיאוריה של תכונות פיזיולוגיות של דנדריטים. Ann. N. Y. Acad. Sci. 96, 1071-1092 (1962). Hines, M. L. & Carnevale, N. T. סביבת הסימולציה של נוירונים. Neural Comput. 9, 1179-1209 (1997). Bower, J. M. & Beeman, D. בספרו של GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower, J. M. & Beeman, D.) 17–27 (Springer ניו יורק, 1998). Hines, M. L., Eichner, H. & Schürmann, F. חלוקת נוירונים בסימולציות רשתות מקבילות מחשב מאפשרת גודל זמן הפעלה עם פעמיים יותר מעבדים. Hines, M. L., Markram, H. & Schürmann, F. סימולציה מקבילה לחלוטין של נוירונים יחידים. Ben-Shalom, R., Liberman, G. & Korngreen, A. להאיץ מודל מחלקה על יחידת עיבוד גרפי. Tsuyuki, T., Yamamoto, Y. & Yamazaki, T. סימולציה מספרית יעילה של מודלים נוירונים עם מבנה מרחב על יחידות עיבוד גרפי. In Proc. 2016 International Conference on Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, U.S. Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24th International Conference on High Performance Computing (HiPC) 388-397 (IEEE, 2017). Huber, F. פתרון עץ יעיל למטריסים hines על GPU. הדפסה מוקדמת ב https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. תיאוריה אופטימיזציה משולבת ואלגוריתמים 6 edn (Springer, 2018). Gebali, F. אלגוריתמים ומחשוב מקביל (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: מנוע חישוב אופטימי עבור סימולטור NEURON. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. & Senn, W. למידה על ידי תחזית דנדריטית של פיקינג סומטי. Neuron 81, 521-528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. & Korngreen, A. אופטימיזציה של מודלים של ערוצי יונים באמצעות אלגוריתם גנטי מקביל על מעבדים גרפיים. Mascagni, M. אלגוריתם משותף לפתרונות מחשוב למודלים של נוירונים כבלים משולבים באופן אקראי.J. Neurosci. McDougal, R. A. et al. עשרים שנים של מודלDB ומעבר לכך: בניית כלים מודלים חיוניים לעתיד המדע העצבי. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih חוסם באופן סלקטיבי את הסכום הזמני של כניסות דיסטליות לא סינכרוניות בנוירונים פירמידיים CA1. Hemond, P. et al. כיתות שונות של תאים פירמידיים מציגים דפוסי ירי בלעדיים אחד לשני באזור היפוקמפוס CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. מודלים של תאים פירמידיים שכבה 5b neocortical לכסות מגוון רחב של תכונות פעיל dendritic ו perisomatic. Masoli, S., Solinas, S. & D'Angelo, E. עיבוד פוטנציאל הפעולה במודל תא purkinje מפורט מגלה תפקיד קריטי עבור מחלקה אקסונלית. Lindroos, R. et al. Basal ganglia neuromodulation over multiple temporal and structural scales-simulations of direct pathway MSNs investigate the rapid onset of dopaminergic effects and predict the role of Kv4.2. Migliore, M. et al. קבוצות סינפטיות פועלות כמפעילים ריח בבלב הריח. Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ מדריך לתכנות. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ Best Practices Guide. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. הרחבה סינפטית על ידי עמודי dendritic משפרת שיתוף פעולה כניסה. Nature 491, 599–602 (2012). Chiu, C. Q. et al. Compartmentalization of GABAergic inhibition by dendritic spines. Science 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. & Nägerl, U. V. פלסטיות צוואר השדרה קובעת הפרמנטליזציה של סינפסים. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Human cortical pyramidal neurons: from spines to spikes via models. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. & Zador, A. הפונקציה של ספנים דנדריטיים: מכשירים המשרתים ביוכימי ולא מחלקה חשמלית. Koch, C. Dendritic spines. in Biophysics of Computation (אוניברסיטת אוקספורד פרס, 1999). Rapp, M., Yarom, Y. & Segev, I. ההשפעה של פעילות רקע סיבי מקביל על תכונות הכבלים של תאי purkinje המוחית. Hines, M. חישוב יעיל של משוואות עצביות משולבות. Int. J. Bio-Med. Comput. 15, 69-76 (1984). Nayebi, A. & Ganguli, S. הגנה מעוררת השראה ביולוגית של רשתות עמוקות מפני התקפות יריבות. הדפסה מוקדמת ב https://arxiv.org/abs/1703.09202 (2017). גודארד, N.H. & הוד, G. סימולציה בקנה מידה גדול באמצעות GENESIS מקבילה. in הספר של GENESIS: Exploring Realistic Neural Models with the General Neural Simulation System (eds Bower James M. & Beeman David) 349-379 (Springer ניו יורק, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. סימולציות רשתות מקבילות עם NEURON. Lytton, W. W. et al. נירוטכנולוגיות סימולציה לקידום מחקר מוחי: משותף רשתות גדולות ב- NEURON. Valero-Lara, P. et al. cuHinesBatch: Solving multiple Hines systems on GPUs human brain project. In Proc. 2017 International Conference on Computational Science 566-575 (IEEE, 2017). Akar, N. A. et al. Arbor — ספריית סימולציה של רשתות נוירליות מפורטת מבחינה מורפוולוגית עבור ארכיטקטורות מחשוב ביעילות גבוהה עכשוויות. In Proc. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. et al. NeuroGPU: מהיר multi-compartment, סימולציות נוירונים מפורטות ביופיזית על GPUs. J. Neurosci. שיטות 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. אלגוריתם מדויק של משוואות תגובה-דיפוס הקשורות לפעילות נוירלית על מבנים מחולקים. SIAM J. Sci. Comput. 28, 2139-2161 (2006). Kozloski, J. & Wagner, J. פתרון Ultrascalable סימולציה של רקמת נוירלית בקנה מידה גדול. Jayant, K. et al. קלטות המטרות של מתח בתוך תאים מ- dendritic spines באמצעות nanopipettes מכוסים בנקודה קוונטית. Nat. Nanotechnol. 12, 335-342 (2017). פלמר, L. M. & סטיוארט, G. J. שינויים פוטנציאליים של קרום בגפיים דנדריטיים במהלך פוטנציאל הפעולה וההכנסה הסינפטית. Nishiyama, J. & Yasuda, R. חישוב ביוכימי עבור פלסטיות מבנית של עמוד השדרה. Neuron 87, 63–75 (2015). Yuste, R. & Bonhoeffer, T. שינויים מורפולוגיים בחוטים דנדריטיים הקשורים לפלסטיות סינפטית לטווח ארוך. Holtmaat, A. & Svoboda, K. פלסטיות סינפטית מבנית תלויה בחוויה במוח היונקים. Caroni, P., Donato, F. & Muller, D. פלסטיות מבנית על ידי למידה: הסדר ותפקוד. Nat. Rev. Neurosci. 13, 478-490 (2012). Keck, T. et al. מבנה מחדש עצום של מעגלים נוירונליים במהלך ארגון מחדש פונקציונלי של הקרום החזותי למבוגרים. Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. חוויה משאירה עקבות מבניות מתמשכות במעגלים קורטיים. Trachtenberg, J. T. et al. תדמית ארוכת טווח in vivo של הפלסטיות הסינפטית תלויה בניסיון בקרום מבוגר. Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. דינמיקה אקסונלית של נוירונים מעוררים ומעכבים בקרום החושים הסומטוס. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. היווצרות מהירה ויציבות סלקטיבית של סינפסיות לזכרונות מוטוריים מתמשכים Nature 462, 915-919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. שיפור הלמידה המוטורית על ידי הגדלת היציבות של שורשי dendritic שנוצרו לאחרונה בקרום המוטורי Neuron 109, 3298-3311 (2021). ברנקו, T. & Häusser, M. גרדינטים של אינטגרציה סינפטית בדנדריטים של תאי פירמידה קרום יחיד. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. & Schiller, J. תכונות פעיל של neocortical pyramidal נוירון dendrites. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. פוטנציאל הפעולה דנדריטי ומחשב בשכבה אנושית 2/3 נוירונים קורטיקה. Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. זמני עיכוב סינפטי צורות NMDA קוצים, המשפיעים על עיבוד dendritic מקומי ותכונות I / O גלובלי של נוירונים קורטיקה. Du, K. et al. דיכוי ספציפי לסוג תאים של הפוטנציאל של שטח דנדריטי בנוירונים התצפית של עמוד השדרה. Proc. Natl Acad. Sci. USA 114, E7612-E7621 (2017) Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. קוצים דנדריטיים להגדיל את סלקטיביות גירוי בנוירונים קורטיים in vivo. Nature 503, 115-120 (2013). Xu, N.-l et al. אינטגרציה דנדריטית לא ליניארית של כניסה חושית ומנוע במהלך משימה של חשיפה פעילה. Takahashi, N., Oertner, T. G., Hegemann, P. & Larkum, M. E. דנדריטים קורטיים פעילים מודולטים תפיסה. מדע 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. התפשטות זמנית של סידן ברחבי העץ הדנדריטי מצפה תכונות שדה מקום. Markram, H. et al. שיקום וסימולציה של microcircuitry neocortical. תא 163, 456-492 (2015). Billeh, Y. N. et al. שילוב שיטתי של נתונים מבניים ופונקציונליים למודלים מרובים של הקרום הראשי העיקרי של העכבר Neuron 106, 388-403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & ריצ'רדס, B. A. לקראת למידה עמוקה עם דנדריטים מבודדים. elife 6, e22901 (2017). Iyer, A. et al. הימנעות אסון: dendrites פעיל לאפשר למידה רב משימות בסביבות דינמיות. ג'ונס, I.S. וקורדינג, K.P. האם נוירון יחיד יכול לפתור בעיות למידה מכונה מעניינות באמצעות חישובים רצופים על עץ הדנדריט שלו? Bird, A.D., Jedlicka, P. & Cuntz, H. נורמליזציה דנדריטית משפרת למידה ברשתות עצבים מלאכותיות מחוברות מעט. Goodfellow, I. J., Shlens, J. & Szegedy, C. Explaining and harnessing adversarial examples. In (ICLR, 2015). 3rd International Conference on Learning Representations (ICLR) Papernot, N., McDaniel, P. & Goodfellow, I. העברה בלימוד מכונה: מן התופעות לתקיפות קופסת שחורה באמצעות דגימות יריבות. הדפסה מוקדמת ב https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. למידה מבוססת Gradient מיושם לזיהוי מסמכים. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. Preprint at (2017). http://arxiv.org/abs/1708.07747 Bartunov, S. et al. הערכת גמישות של אלגוריתמים למידה עמוקה מוטיבציה ביולוגית וארכיטקטורות. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models. In Reliable Machine Learning in the Wild Workshop, 34th International Conference on Machine Learning (2017). Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: התקפות האופוזיציה המהירות כדי לקבוע את עוצמתם של מודלים למידה מכונה ב- PyTorch, TensorFlow, ו- JAX. Paszke, A. et al. PyTorch: בסגנון אימפריטיבי, ספריית למידה עמוקה ביצועים גבוהים. ב Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 770-778 (IEEE, 2016). ההכרה המחברים מודים בכנות לד"ר Rita Zhang, Daochen Shi וחברי NVIDIA על התמיכה הטכנית בעלת ערך במחשבי GPU. עבודה זו נתמכת על ידי תוכנית המחקר והפיתוח המפתח הלאומית של סין (מספר 2020AAA0130400) ל- K.D. ו- T.H., קרן המדע הטבעי הלאומית של סין (מספר 61825102) ל- Y.T., המועצה השוודית למחקר (VR-M-2020-01652), מרכז המחקר האלקטרוני השוודי (SeRC), EU/Horizon 2020 מס' 945539 (HBP SGA3), KTH ו- Digital Futures to J.H.K., J.K., A.H., PDIC, Swedish for Simulating Research Part (SeR-M-2020-0 מאמר זה זמין בטבע תחת רישיון CC by 4.0 Deed (Attribution 4.0 International). מאמר זה זמין בטבע תחת רישיון CC by 4.0 Deed (Attribution 4.0 International).
