A szerzők: Yichen Zhang Gan He Lei Ma Xiaofei Liu J. J. Johannes Hjorth Alexander Kozlov Yutao He Shenjian Zhang Jeanette Hellgren Kotaleski Yonghong Tian Sten Grillner Kai Du Tiejun Huang A szerzők: Zsuzsa Zsuzsa György Ő Máté Ma Szijjártó Liu Főoldal > J. J. Johannes Hjorth Alexander Kozlov Zsuzsa ő Shenjian Zhang képek Jeanette Hellgren Kotaleski előzetes Gyurcsány Tian A grillező Ha Ön Zsófi Huang absztrakt A biofizikailag részletes multi-partition modellek erőteljes eszközök az agy számítási elveinek feltárására, és elméleti kereteként is szolgálnak a mesterséges intelligencia (AI) rendszerek algoritmusainak generálásához. Azonban a drága számítási költség súlyosan korlátozza az alkalmazásokat mind az idegtudomány, mind az AI területén. A részletes partition modellek szimulálása során a fő palack a szimulátor képessége a lineáris egyenletek nagy rendszereinek megoldására. Endokrinológia hierarchikus Cheduling (DHS) módszer, hogy jelentősen felgyorsítsa az ilyen folyamatot. Elméletileg bebizonyítjuk, hogy a DHS végrehajtása számítástechnikai szempontból optimális és pontos. Ez a GPU-alapú módszer 2-3 sorrendben nagyobb sebességgel működik, mint a hagyományos CPU platform klasszikus soros Hines módszere. DeepDendrite keretet építünk, amely integrálja a DHS módszert és a NEURON szimulátor GPU számítási motorját, és bemutatja a DeepDendrite alkalmazásait idegtudományi feladatokban. Megvizsgáljuk, hogy a gerincbetétek térbeli mintái hogyan befolyásolják a neurális izgatottságot egy részletes emberi piramis neuron modellben 25 000 gerincvel. Továbbá rövid megbeszélést D H S Bevezetés A neuronok kódolási és számítási elveinek megfejtése alapvető fontosságú az idegtudomány számára. Az emlősök agya több mint ezer különböző típusú idegsejtből áll, egyedülálló morfológiai és biofizikai tulajdonságokkal. , amelyben a neuronokat egyszerű összegző egységeknek tekintették, még mindig széles körben alkalmazzák az idegszámításban, különösen a neurális hálózatok elemzésében.Az elmúlt években a modern mesterséges intelligencia (AI) kihasználta ezt az elvet és erőteljes eszközöket fejlesztett ki, mint például a mesterséges ideghálózatok (ANN) Azonban az átfogó számítások mellett az egyes neuronok szintjén a szubcelluláris részlegek, mint például a neuron dendritek, független számítási egységként is végezhetnek nemlineáris műveleteket. , , , , Továbbá a dendritikus csigolyák, kis kiemelkedések, amelyek sűrűn fedik le a dendriteket a csigolyás neuronokban, megoszthatják a szinaptikus jeleket, lehetővé téve számukra, hogy elválasszák őket szülő dendritjeiktől ex vivo és in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 A biológiailag részletes neuronokat használó szimulációk elméleti keretet biztosítanak a biológiai részletek számítási elvekkel való összekapcsolásához. , lehetővé teszi számunkra, hogy modellezzük a neuronokat reális dendritikus morfológiákkal, belső ionos vezetőképességgel és extrinsikus szinaptikus bemenetekkel.A részletes többrészes modell gerincét, azaz a dendriteket a klasszikus kábelelméletre építjük. , amely a dendritek biofizikai membrán tulajdonságait passzív kábelekként modellezi, és matematikai leírást ad arról, hogy az elektronikus jelek hogyan támadnak meg és terjednek át komplex idegrendszeri folyamatokban.Azáltal, hogy a kábelelméletet aktív biofizikai mechanizmusokkal, például ioncsatornákkal, ingerlékeny és gátló szinaptikus áramlásokkal stb. integrálja, egy részletes többrészes modell a kísérleti korlátokon túlmutató sejtes és szubcelluláris idegrendszeri számításokat érhet el. , . 12 13 12 4 7 Az idegtudományra gyakorolt mélyreható hatása mellett a közelmúltban biológiailag részletes neuronmodelleket használtak a neuron szerkezeti és biofizikai részletek és az AI közötti szakadék áthidalására.A modern AI területén uralkodó technika az ANN-ek, amelyek pont neuronokból állnak, a biológiai neurális hálózatok analógjai. Bár az ANN-ek a „backpropagation-of-error” (backprop) algoritmussal figyelemre méltó teljesítményt értek el a speciális alkalmazásokban, még a Go és a sakk játékaiban is legyőzve a legmagasabb szintű humán profi játékosokat. , Az emberi agy még mindig felülmúlja az ANN-eket olyan területeken, amelyek dinamikusabb és zajosabb környezetet igényelnek. , A legújabb elméleti tanulmányok azt sugallják, hogy a dendritikus integráció kulcsfontosságú a hatékony tanulási algoritmusok létrehozásában, amelyek potenciálisan meghaladják a párhuzamos információfeldolgozás backprop-jét. , , Továbbá egy egyetlen részletes multi-partment modell megtanulhatja a hálózati szintű nemlineáris számításokat a pont neuronok számára, csak a szinaptikus erő beállításával. , A részletes modellek teljes potenciálját mutatja be az agyhoz hasonló, erősebb AI-rendszerek kiépítésében, ezért kiemelt fontosságú az agyhoz hasonló AI paradigmáinak kiterjesztése az egyes részletes idegsejtekről a nagyméretű, biológiailag részletes hálózatokra. 14 15 16 17 18 19 20 21 22 A részletes szimulációs megközelítés egyik régóta fennálló kihívása a rendkívül magas számítási költség, amely súlyosan korlátozta alkalmazását az idegtudomány és a mesterséges intelligencia területén. , , A hatékonyság növelése érdekében a klasszikus Hines módszer csökkenti az O(n3) és O(n) egyenletek megoldásának időbeli összetettségét, amelyet széles körben alkalmaztak a népszerű szimulátorokban, mint például a NEURON. A genezis Amikor egy szimuláció több biofizikailag részletes dendritet foglal magában dendrites gerendákkal, a lineáris egyenlet mátrix („Hines Matrix”) a dendritek vagy gerendák növekvő számával (Fig. ), így a Hines-módszer már nem praktikus, mivel nagyon nehéz terhet jelent az egész szimulációra. 12 23 24 25 26 1E Újjáépített réteg-5 piramis neuron modell és a részletes neuron modellekkel használt matematikai képlet. Munkafolyamat a számszerűen szimulált részletes idegsejtek modelljeinek szimulálása során.Az egyenletmegoldó fázis a szimuláció palackozása. Példa a lineáris egyenletekre a szimulációban. A Hines-módszer adatfüggősége a lineáris egyenletek megoldásakor A . A Hines mátrix mérete a modell összetettségét tükrözi. A megoldandó lineáris egyenletrendszerek száma jelentősen megnő, amikor a modellek részletesebbé válnak. Számítási költség (az egyenletmegoldási fázisban megtett lépések) a Hines soros módszer különböző típusú neuronmodelleken. A különböző megoldási módszerek illusztrációja. A neuron különböző részei több feldolgozóegységhez vannak rendelve párhuzamos módszerekkel (közép, jobb), különböző színekkel. A három módszer számítási költsége Egy piramis modell egyenletének megoldása csigolyákkal. A futási idő jelzi az 1 s szimuláció időfogyasztását (az egyenlet megoldása 40 000-szer 0,025 ms-es idővel). p-Hines párhuzamos módszer CoreNEURON-ban (GPU-n), ága alapú ág-alapú párhuzamos módszer (GPU-n), DHS Dendritikus hierarchikus ütemezési módszer (GPU-n). a b c d c e f g h g i Az elmúlt évtizedekben óriási előrelépés történt a Hines módszer felgyorsításában, párhuzamos módszerek alkalmazásával a celluláris szinten, ami lehetővé teszi az egyes sejtek különböző részeinek számításának párhuzamosítását. , , , , , Azonban a jelenlegi celluláris szintű párhuzamos módszerek gyakran nem rendelkeznek hatékony párhuzamosítási stratégiával, vagy nem rendelkeznek elegendő numerikus pontossággal az eredeti Hines-módszerhez képest. 27 28 29 30 31 32 Itt egy teljesen automatizált, számszerűsített és optimalizált szimulációs eszközt fejlesztünk ki, amely jelentősen felgyorsíthatja a számítási hatékonyságot és csökkentheti a számítási költségeket. Ezenkívül ez a szimulációs eszköz zökkenőmentesen alkalmazható a gépi tanulás és az AI alkalmazások biológiai részleteivel rendelkező ideghálózatok létrehozására és tesztelésére. A párhuzamos számítástechnika elmélete Megmutatjuk, hogy algoritmusunk optimális ütemezést biztosít a pontosság elvesztése nélkül. Ezen túlmenően a DHS-t a jelenleg legfejlettebb GPU-chiphez optimalizáltuk a GPU-memória hierarchia és a memória-hozzáférési mechanizmusok kihasználásával. A klasszikus NEURON szimulátorhoz képest Ugyanaz a pontosság megtartása. 33 34 1 25 Annak érdekében, hogy lehetővé tegyük a részletes dendritikus szimulációkat a mesterséges intelligencia alkalmazásához, a következő lépés a DeepDendrite keretrendszer létrehozása a DHS-beágyazott CoreNEURON (a NEURON optimalizált számítási motorja) platform integrálásával. mint a szimulációs motor és két segédmodul (I/O modul és tanulási modul), amelyek támogatják a dendritikus tanulási algoritmusokat a szimulációk során. DeepDendrite fut a GPU hardver platformon, mind a rendszeres szimulációs feladatok támogatása az idegtudományban, mind a tanulási feladatok az AI-ban. 35 Végül, de nem utolsósorban, több alkalmazást is bemutatunk a DeepDendrite használatával, amelyek az idegtudomány és az AI néhány kritikus kihívását célozzák meg: (1) bemutatjuk, hogy a dendritikus gerinces bemenetek térbeli mintái hogyan befolyásolják az idegrendszeri tevékenységeket a dendritikus fákban lévő gerinceket tartalmazó idegsejtekkel (teljes gerinces modellek). DeepDendrite lehetővé teszi számunkra, hogy felfedezzük a neurális számításokat egy szimulált emberi piramis neuron modellben ~25 000 dendritikus gerincvel. (2) A megbeszélés során a DeepDendrite potenciálját is figyelembe vesszük az AI összefüggésében, különösen a morfológiailag részletes emberi piramis neuronokkal A DeepDendrite összes forráskódja, a teljes gerincű modellek és a részletes dendritikus hálózati modell nyilvánosan elérhető online (lásd Code Availability). Nyílt forráskódú tanulási keretrendszerünk könnyen integrálható más dendritikus tanulási szabályokkal, például a nemlineáris (teljesen aktív) dendritek tanulási szabályaival A robbanásfüggő szinaptikus plasticitás , és tanulni a spike előrejelzéssel Összességében a tanulmányunk teljes körű eszközöket kínál, amelyek potenciálisan megváltoztathatják a jelenlegi számítástechnikai idegtudományi közösségi ökoszisztémát.A GPU számítástechnika erejének kihasználásával elképzeljük, hogy ezek az eszközök megkönnyítik az agy finom struktúráinak számítási elveinek rendszer szintű feltárását, valamint elősegítik az idegtudomány és a modern mesterséges intelligencia közötti kölcsönhatást. 21 20 36 eredmények Dendritikus hierarchikus ütemezés (DHS) Az ionáramok számítása és a lineáris egyenletek megoldása két kritikus fázis a biofizikailag részletes neuronok szimulálása során, amelyek időigényesek és súlyos számítási terheket jelentenek. Szerencsére az egyes helyiségek ionáramának számítása teljesen független folyamat, így természetesen párhuzamos lehet a hatalmas párhuzamos számítástechnikai egységekkel, például GPU-kkal rendelkező eszközökön. Ennek következtében a lineáris egyenletek megoldása a párhuzamosítási folyamat fennmaradó üvegkötélévé válik (Fig. ) az 37 1a – f Ennek a szűk keresztmetszetnek a leküzdése érdekében celluláris szintű párhuzamos módszereket fejlesztettek ki, amelyek felgyorsítják az egysejtes számításokat azáltal, hogy egy sejtet több, párhuzamosan számítható térre osztanak szét. , , Azonban az ilyen módszerek nagyban támaszkodnak az előzetes ismeretekre, hogy gyakorlati stratégiákat hozzanak létre arra vonatkozóan, hogyan lehet egyetlen idegsejtet szakaszokra osztani (Fig. A kiegészítő FIG. Emiatt kevésbé hatékony az aszimmetrikus morfológiájú neuronok, például a piramis neuronok és a Purkinje neuronok esetében. 27 28 38 1 g 1 Arra törekszünk, hogy hatékonyabb és pontosabb párhuzamos módszert dolgozzunk ki a biológiailag részletes ideghálózatok szimulációjára. Először is meghatározzuk a celluláris szintű párhuzamos módszer pontosságának kritériumait. , három feltételre teszünk javaslatot annak biztosítására, hogy egy párhuzamos módszer azonos megoldásokat eredményezzen, mint a Hines soros számítási módszer a Hines módszer adatfüggőségének megfelelően (lásd: módszerek). Ezután elméletileg értékeljük a soros és párhuzamos számítási módszerek futási idejét, azaz hatékonyságát, bevezetjük és megfogalmazzuk a számítási költség fogalmát, mint a módszer egyenletek megoldásában megtett lépések számát (lásd: módszerek). 34 A szimulációs pontosság és a számítási költség alapján a párhuzamosítási problémát matematikai ütemezési problémaként fogalmazzuk meg (lásd: módszerek). párhuzamos szálak, legfeljebb számíthatunk A csomópontokat minden lépésnél meg kell határozni, de egy csomópontot csak akkor kell kiszámítani, ha az összes csomópontját feldolgozták; célunk az, hogy megtaláljuk az egész eljárás minimális lépésszámával rendelkező stratégiát. k k Az optimális partíció létrehozásához javasoljuk a Dendritic Hierarchical Scheduling (DHS) nevű módszert (elméleti bizonyíték a módszerekben). A DHS módszer két lépést tartalmaz: a dendritikus topológia elemzése és a legjobb partíció megtalálása: (1) Részletes modellt adva először megkapjuk a megfelelő függőségi fát, és kiszámítjuk az egyes csomópontok mélységét (egy csomópont mélysége az őscsomópontok száma) a fán (Fig. (2) A topológia elemzése után keresjük a jelölteket és kiválasztjuk a legtöbbet. A legmélyebb jelölt csomópontok (egy csomópont csak akkor jelölt, ha minden gyermekcsomópontját feldolgozták). ) az 2a 2b és c k 2D DHS munkafolyamatok, DHS folyamatok A legmélyebb jelölt csomópontok minden iterációt. Illusztráció a szegmensmodell csomópont mélységének kiszámításáról. A modellt először egy fa szerkezetre konvertálják, majd kiszámítják az egyes csomópontok mélységét. Topológia elemzés különböző neuron modellek. Hat neuronok különböző morfológiák mutatják itt. Minden modell, a szoma kiválasztott, mint a gyökér a fa, így a mélység a csomópont növekszik a szoma (0) a disztális dendritek. A DHS végrehajtásának bemutatása a modellben Négy szál. jelöltek: feldolgozható csomópontok. kiválasztott jelöltek: a DHS által kiválasztott csomópontok, azaz Feldolgozott csomópontok: a korábban feldolgozott csomópontok. A DHS által a folyamat után kapott párhuzamosítási stratégia A DHS a soros csomópont-feldolgozás lépéseit 14-ről 5-re csökkenti a csomópontok több szálra történő elosztásával. Relatív költség, azaz a DHS számítási költségeinek aránya a Hines soros módszerhez képest, ha a DHS-t különböző típusú modelleken különböző számú szálakkal alkalmazzák. a k b c d b k e d f Vegyünk egy egyszerűsített modellt 15 térrel példaként, a Hines soros számítási módszerrel, az összes csomópont feldolgozásához 14 lépés szükséges, míg a DHS négy párhuzamos egységgel a csomópontokat öt alössorba oszthatja (Fig. {9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Mivel ugyanabban az alösszetételben lévő csomópontokat párhuzamosan lehet feldolgozni, mindössze öt lépést igényel az összes csomópont feldolgozása a DHS segítségével (Fig. ) az 2D 2E Ezután alkalmazzuk a DHS módszert hat reprezentatív részletes neuronmodellre (a ModelDB-ből kiválasztva). Különböző típusú szálakkal (fig. • Kortikális és hippocampális piramis neuronok , , Cerebelláris Purkinje neuronok A striatális projekciós neuronok (SPN) ) és a mitrális izzó sejtek , amely az érzékszervi, kortikális és szubkortikális területek fő neuronjait fedezi. Ezután mérjük a számítási költséget. A relatív számítási költséget itt a DHS számítási költségeinek aránya határozza meg a sorozat Hines módszerének arányával. A számítási költség, azaz az egyenletek megoldásában megtett lépések száma drámaian csökken a szálszám növekedésével. Például 16 szálral a DHS számítási költsége 7%-10% a sorozat Hines módszerhez képest. Érdekes módon a DHS módszer elérte a bemutatott neuronok számítási költségeinek alacsonyabb határait, amikor 16 vagy akár 8 párhuzamos szálat adtak (Fig. ), ami azt sugallja, hogy több szál hozzáadása nem javítja tovább a teljesítményt a szekciók közötti függőségek miatt. 39 2f 40 41 42 43 44 45 2f Együtt generálunk egy DHS módszert, amely lehetővé teszi a dendritikus topológia automatizált elemzését és az optimális partíciót a párhuzamos számításhoz. Érdemes megjegyezni, hogy a DHS a szimuláció megkezdése előtt megtalálja az optimális partíciót, és nincs szükség további számításra az egyenletek megoldásához. A DHS gyorsítása a GPU memória növelésével A DHS minden egyes idegsejtet többszálas szálakkal számítja ki, amelyek hatalmas mennyiségű szálat fogyasztanak a neurális hálózati szimulációk futtatásakor.Grafikai feldolgozóegységek (GPU-k) tömeges feldolgozóegységekből állnak (azaz streaming processzorok, SP-k, ábra. Párhuzamos számítástechnika Elméletileg a GPU-n sok SP-nek támogatnia kell a nagy méretű ideghálózatok hatékony szimulációját (Fig. Azonban következetesen megfigyeltük, hogy a DHS hatékonysága jelentősen csökkent, amikor a hálózat mérete nőtt, ami a szétszóródott adattárolás vagy az extra memóriához való hozzáférés eredménye lehet a közbenső eredmények betöltése és írása (Fig. A baloldal ) 3A és B 46 3c 3d A GPU architektúrája és a memória hierarchiája. Minden GPU tömeges feldolgozóegységeket (stream processzorokat) tartalmaz. Streaming Multiprocessorok (SM) architektúrája: Minden SM több streaming processzort, nyilvántartást és L1 gyorsítótárat tartalmaz. DHS alkalmazása két neuronra, mindegyiknek négy szálja van. Memória optimalizálási stratégia a GPU-n. A DHS felső panele, szálelosztása és adattárolása a memória növelése előtt (balra) és után (jobbra). A processzorok adatkérelmet küldenek az egyes szálak adatainak feltöltésére a globális memóriából. A memória növelése nélkül (balra) hét tranzakciót vesz igénybe az összes kérelemadatok betöltéséhez és néhány további tranzakciót a közbenső eredményekhez. A DHS futási ideje (32 szál minden cellában) memóriával és anélkül, több rétegű 5 piramisos modellekben, gerendákkal. Gyorsítsa fel a memória növelését több rétegű 5 piramisos modelleken csavarokkal. Memória növelése 1,6-2-szeres gyorsítást eredményez. a b c d d e f Ezt a problémát a GPU memória növelésével oldjuk meg, amely a memória átvitelének növelésére szolgáló módszer a GPU memória hierarchiájának és hozzáférési mechanizmusának kihasználásával.A GPU memória betöltési mechanizmusán alapulva az egymást követő szálak az összehangolt és egymást követő tárolt adatok betöltése magas memória átvitelhez vezet a szétszórtan tárolt adatokhoz képest, ami csökkenti a memória átvitelét. , A nagy átviteli sebesség eléréséhez először a csomópontok számítási rendjeit állítjuk össze, és a csomópontok számának megfelelően rendezzük át a szálakat. Ezután a globális memóriában tárolt adatokat átalakítjuk, összhangban a számítási megbízásokkal, azaz az ugyanazon lépésben feldolgozott csomópontokat egymás után tároljuk a globális memóriában. Ezenkívül a GPU-nyilvántartásokat használjuk a közbenső eredmények tárolására, tovább erősítve a memória átviteli sebességét. Továbbá kísérletek a piramis neuronok többszörös számával gerincekkel és a tipikus neuronmodellekkel (Fig. A kiegészítő FIG. ) azt mutatják, hogy a memória növelése 1,2-3,8-szoros gyorsulást ér el a naiv DHS-hez képest. 46 47 3d 3e és f 2 Ahhoz, hogy átfogóan teszteljük a DHS teljesítményét a GPU memória növelésével, hat tipikus neuronmodellt választunk ki, és értékeljük a kábel egyenletek megoldásának futási idejét az egyes modellek hatalmas számain (Fig. A DHS-t négy szál (DHS-4) és tizenhat szál (DHS-16) segítségével vizsgáltuk meg minden egyes neuron esetében.A CoreNEURON GPU-módszereivel összehasonlítva a DHS-4 és a DHS-16 körülbelül 5 és 15 alkalommal gyorsulhat. Ezen túlmenően, a hagyományos soros Hines módszerhez képest a NEURON-ban, amely egyetlen szál CPU-val fut, a DHS 2-3 nagyságrenddel gyorsítja fel a szimulációt (Kiegészítő ábra. ), miközben megtartja az azonos numerikus pontosságot sűrű csigolyák jelenlétében (Kiegészítő figurák. és ) aktív dendrites (Kiegészítő ábra. Különböző szegmentációs stratégiák (Kiegészítő ábra. ) az 4 4a 3 4 8 7 7 A GPU-n végzett 1 s-es szimulációhoz szükséges egyenletek megoldásának futási ideje (dt = 0,025 ms, összesen 40 000 iteráció). CoreNEURON: a CoreNEURON-ban használt párhuzamos módszer; DHS-4: DHS minden neuron négy szálával; DHS-16: DHS minden neuron 16 szálával. az , A partíció vizualizálása a DHS-4 és a DHS-16 segítségével, mindegyik szín egyetlen szálat jelez. a b c A DHS optimális cellatípus-specifikus partícionálást hoz létre Ahhoz, hogy betekintést nyerjünk a DHS módszer működési mechanizmusába, a partícionálási folyamatot az egyes szálakra való térképezéssel vizualizáltuk (minden szín egyetlen szálat mutat a képen. A vizualizáció azt mutatja, hogy egy egyetlen szál gyakran váltakozik a különböző ágak között (Fig. Érdekes módon a DHS morfológiailag szimmetrikus idegsejtekben, például a striatális projekciós neuronban (SPN) és a mitrális sejtben (Fig. Ezzel ellentétben morfológiailag aszimmetrikus neuronok, például a piramis neuronok és a Purkinje-sejtek töredezett szakaszai keletkeznek (Fig. ), jelezve, hogy a DHS az idegfát az egyes részlegek skáláján (azaz a fa csomópontján) osztja szét, nem pedig az ágak skáláján. 4B és C 4B és C 4B és C 4B és C Összefoglalva, a DHS és a memória növelése elméletileg bizonyítottan optimális megoldást teremt a lineáris egyenletek párhuzamos megoldásához példátlan hatékonysággal. Ezt az elvet használva építettük fel a nyílt hozzáférésű DeepDendrite platformot, amelyet az idegtudósok használhatnak modellek megvalósításához anélkül, hogy bármilyen specifikus GPU programozási ismeretre lenne szükség. A DHS lehetővé teszi a gerincszintű modellezést Mivel a dendritikus csigolyák a kortikális és hippocampális piramis neuronokhoz, striatális projekciós neuronokhoz stb. kapják a legtöbb izgalmas bemenetet, morfológiájuk és plaszticitásuk döntő fontosságú a neurális izgatottság szabályozásában. , , , , Azonban a csigolyák túl kicsiek (~ 1 μm hosszú), hogy közvetlenül kísérletileg mérjék a feszültségfüggő folyamatokat. 10 48 49 50 51 Egyetlen gerincet modellezhetünk két térrel: a gerincfej, ahol a szinapszisok helyezkednek el, és a gerinc nyakát, amely összeköti a gerincfejet a dendritekkel. Az elmélet azt jósolja, hogy a nagyon vékony gerincvelő (0,1-0,5 μm átmérőjű) elektronikusan elkülöníti a gerincvelőt a szülő dendritiséből, így megosztja a gerincvelőben generált jeleket. Azonban a dendritek teljes körű eloszlását tartalmazó részletes modell („teljes gerincű modell”) számítástechnikai szempontból nagyon drága. Spine tényező Ahelyett, hogy az összes szálat egyértelműen modelleznénk, itt a A gerinc faktor célja a gerinc hatásának közelítése a sejtmembrán biofizikai tulajdonságaira. . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. , we investigated how different spatial patterns of excitatory inputs formed on dendritic spines shape neuronal activities in a human pyramidal neuron model with explicitly modeled spines (Fig. ). Noticeably, Eyal et al. employed the A csigolyák dendritekbe való beépítésére szolgáló gerincfaktor, miközben csak néhány aktivált gerinc volt kifejezetten a dendritekhez kötve („néhány gerincmodell” a képen. ). The value of spine in their model was computed from the dendritic area and spine area in the reconstructed data. Accordingly, we calculated the spine density from their reconstructed data to make our full-spine model more consistent with Eyal’s few-spine model. With the spine density set to 1.3 μm-1, the pyramidal neuron model contained about 25,000 spines without altering the model’s original morphological and biophysical properties. Further, we repeated the previous experiment protocols with both full-spine and few-spine models. We use the same synaptic input as in Eyal’s work but attach extra background noise to each sample. By comparing the somatic traces (Fig. ) and spike probability (Fig. ) in full-spine and few-spine models, we found that the full-spine model is much leakier than the few-spine model. In addition, the spike probability triggered by the activation of clustered spines appeared to be more nonlinear in the full-spine model (the solid blue line in Fig. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Experiment setup. We examine two major types of models: few-spine models and full-spine models. Few-spine models (two on the left) are the models that incorporated spine area globally into dendrites and only attach individual spines together with activated synapses. In full-spine models (two on the right), all spines are explicitly attached over whole dendrites. We explore the effects of clustered and randomly distributed synaptic inputs on the few-spine models and the full-spine models, respectively. Szomatikus feszültségek rögzítve esetekben . Colors of the voltage curves correspond to , scale bar: 20 ms, 20 mV. Color-coded voltages during the simulation in at specific times. Colors indicate the magnitude of voltage. A szomatikus csúcs valószínűsége az egyidejűleg aktivált szinapszisok számának függvényében (mint Eyal et al. munkájában) négy esetben A háttérzaj hozzá van kapcsolva. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d In the DeepDendrite platform, both full-spine and few-spine models achieved 8 times speedup compared to CoreNEURON on the GPU platform and 100 times speedup compared to serial NEURON on the CPU platform (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and Ezért a DHS módszer lehetővé teszi a dendritikus ingerlékenység feltárását reálisabb anatómiai körülmények között. 5e 1 4 8 Vitatkozás In this work, we propose the DHS method to parallelize the computation of Hines method and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. A komplex morfológiákkal rendelkező idegsejtek nagy számának szimulálása során a memória növelésével a DHS 15-szeres gyorsulást ér el (Kiegészítő táblázat). ) as compared to the GPU method used in CoreNEURON and up to 1,500-fold speedup compared to serial Hines method in the CPU platform (Fig. A kiegészítő FIG. Kiegészítő asztal ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 Decades of efforts have been invested in speeding up the Hines method with parallel methods. Early work mainly focuses on network-level parallelization. In network simulations, each cell independently solves its corresponding linear equations with the Hines method. Network-level parallel methods distribute a network on multiple threads and parallelize the computation of each cell group with each thread , Hálózati szintű módszerekkel szimulálhatunk részletes hálózatokat klasztereken vagy szuperszámítógépeken Az utóbbi években a GPU-t részletes hálózati szimulációhoz használták.Mivel a GPU hatalmas számítási egységeket tartalmaz, egy szál általában egy cellához van rendelve, nem pedig egy cellás csoporthoz. , , A további optimalizálással a GPU-alapú módszerek sokkal nagyobb hatékonyságot érnek el a hálózati szimulációban. Azonban a sejtek belsejében végzett számítások még mindig sorosak a hálózati szintű módszerekben, így még mindig nem tudnak megbirkózni a problémával, amikor az egyes sejtek „Hines-matrixja” nagy méretű. 57 58 59 35 60 61 Cellular-level parallel methods further parallelize the computation inside each cell. The main idea of cellular-level parallel methods is to split each cell into several sub-blocks and parallelize the computation of those sub-blocks , . However, typical cellular-level methods (e.g., the “multi-split” method ) pay less attention to the parallelization strategy. The lack of a fine parallelization strategy results in unsatisfactory performance. To achieve higher efficiency, some studies try to obtain finer-grained parallelization by introducing extra computation operations , , megközelítések készítése néhány kulcsfontosságú térben, miközben lineáris egyenletek megoldása , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 Unlike previous methods, DHS adopts the finest-grained parallelization strategy, i.e., compartment-level parallelization. By modeling the problem of “how to parallelize” as a combinatorial optimization problem, DHS provides an optimal compartment-level parallelization strategy. Moreover, DHS does not introduce any extra operation or value approximation, so it achieves the lowest computational cost and retains sufficient numerical accuracy as in the original Hines method at the same time. Dendritic spines are the most abundant microstructures in the brain for projection neurons in the cortex, hippocampus, cerebellum, and basal ganglia. As spines receive most of the excitatory inputs in the central nervous system, electrical signals generated by spines are the main driving force for large-scale neuronal activities in the forebrain and cerebellum , A gerinc szerkezete, nagyított gerincvelővel és nagyon vékony gerincvelővel, meglepően magas bemeneti impedanciát eredményez a gerincvelőnél, ami akár 500 MΩ is lehet, kombinálva a kísérleti adatokat és a részletes térmodellezési megközelítést. , Az ilyen magas bemeneti impedancia miatt egyetlen szinaptikus bemenet „gigantikus” EPSP-t (~ 20 mV) idézhet elő a gerincvelő szintjén. , , ezáltal növelve az NMDA áramokat és az ioncsatorna áramokat a gerincben . However, in the classic single detailed compartment models, all spines are replaced by the A dendritikus kábel geometriájának módosítása . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , Motoros kortex A hippocampus A bazális ganglia Azonban a számítási költségek miatt szinte minden részletes hálózati modell kihasználja az „F-faktor” megközelítést, hogy helyettesítse a tényleges spineket, és így nem tudják feltárni a gerincfunkciókat a rendszer szintjén.A keretünk és a GPU platformunk kihasználásával néhány ezer részletes neuronmodellt futtathatunk, mindegyik tízezer spin-vel egyetlen GPU-n, miközben ~100-szor gyorsabb, mint a hagyományos soros módszer egyetlen CPU-n (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , . For example, cortical pyramidal neurons can carry out sublinear synaptic integration at the proximal dendrite but progressively shift to supralinear integration at the distal dendrite Ezen túlmenően a dendrites dendrites regeneráló eseményeket okozhat, mint például a dendrites nátrium csúcsok, kalcium csúcsok és NMDA csúcsok / síkság potenciálok. , . Such dendritic events are widely observed in mice Az emberi kortikális neuronok in vitro, which may offer various logical operations , or gating functions , A közelmúltban az éber vagy viselkedő egerek in vivo felvételei erős bizonyítékot nyújtanak arra, hogy a dendritikus csúcsok / síkság potenciáljai döntő fontosságúak a vizuális kéreg orientációs szelektivitása szempontjából. , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 To establish the causal link between dendrites and animal (including human) patterns of behavior, large-scale biophysically detailed neural circuit models are a powerful computational tool to realize this mission. However, running a large-scale detailed circuit model of 10,000-100,000 neurons generally requires the computing power of supercomputers. It is even more challenging to optimize such models for in vivo data, as it needs iterative simulations of the models. The DeepDendrite framework can directly support many state-of-the-art large-scale circuit models , , , which were initially developed based on NEURON. Moreover, using our framework, a single GPU card such as Tesla A100 could easily support the operation of detailed circuit models of up to 10,000 neurons, thereby providing carbon-efficient and affordable plans for ordinary labs to develop and optimize their own large-scale detailed models. 86 87 88 A feladat-specifikus tanulás dendritikus szerepének feltárására irányuló közelmúltbeli munkák két irányban figyelemre méltó eredményeket értek el, azaz olyan kihívást jelentő feladatok megoldása, mint például a képosztályozási adatkészlet ImageNet egyszerűsített dendritikus hálózatokkal. , and exploring full learning potentials on more realistic neuron , A modellméret és a biológiai részletesség közötti kompromisszum azonban fennáll, mivel a hálózat méretének növekedését gyakran feláldozzák a neuron szintű komplexitásért. , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. Új ANN-architektúrát javasolt aktív dendritekkel, amely versenyképes eredményeket mutatott a többfeladatokban és a folyamatos tanulásban. used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . proposed a dendritic normalization rule based on biophysical behavior, offering an interesting perspective on the contribution of dendritic arbor structure to computation. While these studies offer valuable insights, they primarily rely on abstractions derived from spatially extended neurons, and do not fully exploit the detailed biological properties and spatial information of dendrites. Further investigation is needed to unveil the potential of leveraging more realistic neuron models for understanding the shared mechanisms underlying brain computation and deep learning. 90 91 92 Ezekre a kihívásokra válaszul kifejlesztettük a DeepDendrite-t, egy olyan eszközt, amely a Dendritic Hierarchical Scheduling (DHS) módszert használja a számítási költségek jelentősen csökkentésére, és egy I/O modult és egy tanulási modult tartalmaz a nagy adatkészletek kezelésére. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ). 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. A HPC-Net összehasonlítása edzés előtt és után. A bal oldali, a rejtett neuron válaszok vizualizálása egy adott bemenet előtt (felső) és után (alatta) edzés. jobb, rejtett réteg súlya (a bemenetről a rejtett rétegre) eloszlás előtt (felső) és után (alatta) edzés. Workflow of the transfer adversarial attack experiment. We first generate adversarial samples of the test set on a 20-layer ResNet. Then use these adversarial samples (noisy images) to test the classification accuracy of models trained with clean images. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks - szándékosan tervezett zavarok, amelyek célja az ANN-k megtévesztése. Érdekes módon egy meglévő hipotézis azt sugallja, hogy a dendritek és a szinapszisok veleszületett módon védekezhetnek az ilyen támadások ellen . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks compared to standard ANNs, as evident in MNIST and Fashion-MNIST Az adatbázis (fig. Ez a bizonyíték azt sugallja, hogy a dendritek benne rejlő biofizikai tulajdonságai kulcsfontosságúak lehetnek az ANN-ek ellenállóképességének növelésében. . 93 56 94 95 96 3D és E 97 In conclusion, DeepDendrite has shown remarkable potential in image classification tasks, opening up a world of exciting future directions and possibilities. To further advance DeepDendrite and the application of biologically detailed dendritic models in AI tasks, we may focus on developing multi-GPU systems and exploring applications in other domains, such as Natural Language Processing (NLP), where dendritic filtering properties align well with the inherently noisy and ambiguous nature of human language. Challenges include testing scalability in larger-scale problems, understanding performance across various tasks and domains, and addressing the computational complexity introduced by novel biological principles, such as active dendrites. By overcoming these limitations, we can further advance the understanding and capabilities of biophysically detailed dendritic neural networks, potentially uncovering new advantages, enhancing their robustness against adversarial attacks and noisy inputs, and ultimately bridging the gap between neuroscience and modern AI. Methods Simuláció a DHS-vel koreánok simulator ( ) uses the NEURON architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e idő --cell-permute 3 --cell-nthread 16 --gpu A használati lehetőségek az asztalhoz hasonlóak . 1 Accuracy of the simulation using cellular-level parallel computation A szimuláció pontosságának biztosításához először meg kell határoznunk egy sejtszintű párhuzamos algoritmus helyességét annak megítéléséhez, hogy azonos megoldásokat fog-e generálni a bizonyítottan helyes soros módszerekkel összehasonlítva, mint például a Hines módszer, amelyet a NEURON szimulációs platformban használnak. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1D Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. Computational cost of cellular-level parallel computing method To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into Az alárendelt, azaz = { , , … } ahol az egyes alösszegek mérete | ≤ , i.e., at most nodes can be processed each step since there are only threads. The process of the triangularization phase follows the order: az ... → → , and nodes in the same subset can be processed in parallel. So, we define | Máté (a készlet mérete , i.e., Itt) a párhuzamos számítási módszer számítási költsége. Röviden, a párhuzamos módszer számítási költségeit úgy határozzuk meg, hogy hány lépést vesz igénybe a triangularizációs fázisban. Mivel a hátsó helyettesítés szimmetrikus a triangularizációval, a teljes megoldási egyenletfázis teljes költsége kétszerese a triangularizációs fázisnak. T k V T n V A V1 V2 Nemzetközi Vi k k k A V1 V2 Vn Vi V V n Mathematical scheduling problem Based on the simulation accuracy and computational cost, we formulate the parallelization problem as a mathematical scheduling problem: Egy fának köszönhetően = { , A pozitív egész , where is the node-set and az edge beállítása. definiálja a partíciót ( ) = { , ... ... Szegeden Székelyföld ≤ 1 ≤ ≤ n, where | | indicates the cardinal number of subset , i.e., the number of nodes in , and for each node ∈ Gyermekei minden csomópontját | ∈children( )} must in a previous subset , where 1 ≤ < . Our goal is to find an optimal partition ( ) whose computational cost | ( )| is minimal. T V E k V E P V A V1 A V2 Nemzetközi Vi k i VI Vi Vi v VI c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. Ilyenkor a | ≤ indicates that we can compute minden egyes lépést legfeljebb azért, mert a rendelkezésre álló szálak száma . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset ahol 1 ≤ » Ez azt jelzi, hogy a csomópont csak akkor lehet feldolgozni, ha minden gyermekcsomópontját feldolgozzák. Vi i 2e Vi k k k v Vi c c v Vj j i v DHS implementation We aim to find an optimal way to parallelize the computation of solving linear equations for each neuron model by solving the mathematical scheduling problem above. To get the optimal partition, DHS first analyzes the topology and calculates the depth ( (minden csomópont számára ∈ . Then, the following two steps will be executed iteratively until every node ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , azaz a jelölt csomópontok száma kisebb vagy egyenértékű a rendelkezésre álló szálak számával, törölje az összes csomópontot a and put them into , otherwise, remove deepest nodes from Hozzáadjuk őket az alárendeltséghez . Label these nodes as processed nodes (Fig. ). After filling in subset , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V*i k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = az , Egy partíciót kapunk ( ) = { , , … }, | Székelyföld ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking Ezután demonstráljuk, hogy a számítás DHS-ben történő újraszervezése a Hines soros módszerrel azonos eredményt eredményez. T V E P V A V1 V2 Vn Vi k i n Vi n The partition ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset to . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into only if all its child nodes have been processed. Thus the child nodes of all nodes in are in { , , … }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , , … }, so parent nodes of nodes in Ők a az , , … }, which satisfies condition 3: in back-substitution, a node can be processed only if its parent node is already processed. P V P V P V T V1 Vn Vi Q Q Vi V1 V2 Vi-1 Nemzetközi V1 Vi V1 V2 Vi-1 Vi Vi+1 A +2 Vn Optimality proof for DHS The idea of the proof is that if there is another optimal solution, it can be transformed into our DHS solution without increasing the number of steps the algorithm requires, thus indicating that the DHS solution is optimal. Minden egyes alkatrészre az ( A DHS mozog (szálszám) a megfelelő jelöltkészlet legmélyebb csomópontjai két Ha a csomópontok száma a kisebb, mint Mozgassa az összes csomót a két Egyszerűsítés céljából bemutatjuk A mélység összegének meghatározása A legmélyebb csomópontok Az összes alkatrész a ( A maximális mélységre vonatkozó kritériumok teljesülnek (Kiegészítő ábra. Ezután bebizonyítjuk, hogy az egyes iterációk legmélyebb csomópontjainak kiválasztása optimális partíciót. Ha létezik optimális partíció = { az , , … } containing subsets that do not satisfy the max-depth criteria, we can modify the subsets in ( ) so that all subsets consist of the deepest nodes from és az alárendeltségek számát () ( )|) remain the same after modification. VI P V k Qi VI Qi k Qi VI Di k Qi P V 6a A(z) V P*(V) V*1 V*2 V*s P* V Q P * V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | Szegeden » and there exist some valid nodes in that are not put to ; (2) | | = but nodes in Nem az a deepest nodes in . V*i V*i V*i k Qi V * I V*i k V*i k Qi Az (1) bekezdésben foglaltaknak megfelelően, mivel egyes jelöltcsomópontok nem , ezeknek a csomópontoknak a későbbi alcsoportokban kell lenniük. As Veszprém , a megfelelő csomópontokat a következő alcsoportokból áthelyezhetjük a amely nem növeli az alkatrészek számát, és A kritériumok teljesülése (Kiegészítő ábra) , top). For case (2), | Szegeden = , ezek a mélyebb csomópontok, amelyek nem mozognak a jelöltkészletből Befelé must be added to subsequent subsets (Supplementary Fig. Ezek a mélyebb csomópontok áthelyezhetők a későbbi through the following method. Assume that after filling , kiválasztották, és az egyik -th deepest nodes Még mindig a Így tehát will be put into a subsequent subset ( > Először is mozogunk from to + az , then modify subset + az as follows: if | + Székelyföld ≤ and none of the nodes in + is the parent of node , hagyja abba az utóbbi alcsoportok módosítását. ellenkező esetben módosítsa + Az alábbiakban (Kiegészítő ábra) ): if the parent node of Az In + Ezt a szülői csomópontot a + ; else move the node with minimum depth from + to + az . After adjusting , modify subsequent subsets + az , + az ... ... with the same strategy. Finally, move from to . V * I V * I < k V * I V * I 6b V*i k Qi V*i 6b V*i V*i v k v’ Qi v’ V * J j i v V*i V*i 1 V*i 1 V*i 1 k V*i 1 v V*i 1 6c v V * I 1 V*i 2 V * I 1 V*i 2 V * I V * I 1 V*i 2 V*j-1 v’ V*j V*i A fent leírt módosítási stratégiával az összes kisebb csomópontot helyettesíthetjük. Azokkal a A legmélyebb csomópont a és tartsa meg az alösszetevők számát, azaz, ( A módosítás után ugyanazok a csomópontok változtathatók meg ugyanazzal a stratégiával az összes ( nem tartalmazza a legmélyebb csomópontokat. végül az összes ∈ ( ) képes teljesíteni a maximális mélység kritériumokat, és ( A változás a módosítás után nem változik. V * I k Qi P * V P * V V * I P * V P * V Végezetül a DHS létrehoz egy partíciót ( ) és minden alárendelt ∈ ( ) kielégíti a maximális mélység feltételt: . bármely más optimális partícióhoz ( módosíthatjuk annak alcsoportjait, hogy szerkezete megegyezzen a ( ), azaz minden alkészlet a jelöltkészlet legmélyebb csomópontjaiból áll, és tartsa ( ) Változtatás után is ugyanez történik, így a felosztás ( ) a DHS-ből származó az egyik optimális partíció. P V VI P V P * V P V P * V | P V GPU telepítés és memória növelés A nagy memóriamennyiség elérése érdekében a GPU az (1) globális memória, (2) gyorsítótár, (3) nyilvántartás memória hierarchiáját használja, ahol a globális memória nagy kapacitással rendelkezik, de alacsony áramlási kapacitással, míg a nyilvántartások alacsony kapacitással, de nagy áramlási kapacitással rendelkeznek. A GPU SIMT (Single-Instruction, Multiple-Thread) architektúrát alkalmaz. A Warps a GPU alapvető ütemezési egységei (a warp 32 párhuzamos szálból álló csoport). A csomópontok helyes elrendezése elengedhetetlen a warp-ban történő számításhoz, annak biztosítása érdekében, hogy a DHS azonos eredményeket érjen el, mint a soros Hines módszer. Amikor a DHS-t a GPU-ra hajtjuk végre, először az összes sejtet morfológiáik alapján több warp-ba csoportosítjuk. A hasonló morfológiákkal rendelkező sejteket ugyanabba a warp-ba csoportosítjuk. Ezután a DHS-t minden idegsejtre alkalmazzuk, és minden egyes idegsejt megosztását több szálra osztjuk. Mivel a neuronok warp-ba csoportosítják őket, ugyanazon idegsejt szálai ugyanabban a warp-ban vannak. Ezért a warp-ban a belső szinkronizáció a szám 46 Amikor egy varp előre összehangolt és egymást követően tárolt adatokat tölt be a globális memóriából, teljes mértékben kihasználhatja a gyorsítótárat, ami magas memóriaterhelést eredményez, miközben a szétszórva tárolt adatokhoz való hozzáférés csökkenti a memóriaterhelést. A részlegek hozzárendelése és a szálak átszervezése után átszervezzük az adatokat a globális memóriába, hogy összhangban legyenek a számítógépes megrendelésekkel, így a varpok a program végrehajtása során egymást követően tárolt adatokat tudják betölteni. Teljes gerinc és kevés gerinc biofizikai modellek Használtuk a közzétett emberi piramis neuront . The membrane capacitance m = 0,44 μF cm-2, membránállóság m = 48,300 Ω cm2, and axial resistivity a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83.1 mV. Ion channels such as Na+ and K+ were inserted on soma and initial axon, and their reversal potentials were Na = 67.6 mV, K = -102 mV. Mindezek a specifikus paraméterek ugyanazok voltak, mint az Eyal és társai modelljében. , for more details please refer to the published model (ModelDB, access No. 238347). 51 c r r E E E 51 A néhány gerincű modellben a dendrites kábelek membránkapacitását és maximális szivárgási vezetőképességét 60 μm távolságra szomától szorozva a spine factor to approximate dendritic spines. In this model, Csak azok a gerincek, amelyek szinaptikus bemeneteket kaptak, kifejezetten kötődtek a dendritekhez. F F A teljes gerincű modellben az összes gerincet kifejezetten a dendritekhez kötötték. A gerinc sűrűségét az Eyal és társai rekonstruált idegsejtjével számolták ki. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 A gerinc morfológiái és biofizikai mechanizmusai azonosak voltak a kevés gerincvelő és a teljes gerincvelő modellekben. nyak = 1,35 μm és az átmérő nyak = 0,25 μm, míg a gerincvelő hossza és átmérője 0,944 μm volt, azaz a gerincvelő területét 2,8 μm2-re állították be. = -86 mV. A membrán specifikus kapacitása, membránellenállása és axiális ellenállása ugyanaz volt, mint a dendriteké. L D Az EL Synaptic beállítások Megvizsgáltuk a neuronális izgatottságot mind az elosztott, mind a klaszterezett szinaptikus bemenetek esetében. Minden aktivált szinapszist a gerincvelő végpontjához kötöttek. Az elosztott bemenetek esetében az összes aktivált szinapszist véletlenszerűen elosztották az összes dendritre. A klaszterezett bemenetek esetében minden klaszter 20 aktivált szinapszisból állt, amelyek egyenletesen elosztódtak egyetlen véletlenszerűen kiválasztott területen. Az AMPA-alapú és az NMDA-alapú szinaptikus áramokat úgy szimulálták, mint Eyal et al. munkájában.Az AMPA vezetőképességet kettős exponenciális funkcióként, az NMDA vezetőképességet pedig feszültségfüggő kettős exponenciális funkcióként modellezték. emelkedik és 0,3 és 1,8 ms-re voltak beállítva az NMDA modell esetében, emelkedik és Az AMPA és az NMDA maximális vezetőképessége 0,73 nS és 1,31 nS volt. τ τ τ τ Háttér zaj A háttérzajot minden cellához csatoltuk, hogy valósághűbb környezetet szimuláljunk.A zajmintákat Poisson csúcsvonatokként hajtották végre állandó, 1,0 Hz-es sebességgel. start = 10 ms and lasted until the end of the simulation. We generated 400 noise spike trains for each cell and attached them to randomly-selected synapses. The model and specific parameters of synaptic currents were the same as described in , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs A neuronális izgatottság vizsgálata Vizsgáltuk a csúcs valószínűségét, amikor több szinapszis aktiválódott egyidejűleg. Az elosztott bemenetek esetében 14 esetet teszteltünk, 0 és 240 aktivált szinapszis között. A klaszterezett bemenetek esetében összesen 9 esetet teszteltünk, aktiválva 0 és 12 klaszter között. Minden klaszter 20 szinapszisból állt. Mind az elosztott, mind a klaszterezett bemenetekben minden esetben 50 véletlenszerű mintával számoltunk ki a csúcs valószínűségét. A csúcs valószínűségét úgy határozták meg, mint a lövöldözött neuronok számának és a minták teljes számának arányát. Minden 1150 mintát egyidejűleg szimuláltunk DeepDendrite platformunkon, AI feladatok végrehajtása a DeepDendrite platformmal A hagyományos részletes idegsejtek szimulátorai nem rendelkeznek két olyan funkcióval, amelyek fontosak a modern mesterséges intelligencia feladataihoz: (1) szimulációk és súlyfrissítések váltakozó végrehajtása nehéz újraindítás nélkül, és (2) több ingerminták egyidejű feldolgozása tételszerűen. DeepDendrite consists of three modules (Supplementary Fig. ): (1) egy I/O modul; (2) egy DHS-alapú szimulációs modul; (3) egy tanulási modul. Amikor egy biofizikailag részletes modellt képeznek a tanulási feladatok elvégzésére, a felhasználók először meghatározzák a tanulási szabályt, majd az összes képzési mintát a részletes tanulási modellre táplálják. A képzés során minden lépésben az I/O modul kiválaszt egy meghatározott ingeret és annak megfelelő tanári jelet (ha szükséges) az összes képzési mintából, és csatolja a ingeret a hálózati modellhez. Ezután a DHS-alapú szimulációs modul kezdeményezi a modellt és elindítja a szimulációt. A szimuláció után a tanulási modul frissíti az összes szinaptikus súlyt a modellválaszok és a 5 HPC hálózati modell A képosztályozás tipikus feladat az AI területén. Ebben a feladatban a modellnek meg kell tanulnia felismerni egy adott kép tartalmát, és ki kell adnia a megfelelő címkét. Itt bemutatjuk a HPC-Net-et, egy olyan hálózatot, amely részletes emberi piramis neuron modellekből áll, amelyek megtanulják a képosztályozási feladatokat a DeepDendrite platform használatával végrehajtani. A HPC-Net három rétegből áll, azaz egy bemeneti rétegből, egy rejtett rétegből és egy kimeneti rétegből. A bemeneti rétegben lévő neuronok a bemeneti rétegből átalakított csúcsvonatokat kapják. A rejtett rétegű neuronok a bemeneti rétegű neuronok kimenetet kapják, és válaszokat adnak a kimeneti rétegben lévő neuronoknak. A kimeneti rétegű neuronok válaszai a HPC-Net végső kimenete. Minden egyes képi stimuláció esetében először a normalizált pixeleket homogén csúcsvonalakra alakítjuk át. ) a képen a megfelelő spike vonat állandó interspike intervallummal rendelkezik Azonban ( ) (mrs) a pixel érték alapján határozható meg ( ) as shown in Eq. ( ) az X és Y τ X és Y p X és Y 1 Kísérletünkben az egyes ingerek szimulációja 50 ms-ig tartott. Az ISI ms és a szimuláció végéig tartott. Aztán minden csúcsvonatot egy-egy módon csatlakoztunk a bemeneti réteg neuronjaihoz. is given by τ t0 Ahol a poszt-szinaptikus feszültség, a fordított potenciál syn = 1 mV, a maximális szinaptikus vezetőképesség max = 0,05 μS, és az idő állandó 0,5 millió Ft. v E g τ A bemeneti rétegben lévő neuronokat egy passzív, egyszemélyes modellel modellezték.A specifikus paramétereket a következőképpen állították be: membránkapacitás m = 1,0 μF cm-2, membránállóság m = 104 Ω cm2, axial resistivity a = 100 Ω cm, a passzív tér fordított potenciálja L = 0 mV c r r E A rejtett réteg egy csoport emberi piramis neuron modelleket tartalmaz, amelyek a bemeneti réteg neuronok szomatikus feszültségeit kapják. , és az összes neuront passzív kábelekkel modellezték. m = 1,5 μF cm-2, membránállóság m = 48,300 Ω cm2, axiális ellenállás a = 261,97 Ω cm, és az összes passzív kábel fordítási potenciálja l = 0 mV. A bemeneti neuronok többszörös kapcsolatot hozhatnak létre véletlenszerűen kiválasztott helyekre a rejtett neuronok dendritjein. A szinapszis a A neuron belépése a neuronba A dendritis definíciója az Eq. ( ) ahol a szinoptikus vezetőképesség, a szinaptikus tömeg, a ReLU-szerű szomatikus aktiválási funkció, és a szomatikus feszültség a -th input neuron at time . 51 c r r E k i j 4 György környékén i t A kimeneti rétegben lévő neuronokat egy passzív egykapcsolódási modellel is modellezték, és minden rejtett neuron csak egy szinaptikus kapcsolatot hozott létre minden kimeneti neuronhoz. ) az 4 Image classification with HPC-Net Minden egyes bemeneti kép-stimulációhoz először normalizáltuk az összes pixel értéket 0.0-1.0-ra. Ezután normalizált pixeleket konvertáltunk csúcsvonalakra, és a bemeneti neuronokhoz kötöttük őket. A kimeneti neuronok szomatikus feszültségeit az egyes osztályok megjósolt valószínűségének kiszámítására használják, ahogyan az egyenletben látható Ahol Az a valószínűsége, hogy A HPC-Net által előre jelzett osztály az átlagos szomatikus feszültség 20 ms és 50 ms között. - a neuron kimenetét, és A maximális előre jelzett valószínűséggel rendelkező osztály a végső osztályozási eredmény. Ebben a dokumentumban a HPC-Net-et 784 bemeneti neuronnal, 64 rejtett neuronnal és 10 kimeneti neuronnal építettük fel. 6 Pi i i C Synaptic plasticity rules for HPC-Net Az előző munkából inspirálva A HPC-Net képzéséhez használjuk a gradiens alapú tanulási szabályt a kép osztályozási feladat elvégzéséhez. ) ahol Az osztály előre jelzett valószínűsége , indicates the actual class the stimulus image belongs to, = 1 if input image belongs to class és 0 ha nem. 36 7 Pi i Éva Éva i Éva A HPC-Net képzés során kiszámítjuk a súlyfrissítést (A szinoptikus súlya A neuronokat összekötő szinapszis A neuronok a) minden egyes lépésnél, minden egyes kép-stimuláció szimulációja után, Ezeket az adatokat az EQ-ben látható módon frissítjük. ( ): környékén k i j környékén 8 Itt van a tanulási arány, a frissítés értéke időben az , az , are somatic voltages of neuron és Ennek megfelelően, Az a A neuron által aktivált szinaptikus áram A neuronok az , a szinoptikus vezetőképesség, Az átviteli ellenállás a A neuron összekapcsolt részlege A neuronok Dendritis a neuronokhoz A szomszéd, s = 30 ms, Az e = 50 ms a tanulás kezdetének és befejezésének ideje. a kimeneti neuronok esetében a hiba kifejezés az Eq. ( A hiba kifejezés a hiba kifejezés a kimeneti rétegben, az Eq. ( ) az t VJ vi i j Azonban k i j György Királyság k i j j t t 10 11 Mivel az összes kimeneti neuron egyosztályú, egyenlő a megfelelő helyiség bemeneti ellenállásával, az átviteli és bemeneti ellenállásokat a NEURON számítja ki. A mini-batch képzés a mélytanulás tipikus módszere a magasabb előrejelzési pontosság eléréséhez és a konvergencia felgyorsításához.A DeepDendrite támogatja a mini-batch képzést is. Máté, mi készítjük HPC-Net tételes példányai. A képzés során minden példányt a tételtől eltérő tréningmintával táplálnak. A DeepDendrite először külön-külön számítja ki az egyes példányok súlyfrissítését. Miután az aktuális tréning tétel összes példányát elvégezték, az átlagos súlyfrissítést kiszámítják, és az összes példányban lévő súlyokat ugyanezzel az összeggel frissítik. N N Robustness against adversarial attack with HPC-Net A HPC-Net robusztusságának demonstrálása érdekében teszteltük az előrejelzés pontosságát az adversarial mintákon, és összehasonlítottuk egy analóg ANN-vel (egy ugyanolyan 784-64-10 szerkezettel és ReLU aktiválással, a HPC-Net-ben való tisztességes összehasonlítás érdekében minden egyes bemeneti neuron csak egy szinaptikus kapcsolatot hozott létre minden rejtett neuronhoz). Először a HPC-Net-et és az ANN-t az eredeti képzési készlettel (eredeti tiszta képekkel) képeztük. , az FGSM módszerrel ellentétes zaj generálása ANN PyTorch képzésben részesült , és a HPC-Net-et a DeepDendrite-szal képezték. A méltányosság érdekében ellenséges zajt generáltunk egy jelentősen eltérő hálózati modellben, egy 20 rétegű ResNet-ben A zajszint 0,02 és 0,2 között volt.Két tipikus adatkészleten, az MNIST-en kísérleteztek. és Fashion-MNIST Az eredmények azt mutatják, hogy a HPC-Net előrejelzési pontossága 19 %-kal és 16,72 %-kal magasabb, mint az analóg ANN. 98 99 93 100 101 95 96 Reporting summary A kutatás tervezésével kapcsolatos további információk a linked to this article. Természet portfólió jelentés összefoglaló Adatok rendelkezésre állása A tanulmány eredményeit alátámasztó adatok a papíron, a Kiegészítő Információk és a Forrásadatok fájlokban találhatók, amelyeket ezzel a papírral együtt nyújtottak. – Elérhető a Az MNIST adatkészlet nyilvánosan elérhető a . The Fashion-MNIST dataset is publicly available at A . Ezzel a papírral rendelkeznek. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Forrásadatok Kód elérhetőség A DeepDendrite forráskódja, valamint a Figs reprodukálására használt modellek és kódok. – Ebben a tanulmányban a . 3 6 https://github.com/pkuzyc/DeepDendrite Referenciák McCulloch, W. S. és Pitts, W. Az idegi tevékenységben rejlő gondolatok logikai kiszámítása. LeCun, Y., Bengio, Y. és Hinton, G. Mély tanulás. Természet 521, 436–444 (2015). Poirazi, P., Brannon, T. és Mel, B. W. Aritmetikai a küszöb alatti szinaptikus összegzés egy modell CA1 piramis sejt. Neuron 37, 977–987 (2003). London, M. és Häusser, M. Dendritikus számítás. Éves. Rev. Neurosci. 28, 503–532 (2005). Branco, T. és Häusser, M. Az egyetlen dendritikus ága mint az idegrendszer alapvető funkcionális egysége. Curr. vélemény. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritikus integráció: 60 év előrehaladás. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. és Papoutsi, A. A dendritikus funkció megvilágítása számítási modellekkel. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritikus csigolyák mint a neurális integráció alapvető funkcionális egységei. Engert, F. és Bonhoeffer, T. A hippokampusz hosszú távú szinaptikus plasticitásával összefüggő dendritikus gerincváltozások. természet 399, 66–70 (1999). Yuste, R. Dendritikus csigolyák és elosztott áramkörök. Neuron 71, 772–781 (2011). Yuste, R. Elektromos megosztottság dendritikus gerincekben. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. A dendritikus fák elágazása és a motoneuron membrán rezisztivitása. Exp. Neurol. 1, 491–527 (1959). Segev, I. és Rall, W. Számítógépes tanulmány egy izgalmas dendritikus gerinc. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. A mély ideghálózatokkal és a fák keresésével való utazás játékának elsajátítása. Nature 529, 484–489 (2016). Silver, D. et al. Egy általános megerősítő tanulási algoritmus, amely elsajátítja a sakkozást, a shogit és az önálló játékot. Science 362, 1140–1144 (2018). McCloskey, M. és Cohen, N. J. Katasztrofális interferencia a konnektivista hálózatokban: a szekvenciális tanulási probléma. Francia, R. M. Katasztrofális elfelejtés a konnektivista hálózatokban. Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse kitörések optimalizálják az információátvitelt egy multiplexált idegkódban. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritikus kortikális mikrocirkulációk közelítik meg a backpropagation algoritmust. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. A burstfüggő szinaptikus plasticitás koordinálhatja a tanulást hierarchikus áramkörökben. Bicknell, B. A. és Häusser, M. Egy szinaptikus tanulási szabály a nemlineáris dendritikus számítások kihasználására Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. A gradiens klaszteron: egy modell neuron, amely megtanulja megoldani osztályozási feladatokat dendritikus nemlinearitások, szerkezeti plasticitás és gradiens leszállás. Hodgkin, A. L. és Huxley, A. F. A membránáram kvantitatív leírása és alkalmazása az idegben a vezetőképességre és az izgatottságra. Rall, W. A dendritek élettani tulajdonságainak elmélete. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. és Carnevale, N. T. A neuron szimulációs környezet Neural Comput. 9, 1179–1209 (1997). Bower, J. M. és Beeman, D. a Genezis könyvében: Realisztikus idegmodellek feltárása az általános idegszimulációs rendszerrel (eds Bower, J. M. és Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron szétválasztása a számítógépes párhuzamos hálózati szimulációkban lehetővé teszi a futási idő skálázását kétszer annyi processzorral. Hines, M. L., Markram, H. és Schürmann, F. Teljesen implicit párhuzamos szimuláció egy neuron. J. Comput. Neurosci. 25, 439–448 (2008). Ben-Shalom, R., Liberman, G. és Korngreen, A. A térbeli modellezés felgyorsítása egy grafikus feldolgozóegységen. Tsuyuki, T., Yamamoto, Y. és Yamazaki, T. A térbeli szerkezettel rendelkező idegsejtek modellek hatékony numerikus szimulációja a grafikai feldolgozóegységeken. In Proc. 2016 Nemzetközi Konferencia a Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, USA Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24. Nemzetközi Konferencia a nagy teljesítményű számítástechnika (HiPC) 388-397 (IEEE, 2017). Huber, F. Hatékony fa megoldó hines mátrixok a GPU-n. Előnyben a https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Kombinációs optimalizálási elmélet és algoritmusok 6 edn (Springer, 2018). Gebali, F. (Wiley, 2011). Algorithms and Parallel Computing Kumbhar, P. et al. CoreNEURON: Optimalizált számítási motor a NEURON szimulátorhoz. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. és Senn, W. Tanulás a szomatikus spiking dendritikus előrejelzésével. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. és Korngreen, A. Az ioncsatorna modellek optimalizálása egy párhuzamos genetikai algoritmus segítségével grafikus processzorokon. J. Neurosci. Módszerek 206, 183–194 (2012). Mascagni, M. Egy párhuzamosító algoritmus a számítógépes megoldásokhoz az önkényesen elágazó kábel neuron modellekhez. McDougal, R. A. et al. Húsz év modellDB és azon túl: létfontosságú modellezési eszközök építése az idegtudomány jövője számára. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih szelektíven blokkolja a szinkronizált disztális bemenetek időbeli összegzését a CA1 piramis neuronokban. Hemond, P. et al. A piramis sejtek különböző osztályai kölcsönösen kizárólagos lövési mintákat mutatnak a hippocampus régióban CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. A neokortikális réteg 5b piramis sejtjeinek modelljei, amelyek a dendritikus és perizomatikus aktív tulajdonságok széles skáláját rögzítik. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Az akció potenciál feldolgozása egy részletes purkinje sejtmodellben kritikus szerepet játszik az axonális megosztásban. Lindroos, R. et al. Basal ganglia neuromoduláció többszörös időbeli és szerkezeti skálán – a közvetlen útvonal MSN-ek szimulációi vizsgálják a dopaminerg hatások gyors megjelenését és megjósolják a Kv4.2 szerepét. Migliore, M. et al. A szinaptikus klaszterek illatoperátorként működnek a szaglámpában.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. CUDA C++ Programozási útmutató. https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2021). NVIDIA. CUDA C++ legjobb gyakorlatok útmutató. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. A dendritikus csigolyák szinaptikus erősítése növeli a bemeneti együttműködést. Nature 491, 599–602 (2012). Chiu, C. Q. et al. A dendritikus gerincek által a GABAergic gátlás megosztása. tudomány 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. és Nägerl, U. V. A gerinc nyak plasticitása szabályozza a szinapszisok megosztottságát. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Emberi kortikális piramis neuronok: a gerincektől a csúcsokig modelleken keresztül. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. és Zador, A. A dendritikus gerincek funkciója: a biokémiai, nem pedig az elektromos megosztottságot szolgáló eszközök J. Neurosci, 13, 413–422 (1993). Koch, C. Dendritikus gerincek a számítástechnika biofizikájában (Oxford University Press, 1999). Rapp, M., Yarom, Y. és Segev, I. A párhuzamos szál hátterű aktivitás hatása a cerebelláris purkinje sejtek kábel tulajdonságaira. Hines, M. Az elágazó ideg egyenletek hatékony számítása. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biológiailag inspirált védelem mély hálózatok ellenséges támadások. Előnyben a https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Nagy léptékű szimuláció párhuzamos genezis használatával. a Genezis könyvében: Realisztikus idegmodellek feltárása az általános idegszimulációs rendszerrel (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Párhuzamos hálózati szimulációk NEURON. Lytton, W. W. et al. Szimulációs idegtechnológiák az agykutatás előmozdítására: a nagy hálózatok párhuzamosítása a NEURON-ban. Valero-Lara, P. et al. cuHinesBatch: Multiple Hines rendszerek megoldása a GPU-k emberi agy projektjében. In Proc. 2017 International Conference on Computational Science 566–575 (IEEE, 2017). Akar, N. A. et al. Arbor – Morfológiailag részletes ideghálózati szimulációs könyvtár a kortárs nagy teljesítményű számítástechnikai architektúrákhoz. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. és társai NeuroGPU: Gyorsító multi-partition, biofizikailag részletes idegsejtek szimulációk GPU. J. Neurosci. módszerek 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A reakció-diffúziós egyenletek előrejelző-korrekciós algoritmusa, amely az ágazatos struktúrák neurális aktivitásával társul. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Kozloski, J. és Wagner, J. A nagyméretű idegszövet-szimuláció ultra-skálázható megoldása. Front. Neuroinform. 5, 15 (2011). Jayant, K. és társai. Célzott intracelluláris feszültségrekordok dendritikus gerincekből kvantum-pont bevonatú nanopipettákkal. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrán potenciális változások dendritikus csigolyák során akció potenciálok és szinaptikus bemenet. Nishiyama, J. és Yasuda, R. Biokémiai számítás a gerinc szerkezeti plasticitására. Neuron 87, 63–75 (2015). Yuste, R. és Bonhoeffer, T. A dendritikus csigolyák morfológiai változásai a hosszú távú szinaptikus plasticitással összefüggésben. Holtmaat, A. és Svoboda, K. Tapasztalatfüggő szerkezeti szinaptikus plasticitás az emlős agyban. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Strukturális plasticitás a tanulás során: szabályozás és funkciók. Nat. Rev. Neurosci. 13, 478–490 (2012). Keck, T. et al. A neurális áramkörök masszív szerkezetátalakítása a felnőtt vizuális kéreg funkcionális átszervezése során. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. A tapasztalat tartós szerkezeti nyomot hagy a kortikális áramkörökben. Trachtenberg, J. T. et al. A tapasztalatfüggő szinaptikus plasticitás hosszú távú in vivo képalkotása a felnőtt kéregben. természet 420, 788–794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Az excitáló és gátló neuronok axonális dinamikája a szomatoszenzoros kéregben. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. A szinapszisok gyors kialakulása és szelektív stabilizálása a tartós motoros emlékek érdekében. természet 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. A motoros tanulás javítása az újonnan kialakult dendritikus csigolyák stabilitásának növelésével a motoros kéregben. Neuron 109, 3298–3311 (2021). Branco, T. & Häusser, M. Szinaptikus integrációs gradiensek egyetlen kortikális piramisos sejt dendritekben. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. és Schiller, J. A neocortical piramis neuron dendrites aktív tulajdonságai. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritikus cselekvési potenciálok és számítás az emberi réteg 2/3 kortikális neuronokban. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Az időzített szinaptikus gátlás NMDA csúcsokat formál, befolyásolva a helyi dendritikus feldolgozást és a kortikális neuronok globális I/O tulajdonságait. Cell Rep. 21, 1550–1561 (2017). Du, K. et al. A dendritikus plateau potenciál sejttípus-specifikus gátlása a striatális gerincvelő projekciós neuronokban. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritikus csúcsok fokozzák az in vivo kortikális idegsejtek stimulációs szelektivitását. Nature 503, 115–120 (2013). Xu, N.-l et al. Az érzékszervi és motoros bemenetek nemlineáris dendritikus integrációja aktív érzékelési feladat során. természet 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. és Larkum, M. E. Az aktív kortikális dendritek modulálják az érzékelést. Tudomány 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. A kalcium átmeneti előfordulása a dendritikus fákban előrejelzi a hely mező tulajdonságait. természet 517, 200–204 (2015). Markram, H. et al. A neokortikális mikrocirkuláció rekonstrukciója és szimulációja. Cell 163, 456–492 (2015). Billeh, Y. N. et al. A szerkezeti és funkcionális adatok szisztematikus integrálása az egér elsődleges vizuális kéregének többszintű modelljébe. Neuron 106, 388–403 (2020). Hjorth, J. et al. A striatum mikrocirkulációi a szilíciumban. Proc. Natl Acad. Sci. USA 117, 202000671 (2020). Guerguiev, J., Lillicrap, T. P. & Richards, B. A. A mély tanulás felé a szegregált dendritekkel. elife 6, e22901 (2017). Iyer, A. et al. Katasztrófa elkerülése: az aktív dendritek lehetővé teszik a többfeladatos tanulást dinamikus környezetben. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Lehet, hogy egy egyetlen neuron érdekes gépi tanulási problémákat old meg egymást követő számítások révén dendritikus fáján? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritikus normalizáció javítja a tanulást a ritkán kapcsolódó mesterséges ideghálózatokban. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Ellentétes példák magyarázása és kihasználása a 3. Nemzetközi Konferencián a tanulási képviseletekről (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. és Goodfellow, I. Áthelyezhetőség a gépi tanulásban: a jelenségektől a fekete doboz támadásokig ellenséges minták használatával. Előnyben a https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. A dokumentumfelismerésre alkalmazott gradiens alapú tanulás. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: új képadatkészlet a gépi tanulási algoritmusok összehasonlítására. Előnyben a http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. A biológiailag motivált mélytanulási algoritmusok és architektúrák skálázhatóságának értékelése. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python eszköztár, amely összehasonlítja a gépi tanulási modellek robusztusságát. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: gyors ellenséges támadások a PyTorch, TensorFlow és JAX gépi tanulási modelljeinek robusztusságának összehasonlítására J. Open Source Softw. 5, 2607 (2020). Paszke, A. és társai. PyTorch: Egy kötelező stílusú, nagy teljesítményű mélytanulási könyvtár. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for image recognition. In 770–778 (IEEE, 2016). Proc. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) elismerések A Tanács szerzői őszintén köszönetet mondanak Dr. Rita Zhangnak, Daochen Shi-nak és az NVIDIA tagjainak a GPU számítástechnika értékes technikai támogatásáért. Ezt a munkát a Kínai Nemzeti Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2020AAA0130400) támogatta K.D. és T.H., a Kínai Nemzeti Természettudományi Alapítvány (Nr. 6182588102) a T.H., a Kínai Nemzeti Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2022ZD01163005) a L.M., a Guangdong tartományi Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2018B030338001) a T.H., a Kín Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt áll rendelkezésre. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt áll rendelkezésre.
