A szerzők: Zsuzsa Zsuzsa György Ő Lei Ma Xiaofei Liu Főoldal > J. J. Johannes Hjorth Alexander Kozlov Zsuzsa ő Shenjian Zhang Jeanette Hellgren Kotaleski Gyurcsány Tian A grillező Ha Ön Zsófi Huang A szerzők: Zsuzsa Zsuzsa György Ő Máté Ma Szijjártó Liu Főoldal > J. J. Johannes Hjorth Alexander Kozlov Zsuzsa ő Shenjian Zhang képek Jeanette Hellgren Kotaleski előzetes Gyurcsány Tian A grillező Ha Ön Zsófi Huang absztrakt A biofizikailag részletes multi-partition modellek erőteljes eszközök az agy számítási elveinek feltárására, és elméleti kereteként is szolgálnak a mesterséges intelligencia (AI) rendszerek algoritmusainak generálásához. Azonban a drága számítási költség súlyosan korlátozza az alkalmazásokat mind az idegtudomány, mind az AI területén. A részletes partition modellek szimulálása során a fő palack a szimulátor képessége a lineáris egyenletek nagy rendszereinek megoldására. Endokrinológia hierarchikus Cheduling (DHS) módszer, hogy jelentősen felgyorsítsa az ilyen folyamatot. Elméletileg bebizonyítjuk, hogy a DHS végrehajtása számítástechnikai szempontból optimális és pontos. Ez a GPU-alapú módszer 2-3 sorrendben nagyobb sebességgel működik, mint a hagyományos CPU platform klasszikus soros Hines módszere. DeepDendrite keretet építünk, amely integrálja a DHS módszert és a NEURON szimulátor GPU számítási motorját, és bemutatja a DeepDendrite alkalmazásait idegtudományi feladatokban. Megvizsgáljuk, hogy a gerincbetétek térbeli mintái hogyan befolyásolják a neurális izgatottságot egy részletes emberi piramis neuron modellben 25 000 gerincvel. Továbbá rövid megbeszélést D H S Bevezetés A neuronok kódolási és számítási elveinek megfejtése alapvető fontosságú az idegtudomány számára. Az emlősök agya több mint ezer különböző típusú idegsejtből áll, egyedülálló morfológiai és biofizikai tulajdonságokkal. , amelyben a neuronokat egyszerű összegző egységeknek tekintették, még mindig széles körben alkalmazzák az idegszámításban, különösen a neurális hálózatok elemzésében.Az elmúlt években a modern mesterséges intelligencia (AI) kihasználta ezt az elvet és erőteljes eszközöket fejlesztett ki, mint például a mesterséges ideghálózatok (ANN) Azonban az átfogó számítások mellett az egyes neuronok szintjén a szubcelluláris részlegek, mint például a neuron dendritek, független számítási egységként is végezhetnek nemlineáris műveleteket. , , , , Továbbá a dendritikus csigolyák, kis kiemelkedések, amelyek sűrűn fedik le a dendriteket a csigolyás neuronokban, megoszthatják a szinaptikus jeleket, lehetővé téve számukra, hogy elválasszák őket szülő dendritjeiktől ex vivo és in vivo. , , , . 1 2 3 4 5 6 7 8 9 10 11 A biológiailag részletes neuronokat használó szimulációk elméleti keretet biztosítanak a biológiai részletek számítási elvekkel való összekapcsolásához. , lehetővé teszi számunkra, hogy modellezzük a neuronokat reális dendritikus morfológiákkal, belső ionos vezetőképességgel és extrinsikus szinaptikus bemenetekkel.A részletes többrészes modell gerincét, azaz a dendriteket a klasszikus kábelelméletre építjük. , amely a dendritek biofizikai membrán tulajdonságait passzív kábelekként modellezi, és matematikai leírást ad arról, hogy az elektronikus jelek hogyan támadnak meg és terjednek át komplex idegrendszeri folyamatokban.Azáltal, hogy a kábelelméletet aktív biofizikai mechanizmusokkal, például ioncsatornákkal, ingerlékeny és gátló szinaptikus áramlásokkal stb. integrálja, egy részletes többrészes modell a kísérleti korlátokon túlmutató sejtes és szubcelluláris idegrendszeri számításokat érhet el. , . 12 13 12 4 7 Az idegtudományra gyakorolt mélyreható hatása mellett a közelmúltban biológiailag részletes neuronmodelleket használtak a neuron szerkezeti és biofizikai részletek és az AI közötti szakadék áthidalására.A modern AI területén uralkodó technika az ANN-ek, amelyek pont neuronokból állnak, a biológiai neurális hálózatok analógjai. Bár az ANN-ek a „backpropagation-of-error” (backprop) algoritmussal figyelemre méltó teljesítményt értek el a speciális alkalmazásokban, még a Go és a sakk játékaiban is legyőzve a legmagasabb szintű humán profi játékosokat. , Az emberi agy még mindig felülmúlja az ANN-eket olyan területeken, amelyek dinamikusabb és zajosabb környezetet igényelnek. , A legújabb elméleti tanulmányok azt sugallják, hogy a dendritikus integráció kulcsfontosságú a hatékony tanulási algoritmusok létrehozásában, amelyek potenciálisan meghaladják a párhuzamos információfeldolgozás backprop-jét. , , Továbbá egy egyetlen részletes multi-partment modell megtanulhatja a hálózati szintű nemlineáris számításokat a pont neuronok számára, csak a szinaptikus erő beállításával. , A részletes modellek teljes potenciálját mutatja be az agyhoz hasonló, erősebb AI-rendszerek kiépítésében, ezért kiemelt fontosságú az agyhoz hasonló AI paradigmáinak kiterjesztése az egyes részletes idegsejtekről a nagyméretű, biológiailag részletes hálózatokra. 14 15 16 17 18 19 20 21 22 A részletes szimulációs megközelítés egyik régóta fennálló kihívása a rendkívül magas számítási költség, amely súlyosan korlátozta alkalmazását az idegtudomány és a mesterséges intelligencia területén. , , A hatékonyság növelése érdekében a klasszikus Hines módszer csökkenti az O(n3) és O(n) egyenletek megoldásának időbeli összetettségét, amelyet széles körben alkalmaztak a népszerű szimulátorokban, mint például a NEURON. A genezis Amikor egy szimuláció több biofizikailag részletes dendritet foglal magában dendrites gerendákkal, a lineáris egyenlet mátrix („Hines Matrix”) a dendritek vagy gerendák növekvő számával (Fig. ), így a Hines-módszer már nem praktikus, mivel nagyon nehéz terhet jelent az egész szimulációra. 12 23 24 25 26 1E Újjáépített réteg-5 piramis neuron modell és a részletes neuron modellekkel használt matematikai képlet. Munkafolyamat a számszerűen szimulált részletes idegsejtek modelljeinek szimulálása során.Az egyenletmegoldó fázis a szimuláció palackozása. Példa a lineáris egyenletekre a szimulációban. A Hines-módszer adatfüggősége a lineáris egyenletek megoldásakor A . A Hines mátrix mérete a modell összetettségét tükrözi. A megoldandó lineáris egyenletrendszerek száma jelentősen megnő, amikor a modellek részletesebbé válnak. Számítási költség (az egyenletmegoldási fázisban megtett lépések) a Hines soros módszer különböző típusú neuronmodelleken. A különböző megoldási módszerek illusztrációja. A neuron különböző részei több feldolgozóegységhez vannak rendelve párhuzamos módszerekkel (közép, jobb), különböző színekkel. A három módszer számítási költsége Egy piramis modell egyenletének megoldása csigolyákkal. A futási idő jelzi az 1 s szimuláció időfogyasztását (az egyenlet megoldása 40 000-szer 0,025 ms-es idővel). p-Hines párhuzamos módszer CoreNEURON-ban (GPU-n), ága alapú ág-alapú párhuzamos módszer (GPU-n), DHS Dendritikus hierarchikus ütemezési módszer (GPU-n). a b c d c e f g h g i Az elmúlt évtizedekben óriási előrelépés történt a Hines módszer felgyorsításában, párhuzamos módszerek alkalmazásával a celluláris szinten, ami lehetővé teszi az egyes sejtek különböző részeinek számításának párhuzamosítását. , , , , , Azonban a jelenlegi celluláris szintű párhuzamos módszerek gyakran nem rendelkeznek hatékony párhuzamosítási stratégiával, vagy nem rendelkeznek elegendő numerikus pontossággal az eredeti Hines-módszerhez képest. 27 28 29 30 31 32 Itt egy teljesen automatizált, számszerűsített és optimalizált szimulációs eszközt fejlesztünk ki, amely jelentősen felgyorsíthatja a számítási hatékonyságot és csökkentheti a számítási költségeket. Ezenkívül ez a szimulációs eszköz zökkenőmentesen alkalmazható a gépi tanulás és az AI alkalmazások biológiai részleteivel rendelkező ideghálózatok létrehozására és tesztelésére. A párhuzamos számítástechnika elmélete Megmutatjuk, hogy algoritmusunk optimális ütemezést biztosít a pontosság elvesztése nélkül. Ezen túlmenően a DHS-t a jelenleg legfejlettebb GPU-chiphez optimalizáltuk a GPU-memória hierarchia és a memória-hozzáférési mechanizmusok kihasználásával. A klasszikus NEURON szimulátorhoz képest Ugyanaz a pontosság megtartása. 33 34 1 25 Annak érdekében, hogy lehetővé tegyük a részletes dendritikus szimulációkat a mesterséges intelligencia alkalmazásához, a következő lépés a DeepDendrite keretrendszer létrehozása a DHS-beágyazott CoreNEURON (a NEURON optimalizált számítási motorja) platform integrálásával. mint a szimulációs motor és két segédmodul (I/O modul és tanulási modul), amelyek támogatják a dendritikus tanulási algoritmusokat a szimulációk során. DeepDendrite fut a GPU hardver platformon, mind a rendszeres szimulációs feladatok támogatása az idegtudományban, mind a tanulási feladatok az AI-ban. 35 Végül, de nem utolsósorban, több alkalmazást is bemutatunk a DeepDendrite használatával, amelyek az idegtudomány és az AI néhány kritikus kihívását célozzák meg: (1) bemutatjuk, hogy a dendritikus gerinces bemenetek térbeli mintái hogyan befolyásolják az idegrendszeri tevékenységeket a dendritikus fákban lévő gerinceket tartalmazó idegsejtekkel (teljes gerinces modellek). DeepDendrite lehetővé teszi számunkra, hogy felfedezzük a neurális számításokat egy szimulált emberi piramis neuron modellben ~25 000 dendritikus gerincvel. (2) A megbeszélés során a DeepDendrite potenciálját is figyelembe vesszük az AI összefüggésében, különösen a morfológiailag részletes emberi piramis neuronokkal A DeepDendrite összes forráskódja, a teljes gerincű modellek és a részletes dendritikus hálózati modell nyilvánosan elérhető online (lásd Code Availability). Nyílt forráskódú tanulási keretrendszerünk könnyen integrálható más dendritikus tanulási szabályokkal, például a nemlineáris (teljesen aktív) dendritek tanulási szabályaival A robbanásfüggő szinaptikus plasticitás , és tanulni a spike előrejelzéssel Összességében a tanulmányunk teljes körű eszközöket kínál, amelyek potenciálisan megváltoztathatják a jelenlegi számítástechnikai idegtudományi közösségi ökoszisztémát.A GPU számítástechnika erejének kihasználásával elképzeljük, hogy ezek az eszközök megkönnyítik az agy finom struktúráinak számítási elveinek rendszer szintű feltárását, valamint elősegítik az idegtudomány és a modern mesterséges intelligencia közötti kölcsönhatást. 21 20 36 eredmények Dendritikus hierarchikus ütemezés (DHS) Az ionáramok számítása és a lineáris egyenletek megoldása két kritikus fázis a biofizikailag részletes neuronok szimulálása során, amelyek időigényesek és súlyos számítási terheket jelentenek. Szerencsére az egyes helyiségek ionáramának számítása teljesen független folyamat, így természetesen párhuzamos lehet a hatalmas párhuzamos számítástechnikai egységekkel, például GPU-kkal rendelkező eszközökön. Ennek következtében a lineáris egyenletek megoldása a párhuzamosítási folyamat fennmaradó üvegkötélévé válik (Fig. ) az 37 1a – f Ennek a szűk keresztmetszetnek a leküzdése érdekében celluláris szintű párhuzamos módszereket fejlesztettek ki, amelyek felgyorsítják az egysejtes számításokat azáltal, hogy egy sejtet több, párhuzamosan számítható térre osztanak szét. , , Azonban az ilyen módszerek nagyban támaszkodnak az előzetes ismeretekre, hogy gyakorlati stratégiákat hozzanak létre arra vonatkozóan, hogyan lehet egyetlen idegsejtet szakaszokra osztani (Fig. A kiegészítő FIG. Emiatt kevésbé hatékony az aszimmetrikus morfológiájú neuronok, például a piramis neuronok és a Purkinje neuronok esetében. 27 28 38 1 g 1 Arra törekszünk, hogy hatékonyabb és pontosabb párhuzamos módszert dolgozzunk ki a biológiailag részletes ideghálózatok szimulációjára. Először is meghatározzuk a celluláris szintű párhuzamos módszer pontosságának kritériumait. , három feltételre teszünk javaslatot annak biztosítására, hogy egy párhuzamos módszer azonos megoldásokat eredményezzen, mint a Hines soros számítási módszer a Hines módszer adatfüggőségének megfelelően (lásd: módszerek). Ezután elméletileg értékeljük a soros és párhuzamos számítási módszerek futási idejét, azaz hatékonyságát, bevezetjük és megfogalmazzuk a számítási költség fogalmát, mint a módszer egyenletek megoldásában megtett lépések számát (lásd: módszerek). 34 A szimulációs pontosság és a számítási költség alapján a párhuzamosítási problémát matematikai ütemezési problémaként fogalmazzuk meg (lásd: módszerek). párhuzamos szálak, legfeljebb számíthatunk A csomópontokat minden lépésnél meg kell határozni, de egy csomópontot csak akkor kell kiszámítani, ha az összes csomópontját feldolgozták; célunk az, hogy megtaláljuk az egész eljárás minimális lépésszámával rendelkező stratégiát. k k Az optimális partíció létrehozásához javasoljuk a Dendritic Hierarchical Scheduling (DHS) nevű módszert (elméleti bizonyíték a módszerekben). A DHS módszer két lépést tartalmaz: a dendritikus topológia elemzése és a legjobb partíció megtalálása: (1) Részletes modellt adva először megkapjuk a megfelelő függőségi fát, és kiszámítjuk az egyes csomópontok mélységét (egy csomópont mélysége az őscsomópontok száma) a fán (Fig. (2) A topológia elemzése után keresjük a jelölteket és kiválasztjuk a legtöbbet. A legmélyebb jelölt csomópontok (egy csomópont csak akkor jelölt, ha minden gyermekcsomópontját feldolgozták). ) az 2a 2b és c k 2D DHS munkafolyamatok, DHS folyamatok A legmélyebb jelölt csomópontok minden iterációt. Illusztráció a szegmensmodell csomópont mélységének kiszámításáról. A modellt először egy fa szerkezetre konvertálják, majd kiszámítják az egyes csomópontok mélységét. Topológia elemzés különböző neuron modellek. Hat neuronok különböző morfológiák mutatják itt. Minden modell, a szoma kiválasztott, mint a gyökér a fa, így a mélység a csomópont növekszik a szoma (0) a disztális dendritek. A DHS végrehajtásának bemutatása a modellben Négy szál. jelöltek: feldolgozható csomópontok. kiválasztott jelöltek: a DHS által kiválasztott csomópontok, azaz Feldolgozott csomópontok: a korábban feldolgozott csomópontok. A DHS által a folyamat után kapott párhuzamosítási stratégia A DHS a soros csomópont-feldolgozás lépéseit 14-ről 5-re csökkenti a csomópontok több szálra történő elosztásával. Relatív költség, azaz a DHS számítási költségeinek aránya a Hines soros módszerhez képest, ha a DHS-t különböző típusú modelleken különböző számú szálakkal alkalmazzák. a k b c d b k e d f Vegyünk egy egyszerűsített modellt 15 térrel példaként, a Hines soros számítási módszerrel, az összes csomópont feldolgozásához 14 lépés szükséges, míg a DHS négy párhuzamos egységgel a csomópontokat öt alössorba oszthatja (Fig. {9,10,12,14}, {1,7,11,13}, {2,3,4,8}, {6}, {5}}. Mivel ugyanabban az alösszetételben lévő csomópontokat párhuzamosan lehet feldolgozni, mindössze öt lépést igényel az összes csomópont feldolgozása a DHS segítségével (Fig. ) az 2D 2E Ezután alkalmazzuk a DHS módszert hat reprezentatív részletes neuronmodellre (a ModelDB-ből kiválasztva). Különböző típusú szálakkal (fig. • Kortikális és hippocampális piramis neuronok , , Cerebelláris Purkinje neuronok A striatális projekciós neuronok (SPN) ) és a mitrális izzó sejtek , amely az érzékszervi, kortikális és szubkortikális területek fő neuronjait fedezi. Ezután mérjük a számítási költséget. A relatív számítási költséget itt a DHS számítási költségeinek aránya határozza meg a sorozat Hines módszerének arányával. A számítási költség, azaz az egyenletek megoldásában megtett lépések száma drámaian csökken a szálszám növekedésével. Például 16 szálral a DHS számítási költsége 7%-10% a sorozat Hines módszerhez képest. Érdekes módon a DHS módszer elérte a bemutatott neuronok számítási költségeinek alacsonyabb határait, amikor 16 vagy akár 8 párhuzamos szálat adtak (Fig. ), ami azt sugallja, hogy több szál hozzáadása nem javítja tovább a teljesítményt a szekciók közötti függőségek miatt. 39 2f 40 41 42 43 44 45 2f Együtt generálunk egy DHS módszert, amely lehetővé teszi a dendritikus topológia automatizált elemzését és az optimális partíciót a párhuzamos számításhoz. Érdemes megjegyezni, hogy a DHS a szimuláció megkezdése előtt megtalálja az optimális partíciót, és nincs szükség további számításra az egyenletek megoldásához. A DHS gyorsítása a GPU memória növelésével A DHS minden egyes idegsejtet többszálas szálakkal számítja ki, amelyek hatalmas mennyiségű szálat fogyasztanak a neurális hálózati szimulációk futtatásakor.Grafikai feldolgozóegységek (GPU-k) tömeges feldolgozóegységekből állnak (azaz streaming processzorok, SP-k, ábra. Párhuzamos számítástechnika Elméletileg a GPU-n sok SP-nek támogatnia kell a nagy méretű ideghálózatok hatékony szimulációját (Fig. Azonban következetesen megfigyeltük, hogy a DHS hatékonysága jelentősen csökkent, amikor a hálózat mérete nőtt, ami a szétszóródott adattárolás vagy az extra memóriához való hozzáférés eredménye lehet a közbenső eredmények betöltése és írása (Fig. A baloldal ) 3A és B 46 3c 3d A GPU architektúrája és a memória hierarchiája. Minden GPU tömeges feldolgozóegységeket (stream processzorokat) tartalmaz. Streaming Multiprocessorok (SM) architektúrája: Minden SM több streaming processzort, nyilvántartást és L1 gyorsítótárat tartalmaz. DHS alkalmazása két neuronra, mindegyiknek négy szálja van. Memória optimalizálási stratégia a GPU-n. A DHS felső panele, szálelosztása és adattárolása a memória növelése előtt (balra) és után (jobbra). A processzorok adatkérelmet küldenek az egyes szálak adatainak feltöltésére a globális memóriából. A memória növelése nélkül (balra) hét tranzakciót vesz igénybe az összes kérelemadatok betöltéséhez és néhány további tranzakciót a közbenső eredményekhez. A DHS futási ideje (32 szál minden cellában) memóriával és anélkül, több rétegű 5 piramisos modellekben, gerendákkal. Gyorsítsa fel a memória növelését több rétegű 5 piramisos modelleken csavarokkal. Memória növelése 1,6-2-szeres gyorsítást eredményez. a b c d d e f Ezt a problémát a GPU memória növelésével oldjuk meg, amely a memória átvitelének növelésére szolgáló módszer a GPU memória hierarchiájának és hozzáférési mechanizmusának kihasználásával.A GPU memória betöltési mechanizmusán alapulva az egymást követő szálak az összehangolt és egymást követő tárolt adatok betöltése magas memória átvitelhez vezet a szétszórtan tárolt adatokhoz képest, ami csökkenti a memória átvitelét. , A nagy átviteli sebesség eléréséhez először a csomópontok számítási rendjeit állítjuk össze, és a csomópontok számának megfelelően rendezzük át a szálakat. Ezután a globális memóriában tárolt adatokat átalakítjuk, összhangban a számítási megbízásokkal, azaz az ugyanazon lépésben feldolgozott csomópontokat egymás után tároljuk a globális memóriában. Ezenkívül a GPU-nyilvántartásokat használjuk a közbenső eredmények tárolására, tovább erősítve a memória átviteli sebességét. Továbbá kísérletek a piramis neuronok többszörös számával gerincekkel és a tipikus neuronmodellekkel (Fig. A kiegészítő FIG. ) azt mutatják, hogy a memória növelése 1,2-3,8-szoros gyorsulást ér el a naiv DHS-hez képest. 46 47 3d 3e és f 2 Ahhoz, hogy átfogóan teszteljük a DHS teljesítményét a GPU memória növelésével, hat tipikus neuronmodellt választunk ki, és értékeljük a kábel egyenletek megoldásának futási idejét az egyes modellek hatalmas számain (Fig. A DHS-t négy szál (DHS-4) és tizenhat szál (DHS-16) segítségével vizsgáltuk meg minden egyes neuron esetében.A CoreNEURON GPU-módszereivel összehasonlítva a DHS-4 és a DHS-16 körülbelül 5 és 15 alkalommal gyorsulhat. Ezen túlmenően, a hagyományos soros Hines módszerhez képest a NEURON-ban, amely egyetlen szál CPU-val fut, a DHS 2-3 nagyságrenddel gyorsítja fel a szimulációt (Kiegészítő ábra. ), miközben megtartja az azonos numerikus pontosságot sűrű csigolyák jelenlétében (Kiegészítő figurák. és ) aktív dendrites (Kiegészítő ábra. Különböző szegmentációs stratégiák (Kiegészítő ábra. ) az 4 4a 3 4 8 7 7 A GPU-n végzett 1 s-es szimulációhoz szükséges egyenletek megoldásának futási ideje (dt = 0,025 ms, összesen 40 000 iteráció). CoreNEURON: a CoreNEURON-ban használt párhuzamos módszer; DHS-4: DHS minden neuron négy szálával; DHS-16: DHS minden neuron 16 szálával. az , A partíció vizualizálása a DHS-4 és a DHS-16 segítségével, mindegyik szín egyetlen szálat jelez. a b c A DHS optimális cellatípus-specifikus partícionálást hoz létre Ahhoz, hogy betekintést nyerjünk a DHS módszer működési mechanizmusába, a partícionálási folyamatot az egyes szálakra való térképezéssel vizualizáltuk (minden szín egyetlen szálat mutat a képen. A vizualizáció azt mutatja, hogy egy egyetlen szál gyakran váltakozik a különböző ágak között (Fig. Érdekes módon a DHS morfológiailag szimmetrikus idegsejtekben, például a striatális projekciós neuronban (SPN) és a mitrális sejtben (Fig. Ezzel ellentétben morfológiailag aszimmetrikus neuronok, például a piramis neuronok és a Purkinje-sejtek töredezett szakaszai keletkeznek (Fig. ), jelezve, hogy a DHS az idegfát az egyes részlegek skáláján (azaz a fa csomópontján) osztja szét, nem pedig az ágak skáláján. 4B és C 4B és C 4B és C 4B és C Összefoglalva, a DHS és a memória növelése elméletileg bizonyítottan optimális megoldást teremt a lineáris egyenletek párhuzamos megoldásához példátlan hatékonysággal. Ezt az elvet használva építettük fel a nyílt hozzáférésű DeepDendrite platformot, amelyet az idegtudósok használhatnak modellek megvalósításához anélkül, hogy bármilyen specifikus GPU programozási ismeretre lenne szükség. A DHS lehetővé teszi a gerincszintű modellezést Mivel a dendritikus csigolyák a kortikális és hippocampális piramis neuronokhoz, striatális projekciós neuronokhoz stb. kapják a legtöbb izgalmas bemenetet, morfológiájuk és plaszticitásuk döntő fontosságú a neurális izgatottság szabályozásában. , , , , Azonban a csigolyák túl kicsiek (~ 1 μm hosszú), hogy közvetlenül kísérletileg mérjék a feszültségfüggő folyamatokat. 10 48 49 50 51 Egyetlen gerincet modellezhetünk két térrel: a gerincfej, ahol a szinapszisok helyezkednek el, és a gerinc nyakát, amely összeköti a gerincfejet a dendritekkel. Az elmélet azt jósolja, hogy a nagyon vékony gerincvelő (0,1-0,5 μm átmérőjű) elektronikusan elkülöníti a gerincvelőt a szülő dendritiséből, így megosztja a gerincvelőben generált jeleket. Azonban a dendritek teljes körű eloszlását tartalmazó részletes modell („teljes gerincű modell”) számítástechnikai szempontból nagyon drága. Spine tényező Ahelyett, hogy az összes szálat egyértelműen modelleznénk, itt a A gerinc faktor célja a gerinc hatásának közelítése a sejtmembrán biofizikai tulajdonságaira. . 52 53 F 54 F 54 Inspired by the previous work of Eyal et al. Megvizsgáltuk, hogy a dendritikus gerinceken kialakuló izgalmas bemenetek különböző térbeli mintái hogyan formálják az idegrendszeri aktivitást egy emberi piramis neuron modellben, kifejezetten modellezett gerincekkel (Fig. Érdekes módon Eyal et al. alkalmazta a spine factor to incorporate spines into dendrites while only a few activated spines were explicitly attached to dendrites (“few-spine model” in Fig. ). The value of A modelljükben a gerincoszlopot a dendritikus területről és a gerincoszlopterületről számították ki az újjáépített adatokban. Ennek megfelelően az újjáépített adatokból a gerincoszlop sűrűségét számítottuk ki, hogy teljes gerincoszlopmodellünket jobban összhangba hozzuk Eyal kevés gerincoszlopmodelljével. A gerincoszlop sűrűségét 1,3 μm-1-re állítottuk be, a piramis idegsejtek modellje körülbelül 25 000 gerincoszlopot tartalmazott anélkül, hogy megváltoztatná a modell eredeti morfológiai és biofizikai tulajdonságait. Továbbá megismételtük a korábbi kísérleti protokollokat mind a teljes gerincoszlop, mind a kevés gerincoszlop modellekkel ) and spike probability (Fig. ) a teljes gerincvelő és a kevés gerincvelő modellekben megállapítottuk, hogy a teljes gerincvelő modell sokkal szivárgóbb, mint a kevés gerincvelő modell. Ezenkívül a csúcs valószínűsége, amelyet a klaszterezett gerincvelők aktiválása vált ki, a teljes gerincvelő modellben (a szilárd kék vonal a képen) inkább nemlineárisnak tűnt. ) than in the few-spine model (the dashed blue line in Fig. ). These results indicate that the conventional F-factor method may underestimate the impact of dense spine on the computations of dendritic excitability and nonlinearity. 51 5a F 5a F 5b, c 5d 5d 5d Kísérleti beállítás. Két fő típusú modellt vizsgálunk: a kevés gerincvelő modelleket és a teljes gerincvelő modelleket. A kevés gerincvelő modellek (két balra) azok a modellek, amelyek globálisan integrálták a gerincvelő területét a dendritekbe, és csak az egyes gerincvelőket csatolják az aktivált szinapszisokkal együtt. A teljes gerincvelő modellekben (két jobbra) minden gerincvelő kifejezetten az egész dendritekhez kapcsolódik. Megvizsgáljuk a csoportosított és véletlenszerűen elosztott szinaptikus bemenetek hatásait a kevés gerincvelő modellekre és a teljes gerincvelő modellekre. Somatic voltages recorded for cases in . Colors of the voltage curves correspond to Szélesség: 20 ms, 20 mV Színkódos feszültségek a szimuláció során at specific times. Colors indicate the magnitude of voltage. A szomatikus csúcs valószínűsége az egyidejűleg aktivált szinapszisok számának függvényében (mint Eyal et al. munkájában) négy esetben A háttérzaj hozzá van kapcsolva. Run time of experiments in with different simulation methods. NEURON: conventional NEURON simulator running on a single CPU core. CoreNEURON: CoreNEURON simulator on a single GPU. DeepDendrite: DeepDendrite on a single GPU. a b a a c b d a e d A DeepDendrite platformon mind a teljes gerincű, mind a kevés gerincű modellek 8-szoros gyorsulást értek el a CoreNEURON-hoz képest a GPU platformon és 100-szoros gyorsulást értek el a soros NEURON-hoz képest a CPU platformon (Fig. ; Supplementary Table ) while keeping the identical simulation results (Supplementary Figs. and ). Therefore, the DHS method enables explorations of dendritic excitability under more realistic anatomic conditions. 5e 1 4 8 Discussion Ebben a munkában a DHS módszert javasoljuk a Hines módszer számításának párhuzamosítására. and we mathematically demonstrate that the DHS provides an optimal solution without any loss of precision. Next, we implement DHS on the GPU hardware platform and use GPU memory boosting techniques to refine the DHS (Fig. A komplex morfológiákkal rendelkező idegsejtek nagy számának szimulálása során a memória növelésével a DHS 15-szeres gyorsulást ér el (Kiegészítő táblázat). ) a CoreNEURON-ban használt GPU-módszerhez képest, és akár 1500-szoros gyorsulás a CPU-platformban alkalmazott soros Hines-módszerhez képest (Fig. ; Supplementary Fig. Kiegészítő asztal ). Furthermore, we develop the GPU-based DeepDendrite framework by integrating DHS into CoreNEURON. Finally, as a demonstration of the capacity of DeepDendrite, we present a representative application: examine spine computations in a detailed pyramidal neuron model with 25,000 spines. Further in this section, we elaborate on how we have expanded the DeepDendrite framework to enable efficient training of biophysically detailed neural networks. To explore the hypothesis that dendrites improve robustness against adversarial attacks , we train our network on typical image classification tasks. We show that DeepDendrite can support both neuroscience simulations and AI-related detailed neural network tasks with unprecedented speed, therefore significantly promoting detailed neuroscience simulations and potentially for future AI explorations. 55 3 1 4 3 1 56 A Hines-módszer párhuzamos módszerekkel történő felgyorsításában évtizedekig tartó erőfeszítések történtek.A korai munkák főként a hálózati szintű párhuzamosításra összpontosítanak.A hálózati szimulációkban minden sejt függetlenül oldja meg a megfelelő lineáris egyenleteket a Hines-módszerrel. , Hálózati szintű módszerekkel szimulálhatunk részletes hálózatokat klasztereken vagy szuperszámítógépeken . In recent years, GPU has been used for detailed network simulation. Because the GPU contains massive computing units, one thread is usually assigned one cell rather than a cell group , , . With further optimization, GPU-based methods achieve much higher efficiency in network simulation. However, the computation inside the cells is still serial in network-level methods, so they still cannot deal with the problem when the “Hines matrix” of each cell scales large. 57 58 59 35 60 61 A celluláris szintű párhuzamos módszerek tovább párhuzamosítják a számításokat az egyes sejtekben.A celluláris szintű párhuzamos módszerek fő ötlete az, hogy minden sejtet több alblokkra osztanak fel, és párhuzamosítják ezeknek az alblokkoknak a számítását. , . However, typical cellular-level methods (e.g., the “multi-split” method Kevesebb figyelmet fordítanak a párhuzamosítási stratégiára.A finom párhuzamosítási stratégia hiánya nem kielégítő teljesítményt eredményez.A magasabb hatékonyság elérése érdekében egyes tanulmányok megpróbálnak finomabb szemcsés párhuzamosítást elérni további számítási műveletek bevezetésével , , or making approximations on some crucial compartments, while solving linear equations , . These finer-grained parallelization strategies can get higher efficiency but lack sufficient numerical accuracy as in the original Hines method. 27 28 28 29 38 62 63 64 A korábbi módszerekkel ellentétben a DHS a legfinomabb fokú párhuzamosítási stratégiát alkalmazza, azaz a térszintű párhuzamosítást. A „hogyan lehet párhuzamosítani” problémát kombinációs optimalizálási problémaként modellezve a DHS optimális térszintű párhuzamosítási stratégiát biztosít. Ezen túlmenően a DHS nem vezet be további műveletet vagy értékközelítést, így a legalacsonyabb számítási költséget érheti el, és ugyanakkor elegendő numerikus pontosságot tart fenn, mint az eredeti Hines módszerben. A dendritikus csigolyák a leginkább bőséges mikrostruktúrák az agyban a kéregben, a hippocampusban, a cerebellumban és a bazális gangliákban lévő projekciós neuronok számára.Mivel a csigolyák a központi idegrendszerben a legtöbb izgalmas bemenetet kapják, a csigolyák által generált elektromos jelek a nagyméretű idegrendszeri tevékenységek fő hajtóereje az agyban és a cerebellumban. , A gerinc szerkezete, nagyított gerincvelővel és nagyon vékony gerincvelővel, meglepően magas bemeneti impedanciát eredményez a gerincvelőnél, ami akár 500 MΩ is lehet, kombinálva a kísérleti adatokat és a részletes térmodellezési megközelítést. , . Due to such high input impedance, a single synaptic input can evoke a “gigantic” EPSP ( ~ 20 mV) at the spine-head level , , thereby boosting NMDA currents and ion channel currents in the spine . However, in the classic single detailed compartment models, all spines are replaced by the coefficient modifying the dendritic cable geometries . This approach may compensate for the leak currents and capacitance currents for spines. Still, it cannot reproduce the high input impedance at the spine head, which may weaken excitatory synaptic inputs, particularly NMDA currents, thereby reducing the nonlinearity in the neuron’s input-output curve. Our modeling results are in line with this interpretation. 10 11 48 65 48 66 11 F 54 On the other hand, the spine’s electrical compartmentalization is always accompanied by the biochemical compartmentalization , , , resulting in a drastic increase of internal [Ca2+], within the spine and a cascade of molecular processes involving synaptic plasticity of importance for learning and memory. Intriguingly, the biochemical process triggered by learning, in turn, remodels the spine’s morphology, enlarging (or shrinking) the spine head, or elongating (or shortening) the spine neck, which significantly alters the spine’s electrical capacity , , , . Such experience-dependent changes in spine morphology also referred to as “structural plasticity”, have been widely observed in the visual cortex , , somatosensory cortex , , motor cortex , hippocampus , and the basal ganglia in vivo. They play a critical role in motor and spatial learning as well as memory formation. However, due to the computational costs, nearly all detailed network models exploit the “F-factor” approach to replace actual spines, and are thus unable to explore the spine functions at the system level. By taking advantage of our framework and the GPU platform, we can run a few thousand detailed neurons models, each with tens of thousands of spines on a single GPU, while maintaining ~100 times faster than the traditional serial method on a single CPU (Fig. ). Therefore, it enables us to explore of structural plasticity in large-scale circuit models across diverse brain regions. 8 52 67 67 68 69 70 71 72 73 74 75 9 76 5e Another critical issue is how to link dendrites to brain functions at the systems/network level. It has been well established that dendrites can perform comprehensive computations on synaptic inputs due to enriched ion channels and local biophysical membrane properties , , Például a kortikális piramis neuronok végezhetnek szublineáris szinaptikus integrációt a proximal dendritisben, de fokozatosan a supralineáris integrációra váltanak a distális dendritisben. . Moreover, distal dendrites can produce regenerative events such as dendritic sodium spikes, calcium spikes, and NMDA spikes/plateau potentials , . Such dendritic events are widely observed in mice Az emberi kortikális neuronok in vitro, which may offer various logical operations , Gating funkciók , . Recently, in vivo recordings in awake or behaving mice provide strong evidence that dendritic spikes/plateau potentials are crucial for orientation selectivity in the visual cortex , sensory-motor integration in the whisker system , , and spatial navigation in the hippocampal CA1 region . 5 6 7 77 6 78 6 79 6 79 80 81 82 83 84 85 A dendriták és az állati (beleértve az embert is) viselkedési minták közötti okozati összefüggés megállapításához a nagyméretű, biofizikailag részletes neurális áramkörmodellek hatékony számítási eszközök e küldetés megvalósításához. Azonban egy nagyméretű, 10 000-100 000 neuron részletes áramkörmodell futtatása általában a szuperszámítógépek számítási erejét igényli. Még kihívást jelent az ilyen modellek in vivo adatokhoz való optimalizálása, mivel a modellek iteratív szimulációit igényli. A DeepDendrite keretrendszer közvetlenül számos state-of-the-art nagyméretű áramkörmodellt támogathat , , Ráadásul keretünk segítségével egyetlen GPU-kártya, mint például a Tesla A100 könnyen támogathatja a legfeljebb 10 000 neuron részletes áramkörmodellek működését, ezáltal szén-dioxid-hatékony és megfizethető terveket biztosítva a hétköznapi laboratóriumoknak saját nagyméretű részletes modellek kifejlesztésére és optimalizálására. 86 87 88 Recent works on unraveling the dendritic roles in task-specific learning have achieved remarkable results in two directions, i.e., solving challenging tasks such as image classification dataset ImageNet with simplified dendritic networks , and exploring full learning potentials on more realistic neuron , . However, there lies a trade-off between model size and biological detail, as the increase in network scale is often sacrificed for neuron-level complexity , , . Moreover, more detailed neuron models are less mathematically tractable and computationally expensive . 20 21 22 19 20 89 21 There has also been progress in the role of active dendrites in ANNs for computer vision tasks. Iyer et al. . proposed a novel ANN architecture with active dendrites, demonstrating competitive results in multi-task and continual learning. Jones and Kording used a binary tree to approximate dendrite branching and provided valuable insights into the influence of tree structure on single neurons’ computational capacity. Bird et al. . javasolt egy dendritikus normalizációs szabályt biofizikai viselkedés alapján, amely érdekes perspektívát kínál a dendritikus fa szerkezetének számításhoz való hozzájárulásáról. Bár ezek a tanulmányok értékes betekintést nyújtanak, elsősorban a térben kiterjesztett neuronokból származó absztrakciókra támaszkodnak, és nem használják ki teljes mértékben a dendritek részletes biológiai tulajdonságait és térbeli információit. További kutatásokra van szükség ahhoz, hogy feltárják a reálisabb neuronmodellek kihasználásának lehetőségét az agyi számítás és a mélytanulás alapjául szolgáló közös mechanizmusok megértéséhez. 90 91 92 In response to these challenges, we developed DeepDendrite, a tool that uses the Dendritic Hierarchical Scheduling (DHS) method to significantly reduce computational costs and incorporates an I/O module and a learning module to handle large datasets. With DeepDendrite, we successfully implemented a three-layer hybrid neural network, the Human Pyramidal Cell Network (HPC-Net) (Fig. ). This network demonstrated efficient training capabilities in image classification tasks, achieving approximately 25 times speedup compared to training on a traditional CPU-based platform (Fig. ; Supplementary Table ) az 6a, b 6f 1 The illustration of the Human Pyramidal Cell Network (HPC-Net) for image classification. Images are transformed to spike trains and fed into the network model. Learning is triggered by error signals propagated from soma to dendrites. Training with mini-batch. Multiple networks are simulated simultaneously with different images as inputs. The total weight updates ΔW are computed as the average of ΔWi from each network. Comparison of the HPC-Net before and after training. Left, the visualization of hidden neuron responses to a specific input before (top) and after (bottom) training. Right, hidden layer weights (from input to hidden layer) distribution before (top) and after (bottom) training. A transzfer ellenséges támadás kísérletének munkafolyamatát. Először a teszt 20 rétegű ResNet-en lévő ellenséges mintákat generáljuk. Ezután ezeket az ellenséges mintákat (hangos képeket) használjuk a tiszta képekkel képzett modellek osztályozási pontosságának tesztelésére. Prediction accuracy of each model on adversarial samples after training 30 epochs on MNIST (left) and Fashion-MNIST (right) datasets. Run time of training and testing for the HPC-Net. The batch size is set to 16. Left, run time of training one epoch. Right, run time of testing. Parallel NEURON + Python: training and testing on a single CPU with multiple cores, using 40-process-parallel NEURON to simulate the HPC-Net and extra Python code to support mini-batch training. DeepDendrite: training and testing the HPC-Net on a single GPU with DeepDendrite. a b c d e f Additionally, it is widely recognized that the performance of Artificial Neural Networks (ANNs) can be undermined by adversarial attacks —intentionally engineered perturbations devised to mislead ANNs. Intriguingly, an existing hypothesis suggests that dendrites and synapses may innately defend against such attacks . Our experimental results utilizing HPC-Net lend support to this hypothesis, as we observed that networks endowed with detailed dendritic structures demonstrated some increased resilience to transfer adversarial attacks a normál ANN-ekhez képest, amint az a MNIST-ben látható és Fashion-MNIST Az adatbázis (fig. ). This evidence implies that the inherent biophysical properties of dendrites could be pivotal in augmenting the robustness of ANNs against adversarial interference. Nonetheless, it is essential to conduct further studies to validate these findings using more challenging datasets such as ImageNet . 93 56 94 95 96 3D és E 97 Összefoglalva, a DeepDendrite kiemelkedő potenciált mutatott a képosztályozási feladatokban, amely izgalmas jövőbeli irányok és lehetőségek világát nyitja meg. A DeepDendrite és a biológiailag részletes dendritikus modellek AI-tevékenységekben való alkalmazásának további előmozdítása érdekében a többGPU-rendszerek fejlesztésére és más területeken, például a Természetes Nyelvfeldolgozásban (NLP) alkalmazott alkalmazások feltérképezésére összpontosíthatunk, ahol a dendritikus szűrő tulajdonságok jól illeszkednek az emberi nyelv eredendően zajos és kétértelmű természetéhez. A kihívások közé tartozik a skálázhatóság tesztelése nagyobb méretű problémákban, a különböző feladatok és területek teljesítményének megértése, valamint Methods Simulation with DHS CoreNEURON simulator ( A neuron használata architecture and is optimized for both memory usage and computational speed. We implement our Dendritic Hierarchical Scheduling (DHS) method in the CoreNEURON environment by modifying its source code. All models that can be simulated on GPU with CoreNEURON can also be simulated with DHS by executing the following command: 35 https://github.com/BlueBrain/CoreNeuron 25 coreneuron_exec -d /path/to/models -e time --cell-permute 3 --cell-nthread 16 --gpu The usage options are as in Table . 1 A szimuláció pontossága celluláris szintű párhuzamos számítással A szimuláció pontosságának biztosításához először meg kell határoznunk egy sejtszintű párhuzamos algoritmus helyességét annak megítéléséhez, hogy azonos megoldásokat fog-e generálni a bizonyítottan helyes soros módszerekkel összehasonlítva, mint például a Hines módszer, amelyet a NEURON szimulációs platformban használnak. , a parallel algorithm will yield an identical result as its corresponding serial algorithm, if and only if the data process order in the parallel algorithm is consistent with data dependency in the serial method. The Hines method has two symmetrical phases: triangularization and back-substitution. By analyzing the serial computing Hines method , we find that its data dependency can be formulated as a tree structure, where the nodes on the tree represent the compartments of the detailed neuron model. In the triangularization process, the value of each node depends on its children nodes. In contrast, during the back-substitution process, the value of each node is dependent on its parent node (Fig. ). Thus, we can compute nodes on different branches in parallel as their values are not dependent. 34 55 1D Based on the data dependency of the serial computing Hines method, we propose three conditions to make sure a parallel method will yield identical solutions as the serial computing Hines method: (1) The tree morphology and initial values of all nodes are identical to those in the serial computing Hines method; (2) In the triangularization phase, a node can be processed if and only if all its children nodes are already processed; (3) In the back-substitution phase, a node can be processed only if its parent node is already processed. Once a parallel computing method satisfies these three conditions, it will produce identical solutions as the serial computing method. A celluláris szintű párhuzamos számítási módszer számítási költsége To theoretically evaluate the run time, i.e., efficiency, of the serial and parallel computing methods, we introduce and formulate the concept of computational cost as follows: given a tree and threads (basic computational units) to perform triangularization, parallel triangularization equals to divide the node set of into subsets, i.e., = az az , ... ... } where the size of each subset | Székelyföld ≤ , i.e., at most minden egyes lépést meg lehet oldani, mert csak a threads. The process of the triangularization phase follows the order: → → … → , and nodes in the same subset can be processed in parallel. So, we define | | (the size of set Azaz az here) as the computational cost of the parallel computing method. In short, we define the computational cost of a parallel method as the number of steps it takes in the triangularization phase. Because the back-substitution is symmetrical with triangularization, the total cost of the entire solving equation phase is twice that of the triangularization phase. T k V T n V A V1 V2 Vn VI k k k A V1 A V2 Nemzetközi Vi V V n Matematikai programozási problémák A szimulációs pontosság és a számítási költség alapján a párhuzamosítási problémát matematikai ütemezési problémaként fogalmazzuk meg: Egy fának köszönhetően = { , A pozitív egész Ahol Ez a node-set és az edge beállítása. definiálja a partíciót ( Az = { az , ... ... }, | Székelyföld ≤ 1 ≤ ≤ n, where | | indicates the cardinal number of subset , azaz a csomópontok száma a és minden egyes csomópontra ∈ Gyermekei minden csomópontját Veszprém A gyermekek ( (Must in a previous subset) Előző bejegyzés ahol 1 ≤ < Célunk, hogy megtaláljuk az optimális partíciót ( Kinek a számítógépes költségei ( Ez a minimum. T V E k V E P V A V1 V2 Nemzetközi VI k i Vi Vi VI v VI c c v Vj j i P* V P* V Here subset consists of all nodes that will be computed at -th step (Fig. ), so | | ≤ indicates that we can compute minden egyes lépést legfeljebb azért, mert a rendelkezésre álló szálak száma . The restriction “for each node ∈ , all its children nodes { | ∈children( )} must in a previous subset , where 1 ≤ < Ez azt jelzi, hogy a csomópont csak akkor lehet feldolgozni, ha minden gyermekcsomópontját feldolgozzák. Vi i 2e VI k k k v Vi c c v Vj j i v DHS implementation Arra törekszünk, hogy megtaláljuk az optimális módot a lineáris egyenletek megoldásának számításának párhuzamosítására minden egyes neuronmodell esetében a fenti matematikai ütemezési probléma megoldásával.Az optimális partíció elérése érdekében a DHS először elemzi a topológiát és kiszámítja a mélységet ( ) for all nodes ∈ Ezután a következő két lépés iteratív módon történik, amíg minden csomópont ∈ is assigned to a subset: (1) find all candidate nodes and put these nodes into candidate set . A node is a candidate only if all its child nodes have been processed or it does not have any child nodes. (2) if | | ≤ , i.e., the number of candidate nodes is smaller or equivalent to the number of available threads, remove all nodes in and put them into , otherwise, remove deepest nodes from and add them to subset Ezeket a csomópontokat feldolgozott csomópontként jelölje meg (Fig. Az alfejezet kitöltése után , go to step (1) to fill in the next subset . d v v V v V Q Q k Q V * I k Q Vi 2d Vi Vi+1 Correctness proof for DHS After applying DHS to a neural tree = { , }, we get a partition ( Az = { , , … Szegeden | ≤ , 1 ≤ ≤ . Nodes in the same subset will be computed in parallel, taking steps to perform triangularization and back-substitution, respectively. We then demonstrate that the reordering of the computation in DHS will result in a result identical to the serial Hines method. T V E P V V1 V2 Vn Vi k i n Vi n A megosztás ( ) obtained from DHS decides the computation order of all nodes in a neural tree. Below we demonstrate that the computation order determined by ( ) satisfies the correctness conditions. ( ) is obtained from the given neural tree . Operations in DHS do not modify the tree topology and values of tree nodes (corresponding values in the linear equations), so the tree morphology and initial values of all nodes are not changed, which satisfies condition 1: the tree morphology and initial values of all nodes are identical to those in serial Hines method. In triangularization, nodes are processed from subset két . As shown in the implementation of DHS, all nodes in subset are selected from the candidate set , and a node can be put into csak akkor, ha minden gyermekcsomópontját feldolgozták. így a gyermekcsomópontok minden csomópontját are in { , ... ... }, meaning that a node is only computed after all its children have been processed, which satisfies condition 2: in triangularization, a node can be processed if and only if all its child nodes are already processed. In back-substitution, the computation order is the opposite of that in triangularization, i.e., from to . As shown before, the child nodes of all nodes in are in { , ... ... }, so parent nodes of nodes in Ők a az , , … , amely megfelel a 3. feltételnek: a hátsó helyettesítésben egy csomópont csak akkor dolgozható fel, ha annak szülőcsomópontja már feldolgozott. P V P V P V T V1 Nemzetközi Vi Q Q Vi A V1 V2 Vi-1 Vn V1 Vi V1 V2 Vi-1 Vi Vi+1 Vi+2 Nemzetközi A DHS optimalizálása A bizonyíték ötlete az, hogy ha van egy másik optimális megoldás, akkor a DHS-megoldásunkká alakítható át anélkül, hogy növelnénk az algoritmus által megkövetelt lépések számát, ezáltal jelezve, hogy a DHS-megoldás optimális. Minden egyes alkatrészre az ( A DHS mozog (szálszám) a megfelelő jelöltkészlet legmélyebb csomópontjai két Ha a csomópontok száma a kisebb, mint Mozgassa az összes csomót a két Egyszerűsítés céljából bemutatjuk A mélység összegének meghatározása A legmélyebb csomópontok Az összes alkatrész a ( A maximális mélységre vonatkozó kritériumok teljesülnek (Kiegészítő ábra. Ezután bebizonyítjuk, hogy az egyes iterációk legmélyebb csomópontjainak kiválasztása optimális partíciót. Ha létezik optimális partíció = az az , ... ... } olyan alcsoportokat tartalmaz, amelyek nem felelnek meg a maximális mélység kritériumoknak, módosíthatjuk az alcsoportokat a ( hogy minden alcsoport a legmélyebb csomópontokból álljon és az alárendeltségek számát () ( a) a módosítás után ugyanaz marad. VI P V k Qi VI Qi k Qi VI Di k Qi P V 6a A(z) V P * (V) V * 1 V * 2 V * s P * V Q P * V Without any loss of generalization, we start from the first subset not satisfying the criteria, i.e., . There are two possible cases that will make not satisfy the max-depth criteria: (1) | | < and there exist some valid nodes in Ezeket nem helyezik ; (2) | | = A csomópontokban Nem az a deepest nodes in . V*i V*i V*i k Qi V*i V*i k V * I k Qi For case (1), because some candidate nodes are not put to , these nodes must be in the subsequent subsets. As | Veszprém , a megfelelő csomópontokat a következő alcsoportokból áthelyezhetjük a , which will not increase the number of subsets and make satisfy the criteria (Supplementary Fig. , top). For case (2), | | = , these deeper nodes that are not moved from the candidate set Befelé must be added to subsequent subsets (Supplementary Fig. Ezek a mélyebb csomópontok áthelyezhetők a későbbi a következő módszerrel. feltételezzük, hogy a kitöltés után az , is picked and one of the -th deepest nodes Még mindig a Így tehát will be put into a subsequent subset ( > ). We first move from két + az , then modify subset + az A következőképpen: ha + az | ≤ A csomópontok egyike sem + is the parent of node , stop modifying the latter subsets. Otherwise, modify + as follows (Supplementary Fig. ): if the parent node of is in + , move this parent node to + az ; else move the node with minimum depth from + az to + az A kiigazítás után , modify subsequent subsets + az , + , … with the same strategy. Finally, move from két . V * I V*i < k V*i V * I 6b V*i k Qi V*i 6b V * I V*i v k v’ Qi v’ V*j j i v V*i V*i 1 V * I 1 V * I 1 k V*i 1 v V*i 1 6c v V*i 1 V*i 2 V * I 1 V*i 2 V * I V*i 1 V*i 2 V*j-1 V” V * J V*i A fent leírt módosítási stratégiával az összes kisebb csomópontot helyettesíthetjük. with the A legmélyebb csomópont a and keep the number of subsets, i.e., | ( A módosítás után ugyanazok a csomópontok változtathatók meg ugyanazzal a stratégiával az összes ( ) that do not contain the deepest nodes. Finally, all subsets ∈ ( ) képes teljesíteni a maximális mélység kritériumokat, és ( A változás a módosítás után nem változik. V*i k Qi P* V P* V V*i P * V P* V Végezetül a DHS létrehoz egy partíciót ( ) és minden alárendelt ∈ ( ) kielégíti a maximális mélység feltételt: . bármely más optimális partícióhoz ( módosíthatjuk annak alcsoportjait, hogy szerkezete megegyezzen a ( ), azaz minden alkészlet a jelöltkészlet legmélyebb csomópontjaiból áll, és tartsa ( ) Változtatás után is ugyanez történik, így a felosztás ( ) obtained from DHS is one of the optimal partitions. P V VI P V P * V P V P * V | P V GPU telepítés és memória növelés A nagy memóriamennyiség elérése érdekében a GPU az (1) globális memória, (2) gyorsítótár, (3) nyilvántartás memória hierarchiáját használja, ahol a globális memória nagy kapacitással rendelkezik, de alacsony áramlási kapacitással, míg a nyilvántartások alacsony kapacitással, de nagy áramlási kapacitással rendelkeznek. A GPU SIMT (Single-Instruction, Multiple-Thread) architektúrát alkalmaz. A Warps a GPU alapvető ütemezési egységei (a warp 32 párhuzamos szálból álló csoport). A csomópontok helyes elrendezése elengedhetetlen a warp-ban történő számításhoz, annak biztosítása érdekében, hogy a DHS azonos eredményeket érjen el, mint a soros Hines módszer. Amikor a DHS-t a GPU-ra hajtjuk végre, először az összes sejtet morfológiáik alapján több warp-ba csoportosítjuk. A hasonló morfológiákkal rendelkező sejteket ugyanabba a warp-ba csoportosítjuk. Ezután a DHS-t minden idegsejtre alkalmazzuk, és minden egyes idegsejt megosztását több szálra osztjuk. Mivel a neuronok warp-ba csoportosítják őket, ugyanazon idegsejt szálai ugyanabban a warp-ban vannak. Ezért a warp-ban a belső szinkronizáció a szám 46 Amikor egy varp előre összehangolt és egymást követően tárolt adatokat tölt be a globális memóriából, teljes mértékben kihasználhatja a gyorsítótárat, ami magas memóriaterhelést eredményez, miközben a szétszórva tárolt adatokhoz való hozzáférés csökkenti a memóriaterhelést. A részlegek hozzárendelése és a szálak átszervezése után átszervezzük az adatokat a globális memóriába, hogy összhangban legyenek a számítógépes megrendelésekkel, így a varpok a program végrehajtása során egymást követően tárolt adatokat tudják betölteni. Teljes gerinc és kevés gerinc biofizikai modellek We used the published human pyramidal neuron . The membrane capacitance m = 0,44 μF cm-2, membránállóság m = 48,300 Ω cm2, és axiális ellenállás a = 261.97 Ω cm. In this model, all dendrites were modeled as passive cables while somas were active. The leak reversal potential l = -83,1 mV. Az olyan ioncsatornákat, mint a Na+ és a K+, a szoma és a kezdeti tengelybe helyezték, és fordított potenciáljuk Na = 67.6 mV, K = -102 mV. Mindezek a specifikus paraméterek ugyanazok voltak, mint az Eyal és társai modelljében. További részletekért lásd a közzétett modellt (ModelDB, hozzáférési szám: 238347). 51 c r r E E E 51 In the few-spine model, the membrane capacitance and maximum leak conductance of the dendritic cables 60 μm away from soma were multiplied by a a dendritikus gerincek megközelítésére. ebben a modellben, Csak azok a gerincek, amelyek szinaptikus bemeneteket kaptak, kifejezetten kötődtek a dendritekhez. F F A teljes gerincű modellben az összes gerincet kifejezetten a dendritekhez kötötték. A gerinc sűrűségét az Eyal és társai rekonstruált idegsejtjével számolták ki. . The spine density was set to 1.3 μm-1, and each cell contained 24994 spines on dendrites 60 μm away from the soma. 51 The morphologies and biophysical mechanisms of spines were the same in few-spine and full-spine models. The length of the spine neck neck = 1.35 μm and the diameter nyak = 0,25 μm, míg a gerincvelő hossza és átmérője 0,944 μm volt, azaz a gerincvelő területét 2,8 μm2-re állították be. = -86 mV. A membrán specifikus kapacitása, membránellenállása és axiális ellenállása ugyanaz volt, mint a dendriteké. L D El Synaptic inputs We investigated neuronal excitability for both distributed and clustered synaptic inputs. All activated synapses were attached to the terminal of the spine head. For distributed inputs, all activated synapses were randomly distributed on all dendrites. For clustered inputs, each cluster consisted of 20 activated synapses that were uniformly distributed on a single randomly-selected compartment. All synapses were activated simultaneously during the simulation. Az AMPA-alapú és az NMDA-alapú szinaptikus áramokat úgy szimulálták, mint Eyal et al. munkájában.Az AMPA vezetőképességet kettős exponenciális funkcióként, az NMDA vezetőképességet pedig feszültségfüggő kettős exponenciális funkcióként modellezték. rise and 0,3 és 1,8 ms-re voltak beállítva az NMDA modell esetében, emelkedik és decay were set to 8.019 and 34.9884 ms, respectively. The maximum conductance of AMPA and NMDA were 0.73 nS and 1.31 nS. τ τ τ τ Háttér zaj A háttérzajot minden cellához csatoltuk, hogy valósághűbb környezetet szimuláljunk.A zajmintákat Poisson csúcsvonatokként hajtották végre állandó, 1,0 Hz-es sebességgel. kezdő = 10 ms és a szimuláció végéig tartott. 400 zajcsúcsvonatot generáltunk minden egyes cellához, és a véletlenszerűen kiválasztott szinapszisokhoz csatolták őket. A szinaptikus áramok modellje és specifikus paraméterei ugyanazok voltak, mint a , except that the maximum conductance of NMDA was uniformly distributed from 1.57 to 3.275, resulting in a higher AMPA to NMDA ratio. t Synaptic Inputs A neuronális izgatottság vizsgálata Vizsgáltuk a csúcs valószínűségét, amikor több szinapszis aktiválódott egyidejűleg. Az elosztott bemenetek esetében 14 esetet teszteltünk, 0 és 240 aktivált szinapszis között. A klaszterezett bemenetek esetében összesen 9 esetet teszteltünk, aktiválva 0 és 12 klaszter között. Minden klaszter 20 szinapszisból állt. Mind az elosztott, mind a klaszterezett bemenetekben minden esetben 50 véletlenszerű mintával számoltunk ki a csúcs valószínűségét. A csúcs valószínűségét úgy határozták meg, mint a lövöldözött neuronok számának és a minták teljes számának arányát. Minden 1150 mintát egyidejűleg szimuláltunk DeepDendrite platformunkon, AI feladatok végrehajtása a DeepDendrite platformmal A hagyományos részletes idegsejtek szimulátorai nem rendelkeznek két olyan funkcióval, amelyek fontosak a modern mesterséges intelligencia feladataihoz: (1) szimulációk és súlyfrissítések váltakozó végrehajtása nehéz újraindítás nélkül, és (2) több ingerminták egyidejű feldolgozása tételszerűen. A DeepDendrite három modulból áll (Kiegészítő ábra. ): (1) egy I/O modul; (2) egy DHS-alapú szimulációs modul; (3) egy tanulási modul. Amikor egy biofizikailag részletes modellt képeznek a tanulási feladatok elvégzésére, a felhasználók először meghatározzák a tanulási szabályt, majd az összes képzési mintát a részletes tanulási modellre táplálják. A képzés során minden lépésben az I/O modul kiválaszt egy meghatározott ingeret és annak megfelelő tanári jelet (ha szükséges) az összes képzési mintából, és csatolja a ingeret a hálózati modellhez. Ezután a DHS-alapú szimulációs modul kezdeményezi a modellt és elindítja a szimulációt. A szimuláció után a tanulási modul frissíti az összes szinaptikus súlyt a modellválaszok és a 5 HPC hálózati modell Image classification is a typical task in the field of AI. In this task, a model should learn to recognize the content in a given image and output the corresponding label. Here we present the HPC-Net, a network consisting of detailed human pyramidal neuron models that can learn to perform image classification tasks by utilizing the DeepDendrite platform. A HPC-Net három rétegből áll, azaz egy bemeneti rétegből, egy rejtett rétegből és egy kimeneti rétegből. A bemeneti rétegben lévő neuronok a bemeneti rétegből átalakított csúcsvonatokat kapják. A rejtett rétegű neuronok a bemeneti rétegű neuronok kimenetet kapják, és válaszokat adnak a kimeneti rétegben lévő neuronoknak. A kimeneti rétegű neuronok válaszai a HPC-Net végső kimenete. Minden egyes képi stimuláció esetében először a normalizált pixeleket homogén csúcsvonalakra alakítjuk át. ) a képen a megfelelő spike vonat állandó interspike intervallummal rendelkezik Azonban ( ) (mrs) a pixel érték alapján határozható meg ( ) mint ahogyan az Eq. ( ) az X és Y τ X és Y p X és Y 1 Kísérletünkben az egyes ingerek szimulációja 50 ms-ig tartott. Az ISI ms és a szimuláció végéig tartott. Aztán minden csúcsvonatot egy-egy módon csatlakoztunk a bemeneti réteg neuronjaihoz. adományozott a τ t0 Ahol a poszt-szinaptikus feszültség, a fordított potenciál syn = 1 mV, a maximális szinaptikus vezetőképesség max = 0,05 μS, és az idő állandó = 0.5 ms. v E g τ A bemeneti rétegben lévő neuronokat egy passzív, egyszemélyes modellel modellezték.A specifikus paramétereket a következőképpen állították be: membránkapacitás m = 1,0 μF cm-2, membránállóság m = 104 Ω cm2, axial resistivity a = 100 Ω cm, a passzív tér fordított potenciálja l = 0 mV. c r r E A rejtett réteg egy csoport emberi piramis neuron modelleket tartalmaz, amelyek a bemeneti réteg neuronok szomatikus feszültségeit kapják. , és az összes neuront passzív kábelekkel modellezték. m = 1.5 μF cm-2, membrane resistance m = 48,300 Ω cm2, axial resistivity a = 261,97 Ω cm, és az összes passzív kábel fordítási potenciálja l = 0 mV. A bemeneti neuronok többszörös kapcsolatot hozhatnak létre véletlenszerűen kiválasztott helyekre a rejtett neuronok dendritjein. -th synapse of the A neuron belépése a neuronba A dendritis definíciója az Eq. ( ), where a szinoptikus vezetőképesség, a szinaptikus tömeg, a ReLU-szerű szomatikus aktiválási funkció, és a szomatikus feszültség a Időben bejutó neuronok . 51 c r r E k i j 4 György környékén i t A kimeneti rétegben lévő neuronokat egy passzív egykapcsolódási modellel is modellezték, és minden rejtett neuron csak egy szinaptikus kapcsolatot hozott létre minden kimeneti neuronhoz. ) az 4 Képek osztályozása HPC-Net segítségével Minden egyes bemeneti kép-stimulációhoz először normalizáltuk az összes pixel értéket 0.0-1.0-ra. Ezután normalizált pixeleket konvertáltunk csúcsvonalakra, és a bemeneti neuronokhoz kötöttük őket. A kimeneti neuronok szomatikus feszültségeit az egyes osztályok megjósolt valószínűségének kiszámítására használják, ahogyan az egyenletben látható Ahol Az a valószínűsége, hogy A HPC-Net által előre jelzett osztály az átlagos szomatikus feszültség 20 ms és 50 ms között. - a neuron kimenetét, és A maximális előre jelzett valószínűséggel rendelkező osztály a végső osztályozási eredmény. Ebben a dokumentumban a HPC-Net-et 784 bemeneti neuronnal, 64 rejtett neuronnal és 10 kimeneti neuronnal építettük fel. 6 Pi i i C Synaptic plasticity rules for HPC-Net Az előző munkából inspirálva A HPC-Net képzéséhez használjuk a gradiens alapú tanulási szabályt a kép osztályozási feladat elvégzéséhez. ) ahol Az osztály előre jelzett valószínűsége , jelzi azt a tényleges osztályt, amelyhez az ingerkép tartozik, = 1 ha a bemeneti kép az osztályhoz tartozik és 0 ha nem. 36 7 pi i Éva Éva i Éva A HPC-Net képzés során kiszámítjuk a súlyfrissítést (A szinoptikus súlya A neuronokat összekötő szinapszis A neuronok a) minden egyes lépésnél, minden egyes kép-stimuláció szimulációja után, Ezeket az adatokat az EQ-ben látható módon frissítjük. ( ) a következő: környékén k i j Wijk 8 Itt van a tanulási arány, a frissítés értéke időben az , az , are somatic voltages of neuron and Ennek megfelelően, Az a A neuron által aktivált szinaptikus áram on neuron , a szinoptikus vezetőképesség, Az átviteli ellenállás a A neuron összekapcsolt részlege A neuronok Dendritis a neuronokhoz A szomszéd, s = 30 ms Az e = 50 ms a tanulás kezdetének és befejezésének ideje. a kimeneti neuronok esetében a hiba kifejezés az Eq. ( A hiba kifejezés a hiba kifejezés a kimeneti rétegben, az Eq. ( ) az t VJ VI i j Azonban k i j György Királyság k i j j t t 10 11 Mivel az összes kimeneti neuron egyosztályú, egyenlő a megfelelő helyiség bemeneti ellenállásával, az átviteli és bemeneti ellenállásokat a NEURON számítja ki. Mini-batch training is a typical method in deep learning for achieving higher prediction accuracy and accelerating convergence. DeepDendrite also supports mini-batch training. When training HPC-Net with mini-batch size Máté, mi készítjük HPC-Net tételes példányai. A képzés során minden példányt a tételtől eltérő tréningmintával táplálnak. A DeepDendrite először külön-külön számítja ki az egyes példányok súlyfrissítését. Miután az aktuális tréning tétel összes példányát elvégezték, az átlagos súlyfrissítést kiszámítják, és az összes példányban lévő súlyokat ugyanezzel az összeggel frissítik. N N Robusztus ellenfél támadások ellen a HPC-Net segítségével A HPC-Net robusztusságának demonstrálása érdekében teszteltük az előrejelzés pontosságát az adversarial mintákon, és összehasonlítottuk egy analóg ANN-vel (egy ugyanolyan 784-64-10 szerkezettel és ReLU aktiválással, a HPC-Net-ben való tisztességes összehasonlítás érdekében minden egyes bemeneti neuron csak egy szinaptikus kapcsolatot hozott létre minden rejtett neuronhoz). Először a HPC-Net-et és az ANN-t az eredeti képzési készlettel (eredeti tiszta képekkel) képeztük. , az FGSM módszerrel ellentétes zaj generálása ANN PyTorch képzésben részesült , és a HPC-Net-et a DeepDendrite-szal képezték. A méltányosság érdekében ellenséges zajt generáltunk egy jelentősen eltérő hálózati modellben, egy 20 rétegű ResNet-ben A zajszint 0,02 és 0,2 között volt.Két tipikus adatkészleten, az MNIST-en kísérleteztek. és Fashion-MNIST Az eredmények azt mutatják, hogy a HPC-Net előrejelzési pontossága 19 %-kal és 16,72 %-kal magasabb, mint az analóg ANN. 98 99 93 100 101 95 96 Összefoglaló jelentés A kutatás tervezésével kapcsolatos további információk a kapcsolódik ehhez a cikkhez. Természet portfólió jelentés összefoglaló Adatok rendelkezésre állása A tanulmány eredményeit alátámasztó adatok a papíron, a Kiegészítő Információk és a Forrásadatok fájlokban találhatók, amelyeket ezzel a papírral együtt nyújtottak. – Elérhető a Az MNIST adatkészlet nyilvánosan elérhető a A Fashion-MNIST adatkészlet nyilvánosan elérhető a A . Ezzel a papírral rendelkeznek. 3 6 https://github.com/pkuzyc/DeepDendrite http://yann.lecun.com/exdb/mnist https://github.com/zalandoresearch/fashion-mnist Forrásadatok Kód elérhetőség A DeepDendrite forráskódja, valamint a Figs reprodukálására használt modellek és kódok. – in this study are available at . 3 6 https://github.com/pkuzyc/DeepDendrite References McCulloch, W. S. és Pitts, W. Az idegi tevékenységben rejlő gondolatok logikai kiszámítása. LeCun, Y., Bengio, Y. és Hinton, G. Mély tanulás. Természet 521, 436–444 (2015). Poirazi, P., Brannon, T. és Mel, B. W. Aritmetikai a küszöb alatti szinaptikus összegzés egy modell CA1 piramis sejt. Neuron 37, 977–987 (2003). London, M. és Häusser, M. Dendritikus számítás. Éves. Rev. Neurosci. 28, 503–532 (2005). Branco, T. és Häusser, M. Az egyetlen dendritikus ága mint az idegrendszer alapvető funkcionális egysége. Curr. vélemény. Neurobiol. 20, 494–502 (2010). Stuart, G. J. & Spruston, N. Dendritikus integráció: 60 év előrehaladás. Nat. Neurosci. 18, 1713–1721 (2015). Poirazi, P. és Papoutsi, A. A dendritikus funkció megvilágítása számítási modellekkel. Nat. Rev. Neurosci. 21, 303-321 (2020). Yuste, R. & Denk, W. Dendritikus csigolyák mint a neurális integráció alapvető funkcionális egységei. Engert, F. és Bonhoeffer, T. A hippokampusz hosszú távú szinaptikus plasticitásával összefüggő dendritikus gerincváltozások. természet 399, 66–70 (1999). Yuste, R. Dendritikus csigolyák és elosztott áramkörök. Neuron 71, 772–781 (2011). Yuste, R. Elektromos megosztottság dendritikus gerincekben. Annu. Rev. Neurosci. 36, 429–449 (2013). Rall, W. A dendritikus fák elágazása és a motoneuron membrán rezisztivitása. Exp. Neurol. 1, 491–527 (1959). Segev, I. és Rall, W. Számítógépes tanulmány egy izgalmas dendritikus gerinc. J. Neurophysiol. 60, 499–523 (1988). Silver, D. et al. A mély ideghálózatokkal és a fák keresésével való utazás játékának elsajátítása. Nature 529, 484–489 (2016). Silver, D. et al. Egy általános megerősítő tanulási algoritmus, amely elsajátítja a sakkozást, a shogit és az önálló játékot. Science 362, 1140–1144 (2018). McCloskey, M. és Cohen, N. J. Katasztrofális interferencia a konnektivista hálózatokban: a szekvenciális tanulási probléma. Francia, R. M. Katasztrofális elfelejtés a konnektivista hálózatokban. Trends Cogn. Sci. 3, 128–135 (1999). Naud, R. & Sprekeler, H. Sparse kitörések optimalizálják az információátvitelt egy multiplexált idegkódban. Proc. Natl Acad. Sci. USA 115, E6329–E6338 (2018). Sacramento, J., Costa, R. P., Bengio, Y. & Senn, W. Dendritikus kortikális mikrocirkulációk közelítik meg a backpropagation algoritmust. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS*,* 2018). Payeur, A., Guerguiev, J., Zenke, F., Richards, B. A. & Naud, R. A burstfüggő szinaptikus plasticitás koordinálhatja a tanulást hierarchikus áramkörökben. Bicknell, B. A. és Häusser, M. Egy szinaptikus tanulási szabály a nemlineáris dendritikus számítások kihasználására Neuron 109, 4001–4017 (2021). Moldwin, T., Kalmenson, M. & Segev, I. A gradiens klaszteron: egy modell neuron, amely megtanulja megoldani osztályozási feladatokat dendritikus nemlinearitások, szerkezeti plasticitás és gradiens leszállás. Hodgkin, A. L. és Huxley, A. F. A membránáram kvantitatív leírása és alkalmazása az idegben a vezetőképességre és az izgatottságra. Rall, W. A dendritek élettani tulajdonságainak elmélete. Ann. N. Y. Acad. Sci. 96, 1071–1092 (1962). Hines, M. L. és Carnevale, N. T. A neuron szimulációs környezet Neural Comput. 9, 1179–1209 (1997). Bower, J. M. és Beeman, D. a Genezis könyvében: Realisztikus idegmodellek feltárása az általános idegszimulációs rendszerrel (eds Bower, J. M. és Beeman, D.) 17–27 (Springer New York, 1998). Hines, M. L., Eichner, H. & Schürmann, F. Neuron szétválasztása a számítógépes párhuzamos hálózati szimulációkban lehetővé teszi a futási idő skálázását kétszer annyi processzorral. Hines, M. L., Markram, H. és Schürmann, F. Teljesen implicit párhuzamos szimuláció egy neuron. J. Comput. Neurosci. 25, 439–448 (2008). Ben-Shalom, R., Liberman, G. és Korngreen, A. A térbeli modellezés felgyorsítása egy grafikus feldolgozóegységen. Tsuyuki, T., Yamamoto, Y. és Yamazaki, T. A térbeli szerkezettel rendelkező idegsejtek modellek hatékony numerikus szimulációja a grafikai feldolgozóegységeken. In Proc. 2016 Nemzetközi Konferencia a Neural Information Processing (eds Hirose894Akiraet al.) 279–285 (Springer International Publishing, 2016). Vooturi, D. T., Kothapalli, K. & Bhalla, USA Parallelizing Hines Matrix Solver in Neuron Simulations on GPU. In Proc. IEEE 24. Nemzetközi Konferencia a nagy teljesítményű számítástechnika (HiPC) 388-397 (IEEE, 2017). Huber, F. Hatékony fa megoldó hines mátrixok a GPU-n. Előnyben a https://arxiv.org/abs/1810.12742 (2018). Korte, B. & Vygen, J. Kombinációs optimalizálási elmélet és algoritmusok 6 edn (Springer, 2018). Gebali, F. Algoritmusok és párhuzamos számítástechnika (Wiley, 2011) Kumbhar, P. et al. CoreNEURON: Optimalizált számítási motor a NEURON szimulátorhoz. Front. Neuroinform. 13, 63 (2019). Urbanczik, R. és Senn, W. Tanulás a szomatikus spiking dendritikus előrejelzésével. Neuron 81, 521–528 (2014). Ben-Shalom, R., Aviv, A., Razon, B. és Korngreen, A. Az ioncsatorna modellek optimalizálása egy párhuzamos genetikai algoritmus segítségével grafikus processzorokon. J. Neurosci. Módszerek 206, 183–194 (2012). Mascagni, M. Egy párhuzamosító algoritmus a számítógépes megoldásokhoz az önkényesen elágazó kábel neuron modellekhez. McDougal, R. A. et al. Húsz év modellDB és azon túl: létfontosságú modellezési eszközök építése az idegtudomány jövője számára. Migliore, M., Messineo, L. & Ferrante, M. Dendritic Ih szelektíven blokkolja a szinkronizált disztális bemenetek időbeli összegzését a CA1 piramis neuronokban. Hemond, P. et al. A piramis sejtek különböző osztályai kölcsönösen kizárólagos lövési mintákat mutatnak a hippocampus régióban CA3b. Hay, E., Hill, S., Schürmann, F., Markram, H. & Segev, I. A neokortikális réteg 5b piramis sejtjeinek modelljei, amelyek a dendritikus és perizomatikus aktív tulajdonságok széles skáláját rögzítik. PLoS Comput. Biol. 7, e1002107 (2011). Masoli, S., Solinas, S. & D’Angelo, E. Az akció potenciál feldolgozása egy részletes purkinje sejtmodellben kritikus szerepet játszik az axonális megosztásban. Lindroos, R. et al. Basal ganglia neuromoduláció többszörös időbeli és szerkezeti skálán – a közvetlen útvonal MSN-ek szimulációi vizsgálják a dopaminerg hatások gyors megjelenését és megjósolják a Kv4.2 szerepét. Migliore, M. et al. A szinaptikus klaszterek illatoperátorként működnek a szaglámpában.Proc. Natl Acad. Sci. USa 112, 8499–8504 (2015). NVIDIA. . (2021). CUDA C++ Programming Guide https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html NVIDIA. CUDA C++ legjobb gyakorlatok útmutató. https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html (2021). Harnett, M. T., Makara, J. K., Spruston, N., Kath, W. L. & Magee, J. C. A dendritikus csigolyák szinaptikus erősítése növeli a bemeneti együttműködést. Nature 491, 599–602 (2012). Chiu, C. Q. et al. A dendritikus gerincek által a GABAergic gátlás megosztása. tudomány 340, 759–762 (2013). Tønnesen, J., Katona, G., Rózsa, B. és Nägerl, U. V. A gerinc nyak plasticitása szabályozza a szinapszisok megosztottságát. Nat. Neurosci. 17, 678–685 (2014). Eyal, G. et al. Emberi kortikális piramis neuronok: a gerincektől a csúcsokig modelleken keresztül. Front. Cell. Neurosci. 12, 181 (2018). Koch, C. és Zador, A. A dendritikus gerincek funkciója: a biokémiai, nem pedig az elektromos megosztottságot szolgáló eszközök J. Neurosci, 13, 413–422 (1993). Koch, C. Dendritikus gerincek a számítástechnika biofizikájában (Oxford University Press, 1999). Rapp, M., Yarom, Y. és Segev, I. A párhuzamos szál hátterű aktivitás hatása a cerebelláris purkinje sejtek kábel tulajdonságaira. Hines, M. Az elágazó ideg egyenletek hatékony számítása. Int. J. Bio-Med. Comput. 15, 69–76 (1984). Nayebi, A. & Ganguli, S. Biológiailag inspirált védelem mély hálózatok ellenséges támadások. Előnyben a https://arxiv.org/abs/1703.09202 (2017). Goddard, N. H. & Hood, G. Nagy léptékű szimuláció párhuzamos genezis használatával. a Genezis könyvében: Realisztikus idegmodellek feltárása az általános idegszimulációs rendszerrel (eds Bower James M. & Beeman David) 349-379 (Springer New York, 1998). Migliore, M., Cannia, C., Lytton, W. W., Markram, H. & Hines, M. L. Párhuzamos hálózati szimulációk NEURON. Lytton, W. W. et al. Szimulációs idegtechnológiák az agykutatás előmozdítására: a nagy hálózatok párhuzamosítása a NEURON-ban. Valero-Lara, P. et al. cuHinesBatch: Multiple Hines rendszerek megoldása a GPU-k emberi agy projektjében. In Proc. 2017 International Conference on Computational Science 566–575 (IEEE, 2017). Akar, N. A. et al. Arbor – Morfológiailag részletes ideghálózati szimulációs könyvtár a kortárs nagy teljesítményű számítástechnikai architektúrákhoz. 27th Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP) 274–282 (IEEE, 2019). Ben-Shalom, R. és társai NeuroGPU: Gyorsító multi-partition, biofizikailag részletes idegsejtek szimulációk GPU. J. Neurosci. módszerek 366, 109400 (2022). Rempe, M. J. & Chopp, D. L. A reakció-diffúziós egyenletek előrejelző-korrekciós algoritmusa, amely az ágazatos struktúrák neurális aktivitásával társul. SIAM J. Sci. Comput. 28, 2139–2161 (2006). Kozloski, J. és Wagner, J. A nagyméretű idegszövet-szimuláció ultra-skálázható megoldása. Front. Neuroinform. 5, 15 (2011). Jayant, K. és társai. Célzott intracelluláris feszültségrekordok dendritikus gerincekből kvantum-pont bevonatú nanopipettákkal. Nat. Nanotechnol. 12, 335–342 (2017). Palmer, L. M. & Stuart, G. J. Membrán potenciális változások dendritikus csigolyák során akció potenciálok és szinaptikus bemenet. Nishiyama, J. és Yasuda, R. Biokémiai számítás a gerinc szerkezeti plasticitására. Neuron 87, 63–75 (2015). Yuste, R. és Bonhoeffer, T. A dendritikus csigolyák morfológiai változásai a hosszú távú szinaptikus plasticitással összefüggésben. Holtmaat, A. és Svoboda, K. Tapasztalatfüggő szerkezeti szinaptikus plasticitás az emlős agyban. Nat. Rev. Neurosci. 10, 647–658 (2009). Caroni, P., Donato, F. & Muller, D. Strukturális plasticitás a tanulás során: szabályozás és funkciók. Nat. Rev. Neurosci. 13, 478–490 (2012). Keck, T. et al. A neurális áramkörök masszív szerkezetátalakítása a felnőtt vizuális kéreg funkcionális átszervezése során. Nat. Neurosci. 11, 1162 (2008). Hofer, S. B., Mrsic-Flogel, T. D., Bonhoeffer, T. & Hübener, M. A tapasztalat tartós szerkezeti nyomot hagy a kortikális áramkörökben. Trachtenberg, J. T. et al. A tapasztalatfüggő szinaptikus plasticitás hosszú távú in vivo képalkotása a felnőtt kéregben. természet 420, 788–794 (2002). Marik, S. A., Yamahachi, H., McManus, J. N., Szabo, G. & Gilbert, C. D. Az excitáló és gátló neuronok axonális dinamikája a szomatoszenzoros kéregben. PLoS Biol. 8, e1000395 (2010). Xu, T. et al. A szinapszisok gyors kialakulása és szelektív stabilizálása a tartós motoros emlékek érdekében. természet 462, 915–919 (2009). Albarran, E., Raissi, A., Jáidar, O., Shatz, C. J. & Ding, J. B. A motoros tanulás javítása az újonnan kialakult dendritikus csigolyák stabilitásának növelésével a motoros kéregben. Neuron 109, 3298–3311 (2021). Branco, T. & Häusser, M. Szinaptikus integrációs gradiensek egyetlen kortikális piramisos sejt dendritekben. Neuron 69, 885–892 (2011). Major, G., Larkum, M. E. és Schiller, J. A neocortical piramis neuron dendrites aktív tulajdonságai. Annu. Rev. Neurosci. 36, 1–24 (2013). Gidon, A. et al. Dendritikus cselekvési potenciálok és számítás az emberi réteg 2/3 kortikális neuronokban. Science 367, 83–87 (2020). Doron, M., Chindemi, G., Muller, E., Markram, H. & Segev, I. Az időzített szinaptikus gátlás NMDA csúcsokat formál, befolyásolva a helyi dendritikus feldolgozást és a kortikális neuronok globális I/O tulajdonságait. Cell Rep. 21, 1550–1561 (2017). Du, K. et al. A dendritikus plateau potenciál sejttípus-specifikus gátlása a striatális gerincvelő projekciós neuronokban. Proc. Natl Acad. Sci. USA 114, E7612–E7621 (2017). Smith, S. L., Smith, I. T., Branco, T. & Häusser, M. Dendritikus csúcsok fokozzák az in vivo kortikális idegsejtek stimulációs szelektivitását. Nature 503, 115–120 (2013). Xu, N.-l et al. Az érzékszervi és motoros bemenetek nemlineáris dendritikus integrációja aktív érzékelési feladat során. természet 492, 247–251 (2012). Takahashi, N., Oertner, T. G., Hegemann, P. és Larkum, M. E. Az aktív kortikális dendritek modulálják az érzékelést. Tudomány 354, 1587–1590 (2016). Sheffield, M. E. & Dombeck, D. A. A kalcium átmeneti előfordulása a dendritikus fákban előrejelzi a hely mező tulajdonságait. természet 517, 200–204 (2015). Markram, H. et al. A neokortikális mikrocirkuláció rekonstrukciója és szimulációja. Cell 163, 456–492 (2015). Billeh, Y. N. et al. A szerkezeti és funkcionális adatok szisztematikus integrálása az egér elsődleges vizuális kéregének többszintű modelljébe. Neuron 106, 388–403 (2020). Hjorth, J. et al. The microcircuits of striatum in silico. , 202000671 (2020). Proc. Natl Acad. Sci. USA 117 Guerguiev, J., Lillicrap, T. P. & Richards, B. A. Towards deep learning with segregated dendrites. , e22901 (2017). elife 6 Iyer, A. et al. Katasztrófa elkerülése: az aktív dendritek lehetővé teszik a többfeladatos tanulást dinamikus környezetben. Front. Neurorobot. 16, 846219 (2022). Jones, I. S. & Kording, K. P. Lehet, hogy egy egyetlen neuron érdekes gépi tanulási problémákat old meg egymást követő számítások révén dendritikus fáján? Bird, A. D., Jedlicka, P. & Cuntz, H. Dendritikus normalizáció javítja a tanulást a ritkán kapcsolódó mesterséges ideghálózatokban. PLoS Comput. Biol. 17, e1009202 (2021). Goodfellow, I. J., Shlens, J. & Szegedy, C. Ellentétes példák magyarázása és kihasználása a 3. Nemzetközi Konferencián a tanulási képviseletekről (ICLR) (ICLR, 2015). Papernot, N., McDaniel, P. és Goodfellow, I. Áthelyezhetőség a gépi tanulásban: a jelenségektől a fekete doboz támadásokig ellenséges minták használatával. Előnyben a https://arxiv.org/abs/1605.07277 (2016). Lecun, Y., Bottou, L., Bengio, Y. & Haffner, P. A dokumentumfelismerésre alkalmazott gradiens alapú tanulás. Proc. IEEE 86, 2278–2324 (1998). Xiao, H., Rasul, K. & Vollgraf, R. Fashion-MNIST: új képadatkészlet a gépi tanulási algoritmusok összehasonlítására. Előnyben a http://arxiv.org/abs/1708.07747 (2017). Bartunov, S. et al. A biológiailag motivált mélytanulási algoritmusok és architektúrák skálázhatóságának értékelése. in Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (NeurIPS, 2018). Rauber, J., Brendel, W. & Bethge, M. Foolbox: A Python eszköztár, amely összehasonlítja a gépi tanulási modellek robusztusságát. Rauber, J., Zimmermann, R., Bethge, M. & Brendel, W. Foolbox native: gyors ellenséges támadások a PyTorch, TensorFlow és JAX gépi tanulási modelljeinek robusztusságának összehasonlítására J. Open Source Softw. 5, 2607 (2020). Paszke, A. és társai. PyTorch: Egy kötelező stílusú, nagy teljesítményű mélytanulási könyvtár. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (NeurIPS, 2019). He, K., Zhang, X., Ren, S. & Sun, J. Mély maradék tanulás a képfelismeréshez. Proc. 2016 IEEE Konferencia a számítógépes látásról és mintafelismerésről (CVPR) 770–778 (IEEE, 2016). elismerések A Tanács szerzői őszintén köszönetet mondanak Dr. Rita Zhangnak, Daochen Shi-nak és az NVIDIA tagjainak a GPU számítástechnika értékes technikai támogatásáért. Ezt a munkát a Kínai Nemzeti Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2020AAA0130400) támogatta K.D. és T.H., a Kínai Nemzeti Természettudományi Alapítvány (Nr. 6182588102) a T.H., a Kínai Nemzeti Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2022ZD01163005) a L.M., a Guangdong tartományi Kulcsfontosságú Kutatási és Fejlesztési Program (Nr. 2018B030338001) a T.H., a Kín Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt áll rendelkezésre. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt áll rendelkezésre.
