Hersenen MRI's spelen een vitale rol bij het diagnosticeren van ernstige gezondheidsproblemen bij zuigelingen, van tumoren tot neurodegeneratieve ziekten. Het detecteren van abnormale hersenontwikkeling tijdens de kindertijd kan vroege interventies begeleiden die de impact van aandoeningen zoals hersenverlamming kunnen voorkomen of verminderen. Echter, het scannen van dergelijke jonge patiënten draagt risico's, omdat de procedure algemene anesthesie vereist. Onderzoekers van de St. Petersburg State Pediatric Medical University hebben samen met de Yandex School of Data Analysis (SDA) en het Yandex Cloud Center for Technologies and Society een AI-oplossing ontwikkeld voor het beoordelen van de ontwikkeling van de hersenen van zuigelingen via MRI-scans. Mijn naam is Yulia Busygina, en ik ben de projectleider bij Yandex Cloud. Samen met professor Alexander Pozdnyakov zal ik je achter de schermen meenemen - en delen hoe we de AI-oplossing hebben ontworpen, het model hebben getraind en getest om te zien hoe het in real-world scenario's werkt. . GitHub Waarom MRI-scans belangrijk zijn voor baby's Het brein van een baby ontwikkelt zich in een ongelooflijk tempo, verandert bijna week na week tijdens het eerste levensjaar.Maar het gaat niet alleen om groter worden - het brein gaat ook door kritieke processen die collectief bekend staan als hersenontwikkeling. Myelinatie is de vorming van een lipide-rijke schil rond zenuwvezels, die het lipide-inhoud verhoogt en water vermindert.Dit proces begint in de vijfde maand van de foetale ontwikkeling en gaat door met een vol tempo tot ongeveer de leeftijd van twee. Gezonde myelinatie maakt een snelle, betrouwbare communicatie tussen neuronen in de latere jaren mogelijk. Als de hersenen zich langzamer ontwikkelen dan verwacht, kan dit leiden tot ontwikkelingsvertragingen. De menselijke hersenen zijn een complex systeem dat zorgvuldige aandacht vereist vanaf de eerste dagen van het leven. Aandoeningen kunnen optreden als de hersengroei te langzaam of te snel is. Bovendien gaat de complexiteit verder dan de groeisnelheid. In sommige omstandigheden blijft het volume van de hersenen ongewijzigd terwijl de weefseldichtheid verschuilt. Of myelinatie abnormaal langzaam of te snel is (hypermyelinatie), het kan omstandigheden creëren die leiden tot neurologische aandoeningen. — Alexander Pozdnyakov, MD, hoogleraar en hoofd van de afdeling medische biofysica, St. Petersburg State Pediatric Medical University. Dit proces begint in de vijfde maand van de foetale ontwikkeling en duurt op volle snelheid tot ongeveer de leeftijd van twee. Myelination Gezonde myelinatie maakt een snelle, betrouwbare communicatie tussen neuronen mogelijk in de latere jaren.Als de hersenen zich langzamer ontwikkelen dan verwacht, kan dit leiden tot ontwikkelingsvertragingen.De menselijke hersenen zijn een complex systeem dat zorgvuldige aandacht vereist vanaf de eerste dagen van het leven. Bovendien gaat de complexiteit verder dan de groeisnelheid.In sommige omstandigheden blijft het volume van de hersenen ongewijzigd terwijl de weefseldichtheid verandert.Of myelinatie abnormaal langzaam of overmatig snel is (hypermyelinatie), het kan omstandigheden creëren die leiden tot neurologische aandoeningen. — Alexander Pozdnyakov, MD, hoogleraar en hoofd van de afdeling medische biofysica, St. Petersburg State Pediatric Medical University. Baby's met abnormaal trage myelinatie hebben een hoger risico op het ontwikkelen van hersenverlamming. Hersenverlamming is een van de leidende oorzaken van kinderhandicaps die 2-3 van elke 1.000 pasgeborenen treft. Het bewaken van de hersenenrijping in de eerste zes maanden van het leven kan cruciaal zijn voor tijdige interventie. Voor patiënten met risico, kan snel handelen met de juiste therapieën en revalidatie schade voorkomen en celdood stoppen. Sommige patiënten presenteren zich met aandoeningen die slecht begrepen en moeilijk te classificeren zijn, maar zelfs in deze gevallen kunnen we risico's voorspellen en veilig ingrijpen in de ontwikkeling van de hersenen. Dergelijke interventies kunnen medicijnen of hersen-stimulatietechnieken omvatten om de rijping te versnellen wanneer dat nodig is, of het te vertragen tot normale niveaus wanneer het abnormaal snel is. — Alexander Pozdnyakov, MD, hoogleraar en hoofd van de afdeling medische biofysica, St. Petersburg State Pediatric Medical University. Sommige patiënten presenteren zich met aandoeningen die slecht begrepen en moeilijk te classificeren zijn, maar zelfs in deze gevallen kunnen we risico's voorspellen en veilig ingrijpen in de ontwikkeling van de hersenen. Dergelijke interventies kunnen medicijnen of hersen-stimulatietechnieken omvatten om de rijping te versnellen wanneer dat nodig is, of het te vertragen tot normale niveaus wanneer het abnormaal snel is. — Alexander Pozdnyakov, MD, hoogleraar en hoofd van de afdeling medische biofysica, St. Petersburg State Pediatric Medical University. Bij MRI-scans, myelineerde witte materie onderscheidt zich duidelijk uit gebieden waar myelinatie onvolledig is. Bij patiënten jonger dan 12 maanden, echter, het onderscheiden van witte materie van grijze materie is vaak moeilijk. Dit is belangrijk omdat grijze materie vormt de hersenen cortex, de hersenhub voor cognitieve processen. Wanneer radiologen MRI-scans analyseren tijdens dit stadium van hersenontwikkeling, worden ze geconfronteerd met twee belangrijke uitdagingen: Differentiating between white matter and gray matter. Determining the volume of gray matter and white matter. Via de analyse van radiologen kunnen clinici bestuderen hoe zenuwcellen door witte materie naar de cortex bewegen, waardoor de neurale paden van de hersenen worden gecreëerd. Voor baby's wordt een MRI door de behandelende arts alleen besteld wanneer er ernstige klinische indicaties zijn. Deze kunnen geboortegerelateerde zenuwstelselletsel, hersentrauma, aanvallen of vermoedelijke epilepsie omvatten. Omdat patiënten onder de leeftijd van zes jaar algemene anesthesie nodig hebben om stil te blijven tijdens de procedure, worden MRI's alleen uitgevoerd op jonge kinderen wanneer dat echt nodig is. Hier is hoe de procedure meestal verloopt: The medical team places the patient under general anesthesia, positions them in the MRI scanner, and captures the images. The procedure typically takes about 30 minutes but can last up to 40–50 minutes. These images are then processed. A specialist can calculate the volumes of white matter and gray matter using a three-axis formula. Clinical guidelines define the timeframe for this analysis, which can take up to 72 hours in complex cases. Als het een follow-up scan is, duurt de analyse nog langer omdat de gegevens moeten worden geëvalueerd ten opzichte van eerdere resultaten van verschillende tijdstippen. Hoe AI kan helpen Ervaren radiologen kunnen meestal uit de beelden bepalen of het volume van witte materie voldoende is. In eenvoudige gevallen is 30 minuten tot 2 uur beoordeling rechtstreeks op de MRI-console voldoende en is AI niet nodig. De taak wordt veel uitdagender wanneer radiologen verschillende onderzoeken in de loop van de tijd moeten vergelijken. Zelfs een enkele hersenen MRI omvat het beoordelen van meerdere beelden (ten minste 22 stukken). Computervisie kan radiologen helpen door gebieden te markeren waar veranderingen in de contouren van witte materie en grijze materie het meest waarschijnlijk zijn. Dit kan ook dienen als een waardevolle trainingshulp voor junior artsen en bewoners. Speed up the analysis process. Optimize follow-up schedules to ensure scans are performed only as often as needed, avoiding unnecessary anesthesia. Enhance radiologists’ capacity to examine more patients. Op het eerste gezicht lijkt het misschien alsof we de beschikbare open-source datasets en vooraf getrainde modellen eenvoudig kunnen hergebruiken voor dit doel. Immers, soortgelijke problemen zijn al aangepakt met behulp van AI in machine learning wedstrijden.Bijvoorbeeld, de 2019 MICCAI Grand Challenge richtte zich op het segmenteren van MRI-afbeeldingen van baby-hersen onder de zes maanden. Immers, soortgelijke problemen zijn al aangepakt met behulp van AI in machine learning wedstrijden. Ontwikkelaars van over de hele wereld probeerden de uitdaging op te lossen met behulp van de iSeg-2019 dataset. MICCAI grote uitdaging MICCAI grote uitdaging De bestaande dataset ontbrak echter de noodzakelijke annotaties - de segmentatiemaskers die identificeren welke gebieden van een afbeelding overeenkomen met grijze materie of witte materie. de iSeg-2019 dataset bevatte slechts 15 geannoteerde afbeeldingen, terwijl het zesjarige archief van de universiteit MRI-scans van 1500 patiënten bevatte zonder annotaties. Dit betekende dat onze eerste stap was om de gegevens voor te bereiden. Hoe MRI-scans om te zetten in een dataset voor machine learning Het Yandex Cloud-team kwam met een cloud-gebaseerde applicatiearchitectuur, hielp bij het selecteren van de juiste hulpmiddelen en hielp bij het configureren en testen van de uiteindelijke webdienst. Onder leiding van mentor Arseniy Zemerov behandelden studenten van de Yandex School of Data Analysis de kern ML-taken: het kiezen van de neurale netwerkarchitectuur, het uitvoeren van experimenten en het trainen van het model op de geannoteerde gegevens. Hier is een overzicht op hoog niveau van de data pipeline. Laten we eens kijken naar de eerste fase. MRI-scans worden opgeslagen in een beeldarchiverings- en communicatiesysteem (PACS) dat is ontworpen voor het beheren van medische beelden in DICOM-formaat. Dit systeem archiveert en verwerkt geanonimiseerde scans, die de kern vormen van de trainingsdataset van het model. Om dit systeem te implementeren, hebben we een virtuele machine opgesteld in de Yandex Compute Cloud. We hebben geanonimiseerde MRI-studies van kinderen jonger dan 12 maanden uit het archief van de universiteit geüpload, samen met de iSeg-2019 gegevens. Loading the raw data Elke studie is een verzameling van MRI-afbeeldingen die zijn vastgelegd in verschillende modi: T1, T2, FLAIR en DWI. Deze modi benadrukken verschillende weefselkenmerken, waardoor clinici beter kunnen onderscheiden tussen verschillende aandoeningen (voor details, zie Om aan deze vereisten te voldoen, slaat dit systeem extra metagegevens op en behandelt het meerdere MRI-schijven als een enkele, eenvormige studie. Dit artikel Dit artikel Voor patiënten ouder dan een jaar kunnen radiologische hersenbeelden worden geannoteerd met behulp van geautomatiseerde hulpmiddelen zoals de open source 3D Slicer, die de hoeveelheden witte materie en grijze materie berekent. Deze methoden zijn echter niet effectief voor jongere patiënten. Annotating the collected data In eerste instantie plannen we dat deskundige radiologen de ruwe gegevens vanaf het begin zouden annoteren, maar het proces bleek te tijdrovend: een enkele studie met slechts een paar plakjes kan acht uur of meer duren. Om het proces te versnellen, hebben onze ML-specialisten voorgesteld om pre-annotatie uit te voeren met behulp van een open-source model genaamd Baby Intensity-Based Segmentation Network ( Het netwerk is gebaseerd op het nnU-Net framework en is ontworpen om witte materie en grijze materie te identificeren. Bijbelsteen Bijbelsteen Na het beoordelen van de pre-annotatie resultaten, vonden we dat er nog voldoende ruimte was om veel van de metricen te verbeteren. De inferentietijd voor een enkel volume was ongeveer 2,5 minuten. The BIBSNet Docker container was adapted for parallel execution. The container was deployed on 20 virtual machines, each processing data independently. Volgens onze deskundige radiologen waren pre-annotaties nuttig in 40% van de gevallen, en dat alleen hielp de manuele werklast te verminderen.Onze ML-specialisten benchmarkten ook de prestaties van BIBSNet bij het segmenteren van grijze materie (GM) en witte materie (WM) op T1-gewogen (sagittale) en T2-gewogen (axiale) MRI-scans. Als gevolg hiervan hielp pre-annotatie ons om een annotated dataset van ongeveer 750 stukken op te bouwen. Dit was voldoende om machine learning modellen voor segmentatie en detectie te trainen en te evalueren. Voordat we de experimenten uitvoerden, verdeelden we de dataset in trainings- en validatiesets, met behulp van de laatste om onze metricen te controleren. Binnen onze modeltrainingsexperimenten In eerste instantie waren we van plan een meer geavanceerde architectuur te proberen, de Vision Transformer. We realiseren ons echter al snel dat deze architectuur geschikt was voor gezondheidszorgdoeleinden. Dus hebben we gekozen voor een segmenter gebouwd uit twee soorten neurale netwerken: Convolutionele neurale netwerken dienen als functie-extractoren (backbones), die zich goed aanpassen aan taken die verder gaan dan classificatie (zoals segmentatie). Architectuur expliciet ontwikkeld voor medische beeldvorming, met de U-Net als de primaire keuze. Het team van de Yandex School of Data Analysis had als doel een segmentatiemodel te ontwikkelen dat net zo nauwkeurig zou kunnen zijn als BIBSNet, maar een veel snellere inferentietijd zou leveren. Om dit te bereiken voerden de studenten een reeks experimenten uit op de iSeg-2019 dataset.Voor de neurale netwerkarchitectuur onderzochten ze U-Net, U-Net++ en DeepLabV3.Voor de backbones voor functie-extractie testten ze ResNet-50, ResNet-101, ResNeXt-50, ResNeXt-101, en DenseNet-161. Tijdens de experimenten probeerde het team verschillende benaderingen: Training purely on target slices (2D): We trained a 2D segmentation model exclusively on manually annotated slices (the initial 30 studies). However, the small amount of training data limited the model's capacity to generalize. Training on combined iSeg-2019 and target data (3D): The model was trained on a combined dataset that included the fully annotated iSeg-2019 data and our target data. For slices in the target studies without annotations, we applied a mask that zeroed out their contribution to the loss function. This ensured that only annotated slices from the target data were used, preventing errors during training. Wat we ontdekten Hier is wat onze experimenten met verschillende kenmerken extractie ruggengraat tonen: Experimenten met de netwerkarchitectuur: Het beste experiment was het trainen van een U-Net met een ResNeXt50 ruggengraat met behulp van de DiceLoss-functie. Hier is hoe het model werkt op de validatie set.Oorspronkelijke studie van de validatie set: Voorbeeld output uit het algoritme De definitieve metrics: iou void iou GM iou WM iou mean unet_resnext50_32x4d_dice_1 0.981 0.629 0.501 0.703 unet_resnext50_32x4d_dice_1 0.981 0.629 0.501 0.703 De inferentiesnelheid van het getrainde neurale netwerk dat op een CPU draait, is ongeveer 3 seconden. Hoe het momenteel werkt Onze oplossing , , werd ontworpen als een webdienst voor radiologen die MRI-scans uitvoeren op baby's. Ze kunnen de verworven bestanden direct na de procedure naar de dienst uploaden. Het systeem anonimisert de geüpload gegevens, waardoor alle persoonlijk identificeerbare informatie, zoals de naam van de patiënt, uit de records wordt verwijderd. Nu beschikbaar op GitHub De oplossing identificeert automatisch grijze materie- en witte materie-gebieden op elke MRI-schijf, waardoor voorspellingen met vertrouwenspunten worden geleverd. De service is voornamelijk morfometrisch, wat betekent dat het weefselvolumes meet.Zodra de verwerking is voltooid, zien gebruikers de modelvoorspelde volumes van grijze materie, witte materie en cerebrospinale vloeistof, samen met beschrijvingen van de grootste structuren. Uit de samenvattingstabel kunt u een specifieke studie selecteren om de scan te bekijken met de witte materie en grijze materie maskers toegepast. Our experiments show an accuracy of over 90%. We expect this figure to improve as we expand the dataset and continue fine-tuning the model, which was initially trained on limited data. Onze volgende stap is om de GM-to-WM-verhouding te berekenen, die klinici met diepere inzichten kan bieden. Het neurale netwerk is getest aan de St. Petersburg State Pediatric Medical University en de onderzoekers zijn klaar om hun bevindingen te delen met andere medische instellingen. Zodra de tests zijn voltooid, zijn we van plan om de oplossing als open source vrij te geven voor gebruik in medische instellingen en onderzoeksprojecten over de hele wereld. De oplossing heeft ook aanzienlijk wetenschappelijk potentieel. Omdat de hersengevolgen van zuigelingen niet eerder op schaal werden gemeten, hebben geen fundamenteel onderzoek nog veranderingen in hersengevolgen onderzocht in grote cohorten. Voor verschillende aandoeningen en pathologieën kan dit onderzoek helpen de normen voor medische zorg te verfijnen.
