Optimaliseren van de efficiëntie van datacenters: een diepgaande duik in freecooling-technieken

In het vorige artikel bespraken we de snelle uitbreiding van datacenterinfrastructuur en de toename van het elektriciteitsverbruik die dit tot gevolg had. Omdat servers elektriciteit omzetten in warmte tijdens de werking, wordt het beheren van hoge temperaturen en het koelen van zowel de datacenterfaciliteiten als de apparatuur een probleem nummer 1 voor de DC-teams.

Hoewel traditionele koelmethoden, waaronder airconditioners en chillers, datacenterruimtes en servers effectief koelen, blijft hun kostbaarheid een belangrijk nadeel. Vrije koeling vereist in tegenstelling tot traditionele methoden geen substantiële investeringen, maar biedt hetzelfde niveau van efficiëntie en betrouwbaarheid. In dit artikel zal ik een gedetailleerd overzicht geven van vrije koeltechnologie, waarbij ik de voordelen, beperkingen en de vereisten voor succesvolle implementatie belicht.

Fysica van vrije koeling

Om de natuurkunde achter vrije koeling te begrijpen, moeten we de warmte-energieformule nog eens bekijken:

Q = mcΔT

Hierbij staat 'Q' voor de hoeveelheid gewonnen of verloren warmte, 'm' voor de massa van het monster (in ons geval de massa van de lucht in het datacentrum), 'c' voor de specifieke warmtecapaciteit van de lucht en ΔT voor het temperatuurverschil.

In een datacenter is de primaire warmtebron de CPU. Meestal zijn er 2 tot 4 CPU's, die elk op ongeveer 200 watt werken. Zoals eerder besproken, wordt alle elektrische energie die door de CPU's wordt verbruikt, omgezet in warmte. Daarom genereren we met 2 CPU's bijvoorbeeld 400 watt aan warmte die moet worden afgevoerd. Nu is ons doel om de hoeveelheid lucht te bepalen die hiervoor nodig is.

De parameter ΔT, of temperatuurverschil, geeft aan dat hoe lager de buitentemperatuur, hoe minder luchtmassa nodig is om de CPU's te koelen. Als de inlaatluchttemperatuur bijvoorbeeld 0°C is en de uitlaattemperatuur 35°C, zou ΔT slechts 35 zijn, wat duidt op een vrij lagere behoefte aan luchtmassa. Tijdens het zomerseizoen wordt koeling echter een grotere uitdaging vanwege de stijgende omgevingstemperaturen. Hoe hoger de buitentemperatuur, hoe meer lucht nodig is om de servers te koelen.

Temperatuurbeperkingen voor server- en netwerkcomponenten

Hoewel free cooling efficiënt kan zijn voor gematigde en koude klimaten, kent het nog steeds beperkingen vanwege temperatuurbeperkingen op servercomponenten. Kritieke componenten in IT- en netwerkapparatuur, zoals processors, RAM, HDD's, SSD's en NVMe-schijven, hebben operationele temperatuurvereisten:

• Processoren: max 89°C
• RAM: max 75°C
• HDD's: max 50°C
• SSD's en NVMe-schijven: max. 47-48°C

Deze beperkingen hebben direct invloed op de geschiktheid van buitenluchttemperaturen voor koeling. Gratis koeling zou niet haalbaar zijn in regio's waar de buitentemperaturen deze drempels overschrijden of er zelfs maar dichtbij komen, omdat het het systeem kan beschadigen door oververhitting. Regionale beperkingen

Zoals we al hebben uitgelegd, moeten de buitentemperaturen consistent lager blijven dan de maximale operationele temperaturen van de IT-apparatuur om free cooling effectief te laten zijn. Dit vereist zorgvuldige overweging van de klimaatomstandigheden van de DC-locatie. Organisaties moeten langetermijnweersvoorspellingen analyseren om ervoor te zorgen dat de temperaturen de vereiste drempels niet overschrijden, zelfs niet op specifieke dagen of uren. Bovendien, gezien de lange levensduur van datacenters (meestal 10-15 jaar), moeten de effecten van de opwarming van de aarde ook worden meegenomen in locatiebeslissingen.

Vereisten voor serverknooppuntarchitectuur

In de context van fysica is het bereiken van efficiënte koeling in servers afhankelijk van het verzekeren van een ruime luchtstroom door het systeem. De architectuur van de server speelt een belangrijke rol in dit proces.

Servers die niet over de juiste ontwerpkenmerken beschikken, zoals perforaties of openingen, kunnen daarentegen de luchtstroom belemmeren, waardoor de algehele efficiëntie van het vrije koelmechanisme in gevaar kan komen.

Vochtigheidsregeling

De luchtvochtigheid is een andere kritische overweging als het gaat om free cooling. Omdat we geen controle hebben over externe luchtvochtigheidsomstandigheden, rijzen er twee pertinente vragen: ten eerste, het aanpakken van luchtvochtigheidsniveaus die 100% naderen of overschrijden in het datacenter (DC); ten tweede, het aanpakken van scenario's met zeer lage luchtvochtigheid, zoals tijdens een ijzige dag in februari met een buitentemperatuur van -30°C en een relatieve luchtvochtigheid variërend van 2% tot 5%. Laten we deze situaties systematisch onderzoeken.

Bij een hoge luchtvochtigheid is er een algemene zorg over het mogelijke optreden van condensatie en de nadelige effecten daarvan op de functionaliteit van de apparatuur. In tegenstelling tot deze zorg wordt condensatie binnen de herkoelzones van de DC, waar het koelproces plaatsvindt, voorkomen. Dit komt door het principe dat condensatie plaatsvindt wanneer warme, vochtige lucht in contact komt met koudere oppervlakken. Binnen het vrije koelsysteem van de DC is echter geen enkel element kouder dan de omringende lucht. Bijgevolg wordt condensatie inherent belemmerd, waardoor de noodzaak voor proactieve maatregelen vervalt.

Aan de andere kant, bij lage luchtvochtigheid verschuift de angst naar het genereren van statische elektriciteit, wat een bedreiging vormt voor de stabiliteit van de apparatuur. Dit probleem is niet gerelateerd aan condensatie, maar vereist een specifieke oplossing. Mitigatie omvat aardingsprocedures en het aanbrengen van een gespecialiseerde vloercoating. Deze maatregelen sluiten aan bij gevestigde methoden voor het beschermen van interne apparatuur tegen statische elektriciteit. Door constructie-elementen, rekken en IT-apparatuur te aarden, wordt een statische lading onschadelijk afgevoerd naar de grond, waardoor de integriteit van de apparatuur behouden blijft.

In het natuurlijke klimaat zijn gevallen van extreem hoge of lage luchtvochtigheid zeldzaam. Opmerkelijke uitzonderingen zijn zeldzame gebeurtenissen zoals een onweersbui die in juli een luchtvochtigheid van 100% bereikt of een strenge vorst die een zeer lage luchtvochtigheid veroorzaakt. De meeste tijd blijven de luchtvochtigheidsniveaus echter ruim binnen acceptabele bereiken die geen schade aan de apparatuur toebrengen, zelfs bij afwezigheid van actieve interventies.

Luchthoeveelheid en snelheid

Zoals we al hebben besproken, hebben we voor effectieve koeling een substantieel volume aan buitenlucht nodig. Tegelijkertijd ontstaat er een schijnbaar tegenintuïtieve vereiste: het handhaven van een lage luchtstroom binnen het gebouw. Deze schijnbare paradox is geworteld in de uitdagingen die worden gesteld door snelle luchtstromen die binnenin circuleren.

Om het te vereenvoudigen, stel je hoge luchtsnelheid voor als een robuuste stroom uit een buis, die wervelingen en turbulentie rond de IT-apparatuur creëert. Deze turbulentie leidt mogelijk tot onregelmatige luchtbewegingen en plaatselijke oververhitting. Om dit aan te pakken, streven we strategisch naar een algehele lage luchtsnelheid van 1-2 meter per seconde in de hele ruimte.

Door deze gecontroleerde luchtsnelheid te handhaven, kunnen we turbulentie elimineren. Een hogere snelheid zou onregelmatigheden in de luchtbeweging riskeren. Door ons aan het bereik van 1-2 meter per seconde te houden, bevorderen we een soepele, uniforme luchtstroom, waardoor plaatselijke oververhitting wordt vermeden. Deze delicate balans zorgt voor optimale koeling van IT-apparatuur door valkuilen te omzeilen die gepaard gaan met snelle luchtstromen.

Zoals te zien is, draait de free cooling-aanpak om het efficiënte gebruik van externe lucht, terwijl prioriteit wordt gegeven aan een gecontroleerde lage interne luchtsnelheid. Deze bewuste strategie helpt een laminaire en uniforme luchtstroom te behouden, wat de effectiviteit van IT-apparatuurkoeling garandeert.

Bouwconcept

In het free cooling paradigma worden traditionele luchtkanalen niet gebruikt binnen de structuur van het gebouw. In tegenstelling tot conventionele opstellingen met aangewezen luchtkanalen in muren, plafonds of specifieke gebieden, hanteren dataverwerkingscentra een onconventionele aanpak. Het gebouw zelf is opgevat als een luchtkanaal, waardoor traditionele airconditioningunits overbodig worden. De enorme omvang van deze luchtkanalen transformeert ze tot integrale componenten van kamers en vloeren.

Het luchtstroomproces start wanneer buitenlucht het gebouw binnenkomt en door twee typen filters gaat: grove filters en fijne filters. Zodra de lucht het reinigingsproces ondergaat, wordt deze door ventilatoren in uitgestrekte gebouwvolumes gestuwd, ongeveer gelijk aan vier verdiepingen hoog. Dit substantiële volume dient zijn eigen doel: de luchtstroom vertragen en de snelheid ervan terugbrengen tot het vereiste bereik van 1-2 meter per seconde. Vervolgens daalt de lucht naar de machinekamer.

Na het passeren van de machinekamer vervolgt de lucht zijn reis door IT-rekken, en komt zo in het hete gangpad terecht. Van daaruit komt het in de heteluchtcollector voordat het via afzuigventilatoren naar buiten wordt afgevoerd. Dit gestructureerde luchtstroompad zorgt voor een efficiënt koelproces terwijl de luchtsnelheid wordt gecontroleerd.

Luchtsnelheid en volume

De bewuste ontwerpkeuze om uitgestrekte bouwvolumes te gebruiken, dient een dubbel doel. Ten eerste zorgt het voor een geleidelijke vermindering van de luchtsnelheid, waardoor de luchtstroom de gewenste snelheid van 1-2 meter per seconde bereikt. Deze gecontroleerde luchtsnelheid is essentieel om turbulentie te voorkomen en een laminaire stroming te behouden, wat vooral belangrijk is als de lucht door gevoelige IT-apparatuur stroomt. Ten tweede biedt het aanzienlijke volume plaats aan het benodigde luchtvolume om de gegenereerde warmte efficiënt af te voeren. De gesynchroniseerde wisselwerking van luchtsnelheid en volume draagt bij aan het algehele succes van het systeem.

Differentiële druk als enige managementdriver

In een free cooling-opstelling hebben we geen controle over de externe luchttemperatuur, wat leidt tot variaties in de luchttemperatuur die het datacenter (DC) binnenkomt. Desondanks is het essentieel om de vereiste luchtstroom voor apparatuurkoeling te schatten. Om dit aan te pakken, vertrouwen we op de methode van drukverschil.

In elk IT-rack werken servers met interne ventilatoren op verschillende snelheden, waardoor er gezamenlijk een drukverschil ontstaat tussen de voor- en achterkant van het rack. Met talloze servers, die elk bijdragen aan de algehele luchtstroom, bouwt dit drukverschil zich geleidelijk op tussen de koude en warme gangpaden. Met behulp van druksensoren in beide gangpaden en buiten het DC-gebouw kunnen we dit drukverschil meten.

De berekening omvat het aftrekken van de druksensorgegevens in het warme gangpad van de atmosferische druk en het aftrekken van de druksensorgegevens in het koude gangpad van de atmosferische druk. Dus zoals in het onderstaande voorbeeld:

Voorbeeld uit de praktijk

De resulterende waarden helpen ons vervolgens bij het bepalen van de benodigde luchttoevoer naar de DC en de benodigde uitlaat om de werking van de serverventilatoren te compenseren. Simpel gezegd, we meten onze luchtstroombehoeften op basis van de drukverschillen, waardoor we het koelproces binnen de DC efficiënt kunnen beheren.

Verwarmings- en mengkamer

De traditionele verwarmingssystemen worden meestal niet geïmplementeerd in datacenters met gratis koeling. Het gebruik van water wordt als irrationeel beschouwd vanwege de kosten en mogelijke risico's voor apparatuur. Dit vormt een uitdaging bij extreme kou, waarbij temperaturen van -20-30 graden buiten worden bereikt. Hoewel de apparatuur hier goed mee omgaat, zoeken technici naar een mildere aanpak. De meest elegante en logische oplossing hier is het hergebruiken van warme lucht die wordt gegenereerd door IT-apparatuur. Door de warme lucht van servers naar een mengkamer te leiden en een deel ervan terug te voeren naar de hoofdluchtstroom, houdt het systeem de ruimte warm in de winter en bespaart het kosten op verwarming.

Eenvoud en betrouwbaarheid

Een belangrijke these in de betrouwbaarheidstheorie beweert dat eenvoud betrouwbaarheid voortbrengt. Dit geldt voor het free cooling-systeem, dat een opmerkelijk eenvoudig concept is. Het systeem functioneert als een barricade, die lucht van buitenaf door filters leidt, door IT-apparatuur laat gaan en het vervolgens gewoon weer uitblaast.

De afwezigheid van complexe systemen verbetert de betrouwbaarheid, waarbij alleen ventilatoren een kwetsbaarheid vormen bij warm weer. De free-cooling-aanpak is een voorbeeld van radicale systeemvereenvoudiging, waarbij de betrouwbaarheid aanzienlijk wordt verbeterd door het aantal elementen te verminderen.

DC-ventilatoren versus serverventilatoren

De hiërarchische autoriteit van de fans is een andere fundamentele vraag in de dynamiek van de luchtstroom binnen DC's. Zoals we hebben besproken, zijn er grootschalige fans op DC-niveau en die op serverniveau. De vraag is: leveren de datacenterfans alleen lucht, waardoor de serverfans zoveel kunnen verbruiken als nodig is? Of komt de vraag voort uit de serverfans, waardoor de DC-fans gedwongen worden om aan hun eisen te voldoen?

Het mechanisme is als volgt: de serverfans spelen een dominante rol in dit proces, door de benodigde luchtstroom te bepalen. Vervolgens reageren de DC-fans door het vereiste volume lucht te leveren. Het wordt duidelijk dat als de cumulatieve vraag van alle servers de leveringscapaciteit van de DC-fan overschrijdt, dit kan leiden tot potentiële oververhitting.

Het antwoord is dus dat serverfans de voorrang hebben in deze dynamiek. Ze orkestreren de luchtstroom en specificeren de benodigde hoeveelheid lucht.

Efficiëntie en PUE-berekening

Om de efficiëntie van een DC-project te evalueren, wordt traditioneel de berekening van Power Usage Effectiveness (PUE) gebruikt. De formule voor PUE is de verhouding van Total Facility Power tot IT Equipment Power:

PUE = Totaal vermogen van de faciliteit / Vermogen van IT-apparatuur

Idealiter is het gelijk aan 1, wat betekent dat alle energie naar IT-apparatuur wordt geleid zonder verspilling. Het bereiken van dit perfecte scenario is echter zeldzaam in real-world projecten.

Een ander probleem ontstaat wanneer we proberen een duidelijke methodologie te ontwikkelen voor het berekenen van Power Usage Effectiveness (PUE). Zo beschikken we bijvoorbeeld in ons systeem over een metriek die het directe stroomverbruik in watt aangeeft, waardoor het mogelijk is om PUE in realtime te berekenen.

Bovendien kunnen we een gemiddelde PUE over een jaarlijkse periode afleiden, wat een uitgebreidere beoordeling biedt met betrekking tot seizoensfluctuaties. Dit is met name relevant gezien de ongelijkheid in energieverbruik tussen seizoenen; bijvoorbeeld de ongelijkheid in koelvereisten tussen zomer- en wintermaanden. Dit betekent dat als we een betrouwbaardere evaluatie willen, we prioriteit moeten geven aan een jaarlijks gemiddelde dat een evenwichtigere en uitgebreidere beoordeling biedt.

Het is ook belangrijk om PUE niet alleen in termen van energie te onderzoeken, maar ook in monetaire eenheden, en zo de seizoensgebonden schommelingen van elektriciteitsprijzen te incorporeren. Het evalueren van PUE in monetaire termen geeft een holistischer perspectief op operationele efficiëntie.

Bovendien onthult deze aanpak mogelijkheden om een PUE-waarde van minder dan 1 te bereiken wanneer gemeten in dollars. Het wordt bijvoorbeeld mogelijk wanneer we restwarmte gebruiken voor het verwarmen van water en deze verder verkopen aan de nabijgelegen steden. Opmerkelijke voorbeelden, zoals het datacenter van Google in de VS en de faciliteit van Yandex in Finland, tonen de levensvatbaarheid van dergelijke praktijken aan, met name in regio's die worden gekenmerkt door hoge energiekosten.

Efficiëntie versus betrouwbaarheid

Zorgen over het verlagen van kosten en het verhogen van efficiëntie roepen vaak vragen op over mogelijke negatieve effecten op betrouwbaarheid. Ik wil echter benadrukken dat bij free cooling het nastreven van efficiëntie de betrouwbaarheid niet in gevaar brengt. In plaats daarvan kunnen de technologische bijwerkingen de efficiëntie zelfs verbeteren. Zoals we al hebben besproken, wordt het omleiden van overtollige warmte naar warmtepompen voor extra voordelen, zoals het genereren van warm water voor nabijgelegen steden, bijvoorbeeld een financieel voordelige praktijk zonder dat dit ten koste gaat van de betrouwbaarheid.

Toekomst van vrije koeling

Ondanks alle voordelen die free cooling biedt, wordt de datacenterindustrie nog steeds aangestuurd door een conservatieve benadering en eist bewezen betrouwbaarheid, met een neiging om innovatieve oplossingen te weerstaan. Het vertrouwen op certificeringen van instanties zoals de Uptime Instituut Marketing vormt een ander obstakel voor gratis koeloplossingen, omdat deze geen erkende certificering hebben. Hierdoor staan commerciële aanbieders er sceptisch tegenover.

Toch is er een trend onder corporate hyperscalers om free cooling te adopteren als de belangrijkste oplossing voor hun DC's. Nu steeds meer bedrijven de kosteneffectiviteit en operationele voordelen van deze technologie erkennen, verwachten we dat er in de komende 10-20 jaar meer corporate free cooling datacenters zullen verschijnen.