Optymalizacja wydajności centrum danych: dogłębne spojrzenie na techniki freecoolingu

W poprzednim artykule omówiliśmy szybką ekspansję infrastruktury centrów danych i wzrost zużycia energii elektrycznej, który się z tym wiąże. Ponieważ serwery zamieniają energię elektryczną na ciepło podczas pracy, zarządzanie wysokimi temperaturami i chłodzenie zarówno obiektów, jak i sprzętu w centrach danych staje się problemem numer 1 dla zespołów DC.

Podczas gdy tradycyjne metody chłodzenia, w tym klimatyzatory i agregaty chłodnicze, skutecznie chłodzą pomieszczenia centrów danych i serwery, ich kosztowność pozostaje znaczącą wadą. Chłodzenie swobodne w przeciwieństwie do tradycyjnych metod nie wymaga znacznych inwestycji, ale oferuje ten sam poziom wydajności i niezawodności. W tym artykule przedstawię szczegółowy przegląd technologii chłodzenia swobodnego, podkreślając jej zalety, ograniczenia i wymagania dotyczące pomyślnej implementacji.

Fizyka chłodzenia swobodnego

Aby zrozumieć fizykę stojącą za swobodnym chłodzeniem, musimy przypomnieć sobie wzór na energię cieplną:

Q = mcΔT

Tutaj „Q” oznacza ilość ciepła uzyskanego lub utraconego, „m” oznacza masę próbki (w naszym przypadku masę powietrza w centrum danych), „c” oznacza ciepło właściwe powietrza, a ΔT oznacza różnicę temperatur.

W centrum danych głównym źródłem ciepła jest procesor. Zazwyczaj jest 2 do 4 procesorów, każdy pracujący z mocą około 200 watów. Jak wspomniano wcześniej, cała energia elektryczna zużywana przez procesory jest zamieniana na ciepło. Dlatego przy 2 procesorach generujemy na przykład 400 watów ciepła, które należy rozproszyć. Teraz naszym celem jest określenie ilości powietrza potrzebnej do tego celu.

Parametr ΔT, czyli różnica temperatur, wskazuje, że im niższa temperatura powietrza na zewnątrz, tym mniejsza masa powietrza jest potrzebna do chłodzenia procesorów. Na przykład, jeśli temperatura powietrza na wlocie wynosi 0°C, a temperatura na wylocie 35°C, ΔT będzie wynosić tylko 35, co oznacza raczej niższe zapotrzebowanie na masę powietrza. Jednak w sezonie letnim chłodzenie staje się trudniejsze ze względu na rosnące temperatury otoczenia. Im wyższa temperatura na zewnątrz, tym większa ilość powietrza będzie potrzebna do chłodzenia serwerów.

Ograniczenia temperaturowe komponentów serwera i sieci

Chociaż chłodzenie swobodne może być wydajne w umiarkowanych i zimnych klimatach, nadal ma ograniczenia ze względu na ograniczenia temperaturowe komponentów serwera. Krytyczne komponenty w sprzęcie IT i sieciowym, takie jak procesory, pamięć RAM, dyski twarde, dyski SSD i dyski NVMe, mają wymagania dotyczące temperatury roboczej:

• Procesory: maks. 89°C
• RAM: maks. 75°C
• Dysk twardy: maks. 50°C
• Dyski SSD i NVMe: maks. 47-48°C

Ograniczenia te bezpośrednio wpływają na przydatność temperatur powietrza zewnętrznego do chłodzenia. Chłodzenie swobodne nie byłoby wykonalne w regionach, w których temperatury zewnętrzne przekraczają te progi lub nawet się do nich zbliżają, ponieważ mogłoby uszkodzić system z powodu przegrzania. Ograniczenia regionalne

Jak już wyjaśniliśmy, temperatury zewnętrzne muszą być stale niższe niż maksymalne temperatury robocze sprzętu IT, aby chłodzenie swobodne było skuteczne. Wymaga to starannego rozważenia warunków klimatycznych w lokalizacji DC. Organizacje muszą analizować długoterminowe prognozy pogody, aby upewnić się, że temperatury nie przekroczą wymaganych progów, nawet w określone dni lub godziny. Ponadto, biorąc pod uwagę długi okres eksploatacji centrów danych (zwykle 10–15 lat), skutki globalnego ocieplenia powinny być również uwzględniane w decyzjach dotyczących lokalizacji.

Wymagania architektury węzła serwera

W kontekście fizyki, osiągnięcie wydajnego chłodzenia w serwerach polega na zapewnieniu odpowiedniego przepływu powietrza przez system. Architektura serwera odgrywa ważną rolę w tym procesie.

Z kolei serwery pozbawione odpowiednich cech konstrukcyjnych, takich jak perforacje czy otwory, mogą utrudniać przepływ powietrza, co potencjalnie może wpłynąć na ogólną wydajność mechanizmu chłodzenia swobodnego.

Kontrola wilgotności

Poziom wilgotności to kolejny krytyczny czynnik, jeśli chodzi o chłodzenie swobodne. Ponieważ nie mamy kontroli nad warunkami wilgotności zewnętrznej, pojawiają się dwa istotne pytania: po pierwsze, zajęcie się poziomami wilgotności zbliżającymi się do lub przekraczającymi 100% w centrum danych (DC); po drugie, zajęcie się scenariuszami bardzo niskiej wilgotności powietrza, takimi jak mroźny lutowy dzień z temperaturą zewnętrzną -30°C i wilgotnością względną od 2% do 5%. Przeanalizujmy te sytuacje systematycznie.

W warunkach podwyższonej wilgotności powszechnie obawia się potencjalnego wystąpienia kondensacji i jej negatywnego wpływu na funkcjonalność sprzętu. Wbrew temu zaniepokojeniu, w strefach schładzania DC, gdzie zachodzi proces chłodzenia, kondensacja jest wykluczona. Wynika to z zasady, że kondensacja zachodzi, gdy ciepłe, wilgotne powietrze styka się z zimniejszymi powierzchniami. Jednak w systemie chłodzenia swobodnego DC żaden element nie jest zimniejszy niż otaczające powietrze. W związku z tym kondensacja jest z natury utrudniona, co eliminuje potrzebę podejmowania środków zapobiegawczych.

Z drugiej strony, w przypadku niskiej wilgotności obawy przesuwają się w kierunku generowania elektryczności statycznej, stanowiącej zagrożenie dla stabilności sprzętu. Problem ten nie jest związany z kondensacją, ale wymaga odrębnego rozwiązania. Łagodzenie obejmuje procedury uziemienia i zastosowanie specjalistycznej powłoki podłogowej. Środki te są zgodne z ustalonymi metodami ochrony wewnętrznego sprzętu przed elektrycznością statyczną. Poprzez uziemienie elementów konstrukcyjnych, szaf i sprzętu IT ładunek statyczny jest bezpiecznie odprowadzany do ziemi, zachowując integralność sprzętu.

W naturalnym klimacie przypadki ekstremalnie wysokiej lub niskiej wilgotności zdarzają się rzadko. Godne uwagi wyjątki obejmują rzadkie zdarzenia, takie jak burza osiągająca 100% wilgotności w lipcu lub silny mróz powodujący bardzo niską wilgotność. Jednak przez większość czasu poziom wilgotności pozostaje w dopuszczalnych zakresach, które nie powodują żadnych szkód dla sprzętu, nawet przy braku aktywnych interwencji.

Ilość i prędkość powietrza

Jak już omawialiśmy, aby ułatwić skuteczne chłodzenie, potrzebujemy znacznej objętości powietrza zewnętrznego. Jednocześnie pojawia się pozornie sprzeczny z intuicją wymóg – utrzymanie niskiego przepływu powietrza w budynku. Ten pozorny paradoks ma swoje korzenie w wyzwaniach stawianych przez szybkie prądy powietrza krążące wewnątrz.

Aby uprościć, wyobraź sobie wysoką prędkość powietrza jako silny strumień z rury, tworzący zawirowania i turbulencje wokół sprzętu IT. Te turbulencje potencjalnie prowadzą do nieregularnych ruchów powietrza i lokalnego przegrzania. Aby temu zaradzić, strategicznie dążymy do ogólnej niskiej prędkości powietrza wynoszącej 1-2 metrów na sekundę w całej przestrzeni.

Utrzymanie tej kontrolowanej prędkości powietrza pozwala nam wyeliminować turbulencje. Większa prędkość groziłaby nieregularnościami w ruchu powietrza. Przestrzegając zakresu 1-2 metrów na sekundę, sprzyjamy płynnemu, równomiernemu przepływowi powietrza, unikając lokalnego przegrzania. Ta delikatna równowaga zapewnia optymalne chłodzenie sprzętu IT, omijając pułapki związane z prądami powietrza o dużej prędkości.

Jak widać, podejście do chłodzenia swobodnego opiera się na efektywnym wykorzystaniu powietrza zewnętrznego, a jednocześnie priorytetowo traktuje kontrolowaną niską prędkość powietrza wewnętrznego. Ta przemyślana strategia pomaga utrzymać laminarny i jednolity przepływ powietrza, zapewniając skuteczność chłodzenia sprzętu IT.

Koncepcja budynku

W paradygmacie chłodzenia swobodnego tradycyjne kanały powietrzne nie są stosowane w strukturze budynku. W przeciwieństwie do konwencjonalnych konfiguracji z wyznaczonymi kanałami powietrznymi w ścianach, sufitach lub określonych obszarach, centra przetwarzania danych przyjmują niekonwencjonalne podejście. Sam budynek jest pomyślany jako kanał powietrzny, co sprawia, że tradycyjne jednostki klimatyzacyjne stają się przestarzałe. Ogromna skala tych kanałów powietrznych przekształca je w integralne komponenty pomieszczeń i podłóg.

Proces przepływu powietrza rozpoczyna się, gdy powietrze zewnętrzne dostaje się do budynku, przechodząc przez dwa rodzaje filtrów – filtry grube i filtry drobne. Po przejściu procesu czyszczenia powietrze jest wtłaczane przez wentylatory do rozległych objętości budynku, odpowiadających mniej więcej czterem piętrom wysokości. Ta znaczna objętość spełnia swoje zadanie: spowalnia przepływ powietrza, zmniejszając jego prędkość do wymaganego zakresu 1-2 metrów na sekundę. Następnie powietrze opada do maszynowni.

Po przejściu przez maszynownię powietrze kontynuuje swoją podróż przez szafy IT, przechodząc do gorącego korytarza. Stamtąd wchodzi do kolektora gorącego powietrza, zanim zostanie wyrzucone na zewnątrz przez wentylatory wyciągowe. Ta strukturalna ścieżka przepływu powietrza zapewnia wydajny proces chłodzenia przy jednoczesnym utrzymaniu kontrolowanej prędkości powietrza.

Prędkość i objętość powietrza

Celowy wybór projektu polegający na wykorzystaniu rozległych brył budynku ma podwójne zastosowanie. Przede wszystkim umożliwia stopniową redukcję prędkości powietrza, zapewniając, że przepływ powietrza osiągnie pożądaną prędkość 1-2 metrów na sekundę. Ta kontrolowana prędkość powietrza jest niezbędna, aby zapobiec turbulencjom i utrzymać przepływ laminarny, co jest szczególnie ważne, gdy powietrze przechodzi przez wrażliwy sprzęt IT. Po drugie, znaczna objętość mieści niezbędną objętość powietrza, aby skutecznie rozproszyć wytworzone ciepło. Zsynchronizowana interakcja prędkości powietrza i objętości przyczynia się do ogólnego sukcesu systemu.

Różnica ciśnień jako jedyny czynnik zarządzania

W konfiguracji chłodzenia swobodnego nie mamy kontroli nad temperaturą powietrza zewnętrznego, co prowadzi do wahań temperatury powietrza wchodzącego do Data Center (DC). Mimo to oszacowanie wymaganego przepływu powietrza do chłodzenia sprzętu jest niezbędne. Aby to rozwiązać, polegamy na metodzie różnicy ciśnień.

Wewnątrz każdej szafy IT serwery z wewnętrznymi wentylatorami pracują z różnymi prędkościami, tworząc wspólnie różnicę ciśnień między przednią i tylną częścią szafy. Przy wielu serwerach, z których każdy przyczynia się do ogólnego przepływu powietrza, ta różnica ciśnień stopniowo narasta między zimnymi i gorącymi korytarzami. Używając czujników ciśnienia w obu korytarzach i na zewnątrz budynku DC, możemy zmierzyć tę różnicę ciśnień.

Obliczenia obejmują odjęcie danych czujnika ciśnienia w gorącym przejściu od ciśnienia atmosferycznego i odjęcie danych czujnika ciśnienia w zimnym przejściu od ciśnienia atmosferycznego. Tak jak w poniższym przykładzie:

Przykład ze świata rzeczywistego

Otrzymane wartości pomagają nam następnie określić niezbędne dopływy powietrza do DC i wymagany wydech, aby zrównoważyć działanie wentylatorów serwera. Mówiąc prościej, mierzymy nasze potrzeby przepływu powietrza na podstawie różnic ciśnień, co pozwala nam efektywnie zarządzać procesem chłodzenia w DC.

Komora grzewczo-mieszająca

Tradycyjne systemy ogrzewania zazwyczaj nie są wdrażane w centrach danych z chłodzeniem swobodnym. Używanie wody jest uważane za nieracjonalne ze względu na koszty i potencjalne ryzyko dla sprzętu. Stanowi to wyzwanie podczas ekstremalnych mrozów, sięgających -20–30 stopni na zewnątrz. Podczas gdy sprzęt radzi sobie z tym dobrze, inżynierowie szukają łagodniejszego podejścia. Najbardziej eleganckim i logicznym rozwiązaniem jest tutaj ponowne wykorzystanie gorącego powietrza generowanego przez sprzęt IT. Kierując gorące powietrze z serwerów do komory mieszającej i zwracając jego część do głównego strumienia powietrza, system utrzymuje ciepło w pomieszczeniach zimą i pozwala zaoszczędzić na kosztach ogrzewania.

Prostota i niezawodność

Kluczowa teza w teorii niezawodności głosi, że prostota rodzi niezawodność. Dotyczy to systemu chłodzenia swobodnego, który jest niezwykle prostą koncepcją. System działa jak barykada, przepuszczając powietrze z zewnątrz przez filtry, przepuszczając je przez sprzęt IT, a następnie po prostu wypuszczając.

Brak złożonych systemów zwiększa niezawodność, a jedynie wentylatory stanowią zagrożenie w upalne dni. Podejście free-coolingu jest przykładem radykalnego uproszczenia systemu, znacznie zwiększając niezawodność poprzez zmniejszenie liczby elementów.

Wentylatory DC kontra wentylatory serwera

Hierarchiczny autorytet wentylatorów to kolejne fundamentalne pytanie w dynamice przepływu powietrza w centrach danych. Jak już omawialiśmy, istnieją wentylatory wielkoskalowe na poziomie centrów danych i te na poziomie serwerów. Pytanie brzmi: czy wentylatory centrów danych jedynie dostarczają powietrze, pozostawiając wentylatorom serwerów tyle, ile potrzeba? Czy też zapotrzebowanie pochodzi od wentylatorów serwerów, zmuszając wentylatory DC do spełnienia ich wymagań?

Mechanizm jest następujący: wentylatory serwera odgrywają dominującą rolę w tym procesie, określając niezbędny przepływ powietrza. Następnie wentylatory DC odpowiadają, dostarczając wymaganą objętość powietrza. Staje się oczywiste, że jeśli skumulowane zapotrzebowanie ze wszystkich serwerów przekroczy wydajność zasilania wentylatora DC, może to doprowadzić do potencjalnego przegrzania.

Odpowiedź brzmi więc, że wentylatory serwerowe mają pierwszeństwo w tej dynamice. One koordynują przepływ powietrza, określając potrzebną ilość powietrza.

Obliczanie efektywności i PUE

Aby ocenić wydajność projektu DC, tradycyjnie stosuje się obliczenie efektywności wykorzystania energii (PUE). Wzór na PUE to stosunek całkowitej mocy obiektu do mocy sprzętu IT:

PUE = Całkowita moc obiektu / Moc sprzętu IT

W idealnym przypadku jest to 1, co oznacza, że cała energia jest kierowana do sprzętu IT bez żadnych strat. Jednak osiągnięcie tego idealnego scenariusza jest rzadkie w rzeczywistych projektach.

Inny problem pojawia się, gdy próbujemy ustalić jasną metodologię obliczania efektywności wykorzystania energii (PUE). Na przykład w naszym systemie posiadamy metrykę wskazującą chwilowe zużycie energii w watach, co umożliwia obliczanie PUE w czasie rzeczywistym.

Co więcej, możemy wyprowadzić średni PUE w okresie rocznym, co oferuje bardziej kompleksową ocenę uwzględniającą wahania sezonowe. Jest to szczególnie istotne, biorąc pod uwagę dysproporcje w zużyciu energii między porami roku; na przykład dysproporcje w zapotrzebowaniu na chłodzenie między miesiącami letnimi i zimowymi. Oznacza to, że jeśli chcemy mieć bardziej wiarygodną ocenę, musimy nadać priorytet średniej rocznej, która zapewni bardziej zrównoważoną i kompleksową ocenę.

Ważne jest również, aby zbadać PUE nie tylko pod względem energii, ale także jednostek pieniężnych, włączając w ten sposób sezonowe wahania cen energii elektrycznej. Ocena PUE w kategoriach pieniężnych daje bardziej holistyczną perspektywę efektywności operacyjnej.

Poza tym podejście to ujawnia możliwości osiągnięcia wartości PUE mniejszej niż 1, mierzonej w dolarach. Staje się to możliwe na przykład, gdy wykorzystujemy ciepło odpadowe do podgrzewania wody i sprzedajemy je dalej do pobliskich miast. Godne uwagi przykłady, takie jak centrum danych Google w USA i placówka Yandex w Finlandii, pokazują wykonalność takich praktyk, szczególnie w regionach charakteryzujących się wysokimi kosztami energii.

Wydajność kontra niezawodność

Obawy dotyczące redukcji kosztów i zwiększenia wydajności często podnoszą kwestie potencjalnych negatywnych skutków dla niezawodności. Chciałbym jednak podkreślić, że w przypadku chłodzenia swobodnego dążenie do wydajności nie wpływa negatywnie na niezawodność. Zamiast tego jego technologiczne skutki uboczne mogą nawet zwiększyć wydajność. Na przykład, jak już omawialiśmy, przekierowywanie nadmiaru ciepła do pomp ciepła w celu uzyskania dodatkowych korzyści, takich jak generowanie ciepłej wody dla pobliskich miast, staje się korzystną finansowo praktyką bez poświęcania niezawodności.

Przyszłość chłodzenia swobodnego

Pomimo wszystkich zalet, jakie oferuje darmowe chłodzenie, branża centrów danych nadal kieruje się konserwatywnym podejściem i wymaga sprawdzonej niezawodności, z tendencją do opierania się innowacyjnym rozwiązaniom. Poleganie na certyfikatach od organów takich jak Instytut Uptime Kolejną przeszkodą dla rozwiązań chłodzenia bezpłatnego jest brak odpowiedniego certyfikatu, co sprawia, że komercyjni dostawcy podchodzą do nich sceptycznie.

Mimo to wśród korporacyjnych hiper-skalujących panuje tendencja do przyjmowania chłodzenia swobodnego jako głównego rozwiązania dla ich centrów danych. Wraz ze wzrostem liczby firm uznających opłacalność i korzyści operacyjne tej technologii, spodziewamy się, że w ciągu najbliższych 10-20 lat pojawi się więcej centrów danych z chłodzeniem swobodnym dla korporacji.