Chłodzenie serwerowni ma jedną zasadę, której nie da się obejść: każdy kilowat pobrany przez serwery zamienia się w kilowat ciepła, który trzeba odebrać z pomieszczenia w tej samej sekundzie. Na przykład szafa rack o mocy 10 kW to grzejnik 10 kW pracujący bez przerwy. Z kolei awaria chłodzenia w serwerowni o mocy 100 kW podnosi temperaturę o kilka stopni w ciągu minut. Dlatego chłodzenie centrów danych projektuje się z redundancją, pomiarem na każdej szafie i serwisem, który przyjeżdża zanim zadziała alarm.
W ChillerSerwis projektujemy, budujemy, modernizujemy i serwisujemy chłodzenie serwerowni i chłodzenie data center w całej Polsce. Zakres sięga od pojedynczej szafy w zakładzie produkcyjnym po maszynownie wody lodowej z kilkoma chillerami i free coolingiem. Dlatego poniżej opisujemy, jak policzyć obciążenie i które rozwiązanie pasuje do jakiej gęstości mocy. Wyjaśniamy też, jakie temperatury są bezpieczne, jaki agregat do data center ma sens i jak wygląda serwisowanie serwerowni bez przerywania jej pracy.
Spis treści:
Chłodzenie serwerowni: ile ciepła trzeba odebrać
Chłodzenie serwerowni zaczyna się od bilansu, a obciążenie cieplne liczy się prosto. Najpierw sumujemy moc pobieraną przez sprzęt IT (odczyt z listew zasilających lub UPS). Następnie dodajemy straty UPS i rozdzielnic (5 do 10 procent), oświetlenie i ciepło przez przegrody. W praktyce moc chłodnicza to 1,1 do 1,2 mocy IT. Do tego dochodzi rezerwa na rozbudowę, ale nie przewymiarowanie. Jednostki precyzyjne pracujące na 20 procent obciążenia taktują bowiem i źle kontrolują wilgotność.
| Gęstość mocy na szafę | Typ serwerowni | Sposób chłodzenia | Uwagi |
|---|---|---|---|
| Do 5 kW | Serwerownia firmowa, szafy w zakładzie | Klimatyzacja precyzyjna DX lub split przemysłowy, nawiew do pomieszczenia | Prosty układ, redundancja N+1 z dwóch jednostek |
| 5 do 10 kW | Serwerownia średnia, kolokacja | CRAC lub CRAH z podłogą techniczną, zimne i gorące korytarze | Zabudowa korytarzy podnosi sprawność o 20 do 30 procent |
| 10 do 20 kW | Data center, wirtualizacja, GPU | Jednostki rzędowe (in-row) na wodzie lodowej, chillery z free coolingiem | Woda lodowa 15 do 20 °C, free cooling przez większość roku |
| 20 do 40 kW | HPC, serwery GPU, AI | Drzwi chłodzące (rear door) lub chłodzenie bezpośrednie cieczą (DLC) | Woda 25 do 45 °C, dry cooler bez sprężarek przez cały rok |
| Powyżej 40 kW | Klastry obliczeniowe | Chłodzenie bezpośrednie cieczą lub zanurzeniowe | Powietrze tylko dla reszty wyposażenia |
Jaka temperatura w serwerowni jest bezpieczna
Zalecany zakres dla sprzętu klasy A1 według wytycznych ASHRAE TC 9.9 to 18 do 27 °C na wlocie do serwerów. Ponadto wilgotność względna powinna mieścić się w zakresie 20 do 60 procent, a punkt rosy do 15 °C. Tymczasem serwerownie chłodzone do 18 °C „dla bezpieczeństwa” zużywają o 20 do 30 procent więcej energii niż te utrzymywane w 24 do 26 °C. Sprzęt wcale nie żyje przez to dłużej. Przy tym liczy się temperatura na wlocie do szafy, nie przy jednostce chłodzącej. Dlatego czujniki montujemy na drzwiach szaf, w trzech punktach na wysokości.
Chłodzenie centrów danych i chłodzenie data center: porównanie rozwiązań
| Rozwiązanie | Jak działa | Zalety | Wady |
|---|---|---|---|
| Klimatyzacja precyzyjna DX (CRAC) | Jednostka w pomieszczeniu z własną sprężarką i skraplaczem na zewnątrz | Prosty montaż, niezależne obiegi, niski koszt wejścia | Brak free coolingu, ograniczona moc jednostki, wiele skraplaczy na dachu |
| CRAH na wodzie lodowej | Jednostka z chłodnicą wodną zasilaną z chillera lub maszynowni | Duże moce, free cooling, jedna maszynownia dla całego obiektu | Wymaga instalacji wody lodowej, bufora i redundancji pomp |
| Jednostki rzędowe (in-row) | Chłodzenie między szafami, blisko źródła ciepła | Krótka droga powietrza, wysoka sprawność, skalowalność | Zajmują miejsce w rzędzie, potrzebują zabudowy korytarza |
| Drzwi chłodzące (rear door) | Wymiennik wodny w tylnych drzwiach szafy | Do 40 kW na szafę, bez zmian w pomieszczeniu | Woda przy szafie, każde drzwi to przyłącze |
| Chłodzenie bezpośrednie cieczą (DLC) | Bloki chłodzące na procesorach, woda 30 do 45 °C | Najniższe zużycie energii, dry cooler zamiast chillera | Tylko dla sprzętu przystosowanego, nadal potrzebne chłodzenie reszty |
| Free cooling | Dry cooler lub wymiennik przejmuje chłodzenie, gdy na zewnątrz jest chłodniej | Nawet 70 procent roku bez sprężarek przy wodzie 18 °C | Wymaga miejsca na dry cooler i glikolu w obiegu zewnętrznym |
W Polsce temperatura powietrza przez około 3 000 do 4 000 godzin w roku jest niższa niż 10 °C. Ponadto przez ponad 6 000 godzin jest niższa niż 18 °C. Dlatego chłodzenie data center na wodzie lodowej 15 do 20 °C z dry coolerem pracuje bez sprężarek przez większość roku. Szczegóły opisaliśmy we wpisach o free coolingu i dry coolerach.
Agregat do data center: co musi mieć chiller dla serwerowni
Przede wszystkim agregat do data center różni się od chillera procesowego tym, że nie wolno mu stanąć. Dlatego agregat do data center dobieramy według innych kryteriów niż w zakładzie produkcyjnym:
- Redundancja: N+1 dla chillerów i pomp, w obiektach krytycznych 2N z dwoma niezależnymi obiegami.
- Szybki restart: po zaniku zasilania chiller ma wrócić do pełnej mocy w 2 do 3 minuty. W tym czasie chłodzenie podtrzymuje bufor wody lodowej, zwykle 10 do 20 litrów na kW.
- Sprężarki o płynnej regulacji (inwerter lub śrubowe z suwakiem), ponieważ obciążenie serwerowni zmienia się w ciągu doby.
- Free cooling zintegrowany lub osobny dry cooler z zaworem przełączającym.
- Zasilanie z UPS lub agregatu dla pomp i sterowania, a dla chillerów z agregatu prądotwórczego.
- Monitoring: komunikacja Modbus lub BACnet z systemem BMS i DCIM, alarmy na telefon obsługi.
Chillery do serwerowni oferujemy w sprzedaży i w wynajmie, także jako jednostki zastępcze na czas modernizacji. Szczegóły znajdziesz na stronach chiller i wynajem chillera.
Serwisowanie serwerowni bez przerywania pracy
Serwisowanie serwerowni różni się od serwisu w hali produkcyjnej tym, że nie ma postoju technologicznego. Dlatego przeglądy planujemy jednostka po jednostce, przy pracującej redundancji. Ponadto każdą czynność poprzedzamy sprawdzeniem, czy pozostałe urządzenia przejmą obciążenie, bo chłodzenie serwerowni nie może stanąć nawet na kwadrans.
| Czynność | Częstotliwość | Co sprawdzamy |
|---|---|---|
| Przegląd jednostek precyzyjnych | Co 3 miesiące | Filtry, wentylatory EC, czujniki, nawilżacz, odpływ skroplin, ciśnienia czynnika, alarmy |
| Przegląd chillerów i dry coolerów | Co 6 miesięcy, przed latem obowiązkowo | Skraplacze, szczelność, olej, przegrzanie i dochłodzenie, test przełączenia free coolingu |
| Instalacja wody lodowej | Raz w roku | Stężenie glikolu, filtry, pompy, zawory, izolacja, próba przełączenia pomp rezerwowych |
| Test redundancji | Raz w roku | Wyłączenie jednej jednostki pod obciążeniem i pomiar temperatur na wlotach szaf |
| Kontrola szczelności F-gaz | Według ilości czynnika, co 3 do 12 miesięcy | Detektor, protokół do CRO |
| Pomiar rozkładu temperatur | Przy każdej wizycie | Kamera termowizyjna, czujniki na szafach, hot spoty, recyrkulacja gorącego powietrza |
Z kolei serwisowanie serwerowni w zakresie jednostek precyzyjnych i ich naprawy przy działającym obiekcie opisaliśmy osobno we wpisie o serwisie klimatyzacji precyzyjnej.
Najczęstsze problemy, które widzimy w serwerowniach
- Hot spoty na górnych pozycjach szaf: gorące powietrze wraca na wlot, ponieważ brakuje paneli zaślepiających i zabudowy korytarza. Natomiast naprawa kosztuje mniej niż dodatkowa jednostka chłodząca.
- Jednostki walczące ze sobą: jedna nawilża, druga osusza, obie grzeją. Natomiast rozwiązuje to wspólne sterowanie grupowe.
- Zabrudzone skraplacze na dachu: w efekcie latem jednostki wyłączają się na wysokim ciśnieniu dokładnie wtedy, gdy są najbardziej potrzebne.
- Brak testów redundancji: jednostka rezerwowa „istnieje” od lat. Jednak przy pierwszym realnym przełączeniu okazuje się, że ma pusty układ czynnika.
- Za zimno: nastawa 18 °C zamiast 24 °C. W rezultacie rachunek za energię jest wyższy o jedną czwartą, bez korzyści dla sprzętu.
Modernizacja chłodzenia serwerowni
Chłodzenie data center starszej generacji to natomiast często jednostki DX sprzed 15 lat, na czynnikach wycofywanych z rynku i bez free coolingu. Modernizację prowadzimy etapami, bez wyłączania obiektu. Najpierw wykonujemy pomiary i audyt (rozkład temperatur, obciążenie, PUE). Potem zabudowujemy korytarze i porządkujemy przepływ powietrza. Następnie wymieniamy jednostki lub dokładamy obieg wody lodowej z chillerem i dry coolerem. Na koniec wdrażamy sterowanie grupowe i monitoring, dzięki czemu chłodzenie serwerowni da się nadzorować zdalnie.
Typowy efekt to spadek zużycia energii na chłodzenie centrów danych o 30 do 50 procent i rezerwa mocy na kolejne szafy. Z kolei budowę samej instalacji opisaliśmy we wpisie o przemysłowych instalacjach chłodniczych.
Ile kosztuje serwis chłodzenia serwerowni
Audyt chłodzenia serwerowni z pomiarem rozkładu temperatur, obciążenia i oceną redundancji kosztuje 1 800 do 2 500 zł netto. Cena zależy od liczby jednostek. Ponadto dojazd liczymy 3,20 zł netto za kilometr w obie strony. Z kolei roboczogodzina przy naprawie to 500 zł netto dla jednego serwisanta i 750 zł netto dla zespołu. Przy umowie na serwisowanie serwerowni z czasem reakcji ustalamy stałą stawkę roczną i harmonogram przeglądów kwartalnych.
Pytania i odpowiedzi
Jaka temperatura powinna być w serwerowni?
Na wlocie do serwerów 18 do 27 °C według ASHRAE. W praktyce 22 do 25 °C daje zapas na awarię jednej jednostki i niski koszt energii. Wilgotność względna 20 do 60 procent, punkt rosy nie wyżej niż 15 °C.
Ile mocy chłodniczej potrzebuje serwerownia?
Około 1,1 do 1,2 mocy pobieranej przez sprzęt IT. Na przykład serwerownia z UPS obciążonym na 50 kW potrzebuje 55 do 60 kW chłodu, plus redundancja N+1.
Czy chłodzenie serwerowni może pracować na wodzie lodowej?
Tak, chłodzenie serwerowni na wodzie lodowej przy mocy powyżej 30 do 50 kW to zwykle najtańsze rozwiązanie w eksploatacji. Woda 15 do 20 °C pozwala bowiem na free cooling przez większość roku. Natomiast przy mniejszych obiektach prostsze są jednostki DX z redundancją.
Co się stanie, gdy chłodzenie stanie na 10 minut?
W serwerowni o gęstości 5 kW na szafę temperatura rośnie wówczas o około 1 °C na minutę. Dlatego potrzebne są redundancja, zasilanie pomp z UPS i bufor wody lodowej, który podtrzyma chłodzenie do restartu chillera.
Czy serwisujecie klimatyzację precyzyjną różnych marek?
Tak, między innymi STULZ, Vertiv (Liebert), Schneider (APC, Uniflair), Emicon, Climaveneta i Mitsubishi. Ponadto serwisujemy chillery i dry coolery zasilające jednostki CRAH i rzędowe.
Umów audyt chłodzenia serwerowni
Jeśli planujesz nowe szafy, widzisz hot spoty albo chcesz sprawdzić, czy redundancja zadziała, wtedy zadzwoń pod numer +48 536 577 385 od poniedziałku do soboty w godzinach 8:00 do 16:00 lub napisz przez formularz kontaktowy. Przyjedziemy z kamerą termowizyjną i rejestratorami. Następnie policzymy obciążenie i zaproponujemy rozwiązanie dopasowane do gęstości mocy w Twoich szafach.
Zobacz też: chłodzenie serwerowni i data center w praktyce oraz serwis HVAC w przemyśle.
Potrzebujesz przeglądu, diagnostyki albo naprawy?
Serwisujemy agregaty wody lodowej, chillery i urządzenia chłodnicze wszystkich marek w całej Polsce. Podaj markę i model urządzenia oraz opisz problem, a zaproponujemy termin i wycenę.
Poniedziałek do soboty, 8:00 do 16:00. Pracujemy w całej Polsce.
