Data Center. Definicja 4 klas niezawodności dla Data Center

2018-10-09 12:20 dr hab. inż. Paweł Piotrowski Instytut Elektroenergetyki, Wydział Elektryczny, Politechnika Warszawska
Data Center Beyond.pl
Autor: materiały prasowe Przykładem bardzo dużego obiektu typu data center jest poznański Beyond.pl Data Center 2 o profilu edukacyjno-naukowym. Budynek ma 12 tys. m2 powierzchni i 76,8 tys. serwerów

Data Center to budynek lub jego część, składająca się z serwerowni oraz obszarów wspierających funkcjonowanie całego Data Center. Według organizacji Telecommunications Industry Association są 4 klasy (Tier), które definiują niezawodność Data Center. Preferowane klasy w nowoczesnych Data Center to Tier 3 oraz Tier 4.

Data Center są bardzo wymagającymi obiektami. Powinny zapewniać:

  • gwarantowane niezawodne zasilanie – obiekt musi być podłączony do niezależnych linii zasilających, a wewnątrz niego powinny być zainstalowane zasilacze awaryjne UPS oraz agregaty prądotwórcze w układach redundantnych;
  • bezpieczeństwo fizyczne – oznacza to, że budynek jest odporny na zalanie i usytuowany poza strefami zalewowymi czy aktywnymi sejsmicznie, wyposażony w systemy kontroli dostępu, sygnalizacji włamania i napadu oraz telewizję przemysłową, a także zabezpieczenia przeciwpożarowe (zapobiegające rozprzestrzenianiu się ognia oraz niezagrażające urządzeniom elektronicznym i obsłudze). Zarówno elektronika, jak i strefy bezpieczeństwa powinny być chronione przed fizycznym dostępem osób trzecich, a cały obiekt nadzorowany przez pracowników ochrony. Do budynku muszą prowadzić dwie drogi – dojazdu oraz ewakuacji;
  • zapasowe centrum przetwarzania danych – oznacza to istnienie drugiego obiektu wyposażonego w te same systemy oraz podłączonego kilkoma niezależnymi traktami światłowodowymi (zapewniona jest redundacja samego centrum przetwarzania danych);
  • ciągłość obsługi – nieprzerwaną pracę powinien gwarantować zespół inżynierów i specjalistów, nadzorujący wszystkie systemy przez 24 godziny na dobę, 7 dni w tygodniu. Konieczne jest wdrożenie procedur przeprowadzania konserwacji i testowania;
  • bezpieczne środowisko pracy – do takich elementów można zaliczyć antyelektrostatyczną podłogę techniczną, redundantny i wysokowydajny system klimatyzacji, a także ochronę przeciwpyłową;
  • kontrolę zdarzeń – zapewnienie monitorowania i rejestracji w trybie ciągłym wszystkich systemów data center. Każda szafa, a także strefa budynku powinna być objęta osobnym zestawem czujek i elementów kontrolnych gwarantujących natychmiastowe wykrycie zdarzenia, mogącego mieć wpływ na prawidłową pracę obiektu;
  • włączenie do sieci telekomunikacyjnej – w celu realizacji usług operatorskich oraz biznesowych centrum przetwarzania danych powinno być włączone do sieci telekomunikacyjnej za pomocą kilku niezależnych linii światłowodowych.
Data Center a serwerownia

Zgodnie z normą ANSI/TIA-942 centrum danych (z ang. data center) jest budynkiem lub jego częścią, składającą się z serwerowni (z ang. computer room) oraz obszarów wspierających funkcjonowanie całego centrum. Zatem w centrum danych serwerownia to miejsce przeznaczone do utrzymania sprzętu serwerowego w odpowiednich warunkach – z właściwym zasilaniem, chłodzeniem, bezpieczeństwem, łącznością, obsługą itp. Parametry te są zapewniane przez instalacje ulokowane w pomieszczeniach funkcjonalnych. Błędem jest w tym wypadku nazwanie całego obiektu serwerownią, ponieważ jest ona jedynie jego częścią.

Data Center - obowiązujące normy i rozporządzenia

W złożonym procesie projektowania, budowy i eksploatacji obiektu typu data center należy stosować się do odpowiednich norm i rozporządzeń. W zakresie specyfikacji wymagań niezawodnościowych oraz analizy niezawodności obowiązują:

  • PE-EN 60300-3-1:2005 „Zarządzanie niezawodnością. Część 3–1: Przewodnik zastosowań. Techniki analizy niezawodności. Przewodnik metodologiczny”,
  • PN-EN 61078:2006 „Techniki analizy niezawodności. Metoda schematów blokowych niezawodności oraz metody boolowskie”,
  • PN-EN 60300-3-4:2008 „Zarządzanie niezawodnością. Część 3–4: Przewodnik zastosowań. Przewodnik dotyczący specyfikowania wymagań niezawodnościowych”.

W zakresie instalacji elektroenergetycznych wyróżnia się:

  • normy mówiące o instalacjach elektrycznych w obiektach budowlanych – PN-IEC 60364 „Instalacje elektryczne w obiektach budowlanych”,
  • normy dotyczące dystrybucji energii – PN-EN 50600-2-2:2014-06 „Technika informatyczna. Wyposażenie i infrastruktura centrów przetwarzania danych. Część 2–2: Dystrybucja energii”.

W kontekście niezawodności zasilania szczególną uwagę należy zwrócić na normę EN 50600-2-2, dotyczącą dystrybucji zasilania. System klasyfikacji obiektów data center według EN 50600-1 opiera się na ocenie kilku elementów: klasy dostępności (4 klasy), zabezpieczenia (3 klasy) oraz efektywności energetycznej (3 poziomy).

Klasa dostępności Klasa 1 Klasa 2 Klasa 3 Klasa 4
Dostępność infrastruktury niska średnia wysoka bardzo wysoka
Układ zasilania według EN 50600-2-2 jednotorowy (brak szczególnych wymogów) jednotorowy (redundancja elementów) wielotorowy (redundancja systemów) wielotorowy (odporny na awarie w czasie konserwacji)
Parametry środowiskowe według EN 50600-2-3 brak wymagań jednotorowy (brak wymogów, bez redundancji) jednotorowy (redundancja elementów) wielotorowy (redundancja systemów – konserwacja w trakcie pracy)
Okablowanie teleinformatyczne według EN 50600-2-4 połączenia pojedyncze punkt–punkt połączenia pojedyncze typu strukturalnego połączenia wielokrotne typu strukturalnego połączenia wielokrotne z wykorzystaniem wielu tras

Data Center - 4 klasy niezawodności

Organizacja Telecommunications Industry Association (TIA), należąca do American National Standards Institute (ANSI) ma wytyczne ANSI/TIA-942, które definiują 4 klasy niezawodności (tzw. Tier) dla obiektów typu data center. Preferowane klasy w nowoczesnych centrach to Tier 3 oraz Tier 4.

Klasa Wymagania dla Data Center
Tier 1 infrastruktura bez redundancji; dostępność: 99,671%
Tier 2 obiekt spełnia wymagania Tier 1 i dodatkowo zapewnia redundancję infrastruktury, gwarantującą 99,741% dostępności
Tier 3 budynek odpowiada klasie Tier 2 oraz dodatkowo zapewnia redundancję głównych urządzeń i dróg dostawy energii i chłodu (zasilanie, chłód, telekomunikacja); konserwacja urządzeń może być prowadzona bez wyłączania sprzętu IT; sprzęt IT wyposażony jest w podwójne zasilanie; dostępność: 99,982%
Tier 4 obiekt realizuje wymagania Tier 3, a ponadto jego infrastruktura jest tak skonfigurowana, żeby awaria jakiegokolwiek urządzenia bądź toru dostawy energii elektrycznej lub chłodu nie powodowała zatrzymania data center; sprzęt chłodzący (klimatyzacja, systemy wentylacji) wyposażony jest w podwójne, niezależne zasilanie; dostępność: 99,995%

Dostępność i stopień niezawodności systemu zasilania gwarantowanego zależą ściśle od zastosowanego układu redundancji (w tym oczywiście zasilaczy awaryjnych UPS oraz agregatów prądotwórczych)

Data Center - jakie zasilacze awaryjne UPS wybierać?

Zasilacze awaryjne UPS wykorzystywane w systemach Data Center powinny charakteryzować się najwyższą jakością wykonania oraz działania.

Normy odnoszące się do zasilaczy UPS:

  • PN-EN 62040-1:2009/A1:2013-10 „Systemy bezprzerwowego zasilania (UPS). Część 1: Wymagania ogólne i wymagania dotyczące bezpieczeństwa UPS”,
  • PN-EN 62040-3:2005/A11:2009 „Systemy bezprzerwowego zasilania (UPS). Część 3: Metody określania właściwości i wymagania dotyczące badań”,
  • PN-EN 62040-2:2008 „Systemy bezprzerwowego zasilania (UPS). Część 2: Wymagania dotyczące kompatybilności elektromagnetycznej (EMC)”,
  • PN-EN ISO 9001:2009 „Systemy zarządzania jakością. Wymagania”,
  • PN-EN ISO 14001:2005 „Systemy zarządzania środowiskowego – Wymagania i wytyczne stosowania”.

Bazując na normach w zakresie realizacji zasilacza UPS, w przypadku Data Center powinien to być model opisany w normie PN-EN 62040-3 jako: VFI | SS | 111. Pierwszy człon oznacza technologię, w której wyjście jest niezależne od wartości napięcia oraz częstotliwości napięcia wejściowego (klasa on-line). Drugi człon SS oznacza, że napięcie na wyjściu UPS-a jest sinusoidalne, a THDu dla obciążeń liniowych i nieliniowych wynosi <8%. Trzeci człon to charakterystyka dynamiczna zasilacza awaryjnego – trzy cyfry oznaczają kolejno: właściwości dynamiczne wyjścia przy przełączaniu trybów pracy (np. falownik/ by-pass), przy skoku obciążenia liniowego oraz nieliniowego. Cyfra 1 oznacza najlepsze właściwości w opisanych zakresach, czyli bezprzerwowa praca zasilacza. Cyfra 2 to czas zadziałania do 1 ms, natomiast cyfra 3 – do 10 ms.

W praktyce w obiektach Data Center stosuje się wyłącznie wysokiej klasy zasilacze awaryjne typu true on-line z podwójną konwersją. Istnieje ponadto kategoria tzw. beztransformatorowych zasilaczy, również klasy true on-line (technologia VFI).

Data Center zasilanie gwarantowane UPS
Autor: Paweł Piotrowski Przykładowa topologia systemu zasilania gwarantowanego klasy Tier IV w obiektach Data Center

Warto podkreślić, że obecnie konstrukcja modułowa zasilaczy UPS jest dominującą tendencją w obiektach Data Center i dotyczy większości elementów – konstrukcyjnych serwerowni, systemów chłodzenia czy architektury IT. Technologia modułowa musi zapewniać m.in. redundancję, czyli zdublowanie krytycznych komponentów, która pozwoli zminimalizować prawdopodobieństwo awarii całego systemu. Równoległe układy UPS-ów powinny być pozbawione pojedynczych punktów awarii, tzw. SPOF (z ang. Single Point of Failure). Nie ma to znaczenia dla systemów mocy, ale jest to podstawowa funkcjonalność w przypadku systemów redundantnych, charakterystycznych dla obiektów Data Center.

TO CIEKAWE
Data Center IT room

Autor: FAST Group

Konstrukcja IT roomu w Data Center

Interesującym rozwiązaniem w zakresie budowy elementów Data Center jest wykorzystanie tzw. kabiny (IT room), stanowiącej pomieszczenie serwerowni. Zgodnie z normą PN-EN 1047-2 ma ona głównie za zadanie zabezpieczyć sprzęt i dane przed pożarem, który może powstać na zewnątrz serwerowni. Przed ogniem wewnątrz chroni system gaszenia gazem lub inny, polegający na obniżeniu stężenia tlenu w powietrzu w serwerowni. Dość mało znanym faktem jest również to, że podczas pożaru, ze względu na różnicę temperatur po dwóch stronach ściany (pożar na zewnątrz serwerowni), z żelbetowej przegrody wydziela się duża ilość wody, natomiast IT room jest szczelny i zapewnia utrzymanie wilgotności w bezpiecznych granicach.

Koszt instalacji zasilaczy awaryjnych UPS w Data Center

System modułowy upraszcza i przyspiesza każdy z etapów – od planowania, przez instalację, aż do implementacji. Zwarta konstrukcja typu hot-swap pozwala również ograniczyć czas potrzebny na wykonywanie przeglądów prewencyjnych, a także napraw – wymaga jedynie wymiany modułu na sprawny serwisowy.

Natomiast wybór poziomu Tier zależy od oczekiwanej dostępności i niezawodności całego obiektu Data Center oraz spodziewanego poziomu kosztów związanych z zatrzymaniem pracy systemu. Dla jakich zatem rodzajów firm i działalności odnoszą się poszczególne kategorie Tier?

  • klasa niezawodności Tier I – małe firmy, w których technologia informatyczna jest wykorzystywana głównie w wewnętrznej działalności, nieodczuwające finansowo skutków awarii data center (zyski w dużym stopniu nie zależą od często występujących awarii zasilania);
  • klasa niezawodności Tier II – przedsiębiorstwa, w których proces technologiczny ogranicza się do tradycyjnych godzin pracy, a po ich upływie system może zostać wyłączony (nie potrzeba dostępu on-line po zakończeniu pracy); małe firmy opierające się np. na działalności internetowej, nieponoszące poważnych kar finansowych z tytułu jakości usług; podmioty gospodarcze, które nie są zobowiązane do dostarczania usług w czasie rzeczywistym (np. chronione umowami przed brakiem dostępności systemu);
  • klasa niezawodności Tier III – najczęściej duże firmy, wymagające dostępu do zasobów znajdujących się w obiektach data center przez 24 godziny, 7 dni w tygodniu, choć dopuszczalne są krótkie okresy braku tego dostępu w przypadku zakłóceń spowodowanych przez zdarzenia nieplanowane. Ta kategoria polecana jest również dla firm prowadzących działalność w internecie, dla których brak odpowiedniej jakości usług wiąże się z poważnymi konsekwencjami finansowymi. W wyniku rozwoju firmy i konieczności zapewniania odpowiednich standardów może nastąpić jej rozbudowa i migracja z kategorii III do IV;
  • klasa niezawodności Tier IV – najczęściej duże i bardzo duże firmy, wymagające wysokiego poziomu dostępności (np. dla firm działających 24 godziny na dobę przez wszystkie dni w roku w sektorze dużej konkurencji, w których dostęp klientów i pracowników do aplikacji decyduje o konkurencyjności). Znaczne koszty nawet krótkich przerw w zasilaniu zmuszają do zastosowania wyrafinowanych i drogich rozwiązań w zakresie zapewniania wysokiej dostępności systemu.

Poziom Tier IV zapewnia najwyższą dostępność zasilania dla odbiorów końcowych, ale jest jednocześnie najdroższy, ponieważ wymaga zastosowania wielu, często drogich, elementów nadmiarowych. Ponadto, pomimo większych kosztów projektu, budowy oraz utrzymania obiektu, otrzymuje się współczynnik dostępności na poziomie niewiele wyższym niż na poziomie Tier III. Kompromisowym rozwiązaniem wydaje się wybór klasy Tier III, która w przybliżeniu może kosztować 50% więcej od I lub II, ale jej dostępność będzie kilkukrotnie wyższa.

Czy artykuł był przydatny?
Przykro nam, że artykuł nie spełnił twoich oczekiwań.
Czytaj więcej