A pak přišlo tornádo
DataSpring provozuje lužické datacentrum sedmým rokem. Za tu dobu bylo nutné řešit nejeden operační problém, vždycky se to ale obešlo bez výpadku centra. Zásluhu na tom má pečlivý počáteční návrh centra i jeho realizace s certifikací designu Tier III, což mimo jiné znamená, že všechny zdejší systémy jsou redundantní – když se servisuje nebo pokazí jedna komponenta, zastane její funkci jiná.
Kdo se ale v prvních hodinách po prohnání tornáda ocitnul u budovy, tomu se rozprostřel nepěkný pohled. Stejně jako další stavby v okolí byla i budova DataSpringu ohlodaná místy až na základní stavbu a třeba motorgenerátory, které stojí v kontejnerech vedle budovy, skončily zahrabané v hromadě plechů a dalších předmětů. A hlavně nenastartovaly. Pracovník, který přiběhl na kontrolu zařízení jako první, mohl jen sčítat škody: diesel off, elektrické přípojky off, klimatizace off, datový sál běžel jen z UPS. Konektivita ale naštěstí fungovala. DataSpring ihned spustil aktivaci krizového plánu, se zákazníky se domlouvalo vypnutí nekritických systémů. Přímý zásah tornáda zřejmě poškodil motorgenerátory a všechno se v první hodině muselo spolehnout jen na UPS. Motorgenerátory se podařilo zprovoznit včas, problémy ale pokračovaly. Bylo třeba rychle opravit chladicí systémy, protože útok tornáda byl opravdu silný.
Přesto se povedlo udržet chod centra v podstatě bez výpadku a dnes už všechno bez problémů běží. „Zvenku je to pořád hodně poznat, poškození bylo opravdu zásadní a náklady na rekonstrukci se počítají v desítkách milionů korun. Teď nás navíc brzdí horší dostupnost stavebního materiálu, takže hotovo bude až na konci března,“ mrzí trochu Marka Chmiela, výkonného ředitele DataSpringu.
Ale opravdu jen trochu. Kdyby nebylo centrum vybudované tak, jak je, mohl mít daleko větší starosti. „Uvnitř datového sálu v podstatě nikdy nebylo poznat, že by se něco dělo. Řešili jsme primárně obnovu technologií, které zajišťují běh infrastruktury, tedy motorgenerátory a chlazení. Motorgenerátory jsou opravené, u chlazení ještě čekáme na dodávky dílů,“ shrnuje situaci Chmiel s tím, že technologie, které jsou životně důležité, už jsou všechny v plně provozním stavu s redundancí. „Některé problémy se nám ukázaly bezprostředně po útoku tornáda, jiné třeba až po měsíci. Něco se hned nemusí tvářit jako bezprostřední ohrožení, ale víme, že nás to může dohnat později. Takové části opravujeme rovnou, nechceme riskovat,“ říká Chmiel a poukazuje na jednu nedávnou zkušenost. V březnu se preventivně vyměňovaly baterie, které ještě mohly vydržet. Teď i ony pomohly k tomu, že centrum v kritických chvílích situaci ustálo. Lekce číslo jedna tedy zní: Držet všechno v co možná nejlepším stavu a maximálně zabezpečené. V dobrém se to vrátí.
Jiná lekce se týká zákazníků, kteří svoje data svěřují poskytovatelům cloudových služeb. „Potvrdilo se tady, že pro zákazníky, pro které je služba kritická, je jediným správným řešením georedundance, tedy možnost převést poskytování služby včetně dat v případě potřeby do jiného datového centra. Je to nadstandard, v době útoku tornáda ji mělo minimum našich zákazníků, ale opravdu se to vyplatí,“ má jasno Chmiel, který ostatně sleduje, že po čerstvé zkušenosti se k vyššímu zabezpečení firmy zákazníci uchylují častěji.
Využívání cloudu může být někdy zrádné, a to hlavně ve výkladu, co všechno daná služba obsahuje. Firmy a instituce někdy ztrácejí obranné instinkty a mají dojem, že když jsou data uložená právě v cloudu, tak je nemusejí ani zálohovat. Omyl. Nutnost zálohovat ideálně do jiné lokality zůstává i při této variantě.
„Cloud představuje poměrně velkou abstrakci služeb, jejichž výklad je složitý, a zákazníci mají tendence myslet si, že v základu získávají úplně všechno. Tak to není. Poskytovatel dává garanci, že data budou dostupná, ale typicky to neznamená, že o ta data nemůže přijít. Proto většinou každý poskytovatel nabízí nějakou službu pro zálohovánía obnovu, ať má zákazník jistotu, že má svá data pod kontrolou a případně je z čeho obnovovat,“ přibližuje praxi oboru Chmiel. Jenže ne každý to chce slyšet. „Pak je to ale stejné, jako když řidič odmítne pojistku s tím, že si je jistý vlastními řidičskými schopnosti. Jenže na silnici není sám. Stejně jako my nedokážeme předcházet zásahům vyšší moci, čehož je historicky nejsilnější tornádo na území Česka dost dobrým příkladem.“
Kdyby měl sám Chmiel radit, nesázel by ani tak na datacentrum s ještě vyšší certifikací (lužická centrála DataSpringu má tu s označením Tier III, získat se ale dá ještě o stupeň vyšší). Sám by pro ideální zabezpečení volil využití služeb s možností georedundance (kombinaci dvou nebo více propojených data-center). „Jsou totiž situace, na které nemá ani nejvyšší certifikace recept. Jakkoliv nám to zní nepravděpodobně, tak například teroristickému útoku se žádné z datacenter bránit neumí,“ dává příklad, u kterého všichni doufají, že ho nikdy nebudou muset řešit. Jak ale ukázalo zjevení tornáda, člověk nikdy neví.
Jaroslav Vaněček, Manažer informačních technologií
Vážená paní Koutníková,vyřiďte prosím mé poděkování všem, co se postarali o provoz datacentra po živelné katastrofě a dále starají.
Jaromír Gajdošík, IT
„Děkuji, každopádně my zatím bez výpadku.
Jste BORCI!“
Petr Dvořáček, IT ředitel, Radim Petřík, manager provozu IT
Dobrý den,
chtěl bych vám všem velmi poděkovat za úsilí, které jste vynaložili a vynakládáte pro zachování dostupnosti služeb datového centra.Opravdu si mimořádně ceníme toho, že jsme mohli pokračovat v práci, protože kvůli pandemii vs. rozvolnění prožíváme velmi hektickou dobu, kdy přidáváme a na druhé straně rušíme lety do destinací, měníme letové časy, několikrát do týdne se nám mění podmínky pro cestování a musíme proto být opakovaně ve styku se všemi našimi zákazníky, mít informace na webech a podobně. Všechna naše oddělení jsou proto na pokraji sil a každý výpadek by byl opravdu velkou komplikací. Jsme si samozřejmě vědomi, že tyto starosti byly a jsou druhořadé v porovnání s pohromou, která se na Hodonínsku stala, a s jejími následky. Proto vám všem i vašim blízkým přejeme zdraví, rychlou nápravu škod a návrat do běžného života.
Zdravíme a držte se.
Petr Dvořáček, IT ředitel
Radim Petřík, manager provozu IT
Josef Matoušek, Global Head of Information Technologies
Milý kolego,
rád bych ti touto cestou, alespoň symbolicky, dodatečně poděkoval za vynikající osobní nasazení v noci z 24. na 25. června, po zásahu datového centra v Lužicích bezprecedentní přírodní katastrofou ve formě ničivého tornáda, na zajištění minimalizace dopadu této katastrofy na IT provoz společnosti Zentiva Group.
Děkuji!
S úctou
Josef Matoušek
Global Head of Information Technologies