Чудеса надежности ЦОД – или «пять девяток по-лондонски»

В качестве эпиграфа:

доступность 99.999% (“пять девяток”) = 5.26 минут простоя в год!

Камрады, тут на днях случилось очередное счастье: на Лондонской бирже металлов прервались торги. И возобновились всего лишь через более, чем пять часов. Ну, событие в целом – не катастрофичное (а жаль), хотя и довольно неприятное для многих участников. Мы же все знаем, что у бледнолицых всё работает надежно, ЦОДы водой не заливает, электричество в розетках не кончается, а только зеленеет на постоянной основе. А тут – такая вот пакость. Вроде как – непорядочек.  Визгу вокруг особо не было – отметились наши РБК (писать то надо хоть что-нибудь). К слову, сайт самой биржи – невозмутим по этому поводу, как и фейс покерного специалиста. 

А вот как раз в РБКшном материале прозвучала следующая мысль, которая и привлекла внимание:

Это произошло из-за отключения электроэнергии в стороннем центре обработки данных

Поскольку про ЦОДы – как бы немножко в теме – полез смотреть: что же случилось? Делюсь полу-машинным переводом.

В понедельник, 10 января, ночью, европейский оператор центра обработки данных Interxion пережил сбой в своем центральном лондонском кампусе, из-за отсутствия обслуживания в его центре обработки данных LON1 в течение нескольких часов, а пользователи жаловались, что компания хранила молчание о том, что происходит.

Ely's Yard, за зданием Old Truman Brewery, в котором находится LON1.

Инцидент, по-видимому, начался вскоре после 18:00 UTC в понедельник вечером с отключения электроэнергии на участке LON1 в Ист-Энде города, который удобно расположен недалеко от финансового района и технического центра «Силиконовая кольцевая развязка» в Шордиче.

К несчастью для Interxion, в данном случае встроенное резервирование электроснабжения не спасло ее, так как в здании произошел сбой нескольких линий электропередач. Хуже того, кажется, что электронное распределительное устройство, предназначенное для переключения питания на местный генератор, также вышло из строя, и это помешало компании переключаться между питанием от сети и питанием от резервного генератора.

Многие пользователи сообщили, что во время сбоя представители Interxion были недоступны, никакой информации о причинах сбоя и сроках восстановления клиентам сообщено не было.

К 21:24 UTC Interxion, по-видимому, удалось восстановить некоторые системы объекта, и продолжились попытки восстановить питание остальной части объекта. Было 01:36 UTC на следующее утро, когда вся лондонская инфраструктура одного из клиентов снова заработала в полном объеме.

Interxion (произносится как Interaction) имеет объекты в 11 европейских странах и 13 городских агломерациях. Он был приобретен в 2020 году американским центром обработки данных Digital Realty в рамках сделки, которая на тот момент оценивалась в 8,4 миллиарда долларов.

После настойчивых обращений на следующий день Interxion сообщил: «В понедельник, 10 января, в 18:10 на объекте Interxion на Хэнбери-стрит (LON1) произошел критический перебой в подаче электроэнергии, который затронул часть оборудования управления сетью и вызвал перебои в работе служб в LON1.

«Проблема была быстро выявлена, и службы начали возобновлять работу с 19:45 по 22:30, когда объект вернулся в рабочее состояние».

Представитель компании добавил, что извинился «всем пострадавшим клиентам и партнерам, а также за трудности со связью во время сбоя».

«В настоящее время проводится полное расследование, чтобы определить основную причину сбоя, результаты которого будут использованы для обеспечения еще более отказоустойчивой инфраструктуры в будущем. Мы по-прежнему гордимся своей репутацией в области глобальной надежности и доступности и поддерживаем время безотказной работы «пять девяток» за последние 14 лет».

И та самая Лондонская биржа металлов имела счастье хоститься в этом самом ЦОДе LON1, который «гордится своей репутацией и поддерживает время безотказной работы «пять девяток».

Электронные торги были недоступны около пяти часов с 01:00 и возобновились только в 6:15 утра следующего дня.

Причем здесь девятки?

Мне очень понравилась фраза:

Мы по-прежнему гордимся своей репутацией в области глобальной надежности и доступности и поддерживаем время безотказной работы «пять девяток» за последние 14 лет.

По информации компании - простой был с 18.10 по 22.30 = 4 часа 20 минут = 260 минут.  

Таким образом, коль скоро компания заявляет, что «поддерживает время безотказной работы «пять девяток» - она берет на себя обязательства в ближайшие 50 лет не допустить ни одного простоя!

Вы им верите?