А как вам КАКАО по-корейски?

На фоне большого числа действительно серьезных новостей, осталось практически без освещения одно примечательное событие, пока продолжающее происходить на Южной Корейщине. На него стоило бы обратить внимание многим, ибо пример показательный, и шансы его повторить у нас - весьма велики.

 

Касается сие событие структуры под названием Kakao Corp. Для несведущих – это такой южнокорейский Яндекс. Тоже «полный фарш» в области высокотехнологичных услуг: и мессенджер, и банк, и платежная система, и служба такси, и игровая платформа, и т.д. И всё это – на первых позициях среди пользователей той самой Южной Кореи.

 

И, поскольку, позиции – первые, то основатель сей шарашки (некто Ким Бом Су) заслуженно возглавляет список 50 самых богатых людей Кореи. Ну, то есть – не хухры-мухры какое-то это самое КАКАО, а что ни на есть – серьезнейшая контора. В южнокорейском смысле.

К событию

Началось оно в прошедшую субботу, 15 октября, в 15.30 по местному времени в здании, находящемся в Pangyo Techno Valley в городе под названием Pangyo где-то в Южной Корее. Что это за долина – в целом не важно. А вот здание – оно замечательное. Ибо оно является (или уже являлось?) частью построенного компаниями IBM и SK Group центра обработки данных, общей площадью 66 900 кв.м. Ну, то есть – точно не мало.

Так вот, в субботу в здании случился пожар.  Охвативший своим влиянием ни много, ни мало – а порядка 32 тысяч (ТЫСЯЧ, КАРЛ!!) серверов.

Пожар тушили более 8 часов. В течение которых сервисы, имеющие в названии слово КАКАО, а также многие не имеющие такой части названия, но тоже связанные с этой компанией, тупо не работали.  Платежи, связь, такси… Ничего. Точнее – банк работал. Одному господу известно, по каким причинам его хостят в другом ЦОДе (имени LG), и как так случилось, что он – сам по себе.

Как говорят, всеобщность краха сервисов обеспечило приложение KakaoTalk – их местный мессенджер, которым активно используется от 43 до 47 миллионов из 51-миллионного населения страны. Если убрать младенцев и прочих недееспособных – то имеем практически полный охват страны. Для большинства других услуг Kakao требуется идентификатор KakaoTalk ID в качестве входа в систему. Соответственно, не работает Talk – не работают и остальные.

Восстановить большинство сервисов смогли лишь к 17 октября, и то – не в полном объеме по многим сервисам.

Также пожар (точнее – связанные с ним отключения энергии и нарушения в работе ЦОД) повлияли на второго крупного арендатора – компанию NAVER. Про нее шума поменьше, хотя она по выручке и покрупнее будет, чем КАКАО. Видать, там не столь критично всё обвалилось.

Первичная политическая оценка

Поскольку сия восточная страна славна своими традициями поиска и преследования подозреваемых до тех пор, пока не упрячет их в каталажку (история всех президентов Южной Кореи – тому наинагляднейший пример), грамотные виновные стремятся не затягивать процедуру. Ибо, как говорил один наш известный киногерой: «раньше сядешь – раньше выйдешь». В общем, один из двух генеральных директоров КАКАО (ДВУХ ГЕНЕРАЛЬНЫХ ДИРЕКТОРОВ!!! ???) признал свою вину и подал в отставку. Оставив второго генерального директора в гордом одиночестве разгребать результаты.

Но правительству этого показалось мало. И они решили инициировать антимонопольное расследование: дескать уж не является ли на самом деле КАКАО монополистом? Ну, то есть информации о стопроцентном охвате всего населения сервисами КАКАО – им для понимания не достаточно. Они хотят проверить. Ну-ну…

Сами по себе позиции президента и отдельных правительственных чинуш настолько примечательны, что необходимо привести их для ознакомления.

В заявлении президента Юн Сук Ёля в воскресенье говорится: «Я чувствую большую ответственность за неудобства и ущерб, с которыми сталкиваются люди». Он приказал министру науки и информационных технологий взять на себя управление кризисом в связи с крахом Какао при содействии других государственных ведомств.

«Нам нужно не только выяснить точную причину, а также ущерб, но нам нужно придумать систему, которая справится с такой ситуацией, а также принять превентивные меры», — сказал Юн, сообщает одна из газет.

Министр науки и ИКТ Ли Чон Хо посетил место происшествия и сказал: «Правительство серьезно относится к ситуации, поскольку отключение вызвало обеспокоенность по поводу возможности паралича нашего общества и экономики».

В другом заявлении он сказал: «Как ответственный министр (ИКТ) я выражаю искренние сожаления по поводу больших неудобств, причиненных людям из-за этого пожара. Правительство очень серьезно относится к перебоям в обслуживании и рассмотрит системные меры поддержки в в случае таких сбоев службы».

Две основные политические партии Южной Кореи, правящая Партия народной власти (ПНП) ​​и основная оппозиционная Демократическая партия Кореи (ДПК), совместно призвали к встрече с лидерами трех компаний, председателем SK Group Чей Тэ-Воном, основателем Kakao Кимом Бом-Су и основатель Naver Ли Хэ-Джин. Помимо основателей, были вызваны три генеральных директора Пак Сон-ха из SK, Хон Ын-Тэк из Kakaoa и Чхве Су-Ён из Naver.

Как сообщает The Korea Times, лидеры обеих партий назвали Какао «халатностью» и пригрозили принять законы, регулирующие деятельность Какао

Ну, то есть до них всех наконец то дошло, что игра в мессенджеры и удобные ИТ-приблуды может привести к существенному воздействию и даже – к краху ВСЕЙ ЭКОНОМИКИ.

Технические причины

В этой части цирк только начинается. Ибо в качестве причины возгорания пока обозначают – тадам! – использование литий-ионных аккумуляторов. А цирк – потому как сии аккумуляторы произвела та самая компания SK, которой и принадлежит ЦОД. Точнее – некоторая ее дочерняя структура, но это в целом – и не важно.

Так вот, корейские компетентные структуры решили активно погрузиться в тематику батарей, и делятся откровениями с общественностью. Откуда и нам стало известно, что, оказывается, литий-ионные батареи подвержены возгоранию, вызванному « тепловым разгоном », и такие возгорания могут иметь серьезные последствия, поэтому литий-ионные батареи обычно оснащены системами управления батареями (BMS) для контроля температуры и производительности и предупреждения о любых неизбежных последствиях.

Местная пресса уже успела заявить, что соответствующая BMS подавала предупреждение о пожаре за два часа до того, как вспыхнул настоящий пожар, и рабочий дважды осмотрел место. Само собой, SK Group опровергла претензии и опубликовала копию фактических графиков мощности и напряжения из BMS, которые показывают нормальную работу.

«График, показывающий состояние предположительно загоревшейся литий-ионной батареи, оставался стабильным до момента аварии в 15:19. BMS отправляет предупреждения только в случае существенных  колебаний графика. Поэтому наш работник, не посещал здание для проверки объекта», — говорится в опубликованном пресс-релизе SK Group.

К слову, в предыдущем крупном пожаре в ЦОДе (пожар в 2021 года, уничтоживший весь дата-центр OVHcloud SBG2 в Страсбурге) неофициальной причиной тоже называют возгорание литий-ионных аккумуляторов (хотя OVHcloud до сих пор это и не хочет озвучить).

Организационные причины

Несколько источников раскритиковали подготовку Kakao к аварийному восстановлению: «Если бы Kakao защитила свои данные с помощью горячего сайта или резервного сайта, перебои в обслуживании были бы быстро устранены», — сказал местный ИТ-эксперт, которого цитирует The Korea Times . За последние несколько лет у KakaoTalk было несколько сбоев.

Чиновники Kakao заявили, что пытались осуществить восстановление данных, но не смогли завершить его, потому что не ожидали, что власти примут меры предосторожности и отключат электричество в горящем здании.

«Мы начали процесс репликации данных после пожара, но нам помешало неожиданное отключение питания», — сказал представитель Kakao, сообщает The Korea Times. «Все наши данные реплицируются, но это занимает много времени, потому что у нас так много данных».

Вице-президент Kakao Ян Хён-Сео признал, что компания не была готова, согласно Korea JoongAng Daily : «Мы не были достаточно готовы к сбою всей серверной системы из-за пожара. Есть некоторая сложность, так как впервые в истории ИТ было отключено 32 000 серверов, — сказал он после посещения сайта. — Переброска трафика на дополнительные серверы занимает много времени».

В субботнем заявлении совместных генеральных директоров Kakao Намкуна Вона и Хон Ын-Тэка обещаны быстрые действия и заявлено, что у компании действительно есть система резервного копирования на случай чрезвычайных ситуаций, а данные разделены между центрами обработки данных в компании.

В воскресенье в пресс-релизе Kakao было объявлено о создании «комитета экстренного реагирования» во главе с Хон Ын Тхэком, главой общественного центра Kakao. Он будет состоять из трех подгрупп, занимающихся расследованием причин, мерами противодействия стихийным бедствиям и (вероятно спорный вопрос) компенсацией. Комитет будет консультироваться с внешними экспертами.

Ну, то есть – если уж совсем кратко – а они вообще и не думали, что будет пожар. Ибо «начали процесс репликации данных после пожара». ПОСЛЕ ПОЖАРА, КАРЛ!

А мы то тут причем?

Уж не знаю, кого стоит благодарить, но пока про русский след никто ничего не говорит. Так что вроде бы – и не при чем. Но это лишь в части причин события.

А вот что качается последствий – тут, на мой взгляд, нам всем (и нашему правительству – в частности) стоит глубоко задуматься. И обозначить несколько важных вопросов, например:

1.      Насколько разумно строить единую и при этом, - единственную для большого числа сервисов, точку авторизации?

2.      Каким образом должны быть построены системы для исключения критичного влияния отдельного события (пожара, наводнения, теракта) на работоспособность многих критичных сервисов?

3.      Следует ли применять в критичных инфраструктурах потенциально опасные технологии (например, литий-ионные батареи)?

4.      Каким образом следует формировать и отрабатывать планы восстановления после аварий?

5.      Какую меру ответственности следует предусмотреть в отношении лиц, ответственных за организацию работоспособности значимых сервисов в случае нарушений?

Для специалистов – ответы очевидны.

Но, к сожалению, большинство власть предержащих, специалистами как раз и не являются. И их внимание к проблемам следует постоянно и настойчиво привлекать, ибо в противном случае – будет у нас иметь место аналогичное южнокорейское КАКАО с аналогичными (или - худшими) последствиями. А не хотелось бы…