Ни жениЦЦо, ни развестись

Пришло в личку: 

Добрый день, Сергей

Хочу рассказать вам вот о какой ситуации.
В 2016 году Владимир Путин своим Указом поручил создать единый федеральный информационный ресурс со сведениями о населении Российской Федерации, в том числе сведения о регистрации актов гражданского состояния — так называемый Единый Государственный Реестр Записей Актов Гражданского Состояния.
С этого времени началась эпопея с созданием общероссийской информационной системы ЕГР ЗАГС.
Поначалу все шло довольно неплохо: нашлись несколько свободных миллиардов, а также были определены основные поставщики оборудования и исполнитель работ. Казалось бы, всё уже сделано, но мы живем в России.
Сначала было изготовлено около 17000 так называемых ПАКов — программно-аппаратных комплексов Застава (15 тысяч основных и около 2000 — резервных), которые должны были стоять на рабочем месте у каждого сотрудника ЗАГС.
Также было закуплено оборудование для центра обработки данных — серверное оборудование разместили в ГНИВЦ ФНС, г. Городец.
Каналы связи предоставил Ростелеком (не бесплатно, конечно).
Итак, все закуплено, в каждый ЗАГС поступили те самые заветные ПАКи, и все приготовились вкусить тот самый аромат высоких технологий, которые должны были не только сэкономить государственный бюджет, но и сократить срок оказания государственных услуг по регистрации актов гражданского состояния до 15 минут.
Сказка. Просто сказка.
Мы в каждом ЗАГСе были так горды и потрясены этим проектом, что хотелось с утра гордиться страной, а вечером плакать от счастья.
По планам, вся система должна была заработать 01.01.2018 года, то есть с нового, 2018 года жизнь граждан в нашей стране должна была стать чуточку проще.
По идее так и должно было случиться. Технология ведь простая: у сотрудника ЗАГСа есть терминал, с которого он подключается к Центру обработки данных, и таких терминалов по стране 15 000. И при этом желательно обеспечить одновременную работу хотя бы 10000 терминалов по стране (с учетом часовых поясов).

НО ЧТО-ТО ПОШЛО НЕ ТАК...

После первых нагрузочных тестирований стало понятно, что система не работает.
Генеральное нагрузочное тестирование (после 6 или 7 предварительных) проходило 7 декабря 2017 года, показало полную неработоспособность всего контура информационной системы ЕГР ЗАГС при массовом подключении сотрудников.
Основная ошибка, с которой столкнулись ЗАГСы во время нагрузочного тестирования, это невозможность подключиться к центру обработки данных, максимум удавалось зайти 4000-5000 сотрудников одновременно, после чего всё вставало в одну неприличную позу.
Судя по всему, инженеры, которые проектировали эту систему, чего-то не продумали.
Было понятно, что систему ввести в эксплуатацию уже не успевают и вместо того, что бы уже на этом этапе начать привлекать к ответственности получателей миллиардов из бюджета, которые не смогли выполнить взятые на себя обязательства, было решено дать им второй шанс.
То есть время и ещё немного денег.
Ради спасения ситуации, 29 декабря 2017 года был подписан Федеральный закон «О внесении изменений в Федеральный закон «Об актах гражданского состояния» и в Федеральный закон «О внесении изменений в Федеральный закон «Об актах гражданского состояния», в соответствии с которым срок введения в эксплуатацию Единого государственного реестра записей актов гражданского состояния перенесен на 1 октября 2018 года.
Ну ладно, подумали мы. Бывает, и к 1 октября то уж точно успеют всё настроить так, что бы вся страна работала как часы, регистрируя акты гражданского состояния.

В 2018 году было также проведено несколько нагрузочных тестирований, которые показали, что предельное количество сотрудников ЗАГС, которые могут одновременно работать в системе, не превышает 6000 человек и среднее время занесения одной актовой записи составляет не 15 минут, а в лучшем случае ЧАС или ДВА ЧАСА (и то, если удается подключиться к ЦОД).
Как нам объясняли, это связано с тем, что к реальной нагрузке добавлялась синтетическая нагрузка для стресс-тестирования.
Так, в состоянии стресса незаметно прошли весна, лето и началась осень.
За все это время не было ни одного случая, что бы ЕГР ЗАГС работал без сбоев хотя бы 7 дней подряд, так как практически каждый день работа останавливалась и контур был недоступен.
29 августа 2018 должно было пройти показательное нагрузочное тестирование, без добавления синтетической нагрузки, только нагрузка от терминалов в ЗАГСах , поэтому ничего не предвещало беды.

НО ОПЯТЬ ЧТО-ТО ПОШЛО НЕ ТАК.

Процитирую переписку в общем чате сотрудников ЗАГС и представителей организации-исполнителя работ от 29.08.2048 года (за месяц до второй попытки введения в эксплуатацию ЕГР ЗАГС за несколько миллиардов рублей):

Ekaterina Dribinskaya (39):
Доброе утро, Калининградская область, массовая проблема

70-ЗАГС-Андреев Сергей:
Томская область аналогично

Marina Zadorozhina:
Амурская тоже с такой ошибкой

Залина:
РСО-Алания по районам ошибки входа

Галина Машункина:
30 регион масовая ошибка "НЕ УДАЛОСЬ ПОДКЛЮЧИТЬСЯ К СЕРВЕРУ"

Сергей Баранов (38 Ирк.):
Аналогичная ошибка VDI в 4 отделах. Пользователи находиться далеко, понятно что если они сменит vdi vашинку то подключиться. С вашей стороны что-то можно сделать ?

Артем Мажукин:
с нашей стороны мы и занимаемся проблемой, команды прошу выполнить для анализа проблемы

Кирилл Рыжкин:
Не удалось подключиться к сервеу: http://vdi.zags.loc:8888/vdi/api/

Таисия Белоусова ( Смоленск):
Смоленская область, в управлении 3 пака не могут войти, плюс несколько по области

Зарема:
01 регион, аналогичная ошибка. Согласно тесту соединения, все просто замечательно, однако войти в ЗАГС_онлайн не можем

Кирилл Рыжкин:
Проблема по всем Челябинской области, ЗАГСы не могут подключиться. Не удалось подключиться к сервеу: http://vdi.zags.loc:8888/vdi/api/

Ekaterina Sarelainen:
47 регион с массовой ошибкой vdi

78-ЗАГС СПб Александр Забайкин:
Не войти!

Ekaterina Sarelainen:
У нас целыми отделами на зайти

Павел ЗАГС Хакасия:
19 регион. проблема наблюдается уже больше 6 часов. ждем решения со стороны ФНС

Evgeniy Кnyazev:
Волгоградская область у большинства пользователей выдается ошибка

Denis Litvinov (66):
Коллеги, доброе утро! Начинаем НТ. Видим, что карты в ПАК воткнули 5,5 тыс. сотрудников, а в VDI зашли только 2,8 тыс. Просим координаторов активизировать работников.

Сергей Баранов (38 Ирк.):
Какого анализа, в этой команде вы просто меняете IP VM которая типа работает и просите проверить подключится или нет.
С вашей стороны массовую проблему можно как-то решить ?

@Roman_53:
Новгородская область. Массовая ошибка не удалось подключиться к серверу vdi

Светлана Щуцкая:
45 регион часть сотрудников, которые включили ПАКи за несколько минут до НТ, тоже не могут войти, не удалось подключиться к серверу

Рашидат Амирханова:
Республика Дагестаню.Поголовно не можем подключиться к серверу-ошибка vdi!!!!!!

Роман:
Республика Коми массовая ошибка входа в vdi. ФНС просит активизировать работников, а на самом деле они просто не смогут войти!

Илья Бачурин:
Архангельская область такая же ошибка. Массово не можем подключиться. Плюс на некоторых ПАКах не поднимается сеть.

Мария Гончарук:
Приморский край не может подключиться! Те кто вошел в ЗАГС Онлайн никаких действий осуществлять не могут из-за огромного количества ошибок и зависания системы!!!

Роман:
Это обещанная хорошая и стабильная работа без сентетических тестов!

Василий:
Приплыли....

Александр Тесленко:
Паки начали подключаться но все очень медленно

Ekaterina Sarelainen:
Ура. Я зашла. Остальные в 47 регионе мучаются

Кирилл Рыжкин:
По 74 региону несколько ПАКов подключились, но уже в ЗАГС-онлайн вылтают ошибки.

Светлана Щуцкая:
45 регион, те кто вошли, работать не могут валятся ошибки , не прогружается ничего

Роман:
Коллеги из ФНС! Может как-то прокоментируете ситуацию?

Олег Иванов (Псков):
60-й регион, отдельные пользователи только только смогли зайти в ЗАГС онлайн. процентов 80 -90 пока мучаются на входе.

Мария Гончарук:
Что бы не случилось говори что так и задумывалось!

Таисия Белоусова ( Смоленск):
67 регион, войти так и не можем...

Ekaterina Sarelainen:
И все это без синтетической нагрузки 😁👆🏻

Evgeniy Кnyazev:
Всера на ВКС заверили что это без синтетики

Роман:
И обещали максимум 15 минут на запись.

Ещё раз прошу коллег из ФНС дать комментарии!

Игнатьева Людмила:
Видим проблемы на ФУ, стараемся оперативно устранить, рекомендации для тех кто не смог зайти повторять переодически попытки

Сергей Баранов (38 Ирк.):
Коллеги из ФНС, цель НТ повесить систему. Можете сообщить критерии зависания системы ? Может быть она уже висит ?

Игорь Ушаков [18] #zags_izhevsk:
Предложение к фнс отчёты сегодняшнего НТ вообще не собирать

На следующий день по заранее утвержденному плану началось введение ЕГР ЗАГС в полноценную промышленную эксплуатацию...
Вся подготовка к введению в «пром» напоминала предсмертные судороги — внезапно начинали рассылаться обновления в день нагрузочного тестирования, тестирование отменяли, потом отменяли следующие тестирования, потому что находили ошибки в обновлениях и снова обновляли и так бесконечное число раз.

ВНЕЗАПНО НАСТУПИЛ ОКТЯБРЬ.

В результате полностью неработающая система была объявлено пригодной для промышленной эксплуатации (ибо если сказать что и в этот раз ничего не получилось, то могут и наругать) и была тихо, без привлечения внимания запущена в эксплуатацию, что говорит об успешном подписании актов выполненных работ.
Что делать нам, ЗАГСам, в которых сотрудники ЗАГС не могут оказать услугу гражданам и не по своей вине!!!
На совещании было озвучено, что ФНС напишет в Прокуратуру некое письмо, в котором попросит надзорный орган не привлекать работников отделов ЗАГС к ответственности в случае жалоб граждан при работе с ЕГР.
Но это согласитесь, выглядит очень смешно — давайте мы попросим прокуратуру, что бы она не наказывала за нарушения прав граждан.
Мне очень интересно, писала ли ФНС такое письмо и что им ответила прокуратура?

Тем временем, информация о проблеме постепенно начала появляться в СМИ:

«Очевидцы сообщают о нескольких скандалах, которые устроили посетители из-за сбоя системы. Так, в Железнодорожном отделении ЗАГС мужчина пришел дооформить развод, однако из-за отсутствия функции в новом реестре ему отказали. Посетитель требовал решать вопрос срочно и даже "разбушевался от негодования", "срывал таблички", сказали присутствующие в очереди.»
https://www.baikal-media.ru/news/society/352926/

Жители Бурятии продолжают страдать из-за проблем новой электронной системы ЗАГСов

https://www.baikal-media.ru/news/society/353093/

Вобщем, если вы придете в ЗАГС, а вам скажут, извините, мы не можем зарегистрировать смерть или рождение, вы не удивляйтесь. Приходите через полгода, может снова все заработает.

А пока же ЗАГСы договариваются, что бы им разрешили оформлять документы по старому, без этих модных технологий за несколько миллиардов, которые всё равно не работают.

При этом о проблемах все молчат, потому что боятся потерять работу или вызвать гнев высокого руководства, поэтому пишу вам это письмо без указания даже региона.

В СМИ ничего не нашел. А как у вас в регионах? 

UPD. Уточнил цену, более 2,5 миллиардов рублей.