С 2022 года у украинских госсистем нет единой точки хранения. Часть работает на территории Украины, часть — в облаках ЕС.
Основной массив держит AWS: 15+ петабайт данных, 60+ петабайт государственных организаций — от «Дії» и Prozorro.Sale до примерно сотни госреестров.
На 3-й день СВО AWS привезла в Киев пустые защищённые накопители Snowball (по 80 ТБ каждый) — через Дублин и Краков. На месте их заполнили данными и вывезли обратно тем же путём, чтобы загрузить в облако уже за границей.
Дальше включилась репликация по сети: рабочая система остаётся на Украине, копия в ЕС обновляется постоянно. У «Дії», например, на полный переход на AWS при отказе украинских ЦОДов уходит 48 часов.
Зоны ответственности разделены. AWS — центр системы. Министерства и энергетика (Укрэнерго, ещё 16 из 17 министерств Microsoft вывела ещё до начала СВО) — у Azure. Украинские облачные провайдеры вроде GigaCloud держат собственный резерв в Польше — туда в 2022 году ушло 60% их клиентов.
Отдельный случай — ПриватБанк. Приват24 (онлайн-приложение), платежи, банкоматы и терминалы работают из AWS. Переезд занял 45 дней, работа банка при этом не останавливалась — перенесли 4 ПБ клиентских данных и 270 приложений. В том же году данные за рубеж перенесли 46 украинских банков — НБУ разрешил использовать для этого площадки в ЕС, Великобритании, США и Канаде.
И что делать?
В этой связи кампания МО РФ с ударами по дата-центрам видится частью более широкой стратегии. Первый шаг — создание проблем для функционирования сетей на территории Украины, усложнение восстановления, повышение стоимости любых операций на цифровой инфраструктуре. Второй потенциальный шаг — разрушение инфраструктуры миграции данных путём уничтожения соответствующих каналов. Реализовать вторую часть плана будет сложнее, но сделать это возможно. Тогда миграция данных будет затруднена. Если к этому добавятся кибератаки на резервные мощности в Европе, то добиться ощутимого результата можно будет быстрее.
Комментарии
Чисто технически - да, вы можете вывезти данные за границу.
Но!
Сервера, крутящиеся в локальном ЦОДе, всегда будут работать с меньшей задержкой, чем сервера в другой стране.
Просто потому, что сеть имеет не бесконечную пропускную способность. И организована древовидно.
Иначе тот же AWS не ставил бы свои датацентры по всему миру.
Поэтому для нас наличие датацентров на Украине - это излишество, не должно их там быть.
Чисто технически - у меня куркулятор, и я посчитал, сколько
секундминутлет длится перенос 75+ петабайт через стандартный интерфейс диска ССД.Долго думал...
Тоже мне, посчитал... придумаете же.
Тут надо не считать а ВЕРИТЬ. Ведь всем журналистам, активистам и интеллигентным геям в мире известно, что имманентность любого хохла - правда!
А Вы тут с кулькулятором...
А кто сказал, что у AWS Snowball ровно один стандартный интерфейс диска SSD? И что все данные переносятся последовательно с диска на диск, а не параллельно много дисков на много дисков?
Начнём с того, что AWS Snowball работает в том числе по протоколу NFS.
Вы сами себе придумали абсурдную ситуацию ("все данные слили на ровно один диск, и копируют с диска на диск через порт SATA/PCI"), и сами её "разоблачили" и смеётесь над ней. И чем вы лучше тех журналистов?
В отличие от тебя знаю проблемы ЦОДов не по наслышке, и представляю
куда тебя пошлетчто тебе ответит сисадмин, когда к нему придешь и скажешь: Вот те 1000+ 80TB дисков, вставь их куда нибудь и скопируй все данные. Пронто.Если использовать параллельно 10 устройств, копировать непрерывно по 10Гб сети, то, теоретически, перенос займет 214 дней.
С учетом времени замены устройств и т.д., то в запросто можно уложиться в год.
Если использовать комбинированную схему, часть переносится напрямую по выделенным каналам, часть вывозится на носителях, то будет быстрее.
Насчет сисадмина, кто будет интересоваться его мнением, когда стоит вопрос о сохранении стратегических данных? Тем более, все это будет под надзором хмурых людей, и возможно, сисадмин вообще не будет участвовать, будут спецы по переносу данных.
InfiniBand - от 400 до 800 Гбит/с
Вот он snowball, большая aws флешка на грузовике )
В контейнере стоят вот такие штуки на 80TB и их можно тягать отдельно.
По факту это сервак с интерфейсом 10G.
Да, на грузовике, фактически, готовый цод, котрый может работать самостоятельно, либо моожно сливать данные на серваки, как нижней фотке, по отдельности, и пересылать их уже в цоды в другой локации
Коллеги, это все прекрасно, вот только как этот прицеп быстро подключить к живому датацентру, который не расчитан на такие действия? А дальше что? Будете делать снэпшот, оторвете запасной ЦОД от цицьки и начнете бэкапировать (и столько то месяцев будут ваше дата без
удаленногодублирования? Про какой Tier мы говорим? И через условно год поедете выгружать куда-то (где вас не ждали) с такой же скоростью и потом что? синхронизироватьдвухлетниеизменения? На фото оно конечно выглядит внушительноИ даже работает +-нормально )
Нуу не вот огромная проблема при таких переездах выкинуть шнурок на парковку
Этож не в ДНС флешку купить, к таким переездам готовятся.
Кидаем онлайн снапшет по оптическому шнурку 10-40G(или агрегату из N шнурков). Потом долго на перекладных вывозим куда нужно. Там это все разворачивается и догоняется до консистентности по сети ) Те вывезли тонну холодного шлака на грузовике, дальше еще N дней синкаемся по сети.
Причем тут год? Это услуга AWS по миграции в облака, те не вот тебе рядовая операция. Обычно к такому готовятся какое-то время, ну там тайминги считаются, тех условия по подключению шнурка получаются и т д.
Второй вариант в AWS такие штуки чисто под холодные бекапы. Те через какой нить veeam долго и упорно сливается бекап, далее оно едет в ленточное хранилище AWS, где физически копируется в холодное хранилище.
второй конец куда втыкаете? у ваших серверных стоек столько свободных шин данных?
а тут на 3-й день уже подъехали
и это день как минимум ехать 
Холмс но как? Как фсмысле оно заменило ЦОД на Руине и без перерыва стало обеспечивать дию и просёрро
Ну жить захочеш не так раскорячишся ) Но подозреваю они давно там были, просто догнались )
Лишнюю дырку всегда найти можно, или у вас всегда все занято на 100% ?
Как на руине хз, но штатовский энтерпрайз я так перевозил. Да нервно, кроваво и требует месяца 4 на подготовку )
на 40Г?
аякжешь!
Ну а почему нет. Вы же как-то гоняете данные между головами в стойках, бекапы наверное какие-то делаете с жестким ETA и т д Ну те 40G вот ни разу не редкость для такой системы. Или у вас там в банковском ЦОД все под 1G, а 40G только между опорными свичами )?
Хз где вы увидели слово просто ну да ладно.
шютка была, прастити.
я как раз все и пишу, что не просто, тем более в сроки которые в статье обозначены. все, давайте закругляться, всего доброго...
если бы реально знал про ЦОДы - таких вопросов у тя бы просто не было, вот техника 2022 года:
https://www.servethehome.com/ethernet-ssds-hands-on-with-the-kioxia-em6-nvmeof-ssd/
100Gb - это 600ГБ в минуту, 36ТБ в час, если как обычно 4 порта и нормально распределение работает, round-robin или ещё как, то вполне можно достичь скорости перекачки 100-120 ТБ в час, а=> 2,4 ПБ в сутки на 1 mid-range СХД
> Чисто технически - у меня куркулятор, и я посчитал
А реальные характеристики AWS Snowball в куркулятор подставлял?
я посчитал характеристики стандартной стойки, которая про сноубол ничего не слышала когда ее конфигурировали
Так стандартная стойка и с N петабайт работать не умеет. Ведь когда ее проектировали, должны были предусмотреть, что данные надо будет копировать и т д. Или мы делаем стойку, данные из которой, не смогут покинуть ее до момента тепловой смерти вселенной ?
вы определитесь, для вас важно
или ехать? На вопрос "предусмотреть" ответ "обязательно!", на вопрос "подключить сноубол и копировать pedal to the metal" ответ "не, не шмагла"
У нее TCP другой системы )?
Свои датацентры распределяются по шарику не потому, что пропускная способность ограничена, а потому что задержка меньше. На масштабах в тысячи километров скорость передачи уже может вызывать задержки, которые снижают комфорт в играх и при просмотре видео.
Для остальных приложений это, скорее всего, не так критично. Если при выдаче денег в банкомате он будет думать не 0.1 с, а 0.5 с или даже 1 с, никто этого даже не заметит.
Эта. Тут астрономы бают про Дракониды и Ориониды. Это октябрьские метеорные потоки. И, говорят, как раз в Северных европейских широтах их более всего.
Так что поберечься бы ЦОДам в европах. А то "шальная пуля"© и фсё.
На Украине всегда была сильная централизация. Помню в 2014 летом в Симферополе общался со специалистами земельного комитета по Крыму. Вся информация по земельным участкам централизованно хранилась в Киеве и им доступ отрубили. У них остались только какие то первичные данные на бумаге и на дискетах. А земля для Крыма огромный и ценный массив информации. Потом восстановили, конечно, может даже вручную перебивали.
О чем я давно говорю - датацентры это конечно здорово, но главное это ексченчи, точки обмена трафиком (IX), их не так много, кстати, они все хорошо известны всем еще с довоенных времен, перенести их просто невозможно и очень тяжело продублировать.
Нифига оно нормально работать не будет. Для нормальной работы баз данных требуется не время отклика, а широкий и скоростной канал передачи данных. И если эти самые каналы уничтожены, то доступ к тем самым резервным данным в Европе будет настолько геморройным и медленным, что практически равно недоступности.
Кому непонятно - попробуйте с сотового зайти в банк-клиент (не из белого списка) в момент дроно-нахрюка на ваш регион. Когда скорость мобильного интернета зарезана до околонулевых значений. Вы не сможете сделать ничего, счета не прогружаются, сделать перевод невозможно. Ни за 5 ни за 10 минут ожидания.
А для создания мощного канала нужны и соответсвущие кабели и маршрутизаторы, а потом и от них в сторону локальных потребителей траффика. Это аналогично электросетям. Такое не спрячешь в сарае. И как и в случае с электричеством, неважно что во Франции у тебя донорская АЭС. Энергию с нее ты запаришься получать.
Комментаторы забывают, что ЦОД это часто и точка обмена трафиком. Точки конечно можно рассредоточить и попрятать, но это такой гемор...
Нет, это все таки разные вещи.
ЦОД - это каналы связи конкретных операторов (которые там расположены) с конкретными каналами связи (где ходят сервисы, которые функционируют в конкретном ЦОДе). Все.
А IX (ексченч) это точки обмена трафиком, где сходятся и расходятся все каналы связи вообще.
Простой пример: ММТС9 это точка эксченча. Конечно это тоже и какой то ЦОД, но количество сервисов в размещенных там ЦОДах на разных этажах просто на порядки меньше сервисов, которые проходят через МСК-IX транзитом.
ЦОДы на территории Европы тоже не застрахованы от пожаров. Петров и Боширов не дадут соврать....
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Тут важна актуальность данных (соответствие текущей ситуации).
Старые, замусоренные/изменённые, не верифицированные данные мало кому будут нужны.
15 лет назад была задачка перенести 100 терабайт, в другой датацентр, посчитали, подогнали грузовик, сгрузили диски, перевезли, выгрузили, подключили.
это вышло дешевле чем гнать по сетке в 5 гигабит в течении нескольких месяцев ))
Разъясните для особо тупых:
К примеру, ВСЕ даннуе бУкры перевезли на серверы в Европе. Но ведь к отделению банка где-нибудь в Крыжополе не протянешь персональную линию от сераера в Германии.
То, есть НА ТЕРРИТОРИИ бУкры должны остаться распределительные узлы ( как подстанции в энергетике ), которые осуществляют связь между сервером в Европе и потребителем в Крыжополе.
И таких узлов не должно быть сильно много и размеры у них должны быть больше сарая. И адреса известны.
По ним то кто мешает ударить, как тут уже предлагали, чтобы всё перестало работать?
Перенести данные в облако конечно можно, но это резервирование, а не штатный режим работы. Те же банкоматы и терминалы бегают на местные сервера, завернуть их бегать напрямую в Европу значит на порядки повысить нагрузку на сеть, и самое главное придется перестраивать все сетевое оборудование провайдеров что не так уж и просто.
А с переносом серверов сотовых операторов вообще сложно, сотовики используют прямые выделенные каналы от сотовых вышек к своим ЦОДам и ЦОДам других операторов. развернуть все каналы на Европу будет очень сложно и главное очень дорого.
Так что физическое уничтожение ЦОДов на Украине приведет к существенной деградации цифровой инфраструктуры и цифровой связи, а восстановление потребует много времени и еще больше денег с которыми у хохлов большие проблемы.
Как старый связист скажу, что перенос банка данных за границу не спасёт отцов жыдобандеровской демократии. Обмен трафиком с зарубежными странами ведётся через волоконно-оптические линии связи. А их менее десятка. Вывести из строя терминальные пункты и усилители\регенераторы не сложнее, чем ЦОД. И тогда получится, что котлеты (базы данных) отдельно, а мухи (пользователи) отдельно. Без ВОЛС связь через спутник или РРЛ не играет. Это останутся в работе мышкины слёзы.
Во-первых, наверняка всё не настолько просто. Всё это оборудование наверняка занимает не так много места, его проще закопать или как-то иначе спрятать или защитить. Во-вторых, увы, это работает в обе стороны. В-третьих, какая по большому счёту разница: уже давно очевидно, что и Зе, и его хозяевам на население У наплевать. Для них чем хуже, тем лучше: ухилянтам станет сложнее прятаться, бронь можно снять, т.к. работать всё равно негде. А надежда, что "нерабы" устроят какое-то восстание против Зе у меня уже пару лет как растаяли. Нет там людей, есть биомасса, камикадзе, и их всех отправят на мясофабрику против нас, всех до одного, они даже не пикнут. Точнее, до конца будут орать "сала уркаине!".
Раз все данные уже на Западе,то весьма вероятен вариант, что после неминуемого поражения в СВО, будет организовано типа "Правительство в изгнании" + свидомая мэстная поддержка.
В Североамериканской колонии Британии имеется диаспора потомков дивизии "СС-Галичина" Их там уже - дофига, ещё понаедут, землИ - аж до Полярного круга.. Бабла из ланд0нов им подкинут,земли понакупят ,вот "садок вышнэвый биля хаты.."
Вот ТАМ - пусть и "..запануем i мы, браття у свойий стороньцi"- это из гимна Незалэжной..А с русских земель- нафиг !
Отключить инет Украине элементарно. Долбить по городам ЯО Геранями с авто-наведением на WiFi точки доступа.
Стоит только начать, через 50 ударов они сами все точки доступа отключат!
На сторонних ЦОДах можно переконтоваться, но серьёзный бизнес не построить!
Далеко примером ходить не надо!
Компания ВК до 2022 года и после. Это совершенно разные компания в плане подходов и бизнес процессов.
Если бы сидели, как и раньше на сторонней инфраструктуре, то не было и Макса, и нормального видеосервиса, и прочих финтиплюшек.
А какова ценность информации если её невозможно доставить адресату своевременно?
Главная цель изложена одним предложением. Последним.
Тут как-то все про майнинг забыли, а злые языки утверждают что кто-надо у нас (я из вна) на этом неплохие бабки варит. А так варить перестанет. Сюда же, кстати, и прилёты по энергетике.
ЗЫ: Наша контора ещё в 22-м как только это началось на один остров известный съехала вместе со своим IP-блоком.