Авария в датацентре

Аватар пользователя alexsword

Думаю, многие заметили, что АфтерШок был недоступен несколько часов вчера примерно с 20-00МСК и до 7-00МСК. 

Пояснения хостера (RuWeb):

20-50:  Наблюдаем проблему с доступностью наших серверов в Курчатовском ДЦ. Датацентр ответил, что проблема связана с ддосом. Работают над проблемой.

8-54: Основной маршрутизатор заменили и к трём часам ночи запустили большинство серверов. Сейчас все сервисы работают в штатном режиме. Официальная рассылка будет опубликована чуть позднее, когда поступит вся информация об инцинденте. Официальной информации от Датацентра у нас пока нет. Приносим всем нашим клиентам глубочайшие извинения за случившееся. Если какие то вопросы остались нерешёнными - обязательно напишите в нашу техническую поддержку


Мы на RuWeb уже много лет (с 2013), и в целом довольны сотрудничеством, но многочасовой простой это очень и очень неприятно.  Если есть рекомендации по альтернативам, удовлетворяющие требованиям ниже, готовы рассмотреть.  Но это ни в коем случае не должна быть замена шила на мыло, речь идет о другом уровне резервирования и поддержки, даже если это потребует бОльших затрат.  Иными словам, RuWeb молодцы - их предложения вполне соответствуют ценам, но нам нужен более высокий технический и организационный уровень решений.

Требования:

- датацентр в России

- есть интегрированные ddos-решения

- есть гарантированный уровень доступности серверов, подкрепленный статистикой

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя dmfs
dmfs(8 лет 2 месяца)

Что можно сказать: только резервирование в двух и более местах спасёт от таких аварий. Это дорого. Но это так.

Аватар пользователя Pepenez
Pepenez(8 лет 8 месяцев)

Слава Богу Вы вернулись. Целый вечер вчера пытался прорваться. А кибератака такого рода, насколько понимаю, это уголовное преступление. В полицию подавать заявление будете?

Аватар пользователя Anisiya
Anisiya(9 лет 3 месяца)

Если сервер висит, то зачем прорываться?

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Заявление на кого?  На анона?

От атак и аварий нужно защищаться, а не судиться.

Аватар пользователя edukey
edukey(11 лет 6 месяцев)

https://golos.io

Российская соцсеть на блокчейне, зеркальте туда. Кстати, проблема вознаграждения авторов может быть решена автоматически.

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 3 месяца)

Падайте на виртуалки - парочка в разных дата-центрах и общее хранилище с синхронизацией через drbd(не более 4 ТБ) и все будет пучком, даже в случае ddos-а, особенно, если есть еще подсети других провайдеров для резерва и быстрого перехода(поменять NS-записи, и 95% ddos-a уйдет в сторону, а сайт снова доступен).

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Да, похоже это наиболее здравая идея.

То есть можно оставить РуВеб, но дополнить его еще одним физически отдельным развертыванием.

В связке вот с этим предложением про магистральный ДЦ, который сделать основным, а РуВеб резервным (что думаешь?) - https://aftershock.news/?q=comment/4490426#comment-4490426 - выглядит вероятно как оптимальное решение.

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 3 месяца)

Надо думать.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Кстати, почему ты виртуалки именно любишь?  ИМХО, это повышенные риски, например, при атаках на другие сайты, которые на том же физическом железе размещены.

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 3 месяца)

Ха! Разделение на вланы каждой машины, да и карточки сетевые стоят по 2Х10Гб интерфейса, к тому-же каждой виртуальной машине выделяется четкое число потоков, памяти и дискового пространства - даже если соседа грохнут - ни кто и не почувствует ни чего.... пользуюсь vmware.

 

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Когда я игрался с виртуалками, встречалось достаточно большое количество специфики реализации (отличий от нормальной установки).
Плюс усложняется отладка, особенно в случае высоконагруженных систем.
О безопасности скромно не говорю.
К настоящему моменту для такого типового применения как серверный, а практически сервисный контейнер могли поправить.
Но, как вопиет всё тот же личный опыт: совершенно не факт.

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 3 месяца)

Видимо у Вас опыта маловато, особенно в vmware ESXi(видимо не работали с HA-Cluster, под vCenter)...

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Тю. Совсем пропустил, что VMWare — блоб. Причём, ЕМНИП, даже условно-работоспособный.

Аватар пользователя Дубровский
Дубровский(10 лет 2 месяца)

ddos проблема разве не на уровне транспорта? в таком случае виртуалка чем лучше чем железо? и к тому и к этому может быть блокирован транспорт ddos . обычное резервирование на другом центре даст тот же уровень что и тоже + виртуалка. не?

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 3 месяца)

При использовании виртуалки исчезают накладные расходы на слежение за железом, да и в случае проблем с железом происходит живая миграция машины. А на случай ddos-а - смена ip-адреса NS-ов и переключение master-slave на drbd(можно автоматизировать) - ВСЕ, сервер работает уже в другом DC и с другим ip-адресом.

Аватар пользователя AK67
AK67(8 лет 11 месяцев)

А Отвага там же хостится? Тоже не работала

P.S. Да, тоже там же

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Вопрос явно не по адресу.

Аватар пользователя Satprem
Satprem(9 лет 10 месяцев)

Хорошо что все быстро исправили! 

Думаю нас ожидает время, богатое, на самые интересные события и уже скоро, так что без АШ не куда.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

привет! загляни в Кладовую, там были толковые пополнения с нашей последней переписки :-)

Аватар пользователя Satprem
Satprem(9 лет 10 месяцев)

Привет! 

Касательно Кладовой я ее всегда читаю, иногда не комментирую, но захожу и читаю, хотя да есть пара что еще не читал, да , спс , буду читать.

Вот что на АШ не было но довольно интересно как прецедент на мой взгляд - это то что Амазон собирается открыть он-лайн торговлю рецептурными (наркотическим) препаратами. Ну и конечно Каталония и объявление независимости в понедельник, это реально может быть началом чего то серьезного для ЕС 

Аватар пользователя Джейсон
Джейсон(7 лет 8 месяцев)

Хорошо что все быстро исправили!

Быстро это когда доступ восстановлен в течении 15-60 минут. А когда 11 часов сервер не работает надо менять хостера чем Алекс сразу и занялся.  

Комментарий администрации:  
*** Отключен (провокатор) ***
Аватар пользователя Edinelk
Edinelk(6 лет 10 месяцев)

Поправьте. Правильно - "..  никуда"

Аватар пользователя Skygoo
Skygoo(9 лет 8 месяцев)

Как это принято здесь говорить - очередной признак тотального разрушения инфраструктуры ))

Хорошо что без жертв smiley

Аватар пользователя JayDi
JayDi(10 лет 3 месяца)

DDOS -- это атака со стороны. Скорее всего со стороны наших "партнеров", чтобы временно положить какие-то сайты. Например, *приготовить шапочку из фальги*, вчера легли многие сайты, связанные с военной тематикой и боингом mh17 (и именно вчера кучно пошли новости на тему боинга -- два высопоставленных бежавших военных обвиняли укров плюс очередная серия от MH17 Inquiry ).

Аватар пользователя Metz
Metz(9 лет 2 месяца)

А еще последние две недели страну колбасит от тотального "заминирования".

Сдается мне, это связанные события.

Аватар пользователя Владимир Маслов

Иными словам, RuWeb молодцы - их предложения вполне соответствуют ценам, но нам нужен более высокий технический и организационный уровень решений.

Аватар пользователя vic-penza
vic-penza(7 лет 5 месяцев)

Это феминистки по следам вашей статьи дидосили.

Комментарий администрации:  
*** Отключен (распространение сплетен и домыслов в адрес других участников) ***
Аватар пользователя Владимир Маслов

Обещаю wink больше не давать повод - им. wink

Аватар пользователя vic-penza
vic-penza(7 лет 5 месяцев)

А мне думается наоборот, надо просвещать наших женщин! Указывать им на нестыковки и ложь феминизма. Тогда будет и род наш, и народ наш и весел и здоров!:)

Комментарий администрации:  
*** Отключен (распространение сплетен и домыслов в адрес других участников) ***
Аватар пользователя 666
666(10 лет 3 месяца)

В жж и в вконтакте есть некое подобие зеркала АШ. Причем в вконтакте все свежее и работает. Не плохо было бы использовать эти платформы для резервного канала информации при авариях и других проблемах и размещать там сообщения о характере проблем и предполагаемом времени устранения.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Анонс об аварии был на всех официальных трансляторах АШ - ЖЖ, Твиттер, Телеграм.

Аватар пользователя 666
666(10 лет 3 месяца)

Я не буду спорить, но в жж не видел. Возможно не туда смотрел.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

https://aftershock-1.livejournal.com/7390861.html

Это куда анонсы раздела "Новости" транслируются.

Аватар пользователя 666
666(10 лет 3 месяца)

Не знаю почему, но поиск в жж меня выводил на какую то старую копию АШ. Хотя я смотрю, что рейтинг ссылки высокий (160). В любом случае спасибо. В следующие коллизии буду знать где смотреть.

Аватар пользователя sevik68
sevik68(12 лет 4 дня)

в жж Алекс вчера отписал об аварии

беда в том, что жж и вконтакте заблокированы админами на большинстве предприятий

Аватар пользователя Jee
Jee(7 лет 5 месяцев)

Алекс, если вас начали dosить, значит делаете правильное дело. laugh

Хорошо, что вы вернулись!

 

Аватар пользователя Солидарный
Солидарный(11 лет 8 месяцев)

Понравился статус:

 

Аватар пользователя damir
damir(10 лет 1 месяц)

Ддосили ДЦ, поэтому лежали все кто там хостился.

Алекс, как же так? Домен не на ваше имя, ДЦ в бою не проверен... Следующее что? Лицензии на движок сайта? Потеря архивов годовой давности?

Это уже превращается в закономерность. Может аудит IT безопасности сделать?

С уважением, ваш постоянный читатель

Скрытый комментарий Повелитель Ботов (без обсуждения)
Аватар пользователя Повелитель Ботов

Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.

Комментарий администрации:  
*** Это легальный, годный бот ***
Аватар пользователя tromb
tromb(6 лет 10 месяцев)

таким требованиям отвечают 100 из топ-100 дата центров в РФ. от ddos абсолютной защиты нет - любое программно-аппаратное средство имеет свой предел "прочности". если сопровождение устраивает, то нет смысла менять шло на мыло  с ростом цены защиты, ессно, повысится и уровень устойчивости системы, разве что "потолок" приподнимется, но не принципиально.

при подобных атаках  в первую очередь страдает сам хостер, поэтому он в бОльшей степени заинтересован в адекватной защите.

и не следует забыть, что от таких атак никто не застрахован, а нападение на объект хостинга также повлияет и на соседей жертвы.

Аватар пользователя ИЮЛь Майский
ИЮЛь Майский(8 лет 2 месяца)

Если есть рекомендации по альтернативам, удовлетворяющие требованиям ниже, готовы рассмотреть.

Моя рекомендация -не искать добра от добра. Курчатовский дата-центр наверняка находится на строго охраняемой территории, физический доступ злоумышленников к серверам практически невозможен. А если "альтернативу" постигнет такая "перспектива"?

Аватар пользователя Маасло Саллонен

Уважаемый Алекс, такие атаки были и, увы, еще будут. Пока не пройдут выборы. Далее оплачивать их организацию смысла не будет. Как и срач на АШе по поводу критики власти и стремлении ее свергнуть.

Все всё понимают.

Аватар пользователя ExMuser
ExMuser(10 лет 11 месяцев)

Ну, ка бы да. Это очевидно для всех, кто более-менее в теме. Везде эта грёбаная политота...

Аватар пользователя tehnik
tehnik(9 лет 7 месяцев)

Если нужна хорошая защита и доступность, то логичнее разместиться в дц магистральных провайдеров - Ростелеком, ТрансТелеКом. Положить их на порядок сложнее, там очень мощные 10-терабитные маршрутизаторы на аплинках стоят, такие положить очень сложно.

И насколько я знаю у обоих есть услуга защиты от ддоса.

Ну и кстати доступность и скорость работы ресурса возрастут.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)
Аватар пользователя AK67
AK67(8 лет 11 месяцев)

НАГ (магазин и форум операторов связи) хостился в Ростелекоме - больше не хочет: за компанию попали под блокировку запрещённых сайтов и их долго не хотели исключать. В итоге длительный простой и осадочек.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Поподробнее, плиз, не помню, чтобы ростелеком был блокирован.

Аватар пользователя tehnik
tehnik(9 лет 7 месяцев)

За Ростелеком не скажу, но учитывая как они работают с клиентам ФЛ на интернет то всякое может быть. Хотя допустим на Урале многие крупные проекты и хостеры (Netangels например) размещаются в ДЦ Ростелека. Защита от ддоса есть кстати https://moscow.rt.ru/b2b/internet/protection 

А вот с ТТК имел дело (уральский филиал), размещали там оборудование в фирме где я когда-то работал. В целом впечатления нормальные, SLA и скорость ответа техподдержки отрабатывали в рамках договора. Аплинк очень стабильный у них, за всё время кажется была одна серьёзная авария когда где-то магистральный кабель у них порвали. Защита от ддоса есть http://www.ttk.ru/rus/msk/business/service/servicepage59894.phtml 

Ну и из плюсов размещения у магистралов - доступ к MSK-IX (общей точке обмена трафиком) - а это значит что сайт будет грузится гораздо быстрее до потенциальных клиентов. 

По поводу возможных блокировок - не знаю как это возможно. Если держать постоянно актуальный бэкап, то вопрос развёртывания сайта в другом ДЦ - это вопрос 4-12 часов, пока обновляются DNS сервера и вносится новый IP адрес. Вообщем действительно, постоянная синхронизация данных и бэкап рулит.

Аватар пользователя alexsword
alexsword(12 лет 7 месяцев)

Это не ответ на вопрос выше о непонятной блокировке ростелекома, но зато помогает в выборе пути для проблемы с отказоустойчивостью.

И да, как базовый вариант сейчас выглядит схема с постоянным актуальным бекапом.

Только 4-12 часов - это не вариант совершенно.   Нам нужна будет постоянная оперативная готовность.

Аватар пользователя tehnik
tehnik(9 лет 7 месяцев)

Тут уже выше где-то советовали установить TTL поменьше, чтобы DNS обновлялся каждые 15-30 минут (я просто 4-12 сказал для обычных проектов, но можно сделать чтобы по быстрее было). Тогда и такой проблемы не будет.

И почитал историю по ссылке ниже про НАГ - так это вообще проблема глобальная была, а вовсе не про Ростелеком. Тут уж наши законотворцы и Роскомнадзор постарались, а провайдер просто исполнил решение, вот здесь даже писали про ситуацию https://aftershock.news/?q=node/528555 

Страницы