Amazon будет перевозить данные клиентов в грузовиках
Как считают в Amazon, скорость передачи данных по интернету недостаточно высокая, и быстрее будет воспользоваться грузовой машиной. Непосредственно в выставочном зале, где проходила конференция, был представлен специальный грузовик Snowmobile, способный вместить 5 петабайт информации.
Машина будет подъезжать к офисам клиентов, забирать данные и отвозить их прямиком в Amazon, где они будут загружаться в облачное хранилище Amazon Web Services (AWS). Весь процесс займет намного меньше времени, чем если бы информация передавалась с помощью интернета, сообщает The Wall Street Journal. Десять Snowmobile смогут перевезти один эксабайт информации меньше, чем за 6 месяцев. Передача такого количества данных с помощью Сети заняла бы около 26 лет.
Корпорация Amazon запускает проект AWS Snowmobile, являющийся 18-колесным грузовиком, везущим 13-метровый бронированный ISO-контейнер загруженный жесткими дисками. По словам интернет-гиганта, проект позволяет корпорациям переместить массивный объем данных на веб-сервисы Amazon. Грузовик оснащен автоматической системой шифрования и RAID-бэкапа загруженных на него данных, GPS-мониторингом и сигнализацией, а в случае необходимости - и эскортом вооруженной охраной до места назначения.
Комментарии
И сколько времени будет это забирать?
"Бизнес со скоростью мысли", етить
мексиканцы-скороходы с рюкзачками не дешевле будут?
А если их выстроить цепочкой и передавать информацию из рук в руки?
"Пока твой конь четырьмя ногами: раз, два, три, четыре, мальчишка на двух ногах: раз-два, раз-два… Давай коня постерегу, а ты бегом: раз-два, раз-два, раз-два." м/ф «Ишь ты, Масленица!»
сохранность данных пострадает, однако
интересно какой пинг...
Пинг очень плохой, зато пропускная способность рекордная, главное чтоб пакеты не терялись.
Раньше так сетка у нас работала, дискетками формата А, между этажами, во время обеда пинг просто зашкаливал.
Непонятно только одно: если сеть в данной конкретной местности настолько хреновая что выгоднее возить инфу грузовиком то нахрена эту инфу вообще увозить в какое-то там "облачное хранилище" доступ к которому будет через ту же хреновую сеть?
Джонни Мнемоник без работы останется.
Хотя, с его обьемами, салага он супротив такого грузовика.
На что только не пойдут в США, лишь бы инфраструктуру не строить.
Интересно каким образом будут инфу у клиента забирать?
> Передача такого количества данных с помощью Сети заняла бы около 26 лет.
Журналамеры как всегда красаФчики. С помощью какой "Сети", на какое расстояние, за какие деньги, зачем вообще этот экзабайт куда-то везти?
А перекачивать в грузовик не через "сеть" придётся? Может я чего-то недопониматр?
Нет, скорее всего по разного рода SCSI и SATA интерфейсам.
Точно, вместо 26 лет всего 8 на это уйдёт.
Вряд-ли интернет канал жирнее 1 Гбита/сек. А по локальным каналам можно передавать информацию по 20 Гбит/секунду (и больше) на каждое соединение.
Я пристально не слежу, но вроде достигнуты практические скорости передачи порядка 100 гигабит/сек по одному оптоволокну на сотни километров. Если на короткое расстояние и по нескольким волокнам, то значительно быстрее.
В первоисточнике "from about 26 years using a high-speed internet connection, by the company’s calculations". Что это за "high-speed internet connection" известно только маркетологам. ADSL? :)
Это же США. У них всё прооптимизировано и в оптоволокно вкладываться никто не спешит, ибо слишком велик груз существующей инфраструктуры.
Погуглите DWDM - эта штука в последние годы существенно подняла скорость передачи данных.
Какое нафиг DWDM, они скорее додумаются квадрокоптерами HDD возить. Стильно, модно, молодёжно. Инвесторы на такое возбуждаются, не то что на какой-то скучный DWDM. И инфраструктура не нужна совсем, воздух же есть уже.
На самом деле нормальное решение для огромных объёмов данных, хотя и костыль конечно. Скорость выгрузки данных по дисковым интерфейсам существенно выше, чем при использовании сетевых. И если стоимость услуги будет примерно того же порядка как у содержания и развёртывания сетевой инфраструктуры, то почему бы и нет. Слил данные в грузовик, их залили в облако через какое-то время(гораздо более приемлемое, чем при закачке по сети), можешь пользоваться.
Через чито вы в облако заливаете? Через транс-анальные сети? Время сильно меньше займёт?
Ну может они и заливать не будут, просто физически воткнут диски в стойки.
Знаем мы что они куда воткнут. Они большие мастера этих дел.
Так может они и перекачивать не будут. Детали не очень ясны. Может просто приезжает большой чОрный грузовик, выдает стойку с n-числом хардов, через неделю всё это забивается и вновь приезжает грузовик и увозит данные в дата-центр, предварительно выдав чистую стойку для новых данных.
Полностью согласен, если процесс миграции однократный, то это костыль, но достаточно эффективный.
Как обычно, как только люди забывают о физике, сразу появляются "гениальные решения"...
Существенно - это на сколько? на 10%, в 2 раза, в 100 раз? Если чисто математически учесть, что скорость передачи информации SATA3 600мб/с, а интернет есть и по 100мб/с, то получаем разницу в шесть раз.
Но, делая допущения по скорости, начинаем вспоминать, что данные загружаются не в дата-центр, а на флешечку, и эта флешечка потом едет к дата-центру. И тут скорость передачи данных рассчитать не реально - с какой скоростью едет грузовик, есть ли пробки на дорогах, риски попадания в аварию с потерей "пакета данных" и т.д.
И главный вопрос - ЗАЧЕМ???? Зачем у кого-то забирать такие массивы данных? Что это могут быть за данные? Зачем они нужны в дата-центре, и не нужны Заказчику? Кто будет содержать хранилища у Заказчика (данные до приезда флешечки должны где-то накапливаться)? Что будет, если какие-то данные срочно понадобятся Заказчику для обработки/корректировки?
Лично я вижу только одно применение - отправлять массивы данных на Марс, используя грузовики-ракеты-трансформеры, Илоша наверняка уже в патентное бюро очередь занял...
Может быть не стоит других людей считать дураками, если их технические решения и инновации находятся за пределами Вашего понимания?
А что вас так задело, вы уже себе немного места на флешечке прикупили - и тут до вас стало доходить?
Или у вас есть какие-то конкретные примеры, зачем это всё нужно - так приведите, просветите непосвященного.
Amazon при миграции в облако нужен мобильный ЦОД однократно общитать все данные клиента и залить их в облако. Интренет может быть медленный и дорогой что совсем не редкость для Европы/Сев. Америки. Меня задело что люди далекие от технологий, считают, что они все знают , а остальных дураками. Я не работаю в Amazon, если что.
Попробую привести аналогию.
Если бы пришел на форум к танкистам и начал выть бы зачем гладкоствольная пушка у танка? ЗАЧЕМ????Артиллерия уже с середены 19-го века на нарезных. Стреляет дальше и точнее. Зачем на танках? Конструктора дебилы и ничего не понимаю, а я все знаю, в википедии прочитал.
Вот и я так примерно читаю Ваши опусы.
Как написана статья, так я и читаю. В статье ни строчки не написано о том, зачем нужны такие флешки Амазон, зато расписано, что на флешках информацию передавать быстрее.
Если вы такой умный, и заранее знаете, зачем может понадобиться эта "флешка", так и напишите, не надо из себя "умного" делать, будьте попроще. Остальных дураками именно вы почему-то считаете, я не писал, что в Амазон идиоты, замечания о "маркетинге" были сделаны именно по стилю статьи.
Справедливости ради стоит отметить, что приведенный вами пример использования имеет право на жизнь, но я не уверен,что такие случаи будут носить массовый характер, а значит, остается вопрос, стоит ли овчинка выделки?
Это да, у вас там в Англии любят нарезняк. Челенджер единственный танк не с гладкостволом. Джентельмены знают толк в извращениях
По сети это мбит, а скорость SATA это мбайт. Разницу знаем? У SAS еще выше скорость. И никаких потерь, проблем на маршрутах и прочих прелестей типа дорогостоящего оборудования. И стоит это копейки. А если принять во внимание схему "амазон привозит свою стойку, она забивается, он увозит её в ДЦ, привезя новую, с чистыми хардами" - так вообще, Я не говорю, что это прямо таки офигенное решение, но в нём есть рациональное зерно.
Разницу знаем, но не забываем еще и про скорость выгрузки данных. Кстати, я не настаиваю на конечных цифрах, может у них там скорость интернета не 100, а 1 Мб/с, тогда разница будет больше, но и скорость чтения и записи на диски надо будет учитывать реальную, а не указанную в описании формата.
Речь в статье не о перевозных стойках, а о "флешке", это тоже надо учитывать. Опять же, что делать, если загруженные данные, или часть их понадобятся для обработки? Ждать, пока водитель флешки светофор проедет?
Рациональное зерно найти не могу, поскольку не понятно, как работать с увезенными забитыми хардами. Что делать с теми данными, если к ним нет доступа? При необходимости заказывать флеш-такси?
По поводу копеечной стоимости флешек - кто вам это сказал? Сколько стоит система с соответствующим дублированием (RAID) и нормальными промышленными винтами? А сколько стоит бензин, зарплата водителям, диспетчерам, охранникам? Это все "слегка отражается" на эксплуатационных затратах.
В любом случае выгружать таким образом будет быстрее, чем закачивать куда-то по сети. Разумеется скорость обычных хардов не настолько велика, как скорости у ССД, кои могут достигать на записи\чтении 1 и больше гигабайта в секунду, но свои 200-300 они дать в состоянии, что существенно( примерно в два раза) превышает передачу данных даже по гигабитному каналу. А еще это надежнее.
Всё остальное - это вопросы обычного масштабирования.
Данные можно вывозить в нерабочее время, когда они никому не понадобятся. По поводу расходов - а сколько стоит подъем нормальной сетевой инфраструктуры, зарплаты админам и прочее? Если что-то выгружается в облако, то это не значит, что за место в облаке не нужно платить. Ты будешь платить за такие же харды и всю остальную организацию. Только в одном случае ты платишь за харды где-то там далеко, а в другом - за то что они приехали к тебе. Ну да, будет дороже, но если скорость появления данных в облаке будет в несколько раз выше, то не грех за такое и заплатить.
Всегда надо оценивать потенциальные расходы обоих сторон. Видимо амазон нашел решение, которое может устроить ряд клиентов.
Выше Ksh привел пример, когда такая флешка будет оправданна, но я не вижу оправдывающих ее создание объемов. Возможно, я просто не в курсе, что услуга однократного переноса огромных объемов клиентских данных в облака Амазон сильно востребована.
5 петабайт это - 5 120 Терабайт или - 5 242 880 Гигабайт
теперь берем канал 10Гбит/с - это реальные 800 МБайт/с или 0,78125 ГБайт/с
те 5 петабайт по дному каналу в 10 Гбит/ сек будут лететь - 6 710 887 сек или 78 дней.
одна DWDM оптика прогоняет 16 10Гбит/с каналов те уже не 78, а всего 5 дней......
Всё всё всё. Я понял идею. Это "Маск-идея". Нагрев.
Пошёл покупать грузовик с флешками
Новость немного журналисткая, в этом грузовике скорее всего не СХД, а СХД + сервера и схема миграции следующая:
Сняли дамп существующих баз передали в грузовик, а уже в грузовике и дет процесс трансформации клиентских данных и передача их в подготовленном виде в облако.
Дело в том, что сервера и лицензии на Oracle(не знаю как они льют данные) при больших трансформаций могут стоить приличных денег(>млн$) , но нужны один раз при перезаливке данных в облако. У клиента таких серверных мощностей скорее всего нет свободных, поэтому они создали мобильный кластер из серверов, который будет обслуживать сразу много клиентов, но залицензирован будет 1 раз. Нормальные cost reduce. + решают проблемы с интеренетом+ увеличивают безопасность.
Ничего смешного.
так СХД и есть сервер
Не претендую на правильность терминалогии, но у меня в голове всегда было так:
https://ru.wikibooks.org/wiki/Системы_хранения_данных
Ну так это и есть специализированный сервер в котором основная подсистема не процессоры, а жесткие диски,
по сути это специализированный сервер для хранения данных, тем более на такие объемы.
Я не знаю, что там внутри, СХД или ЦОД. Вы тоже. Будем спорить?
Я считаю, что там ЦОД, а журналист - ламер. И в этом грузовике не СХД, а специализированные сервера внутри которой основная система это процессоры. + немного СХД.
Все что я хотел сказать.
внутри кластер в котором есть сервер на котором живет операционка управляющая всеми схд все это вместо и есть ЦОД
наоборот там много СХД объединенных в один ЦОД
а вот и нет... СХД - это система хранения данных, сервер - это мощная вычислительная система, предназначенная для обработки данных (не хранения).
ага а флешка это жесткий диск
И снова не угадал 😁
это был сарказм
Страницы