Cтоял сегодня в пробке около $кольково и обратил внимание на то, что вроде наконец достроили пеноблочные инновации - сберовский ЦОД.
( сзади еще утеплитель не до конца закрепили, но вроде как рапортовали о его открытии - https://sk.ru/news/b/news/archive/2017/12/18/sberbank-otkryl-v-skolkovo-... )
Как пишут, что он на 1 экзабайт ( 1000000 терабайт )
Во всем мире на ЦОДах отмывают бешеные бабки и по-моему в данному случае это не исключение - какой смысл его было строить в и так перегруженной Москве? А не рядом с шинами генератора какой нибудь ГЭС? Но больше заинтересовал вопрос, а что они там собрались хранить.
Из описания:
Из ситуационного центра можно следить не только за состоянием ЦОДа, но и за операционной деятельностью банка. В режиме реального времени на экране отражается более 20 000 метрик. Например, можно посмотреть, что за последнюю минуту по картам Сбербанка было совершено более 100 000 операций, через Сбербанк Онлайн провели свыше 20 000 операций, а сам банк отправил 90 000 SMS. Также можно получить детализацию по каждому конкретному территориальному банку Сбербанка.
90 тысяч смс в минуту - это всего 90 терабайт в год , по операциям ну то же сотни терабайт, но не сотни тысяч.
А ведь судя по размеру здания этого спам-центра там не один экзабайт должен поместиться.
У амазона 100 петабайт влазит в грузовик Snowmobile -
т.е. всего 10 грузовиков.
Если к человеку присобачить "видеокамеру", то он за всю жизнь нагенерит всего (аудио+видео), ну допустим с разрешением 640x480@25fps это 5мб в минуту *60*24*365*80 лет - 200 терабайт.
https://www.pleer.ru/product_390809_6Tb_Seagate_IronWolf_ST6000VN0041.html , 6 терабайтник - сейчас стоит оптом в районе 10 тысяч рублей - короче вся жизнь человека это 300 тысяч рублей и не очень большая коробка. Это взял по очень высокой планке - без сжатия, сна и прочего.
Из видео даже сегодняшний "ИИ" может извлечь всю информацию - что набирал, что говорил, что слушал, что делал, где находился и т.д. Большая часть информации, которую хранят ЦОДы она синтетическая т.е. получается путем "манипуляций" из первичных данных... а с ними, как видим, уже проблем нет - т.е. шматрица, близко. Очень близко.
Все ЦОДы России - http://www.cnews.ru/reviews/cloud2017/review_table/18bf568b863a8182a3ecd...
Жрут кстати судя по табличке достаточно мало около 250МВт ( там правда без яндексовского на 50МВт и вот этого сберовского )
Впрочем, до размахов распила пиндосов нам еще далеко - http://www.datacentermap.com/ они там точно уже "шматрицу" могут сделать.
Или вот более интересно - https://info.siteselectiongroup.com/blog/largest-north-american-and-glob...
Обращает на себя внимание АНБшный - UTAH DATA CENTER Bluffdale, UT 1,500,000 Built for the NSA на 3-12 экзабайт (мекка американских конспирологов
- https://illuminatiwatcher.com/infowars-confrontation-at-utahs-nsa-data-c...
- https://heavy.com/news/2013/06/nsas-utah-data-center-5-fast-facts-you-ne... )
несколько миллиардов баксов потратили - а Трамп выиграл :))
Или китайский бешеные стройки во "внутренней монголии"...., двухсотмегаваттные площадки хуайвейя ... но там то понятно это как не подключенные к магистральным сетям гигантские поля солнечных батарей...
Ну и смешно на самом деле с этих цЫфровиков. По сути те же самые задачи решались гораздо эффективней и без мега "цод"ов.
Ежесекундные транзакции между 50 миллионами субъектами это опять же жалкие - терабайты - как то учился на курсах oracle dba - там на кейсах люди из солидных контор озвучивали свои проблемы с реальными данными - явно не те масштабы. Для кого эти стройки века? Тем более все устаревает...
И у реальных стартапов в сфере рекламных технологий (там хоть и требования ниже, но потоки на порядки больше) со своим, а не гос или инвесторским баблом, все крутится на очень скромном оборудовании, точнее целесообразном.
В принципе ответ лежит на поверхности - поставщики оборудования, лицензий и системные интеграторы ловят очень жирную рыбку в мутной водице гос заказа... прежде, чем стартовать с новым витком "цыфры" имеет смысл разобраться с этой водичкой иначе все получится как всегда.
Очевидно, что из российского в этом проект только зарплата специалистов и пеноблок с бетоном. Говорят о каком то загадочном импортозаместительном ПО, но верится с трудом.
[конкретно этот ЦОД превысил смету на 3 миллиарда - http://www.cnews.ru/news/top/2017-09-20_megatsod_sberbanka_tajno_podoroz... , итого 16 миллиардов рублей,
300км обхода украины двухпутной электрифицированной жд - Журавка — Миллерово с кучей путепроводов - обошлось всего в три раза дороже
]
Комментарии
"итак перегруженной", "бешнные" - Роман, это что, простая атака на разум путём КЗ?
исправил
Как я понял Касперскую, она про то и говорила в нашумевшем ролике.
Прежде, чем что-то делать, давайте поймём - зачем и как.
Сбер вроде собирался у ЦБ функции некоторые себе забрать по обработке, хранению и уничтожению денежной наличности. Может эти площади потом пригодятся для этого?
они уже с уничтожением наличности судя по подобным проектам хорошо справляются :)
Сбер и Яндекс объявили, что хотят создать в России аналог Амазона.
Лучше бы этот амазон был государственным
Амазон стоит на том, что федеральная почта это бюджетники, развозящие амазоновские товары за копейки.
Почту России на такое наверное не подпишешь.
У Амазона в США своя собственная служба доставки. Она ощутимо оперативнее USPS. Да и вообще, груза десятилетий капиталистических обязательств, которые съедают куду денег за грехи прошлого, у Амазона ещё нет.
А
мужикиТрамп - то не знает, пишет про колоссальные убытки USPS от АмазонаВо-первых, посылочный сервис USPS вовсе не убыточен: Is Amazon really ripping off the US Postal Service?
И, во-вторых, доля USPS в собственно амазоновских отправлениях ничтожно мала (ссылку сейчас не найду, но видел). В основном USPS используют продавцы с Amazon Marketplace (т.е. независимые продавцы), хотя и для них это - не единственный сервис.
Так что, да, вы совершенно правы - Дональд вновь весело отжег.
Убытки почты огромны и из-за Амазона и из-за ограничений в законодательстве, когда убыточное отделение не возможно закрыть в принципе.
Там немного сложнее бухгалтерия.
Амазон даёт возможность сторонним продавцам продавать на площадке Амазона, предоставляя гарантии покупателю. Сторонние продавцы вольны использовать любой сервис доставки, не обязательно амазоновский. Многие выбирают то, что им дешевле, что неудивительно.
Проблема, от которой убытки у USPS, - это договорённости USPS с почтовыми службами других стран, о том, что плата за доставку вычисляется не исходя из себестоимости доставки, что было бы правильным, а в зависимости от страны отправки посылки. Чем беднее страна, тем дешевле доставлять посылку из неё. В результате, за доставку посылки по США из ЮВА USPS берёт в разы дешевле, чем за доставку точно такой же на то же расстояние по США, но оправленной из США. С учётом значительного количества продавцов на Амазоне, отправляющих из ЮВА, убытки - да, ощутимые, и генератор таких убытков - да, Амазон.
Как пишут, что он на 1 экзабайт ( 100.000 терабайт )
Разве не 1.000.000 терабайт?
Да 1000000
Припоминаю некие вопли о сатанинских большевиках, ставящих гигантский эксперимент над народом-богоносцем. Так вы думаете опыт закончился, или он перешёл на скрепный уровень? Опять же, чудный мультик про козла-2. С первым-то известно как поступали.
Типичный карго-эффект. Греф конечно поумнее тех туземцев, знает что ЦОДы надо строить не из камыша, а из специальных материалов от белых людей. Теперь соберет кучу местных погромистов, чтобы те нашаманили амазон - ну а чо, все же ритуалы они знают.
В принципе, подобные решения могут быть полезны для поисковиков. А то поисковики разучились нормально искать, только попсу (в широком смысле) всякую, а по более строгому запросу сразу "ничего не найдено". Нужен некий "многопрофильный" (когда под каждую задачу свой алгоритм), с обратной связью. Категорически не уверен, но может быть можно будет прикрутить индивидуальные поисковые нейросети (за отдельную плату). Вполне может потребоваться огромная база. Подобные центры не будут лишними, если их направить в нужное русло. Только кто их направит?
Пригодится для госплана
Боюсь, с такими делами шапочка из фольги уже не поможет - потеряла актуальность. Все мы под колпаком. И бежать некуда: что на Западе, что на Востоке одна тотальная цифровизация, не к ночи будь помянута!
Эта ваша запись, проиндексированная и классифицированная, займёт достойное место в каком-нибудь дата-центре.
Интересно, как она повлияет на ваш "индекс лояльности гражданина"?
p.s. Болт - от слова "болтать"?
p.p.s. Нагоняю жути, на ночь глядя... :-)))))))))))
Ничего не знаю - аккаунт был взломан неустановленными лицами, а сам я третий день сижу без интернета, забаненного Роскомнадзором - либералы подтвердят.
Я полагаю, в застенках Лубянки тебе со 146%-й вероятностью докажут, что ты крупно ошибаешься.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Статьи Ваши интересные, но расчеты в этой не очень. 640*480*3 байта (RGB)*25(кадров)*60 секунд=1,3 Гигабайта несжатого VGA-видео в минуту. В Blue-Ray дисках поток обычно составляет порядка 35 Мегабит в секунду, но там Full-HD, а не 640*480. Если взять и грубо прикинуть VGA-видео со сжатием -- 1920*1080/(640*480)=6,75. Поделим поток в 35 Мегабит на 6,75 и на 8 бит в байте. получим 0,65 Мегабайта в секунду и соответственно почти 195 Мегабайта за 5 минут.
Не совсем понял Mpeg4 для 640x480 жмет на 1,5 мегабита в секунду 0,2 мегабайта или примерно 10 мегабайт в минуту
бери 320х240, еще меньше получится, и жми в вп6 по максимуму )))
Некоторым вроде грефа ascii графики хватит
Хорошая статья ее бы в кладовую. И убрать бы "пятничное", а то как развлекалово и не серьезное в названии.
Это все равно в два раза больше чем 5 Мб в минуту, но можно ли что-то там рассмотреть толком если MPEG4? Очень замазано. Если брать h.264 современный и 640*480, то там получается порядка 40 Мегабайт в минуту при весьма скромном качестве. Если брать Full-HD и 35 Мегабит в секунду, то это порядка 260 Мегабайт в минуту.
Это конечно на много больше, но все равно достижимая величина даже с сегодняшними технологиями
ну это понятно, просто порядок цифр немного другой на мой взляд
Что-то у вас явно не то с расчетами :) Вот пример (удалил лишний выхлоп):
ffmpeg -i Leon.1994.HDRip.x264.aac.\[torrents.ru\].mkv ... Duration: 02:11:10.17, start: 0.000000, bitrate: 2383 kb/s Stream #0:0(eng): Video: h264 (High), yuv420p, 1200x512, SAR 1:1 DAR 75:32, 23.98 fps, 23.98 tbr, 1k tbn, 47.95 tbc (default) Stream #0:1(rus): Audio: aac (HE-AAC), 48000 Hz, 5.1, fltp (default) Stream #0:2(rus): Audio: aac (HE-AAC), 48000 Hz, 5.1, fltp Stream #0:3(eng): Audio: aac (HE-AAC), 48000 Hz, 5.1, fltp Stream #0:4(rus): Subtitle: subrip (default) du -sh --block-size=1M Leon.1994.HDRip.x264.aac.\[torrents.ru\].mkv 2238 Leon.1994.HDRip.x264.aac.[torrents.ru].mkv echo "2238 / 131" | bc 17Т.е. 2+ часа видео 1200x512 с 3-мя 6-канальными звуковыми дорожками ужаты в 2.2 Гб, что дает порядка 17 Мб в минуту. Если оставить одну звуковую дорожку (1-2 канала), то будет еще меньше. Качество при этом вполне ок :)
Если брать факт, что человек большую часть жизни смотрит фейсом в одну точку (ну, так шея устроена), в среднем, вряд ли выскочим за 5 мб/мин. А если учесть, что в поле зрения офисного хомосапиенса мало что меняется за весь день, а ночь он проводит в темноте, то...
это сколько же хардов в день там будет умирать?
Ну, довольно очевидно, что подобные вещи строят в первую очередь рядом со скоростными линиями связи, во вторую - рядом с центром власти. Отсюда логично вытекает Москва. Мало энергии? Можно построить АЭС рядом. Для технопарка это тоже было бы логично.
В любой айтишный проект закладывают экспоненциальное развитие. С учетом возможного увеличения числа клиентов и увеличения информации по каждому клиенту за год.
Поскольку Сбер фактически государственный, логично предположить последующее перекладывание на его мощности некоторых государственных функций, в частности планирования.
Ага, прямо посреди Рублёвки.
Заявленный экзабайт ёмкости - это примерно один ютуб в настоящий момент.
Кстати, Сбер сейчас ищет хороших спецов по ЦОДам - пишите в личку.
А плохих специалистов по ЦОДам не надо?
НЕЕЕЕЕЕЕЕЕЕЕЕЕТ!!!!!11
Плохих больше не надо!!!
Извините, это личное.
Т.е. вам уже своих хватает? :)
8 лет назал лично катался по дата-центрам одного крупного штатовского инвестиционного банка. По грубым прикидкам - свыше 20,000 серверов и дисковых массивов. И это - инвестиционный банк, не розничный. Что может быть в наше время в розничном банке, с его 50 миллионами клиентов, 200 тысячами сотрудников, 5 тысячаси отделений и 20 тысячами банкоматов - я даже представить себе боюсь.
А географическая близость ЦОД к остальным системам банка бывает критически важной из-за задержек возникающих с ростом удаления.
Ну не экзабайты же, это реально много
Отнюдь нет. 0.5-2.0 экзобайта - это ныне средней руки облачный провайдер. Если строить самому "на коленке", то экзобайт - это всего 10-20 миллионов у.е. Со всеми наворотами вроде резервирования, магистральных каналов и т.п. - до 100.
Что касается конкретного ЦОД - мы же не знаем планов СБ. Они могут предлагать часть пространства другим банкам, к примеру. Ну, и запас "на вырост" обязателен.
Если до 100, то откуда 16 миллиардов? Здание с виду дешевое, по земле, подключениям у них льготы кластера...
Это уж я не знаю. Мои замечания были только о том, что 1 экзобайт - это нынче не так чтобы очень много. Кстати,
у вас тут ошибка. 10 грузовиков по 100 петабайт == 1 экзобайт. Всего лишь 10. Мысленно поставьте их рядышком и сравните с тем ЦОД. Или экзобайт в ЦОД том сильно больше или еще что...
P.S. Прочитал статью. 16 млрд.рублей == $250 млн у.е, т.е. близка к тем 100 мллионам у.е. о которых я писал (я считал всё в у.е.). Попил там может быть на уровне десятков процентов, но не так чтобы под 100%.
Ага исправил
Страницы