История про слепых мудрецов и слона по-прежнему не теряет своей актуальности.
Несколько дней назад в комментариях слоном оказался «ЦОД». И, поскольку большинство на АШ в той или иной степени – мудрецы, они уж точно знают, что такое «ЦОД». Вот только каждый его щупал по-своему, со своей стороны. Есть предложение привести всё к общему знаменателю. В качестве основы предлагается взять действующий в нашей стране с 01.08.2020 ГОСТ Р 58811-2020 Центры обработки данных. Инженерная инфраструктура. Стадии создания.
Что же такое Центр Обработки Данных (ЦОД)?
ЦОД в традиционном представлении хипстеров и прочих спецов.
центр обработки данных; ЦОД: Специализированный объект, представляющий собой связанную систему ИТ-инфраструктуры и инженерной инфраструктуры, оборудование и части которых размещены в здании или помещении, подключенном к внешним сетям, как инженерным, так и телекоммуникационным.
Примечание - При необходимости здание ЦОД может иметь прилегающую территорию.(по ГОСТ Р 58811-2020)
Таким образом ЦОД – это некий набор строений, подключенных к разного рода сетям, в которых размещается инженерная инфраструктура и ИТ-инфраструктура.
Реальные инженерные элементы ЦОД
инженерная инфраструктура центра обработки данных: Комплекс систем и их оборудования, обеспечивающий бесперебойное функционирование систем и оборудования ИТ-инфраструктуры ЦОД.
Примечание - Состав инженерной инфраструктуры определяется требованиями к ее функционированию со стороны оборудования ИТ-инфраструктуры и требованиями к обеспечению безопасной работы всего ЦОД. Как правило, в состав инженерной инфраструктуры входят системы электроснабжения, поддержания климата, связи и управления, комплекс систем безопасности.(по ГОСТ Р 58811-2020)
Примечание.
Специально для великих икспердов-критиков всего и всея. Я сознательно упрощаю картину мира, дабы видна была именно суть темы. Ежели начать казуистически придираться – от моих последующих рассуждений камня на камне не останется. Ибо они «в корне неграмотные с точки зрения бла-бла-бла великих гуру облаков и другого бреда». Ну, таковым пионэрам предлагаю либо не читать сей опус, либо – читая – свою великонаучную критику излагать в своих собственных материалах. В общем – в путь…
Продолжим. Дальше можно толковать по-разному.
ЦОДы можно разделить на «корпоративные» (то есть те, которые организации используют для собственных нужд) и «коммерческие». Про корпоративные рассуждать можно много, но вот публичности в этой области ох как мало. Известны, например, монстрообразные ЦОДы у Сбербанка. Их еще в узких кругах именуют «мегацоды».
А вот в отношении коммерческих – прозрачности чуть поболее. Ибо будучи заточенными на зарабатывание денег путем предоставления неких услуг внешним клиентам, они вынуждены себя рекламировать, и, как следствие – раскрывать часть информации. Именно по этой причине у нас имеется возможность лицезреть некоторые рейтинги коммерческих ЦОД как минимум от двух конкурирующих в этой области структур (CNews и IKS-Media).
Зачем же нужен клиентам коммерческий ЦОД? В модном нынче «дискурсе» - чтобы предоставлять некие услуги. Коих, по-крупному, – всего три типа (на которых отдельные маркетологи умудряются сформировать толстенные прайс-листы путем накручивания разноцветных бантиков и прочих прибамбасов). В виду традиционно принятого у нас желания всё модное и технологичное именовать «не по-нашенски», первый (и пока - основной) тип услуг именуют «colocation», что в реальности означает просто аренду места под размещение собственного ИТ-оборудования заказчика. Место может быть как под стойку, так и внутри стойки. Но это уже детали. Второй тип – это когда ИТ-оборудование тоже принадлежит ЦОДу. Соответственно, заказчику достается либо аренда реального ИТ-оборудования, либо – виртуального. Именуют порой IaaS, что на буржуйской мове звучит Infrastructure as a Service. Ну и третий тип, когда ЦОДу же принадлежит еще и установленный на оборудовании софт, а заказчику дается право им пользоваться. Те самые «облачные услуги». То есть Cloud service. Ну, иногда еще Saas, читай Software as a Service.
Можно долго спорить о вреде и пользе того или иного варианта. Пока что практика показывает, что бОльшая часть площадей крупных коммерческих ЦОД работает на первый тип услуг.
Разные специалисты по-разному оценивают доли типов услуг, но большинство склоняется к тому, что доля услуг сложности выше аренды места составляет от 10 до 20%. Косвенным подтверждением является, например, то, что два крупнейших ЦОД (если не считать Ростелеком), а именно - IXcellerate и DataPro – «являются нейтральными ЦОДами (не оказывают сами облачных услуг, а предоставляют исключительно услуги colocation и смежные услуги)». (по информации iKS-Consulting – см. тут.
Запомним маленький вывод: в большинстве коммерческих ЦОД основой бизнеса являются услуги размещения оборудования заказчиков.
Как работает коммерческий ЦОД.
В первую очередь (с учетом того самого маленького вывода – см. выше) надо сделать так, чтобы размещенное оборудование нормально работало. То есть обеспечить электроснабжение, охлаждение, подключение к сетям передачи данных, ну и сохранность. Опять сознательно загрубляю, в жизни, конечно же, много нюансов.
В отношении охраны и доступа к сетям передачи данных – задачи вроде как простые и понятные (в первом случае – опыта чуть ли ни у половины страны, во втором – достаточно обратиться к провайдерам и дать им возможность протянуть кабель и поставить свое оконечное оборудование – остальное они как-нибудь сами). Конечно, есть некоторые правильные вещи по организации охраны. Даже технологии заумные можно накрутить (вплоть до сканеров сетчатки глаза и систем тотального видеонаблюдения с ИИ). К счастью, всё это не обязательно, ибо практически всё может быть решено организационными мероприятиями и нужным количеством сотрудников. Дальше – каждый ЦОД решает для себя сам как сделать лучше.
А вот вокруг электроснабжения и охлаждения, собственно, и вращаются все проблемы, связанные с ЦОД и их услугами. Обе системы являются наиболее критичными почти для любого ЦОД, хотя возможны и варианты. Ну, и, как всегда, поскольку «все равны, но некоторые – равнее», самой важной системой ЦОД всё же будем считать систему электроснабжения. Ибо не умеют компьютеры без электричества. Даже если оного не будет доли секунды.
Два ключевых вопроса в этой связи:
- Как построить надежную систему электроснабжения?
- Как обеспечить ее бесперебойное функционирование?
Важно понимать еще один момент: кто источник электроснабжения? Вариантов, по большому счету – всего три: территориальная сетевая компания, собственная генерация или комбинация этих вариантов. Надеяться исключительно на сетевую компанию можно только если удалось получить для ЦОД 1 категорию электроснабжения, а еще лучше – особую группу. Автору не известны ЦОД, имеющие 1 категорию (возможно – скрывают?). Поэтому ЦОДы ориентируются на третий вариант (второй – сложно и организационно, и технически, а часто – еще и дорого). То есть подключаются со 2 категорией и имеют собственную генерацию в качестве резерва.
Варианты построения системы электроснабжения ЦОД в этих условиях более-менее подробно описаны в сети: дублированные (или порой - многократно резервированные) источники и каналы распределения, надежность переключения с внешнего источника на собственную генерацию обеспечивается статическими или динамическими источниками бесперебойного питания (ИБП и ДИБП). В принципе, идейно – всё.
DRUPS компании LPI
Система охлаждения – крайне важная система, особенно в случае, если ЦОД размещен в компактном помещении, и используемое ИТ-оборудование генерит кучу тепла. В отличие от электроснабжения, даже нагруженный ЦОД может практически незаметно для себя пережить кратковременное отключение системы охлаждения. Ключевое слово – именно «кратковременно». Хотя бывают и исключения: ежели ИТ-оборудование разместить в бесконечном ангаре, расставить его поширше, а сам ангар поставить куда-то поближе к полюсу – система охлаждения может вообще не понадобиться. Такое тоже встречается, но мы всё же про более традиционные ситуации.
Два ключевых вопроса для систем охлаждения будут такими:
- Как построить надежную систему охлаждения?
- Как обеспечить ее функционирование, не допускающее заметных для ИТ-нагрузки простоев?
Источником холода в них являются собственные машины (порой – с помощью внешнего прохладного воздуха). Работают эти машины на электричестве, опускают температуру рабочего тела до определенного предела, далее по каналам распределения разносят прохладу по машинным залам. Для надежности – всё это резервируется (то есть создается избыточность по количеству и мощности).
Теперь небольшое отступление.
Сказка про ТИР (очень краткая промо-версия будущего материала).
В инете бродит мулька про классификацию ЦОД имени некой «международной компании Uptime Institute». Буков написано толкователями (именно толкователями, а не авторами!) много. Так много, что все уже почти в них и поверили. Как всегда, во всякой лжи есть доля правды.
Правда в том, что есть продвигаемый частной консалтинговой компанией в виде зарегистрированного бренда некоторый «уровень надежности ЦОДа», называемый Tier с цифровым индексом от I до IV. И чем больше номер – тем более надежный ЦОД. И что присвоить ЦОДу этот самый Tier имеет право только эта консалтинговая компания. За мзду, и часто – не такую уж и малую.
Почти всё остальное – не правда. Например, не правда то, что присвоенный даже этой компанией уровень Tier означает конкретное значение какого-угодно из коэффициентов надежности. Об этом неоднократно заявлял глава российского представительства этой самой компании – см. например тут.
Основная причина столь серьезного прокола проста: считать и обосновывать надежность трудно, да и отвечать потом за расчеты надо. А не хочется… Есть и вторая, не менее «приятная», причина. Дело в том, что по факту производители инженерного оборудования для ЦОД не готовы раскрыть реальную надежность своих изделий. А не имея данных по отдельным элементам – посчитать итоговое значение вообще невозможно.
Так что не верьте фразам типа «для ЦОДа Tier III коэффициент отказоустойчивости равен 99,98 %.» В ней прекрасно всё. Начиная с того, что в теории надежности не знают, что такое «коэффициент отказоустойчивости». И заканчивая тем, что Tier III про надежность в цифрах ничего не гарантирует. Так что вся фраза – ложь. Не ведитесь на нее.
Блуждающая в инете лживая картинка про надежность уровней Tier.
Когда-то, если хватит сил и настрой будет соответствующий, изложу более подробно эту сказку. Может даже с фамилиями, как знать? А пока - продолжим по-серьезному.
Итак, мы каким-то образом построили надежные системы. И далее надо заняться вторым вопросом: как обеспечить их функционирование в соответствии с требованиями? Отвечает за это так называемая
Служба эксплуатации ЦОД
служба эксплуатации центра обработки данных: Организация или ее подразделение, в обязанности которой вменяется проведение работ по эксплуатации систем и оборудования центра обработки данных.
(по ГОСТ Р 58811-2020)
Но какой она должна быть и чем ей следует заниматься? Опять же, любая потенциальная помощь зала легко даст нам кучу различных советов. Ибо все это хорошо знают, и имеют собственное мнение. Но мы будем опираться на нечто более научное. Оказывается, есть такая (уже упоминавшаяся выше) «теория надежности». Которая однозначно говорит, что если уж кому-то надо, чтобы построенная реальная система нормально функционировала – ее следует нормально эксплуатировать, в том числе - своевременно обслуживать и ремонтировать. Всё просто, и будет вам счастье. Сия простая истина приводит к тому, что в типичном коммерческом ЦОДе (достаточно крупном) структура службы эксплуатации примерно такая:
Задачи первых трех отделов – своевременное обслуживание и ремонт оборудования систем в своей зоне ответственности. Текущий мониторинг (который включает в обязательном порядке и регулярный визуальный осмотр) – обязательная часть такого обслуживания. Есть еще регламентное ТО (обычно – по времени или по наработке). Ну и ремонты, плановые и аварийные.
Для электрических и механических систем всё это – трудоемкие процедуры, требующие останова и отключения оборудования, его частичной разборки и т.п. В виду наличия заложенных резервов, для потребителей это как правило проходит незаметно, без снижения параметров предоставляемых услуг. Но следует понимать, что проведение любых работ (как плановых, так и внеплановых) – однозначно приводит к снижению надежности объекта. Просто потому, что часть резервов выводится в обслуживание, и при отказе работающей системы – они не могут быть задействованы, ну – раз уж они отключены и разобраны (см. выше).
Отдел клиентского сервиса – это диспетчерская, принимающая запросы от потребителей и организующая их отработку. Реально с клиентским ИТ-оборудованием работает отдел технической поддержки.
Отдел развития – ведет учет задействованных мощностей и просчитывает варианты удовлетворения запросов существующих и новых клиентов на предоставление услуг и/или изменение уже предоставляемых услуг.
Сколько же народу надо для всего этого? В крупном коммерческом ЦОД до 20 чел. в отделе главного энергетика, до 10 – в отделе ВиК, 3-4 в отделе слаботочных систем, 6-8 чел. в отделе клиентского сервиса, 5-7 чел. в отделе развития, до 10 чел. в отделе техподдержки. Всего численность службы эксплуатации – до 60 чел. И это все – только по инженерным системам и услугам размещения оборудования!
Все приведенные цифры - абсолютно реальные. Из реальной штатки. А вот чья именно это штатка – не скажу. Не велено.
Про удаленку.
Могут ли перечисленные люди работать удаленно? Ну, разве что – диспетчеры. И только если они не делают ничего, кроме приема звонков и переадресации писем. В большинстве ЦОДов они еще видят состояние оборудования ЦОД, а это уже требует доступа к системам мониторинга и управления. Доступ удаленно конечно же организовать можно. Хлопотно и не дешево (если делать качественно и безопасно). То есть дать им (каждому!) по приличному компу домой плюс организовать защищенный VPN домой. А еще надо, чтобы дома они все правила безопасного пользования соблюдали…. В офисе таких проблем нет. А вот по всем остальным – удаленки не будет. От слова совсем. Ибо работа требует непосредственного контакта с железом. Как-то так.
Немного слайдов про коммерческие ЦОДы.
Как уже ранее упоминалось - как минимум две конкурирующие структуры (CNews и IKS-Media) публикуют рейтинги коммерческих ЦОД. Предлагаю их некоторое время поразглядывать.
Рейтинг ключевых участников рынка КЦОДов РФ в 2019 г. по количеству введенных стойко-мест Источник: iKS-Consulting
Крупнейшие поставщики услуг ЦОД в России 2020
Поскольку данные ЦОДы предоставляют сами, по своему желанию, конечно же в рейтинг попадают не все. Что интересно – первые 12 в обоих случаях почти совпадают, хотя и видно, что у CNews информация посвежее.
Всего заявлено 12 крупных коммерческих ЦОД с размером более 1000 стойко-мест.
А если не считать Ростелеком и МТС (для которых ЦОДы – незначительное дополнение к основному бизнесу) – то только 10. Десять, Карл!
Общее число стойко-мест в крупных ЦОД – 30 606, общая площадь машинных залов – 78149 м2. Суммарная подведенная мощность – 317 МВт, мощность на одну стойку – от 5,5 до 15 кВт.
Много это или мало?
В сравнимом виде бесплатную статистику мне найти не удалось. Наверное - плохо искал. Буду благодарен, если кто подскажет где взять. Но хоть с чем-нибудь сравнить можно. Например – с самым большим в мире ЦОДом. Известно, что это - ЦОД TAHOE RENO 1, размещенный в кампусе Цитадель на севере штата Невада, США. Он имеет суммарную подведенную мощность более 650 МВт, площади под размещение ИТ-оборудования – более 650 тыс. м2. Делайте выводы.
Кстати, есть еще один важный факт из экономики услуг ЦОД.
Дело в том, что отечественные ЦОДы – лидеры по доле электроэнергии в структуре себестоимости. В среднем она составляет 50%, а в ряде случаев достигает и 60%. Думаю, речь идет именно о ЦОДах в нашем понимании. Ибо для ориентированных на облака цифры скорее всего будут несколько иными.
Не удивительно, что, сравнив стоимость электроэнергии в России и за бугром, а также увидев масштабы и количество ЦОДов по миру, власти задались логичным вопросом: почему этого добра у нас так мало? И тут же поставили задачу увеличивать долю экспорта в услугах ЦОД. Ни много, ни мало – именно так. И уже приняли ряд решений, скажем так – способствующих повышению этой самой доли. В том числе.
Главный редактор АШ часто ругается, когда видит материалы про выработку криптовалюты за счет дешевой электроэнергии. Он прав, люди действительно палят по сути - самое дорогое что у них есть и генерят виртуальный дорогостоящий мусор. Это так. Проблема, как мне видится, в том, что другого способа выгодно для себя продать эту самую энергию порой найти не удается. Вот и рыскают в поиске варианта завуалированной продажи. И услуги ЦОДов на экспорт – один из таких способов. На мой взгляд – не являющийся бесспорным, но в целом – может быть действенным. Косвенным подтверждением можно считать бурную активность в ЦОДостроительстве в последнее время проявляемую Росатомом. А энергии у нас пока много. Коэффициенты использования установленной мощности в 2019 году по ГЭС составил 43,85%, по АЭС - 79,82%. Это хорошая стабильная энергия, без ненужных трат углеводородов. И ее резервы можно и нужно с выгодой продавать. ИМХО.
Что же про облачные и прочие ЦОДы?
Есть огромное подозрение, что этих зверей несколько больше, чем может показаться на первый взгляд, да и покрупнее они. Только ведут себя несколько иначе, чем традиционные ЦОД, ориентированные на услуги размещения оборудования. И вот почему. Была тут недавно заметка про новый ЦОД в Норильске.
Так вот совокупная мощность уже запущенной фермы заявлена в 11,2 МВт. И далее ее вроде как планирую увеличить до 31 МВт. И это – только ИТ-нагрузка. Подведенная мощность обычно в два раза больше.
А еще есть, например, ЦОД Bitriver в Братске. Который заявляет 100 МВт подведенной мощности. А в рейтинге самый энерговооруженный – всего 20 МВт. Что тут сказать? Делайте выводы. Правда, выглядят эти ЦОДы несколько иначе…
Машинный зал ЦОДа Bitriver в Братске.
Как интересно тут с чистотой воздуха? С температурой? Где тут дефицит площадей? Вопросы можно продолжать. Но в целом – прикольно, ведь да? Особенно если сравнить с более привычной для глаза самой первой (после слона) картинкой из этого материала.
Понятно, что традиционного бизнес-заказчика в такой ЦОД не загонишь ничем. У этого ЦОДа – свои, специфичные клиенты.
Продолжение следует…
Комментарии
Видать чувака либо туда не пущают. В этот канал. Либо уже другие съели оный.
Жалоба месячной давности, из первых рук...
Реально странно. Но спорить не буду.
Обычная рендер-ферма. Если видели современный фильм или 3d мультфильм с современным качеством графики, то можете быть уверенными -- это все где-то рендерилось. Не исключено, что месяцами.
Поэтому снимают вначале что-то типа черного видео, т.е. полность смонтированное видео, но без видео эффектов. Или в очень низком качестве. Просматривают и редактируют. И только потом отправляют на постобработку, которая иной раз занимает больше, чем сами съемки.
Это через всю РФ, а потом еще и на юг. Будет нужно -- протянут. Хоть по дну Северного моского пути. Конечно, там должен быть серьезный запас, чтобы сейчас не более 1% мощности задействовалось -- за десятилетие загрузка вполне может вырасти.
Хосподи, чем вам северный морской путь не угодил. Чтоб по нему из Братска оптику тянуть.
Модели на армах плохо считаются. А вот готовые модели на них и работают. Что по вашему "когниктивчики" в комбайны ставят? Там чип от nvidia c армом.
Зависит от самой модели. Есть классическая нейросеть, ее предварительно на видеокарточках гоняют, а потом на армы ставят. А есть новые, им предварительный этап не особо то и нужен. Но у них структура сложнее, из-за чего не факт, что видеокарты справятся
Вполне возможно, что сетку поделили на 2 части -- одна простенькая и легко масштабируемая часть гоняется на видюхе, а вторая более сложная часть -- на арме.
Классические нейросетки подстраивают веса на основе тысяч картинок. Новые нейросетки играют в демократию -- исходную пару картинок запоминает только две ячейки, остальные ячейки запоминают эту же картинку + различные исккажения. Для распознавания -- эта картинка сравнивается со внутренней памятью. Если совпало, то ячейка "голосует". По проголосовавшим выбирается -- что это за картинка, а также каким искажениям она подверглась.
Соответственно, каждая ячейка живет внутри видеокарты, а общее голосование, подача самой картинки, а также подсчет голосов -- это уже на ARM.
Новая структура ближе к человеческому мозгу, а также легко масштабируема, т.к. загружен может быть только небольшой участок голосующих ячеек.
Брр. Это вы мне про GAN что ли рассказываете ? Если да, то хочу вас разочаровать, там ресурсов еще больше надо.
UDP. А нет не про GAN вообще непонятно про, ячейки какие то голосующие, память божественным образом безразмерная. Честно, силился понять про что вы, понял, что не знаю.
Это считается за классическую нейросеть. И GAN используется для сжатия и генерации.
Искажения генерируются не внутри нейросети, а на основе обычных преобразований -- вращение по трем осям, сдвиги по x,y, маштабирование (сдвиг по z или по глубине) и т.д.
Одна ячейка -- классическая нейросеть, которая в своих весах должна запомнить исходное изображение с заданными искажениями. Что за искажения -- получается и хранится вне нейросети.
Получается, что для обучений нейросети достаточно лишь пары изображений. Причем кодирование этих изображений тоже необычное -- с помощью хеш-ключей, которые также хранятся вне ячейки-нейросети.
Сама ячейка получает примерно такую структуру:
N; небольшая нейросеть, не более 100 нейронов, расположеннных в несколько слоев.
Строка искажений: перечисление какие искажения задействованы и с какими параметрами. Например, вращение альфа 15 градусов, бета 45 градусов, сдвиги х+15, у-4, z+0
Строка внешних хеш-значений: обычно указываются кольцевые счетчики, до 20 параметров для каждого счетчика: глобальные координаты (3 по смещению и 3 по вращению), текущее время дня, время года и т.д. Самое простое для описание -- кольцевой счетчик времени: после 60 минут идет отсчет с начала, а не следующей минуты. Но для таких нейросетей размер кольца может быть иным.
И т.д.
Если будет 10 тыс ячеек, то каждая ячейка получит изображение с заранее определенными искажениями. Искажения -- умножение на матрицы сдвига, вращения и масштабирования, нейросеть никакого участия не принимает.
После обучения подается изображение для распознавания. Каждая ячейка должна сравнить полученное изображение и запомненное, выдавая вероятность совпадения. Ячейка с наибольшей вероятностью "побеждает" и выдает запомненые параметры искажения, хеша и т.д.
Также немного об изображении -- передается не само изображение, а некоторый слепок, а вот с алгоритмами тами сложнее. Больше похоже на разницу между двумя изображениями по методу XOR, т.е. получается маска для областей, которые различаются. Больше похоже -- это не значит, что так и есть, т.к. там есть еще еще несколько фильтров.
Естесственно, описанное отличается от GAN и на них ни разу не похоже. Причем я описал поверхностно и кратко, стараясь в минимуме слов описать серьезный доклад. Мало того, мне попалась старая версия доклада, более новый недоступен в открытом доступе.
Если для GAN нужно запускать нейросеть на несколько тысяч итераций только для обучения, то для данной сети количество запусков не более 10. Также GAN может состоять из тысяч нейронов, тогда как описанная система состоит для каждой ячейки всего из 100 нейронов. Мало того, если GAN запускается, то она отработает полностью, то сеть ячеек отрабатывает лишь часть, вначале отрабатывая лишь большие смещения в условные 10 пикселей и только в местах всплесков может загружаться детализация области для уточнения смещения в 1 пиксель.
UPD: память вполне конкретна -- до 1,5 Кб/ячейка. Т.е. на 1 тыс ячеек памяти понадобится около 1,5 Мб.
1 float занимает условные 10 байт, т.е. для 100 ячеек будет 1000 байт. + статичная структура в виде всех смещений и других параметров изображения.
UPD 2: ссыль.
Уважаемый Иван. Я понимаю юность, задор. Но ради интереса, просто пустите побор параметров для RandomForestClassifier, примеров полно в интернете, на своем пк. И осознайте всю пропасть между тем, что вам кажется так легко и реальностью.
тут больше сказывается неполнота самого доклада, т.к. там предложена концепция, но без полноценной реализации, что немного усугубляет. Сам автор прямо говорит, что не хватает модели памяти внутри ячеек, а также принципов распределения обязанностей между ячейками, как и их связь, т.к. каждая ячейка связана примерно с сотней другой, хотя всего может быть 200 млн (для человеческого мозга).
Самое последнее видео от автора концепции было "мы нашли идеальное описание, это переворот в науке!" и прочее, но больше идей не было высказано. Логично, никто не отменяет коммерческой тайны. Даже создатель Графетрона по промышленному созданию графеновых нанотрубок не раскрывает подробностей работы своего детища, которое тоже революционно по своей природе.
На своем калькуляторе? пень4 + видеокарта gt220. Мощь 10-летней давности. Опять же -- я подробно не изучал тему и прекрасно знаю, что некоторые алгоритмы можно оптимизировать на порядки!
На порядки -- это вместо перебора запустить конкретную формулу, а также деление данных на части.
Уверенности придает тот факт, что я уже успешно нашел ту самую формулу от маргинального изобретателя "Алгоритма Бабушкина", причем без перебора. Есть статья в инете lurkmore, но там с матами. Исходная задача:
Я знаю результат -- для сохранение необходимой точности получится удвоение результата, что противоречит логике архивации, но не суть. Меня заинтересовала сама задача -- нахождение этой самой формулы. Нашел случайно -- это тема "Циклические дроби", исходное число представил в виде указанной десятичной дроби, далее с помощью алгоритма нахождения циклической дроби перевел и список параметров p и q, но все p=1, после этого преобразовываю в обыкновенную дробь и получаю необходимые 2 числа, которые дадут искомое число, т.е. без потерь.
Кроме этой оптимизации я использовал нарезку на куски в районе 1-64 КБ и включал поиск этих двух чисел для каждого кусочка, рассматривая каждый фрагмент как отдельный файл, иначе длительность вычислений занимает слишком много времени.
И да -- мне удалось даже сократить потребление памяти у результата! Вместо нахождения чисел a и b для обыкновенной дроби я искал еще третье число C -- уровень погрешности, т.е. разница между полученной дробью и исходным числом. Алгоритм искал наименьшую длину чисел a,b,c.
Я избавился от удвоения длины "архива" и получал "всего лишь" в 1,3 раза больше. Не уменьшение, как должно быть, а прирост размера аж на 30%.
Из трех задач было решено 2: изучение питона (выполнено), нахождение мат.алгоритма вместо перебора (выполнено), достижения сжатия (провалено, это изначально было сомнительно).
Если долго всматриваться в число Пи, можно прочитать всю Ленинскую библиотеку.
Вам должно быть интересно.Спасибо, видео было интересным, хотя даже в нем встретились ошибки. Спрятал под спойлер, может -- будут идеи что там не так.
https://youtu.be/S-XbkkFLsBg?t=838 (13:58). Разъяснение:
Хотя казалось бы -- советский видеофильм, рецензенты, куча проверок. И тут мы получаем настолько грубые помарки.
Причем филологи и даже обычные люди этого не заметят. Но не специалисты информационных технологий, если они знают эту фишку, описанную мной под спойлером.
А теперь самое жестокое, основанное на предыдущем спойлере.
Мы можем избавиться от пробелов и переносов. Останется только буква О.
Например, получится строка:
ОООООООООООООООООООООООООООООООООООООООООО
И даже в этом случае я могу передавать осмысленные сообщения!
Подробности как это делается:
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Отличный ликбез! Тема сисек раскрыта полноценно и это сразу видно по факту того, что нет ни одного коммента про обязательный безлюдный ЦОД с полным штатным удаленным персоналом. Т.С.- зачет и респект!
Спасибо за оценку.
Я действительно старался пояснить всё так, чтобы пресечь не очень умные идеи на корню. Если удалось - рад.
Сколько же народу надо для всего этого? В крупном коммерческом ЦОД до 20 чел. в отделе главного энергетика, до 10 – в отделе ВиК, 3-4 в отделе слаботочных систем, 6-8 чел. в отделе клиентского сервиса, 5-7 чел. в отделе развития, до 10 чел. в отделе техподдержки. Всего численность службы эксплуатации – до 60 чел. И это все – только по инженерным системам и услугам размещения оборудования!
--
взрыдал... По работе был сильно вхож в цод одного очень крупного провайдера интернета-тв-мобилы и др (не в России), так там рабочие места можно было по пальцам пересчитать. И народу там аж ну чел 10 видел всего. А заносило меня туда практически в любое время ибо карту доступа мне сделали..
Скорее всего не всех видели.
К тому же работа круглосуточно сменами означает на одного присутствующего на рабочем месте - примерно 4,5 штатные единицы. Это Трудовой кодекс... Умножаем 10 на 4,5 - получаем 45.
Дальше: это корпоративный ЦОД, им обслуживать клиентов не надо - ещё экономия на численности. И расчет площадей и изменений тоже делают в другом месте. В ЦОДе - голимая эксплуатация железок.
Так что не надо плакать, пройдет...
Он же сказал - это провайдерский ЦОД, то есть клиентов - обслуживать надо. Но это - вообще отдельная песня, я работал в ISP...
Кстати мой любимый вопрос хипстерам - все знают что такое М9. Да-да - М9-IX, все дела, серьезный ЦОД, построенный по всем стандартам, +10-15 мм.рт.ст. в машзалах, автоматчики на входе (сейчас вроде убрали, но раньше - стояли) и все дела :)
Внимание вопрос - какое оборудование там до сих пор занимает более 50% площади? Подсказка - собственно ради него всю эту красоту и городили :)
М9 Этож телефонная станция. Удивлен только что до сих пор.
Как ты думаешь - откуда взялись техтребования к ЦОД-ам? Да и сами ЦОД-ы - тоже...
- Что надо сделать чтоб из телефонной станции сделать ЦОД?
- Построить рядом градирни..
Как чувствовал, что вопрос с подвохом 🤣👍.
UDP. Сам их вижу почти каждый день. Но примелькались.
Это Трудовой кодекс...
--
не Россия, написал же.
И если туда заходишь, а там из народа сидит 3 человека. ну может еще 45 конечно где то бегают, но почему то их не видно...
ЦОД в Норильске? Откуда электроэнергия? 100км Усть-Хантайская ГЭС. В Норильске только ТЭЦ
Я вот тоже не знаю. Надо бы по ссылке искать - может кто и подскажет.
«Я уверен насчёт 1-й категории, т.к. плотно общался с людьми, которые его строили.»
У-а-ха-ха.
Коллеги, вы путаетесь в терминологии. Потребители 1 категории надёжности электроснабжения - это электроприемники, перерыв электроснабжения которых может повлечь за собой опасность для жизни людей, угрозу для безопасности государства, значительный материальный ущерб, расстройство сложного технологического процесса, нарушение функционирования особо важных элементов коммунального хозяйства, объектов связи и телевидения. Для электроснабжения потребителей 1 категории устанавливается АВР, который обеспечивает переключение между двумя вводам в автоматическом режиме (в соответствии с п. 1.2.19 ПУЭ).
В городе, когда есть ограничения по мощности, которая подаётся по кабелю и возможность аварийного переключения на кабель от другой подстанции речь может идти о категориях снабжения. Для таких мощных объектов критерии немного другие.
Так же не стоит путать такие вещи как электроэнергия для собственных нужд АЭС и та, что скажем так генерируется в сеть. Были горячие головы, которые планировали, списывать на собственные нужды АЭС потребление таких приатомных ЦОДов, но их быстро обломали, поэтому не верьте, когда в Удомле рассказывают сказки, про бесплатную электроэнергию. Ну и чисто для понимания. Есть сетевая инфраструктура самой АЭС и отдельная понижающая подстанция для ЦОДа.
Так же автор не упомянул такой момент как территориальное размещение ЦОД, а именно его удаленность от пользователей. Физику не обманешь и такой параметр как лэтенси, для достаточно большого количества информационных систем весьма критичен. Так же упомянутая автором IAAS это зверюга в каждом ЦОД имеет свой набор услуг и уровень SLA. Поэтому в столице проблема с площадями для ЦОД, а в вышеупомянутую Удомлю особенно никто не торопится.
Некоторые читатели правильно подметили вопрос охраны и обеспечения конфиденциальности. Не каждый банк рискнёт положить свои данные в «чужой» ЦОД, если там проходной двор.
Итого, поддержу автора. Нам есть куда расти и не только в плане метража/мощностей/отказоустойчивость, но и в плане уровня предоставляемого сервиса и «шаговой доступности».
Спасибо за коммент.
Да, именно так!
Это хороший вопрос. Надеюсь, до него тоже доберусь в последующем...
мы как то считали "серверную" для одного заказчика в небольшом городе. Они заявили, что у них как раз 1 категория. Но значительно позже выяснилось, что у них то да, но сам город запитан одной ЛЭП от ближайшей ГЭС :)))
ну еще из опыта - строили ЦОД мелкий на заводе. реально 1 категория - опасное производство. На вопрос - "а у вас оба ввода когда нибудь отключали?" сказали что нет, поэтому дизель нам не нужен. а сильно потом позвонили и рассказали, что бухали они с бывшим главным энергетиком, так вот он такой факт вспомнил! в 1979 году такое было!
Извините, что несколько нарушу вашу просьбу - но уж очень там по сути ошибка.
Облака - это не SaaS, а IaaS - подразумевает свой софт. Вершина виртуализации. SaaS может жить и на облаке, и на кластере - но это другая услуга.
Ну и надежность... Тут все верно, но стоит упомянуть такую вещь, как SLA. Он обычно между DC и клиентом, и с санкциями за нарушение, иногда очень некислыми. Иногда стандартный аптайм SLA для данного DC и используется в качестве меры надежности (хотя SLA несколько больше, чем просто аптайм).
В остальном - все верно написано, спасибо за ликбез простым языком.
Так я же вроде оговорился - что сознательно всё загрубляю. Смысл был отделить просто аренду места от всего остального, где уже есть ИТ-оборудование и какой-никакой софт. Так что да, вы вполне правы. Хотя бывает и "облачная ERP". В общем - облака облакам рознь...
Касательно SLA и санкций - не соглашусь. Ибо и то и другое - это контрактные отношения из мира финансов ("если будет не так - плати бабки"). К реальной работе оборудования имеет опосредованное отношение. Думаю, вы сами имеете примеры ситуаций, когда народ не имея возможности что-то сделать по требованиям, изначально закладывается на уплату штрафов. Я же писал именно о реальной надежности, которая может обеспечиться - и обеспечивается - организационными и техническими решениями. Это иной разрез.
Про SLA возможно подробнее поговорим в будущем. Ибо там каши в головах у людей - еще больше. Как мне кажется.
За коммент и идею - спасибо.
В этом месте, на мой взгляд, ошибка уж больно явная - в классификации.
А "Облачное ERP" - ну да. Сейчас все стало "Облачное" - ибо хайпово. И дороже продается.
Про SLA - соглашусь. Тем более вспомнил пару случаев, в одном - нам этот DC проще купить оказалось (угу, с учетом штрафов - недорохо), уж больно у них аплинки вкусные были.
Но вообще с надежностью - бардак полный, что это такое сказать очень сложно. Да, уж точно не Tier. Вообще термин вероятностный (ибо умереть может все, даже при резервировании), да и надежность до какой точки? Внутри DC? До обменки? До бэкбона? В общем - тоже тема отдельной статьи, по-хорошему.
Но в целом - как я и написал - хорошее объяснение простым языком, как это все примерно работает. И что сами стойки (их, кстати, может и вообще не быть - у майнеров, например) - это уже вишенка на здоровом таком торте.
“Я же писал именно о реальной надежности, которая может обеспечиться - и обеспечивается - организационными и техническими решениями.”
Я ещё чуть чуть хотел бы уточнить. Что есть HA - технические решения по отказоустойчивости, а есть DR - организационные мероприятия по восстановлению работоспособности.
Страницы