Доклад неподражаемого Алексея Перевозчикова о состоянии современного процессорного рынка.
Анонс:
Рынок планшетов и смартфонов (далее тыкалок) в 6-7 раз больше серверного рынка. Серверный рынок не растет с 1996 года, при том что расходы на обслуживание серверов наооборот непрерывно увеличиваются, стоимость инженеров в ИТ выросла в 4 раза с 1996 года.
Энергопотребление становится существенной проблемой. ИТ кушает 10% мирового электричества.
С 2010 года идет массовая переориентация вендоров на розничный рынок.
Облачный сервисы хорошо работают в рознице.
Продолжительность видео - 25 минут.
Основные тезисы:
- 2010 год стали заметны изменения в отрасли, в 10-ку крупнейших инноваторов выбрались компании работающие на розницу. Hon Hai Precision Industry ака FOXCON занял 8-мое место по количеству технологических патентов. Intel (18-е) и HP (15-е) и выпали из топ 10.
- Происходит бегство от бизнеса в розницу и эта тенденция будет усиливаться.
- Рынок тыкалок (планшеты и смартфоны) в денежном выражении в 6-7 раз превосходит объем серверного рынка. Вендоры быстро развернулись и побежали туда где больше денег.
- Мировой рынок традиционных серверов по оценкам IDC в денежном выражении остается постоянным с 1996 года, при этом стоимость эксплуатации и энергопотребление серверной техники непрерывно растет.
- в 1996 году 2/3 стоимости проекта приходилось на оборудование, в 2012 на оборудование приходиться 11% стоимости проекта, на софт 33%, на людей - 46% (признавайтесь, у кого в ИТ так растут зарплаты =) ) т.е. люди подорожали в 4 раза с 1996 года.
- Концепция "купим много серверов" становится неэффективной, сервера дешевые, но обслуживание их стало дорогим.
- Облака обходятся дороже собственного оборудования, но зато никакого CAPEX, расходы размазываются на несколько лет, аналогично кредиту. Данный подход хорошо работает в розницу, т.к. если у вас есть тыкалка, то и наверняка есть сервисный контракт с провайдером. Данный подход - стабильные деньги каждый месяц/квартал, и не связанные между собой задачи, позволяют эксплуатировать большое количество маленьких серверов для обеспечения облачных сервисов.
- Сфера ИТ потребляет 10% мирового электричества, один из самых крупных потребителей Google, 13 датацентров (2-2,5 млн серверов) гугла кушают 260МВт. Расходы на электричество у гугла примерно $500 млн.
- Гугол вложил порядка $1 млрд в развитие собственной энергосистемы для обеспечение питания своих датацентров.
- Интел, еще недавно делавший упор на маштабируемость и серверный рынок, переключился на Atom и сниженное энегопотребление. Стратегическая цель мобильные, малопотребляющие процессоры для розницы.
- HP первой выпускает сервера не на x86. "Мы больше не будем играть по правилам Intel и Microsoft".
- Тыкалки очень быстро из под Intel вымывают финансовую почву. Основной доход Intel получает от продажи процессоров для ПК, которые очень быстро заменяются планшетами. Сокращается экономическая платформа, сокращаются разработки. Последнее поколение процессоров E5 версии 2 по официальному пресрелизу медленнее на 8.5% E5 версии 1 при тех же мегагерцах.
- Далее немного рекламы от IBM =)
- IBM по прежнему ориентирован на корпоративный рынок и традиционные задачи. Образовав консорциум OpenPower IBM позволил сторонним заказчикам выпускать свои продукты на базе процессоров Power.
- По сравнению с Intel архитектура Power позволяет получить производительность вдвое выше при том же объеме и том же киловатте.
- Гугол присоединился к OpenPower одним из первых.
- Tyan Computers - основной и единственный поставщик инфраструктуры Amazon, так же вошел в консорциум.
- NVIDIA присутствует в виде CUDA сопроцессоров для создания гибридных суперкомпьютеров, архитектура Power обеспечивает сопроцессорам когерентный доступ в память и возможность работать с традиционным ПО.
Комментарии
да никто не говорит про вину и неэффективность компьютеров, как вы не поймете меня...
речь именно о проблеме в головах. просто компьютеры очень удачно поддерживают и развивают эту проблему. люди в отсутствие реального нормального развития и работы очень любят имитировать оные. бюрократия, всё такое и вот тут все эти ит очень в масть, помогают этому всему расцвести махровым цветом. на пишмашинке бюрократ физически не может родить больше пары бумажек в день. а с компьютером да интернетом! вот и получаем то, что получаем.
ну или вот взять ту же школу, например. вот как раз тут ит серьезно ухудшили ее работу. начнем с того, что теперь школьник легко, без всяких усилий может получить как решение любых домашних заданий, так и всевозможные рефераты и т.п. и даже ответы на экзамены скачать. это с одной стороны. а с другой, та же проблема, что в абзаце выше. просто вал бумаг накрыл учителя, ему просто некогда и незачем учить, все силы уходят но оформление всевозможных портфолио, методичек, характеристик, открытых уроков и т.д.
В общем, мне кажется, мы об одном и том же - но с разных сторон ) Да, с компьютером осуществить имитацию улучшения вместо самого улучшения - очень просто. Да, с компьютером с умом можно делать отличные дела =)
ну да...
Смотреть надо масштабней-с помощью бумажной круговерти верхи влезли во все дыры и щели лишив Директора самостоятельности. Раньше Директор был князьком уездного масштаба-турбаза, подсобное хозяйство и проч и проч.
Второй момент-посадив всех на компьютерную иглу Верха в разы ускорили метаморфозы протекающие в народном хозяйстве/ аналогично ЛЕСА в Мир Пауков-что окружал инопланетную штуковину-если вы читали тот Мир Пауков/.
С ностальгией вспоминаю времена когда Инструкции были выполнены типографским способом и были пожелтевшими от времени. Ныне те инструкции в разы толще и пару раз в год обновляються.
"посадив всех на компьютерную иглу Верха в разы ускорили метаморфозы протекающие в народном хозяйстве"
====
инструкции да, меняются. а вот особых метаморфоз в хозяйстве не замечаю. как закрыли почти все предприятия в моем городе, так их и нет, одни магазины...
..не замечаю...потомучто бугорок для наблюдения невысокий.
Русал- убрали с предприятих нах весь планово-экономический персонал пересадив его в Москву-заводами управляют ,,по проводам,, Песенка была в эту тему в 70-х -бренчали под гитару... и сексом будем заниматься по электропроводам....
Энергетики -тож самое.
Нефтяники -аналогично.
Если сравнивать мировую экономику с человеческим организмом, то на работу мозга тратиться 10-20 % энергии организма. Так что все в порядке.
Насчет "экономных" атомов я не понял. У него ж отношение ватт/флопс ХУЖЕ, чем у более мощных процов. И сейчас напротив в тыкалки все норовят всунуть больше ядер, мощнее графику. Писькомерство как с мегапикселями у мобильников.
Ну дык поэтому все тыкалки на ARM-ах, а Интел с атомом наперевес пытается запрыгнуть в уже ушедший паровоз.
Если смотреть видео, там этот момент озвучен явно.
ЗЫ
Но по сравнению с десктопными интелами атом экономичнее. =)
По сравнению с десктопными там и задач меньше.
Мозг потребляет 20% энергетики человека. Вероятнее всего, на близком к этому пределе окажется и энергопотребление информационной системы человечества. Человеческий организм достаточно сбалансированная система - баланс энергетики компьютерных систем скорее всего окажется близким.
Выводы:
1. Информатизация человечества близка к насыщению. Перспективы роста раза в 3-4, пусть даже в 10-20раз - это уже не терра инкогнита с перспективами экспоненциального графика. Закон Мура уже начал отклоняться в сторону насыщения - скоро эта отрасль станет такой же традиционной, как и металлургия.
2. Принцип подобия для сложных систем все-таки действует в некоторых случаях.
3. Пора уже рыть новое направление эволюции техногенного вида Homo Sapiens.
Зачем? Ещё генетический потенциал развития даже близко не задействован полностью. Техносфера не более чем костыль.
Простите, возможно не совсем понял, что Вы имели в виду.
Генетический потенциал по текущим данным не может быть задействован полностью никогда - генная система не имеет выявленных принципиальных ограничений для образования новых билогических видов или модификации старых. Если речь о физиологических возможностях человека - тут тоже перспектив особых не видно, стометровку за 5 секунд бегать мы не сможем, да и нейронную сеть мозга в 10 раз увеличить или ускорить не получится, как ходили дети около 10 лет в школу для среднего образования, так и будут ходить.
Техносфера - конечно костыль. Только без костылей человечество давно уже ходить не может. Да и нужно ли обратно в каменный век с населением планеты в пару миллионов человек, живущих собирательством лет до 20 в среднем.
Речь лишь о том, что технологическое развитие ЭВМ, как одного из костылей, на который последние годы больше всего опирались, подбирается к естественным ограничением. И если развиваться дальше - нужно новые костыли мостырить.
Без модификаций и разгона. Нет нужды бекать стометровку за 5 секунд, мы не гепарды, но того, что есть не используется полностью, например, есть люди считающие в уме многозначные числа бысрее чем большинство их способно набрать на калькуляторе или сам видел одного старичка бегавшего на морозе в одной майке - вот о чём речь.
>>>Рынок планшетов и смартфонов (далее тыкалок) в 6-7 раз больше серверного рынка. Серверный рынок не растет с 1996 года,....
Вот очень интересно как может не расти серверный рынок, когда новые датацентры плодятся как грибы после дождя, чтобы обслуживать полноценную ораву бесконечного мультимедийного потока от планшетов и смартов?
Навскидку поток информации генерируемый/сохраняемый участниками тырнетов:
Рынок планшетов растет стремительно, но нельзя забывать ее обратную сторону - очень много неструктурированных данных сразу отправляют на многочисленные сервисы. Весь этот контент должен где то не тлоько храниться но и предоставлятья по первому требованию клиента. Конечно подавляющее большинство контента -просто бесполезный мусор, треп и котики с собачками, но хватате и полезной нагрузки от фирм, предприятий, да к примеру любой сложный станок, механизм выдает ежесекундно мегабайты телеметрии с датчиков, которую сразу надо сохранять и потом анализировать.
Все эти тенденции привели к такому емкому понятию как BigData - быстрорастущий рынок как ПО для хранения, поиска, индекса и анализа неструктурированных или слабоструктурированных данных, так и соответствующего железа. И вендоры пытаются туда несомненно влезть, как с СХД, так и с серверным железом, так и системами быстрого и широкополосного доступа в сеть (3G/4G + WiFi).
Вот совершенно непонятно почему не растет серверный рынок. Весь рынок или конкретно который доступен для обзора докладчику?
Весь рынок.
Тыкалки породили такое явление как облака. Облачные операторы не покупают сервера, это нерантабельно.
Облачные операторы проектируют, выпускают и потребляют сервера собственного изготовления, т.е. рынок в пролете.
Консорциум OpenPower - это попытка IBM войти в эту закрытую нишу. Судя по тому что Google и Tyan (Amazon) быстро быстро прибежали в консорциум, шанс у них есть.
Как облачный оператор может продавать обалчные услуги не закупая сервера?
Я нисколько не умаляю достоинств Power архитектуры, но на серверном рынке достаточно прочно держатся x86 и, с недавнего времени, ARM архитектуры. У IBM всегда были разработки для самого жырного энтэрпрайза. И высокопроизводительные вычисления и BigData. Но множество облачных опреаторов, насколько мне известно, предпочитают брать однотипные и не всегда мощные стойки, лишь бы недорого и заменяемо и плотно упаковывать клиентов по виртуалкам. Для облачного хостера идеальный вариант - недорогое железо хорошей но средней мощности и низкое потребление энергии. Не так уж и много их клиентов хотят запредельные мощности процессора или сверхскоростные шины. Для своерменных веб-приложений разамызваемых на 5-10 виртуальных серверов в одном или несокльких датацентрах - этого больше чем достаточно. А часть задач и вообще может спокойно крутиться на серверных ARM фермах.
> Как облачный оператор может продавать обалчные услуги не закупая сервера?
Очень просто, проектируя и изготавливая сервера для себя самостоятельно. т.е. крупнейшие облачные операторы: Google, IBM, Amazon в массе не используют серийное оборудование.
> но на серверном рынке достаточно прочно держатся x86 и, с недавнего времени, ARM архитектуры
Рынок x86 серверов в денежном выражении не растет последние 15 лет, этой тенденции посвящен отдельный слайд презентации. Как пойдут ARM сервера, я не возьмусь предсказывать.
Я долго смотрел на 4U шасси c 96 лезвиями HP на атомах и не смог придумать куда это можно применить. С одной стороны серверов в корпусе много, с другой стороны чахлый проц и 1Гб ram ставят крест на большинстве потенциальных задач.
> Для облачного хостера идеальный вариант - недорогое железо хорошей но средней мощности и низкое потребление энергии.
Отойдите от сервера и посмотрите на инфраструктуру в целом, у гугла в одном dc порядка 200 000 серверов, поэтому их инфраструктурная обвязка стоит, и стоит хорошо. Тостый ethernet, толстый san, толстый backup, (Sun StorageTek SL8500) плюс чиллиры и т.д. кот тоже в копеечку встают.
>Не так уж и много их клиентов хотят запредельные мощности процессора или сверхскоростные шины.Для своерменных веб-приложений разамызваемых на 5-10 виртуальных серверов в одном или несокльких датацентрах
Вы уж определитесь что у вас, облако, виртуалки или дедикейт, а то в одном абзаце 3 взаимоисключающих параграфа.
У Перевозчикова прямым текстом сказано, потребные мегаватты для датацентра нужно еще суметь получить, должна быть техническая возможность и деньги тут не всегда решают.
Для Гугла вопрос производительности на кВт уже стоит очень остро, остро настолько что Гугол вложил 1 млрд в электрогенерацию для питания своих dc.
Именно поэтому power, предлагающий вдвое выше производительность на кВт, относительно x86, у Гугла и Амазона вызывает живейший интерес.
Про размазывание веб приложения по нескольким датацентрам давайте поподробнее, хотелось бы услышать как и зачем.
Не буду спорить по рынку. А по поводу распределенного веб-приложения есть следующие соображения.
Для обеспечения его доступности и устойчивости дублируются сервер приложений и БД. В случае если используется NoSQL база с шардингом и репликацией, то для ее работы нужны целая серия серверов (два и выше). Если мы заказываем у такого провайдера как Амазон инстансы, начиная с минимальных T1 Micro или выше, в зависимости от планируемой нагрузки на отдельный инстанс, то получаем определенный набор гарантированных ресурсов по CPU и RAM и др. Например раскидываем нашу базу на 12 инстансов, правда 6 в одном датацентре, 6 - в другом. Вроде они такое позволяют. Сами эти инстансы могут быть построены как на базе виртуализации KVM/Xen так и на базе LXC. Во втором случае есть ограничение на платформу. Первый вариант требует к себе больше полноценный сервер, типа на Xeon-ах/Opteron-ах и по 32-64Gb памяти, и который потом по заказу клиентов нарезается на виртуальные сервера. Причем скриптами можно развести и автоматическое создание сервера если нагрузка большая, и их выключение при падении количества клиентов. Второй вариант вроде тоже требует к себе полноценный мощный сервер, но не обязательно. Приложения работающие в рамках LXC контейнера имеют минимальный overhead по сравнению с основными процессами системы. Для создания окружения тоже часто задействуются системные либы и контейнер получет только ссылки на них, т.е. информация не дублируется.... Т.е. я хочу сказать что хоть контейнеризация еще обкатывается, но она уже позволяет более плотно упаковывать инстансы в расчете на серверную единицу.
Дальше сервер приложений сейчас строится на совершенно разных языках. И некоторые из них могут разводить псевдоинстансы в рамках своей одной запущенной языковой VM. Например как Erlang over Xen. Нет необходимости плодить для каждого инстанса полноценное Linux окружение если можно их разводить другим видом изоляции, и иметь по одноой запущенной VM Erlanga на ядро. Не скажу точно но к такому пытаются прийти и Python c Ruby. Какие то проекты проскальзывали, надо вспоминать.
Теперь представьте - Вам надо обеспечить N клиентов, у каждого по M распредленных баз состоящих из K инстансов, требующих к себе разные уровни ресурсов. Выгодне часть из K инстансов распределить по LXC контейнерах на полноценные сервера, часть на простые со "средними" характеристиками, и часть требующие лишь небольшое количество CPU и RAM и больше требующие лишь скоростной доступ к хранилищу и перегоняющие туда сюда статические данные (как пример файлохранилища или CDN). Выдача статики нагружает больше шину данных чем проц и память, ну если они кешируются то памяти побольше надо. Так вот эти последние инстансы-элементы нашего веб-приложения можно разместить и на ARM стойке, из расчета что те ресусры, которые им хватало раньше в рамках LXC контейнера, аналогичны ресурсам которые выдает ARM лезвие (тот же HP Moonshot и др.).
Сервера приложений тоже не всегда разумно ставить на вирт.сервер на базе KVM/Xen т.к. может получиться так что большую часть времени он будет мало загружен. Не всегда, но такой вариант возможен для распределенного веб-приложения, т.к. часть инстансов могут заниматься лишь вспомогательной работой а не обслуживанием клиентских запросов. Может быть роль кэширующего сервера или диспетчер-балансировщик или вспомгательный сервер приложений для хранения конфигураций всех компонентов, авторизации, аутентифкации. Например если взглянуть на комплекс OpenStack то не каждому проекту общей системы нужен жирный сервер. Часть из них кроме как раздачей ссылок на образы дисков для других виртуалок, или авторизацией ничем больше не занимаются.
То же самое относится и к планированию приватных облачных систем для предприятия. Не все юниты требуют много ресурсов, и даже те которые требуют, требуют их не вс 100% времени, а значит на время когда спадает нагрузка их можно перемещать/переключать на средненькие сервера или "слабые" ARM линейки. Грамотное распределение ресурсов может давать существенную экономию, как по энергии, если гибридный набор серверов свой, так и по деньгам, если заказываете инстансы у облачного хостера, который считает деньги по "тикам" CPU, потребляемому RAM*час, количеству операций ввода/вывода и т.д.
UPD: Вот этот к примеру как вы сказали 4U сервер http://www.mitac.com/Business/7-Star.html - в его описании так и указано для чего:
"combining higher densities and lower power into a platform that can deliver expandability, scalability, serviceability and management, the system delivers a valuable TCO proposition for large and small scale private or public cloud deployments for applications like web browsing, social media, Hadoop, video streaming and NoSQL DB etc.."
UPD2: Небольшую вводную по распределенным веб-приложениям можно найти тут
> Например раскидываем нашу базу на 12 инстансов, правда 6 в одном датацентре, 6 - в другом.
Очень серьезная ошибка экстраполировать работу в локалке на большие расстояния, тут как говорят "безногий мальчик встал и вышел" :-(
6 инстансов на расстоянии 2-3 тыс км, при вносимой задежке 2 мс на 100 км, два rount trip на операцию, получается полный ахтунг, 40 мс только транспортных задержек, это не считая тормозного железа под базой.
В варианте с асинхронной репликой точкой Ж у тебя станет слабый сервер под СУБД, на который будут идти все записи, селектить можно с остальных 11-ти при условии что синхронность данных не критична.
Правильный подход к СУБД: синхронная реплика на дистанции до 100 км и Active/StandBy если расстояние большое.
Совсем правильный подход для настоящих параноиков - синхронная реплика в двух близкорасположенных цод и standby на далекой резервной площадке.
Картинка в помощь:
ЗЫ
Максимально допустимая для VMware VMotion задержка 5 мс, ожидаю что аналогичные проблемы будут испытывать и KVM c XEN-ом, но с последними двумя я не работал, не готов за них говорить.
ЗЗЫ
По той инфе, что есть в свободном доступе Гуглол на своих серверах синхронизацией субд не заморачивался, а просто изолирует клиентов в пределах локальной группы серверов и склеивая группы их в единый сервис на уровне миддлваре.
И это ж-ж-ж-ж очень не спроста =)
Страницы