Импортозамещение - как надо.

Аватар пользователя RomanSmirnov

Последние годы мы слышим много болтовни насчет импортозамещения, но очень редко встречается среди этого потока, что то действительно по делу. ИТ не исключение - схемы элементарные - бывшие сотрудники "продаванов" (или их друзяки) из крупных иностранных вендоров устраиваются в компании заказчики (преимущественно гос), где потом лоббируют соответствующие решения. Порой даже не таясь особо, смотришь резюме и все как дважды два понятно о "принципах" формирования того или иного "ИТ ландшафта". Конкуренция исключительно между "интеграторами", да и то псевдо.

Тем интереснее на этом празднике жизни встретить истории, подобные описанной ниже:

ИТ-директор Вертолеты России рассказал о колоссальной экономии от ухода с ПО Microsoft

Директор по ИТ холдинга «Вертолеты России» Михаил Носов на конференции «Импортозамещение 2019: реальный опыт» в феврале рассказал о проблемах импортозамещения, целях, задачах и этапах обеспечения импортонезависимости в холдинге.

На конференции TAdviser Михаил Носов поделился подробными расчетами стоимости проприетарного и импортонезависимого ПО, использующегося в «Вертолетах России»

В числе первоочередных задач Носов обозначил замену ОС Windows 10 на ОС Linux, которая решается поэтапно с 2016 года. На первом этапе ОС Linux была тиражирована на управляющую компанию и ряд структур холдинга, на втором – на производственные предприятия, на текущем, завершающем этапе, осуществляется ее тиражирование на авиационные ремонтные заводы.

Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»
Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»

Михаил Носов представил сводную таблицу сравнительной стоимости контура импортозамещения продукции Microsoft для холдинга «Вертолеты России», включающего 7 тысяч пользователей.

Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»
Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»

Директор по ИТ «Вертолеты России» отметил несопоставимо меньшую стоимость поддержки установленных в рамке импортозамещения решений, а также практическое отсутствие затрат на приобретение необходимых лицензий.

Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»

При этом относительно высокая стоимость техподдержки импортозамещения по отношению к стоимости лицензий и работ по его созданию обусловлена новизной решения и потребностью в доработках по мере тиражирования решения, пояснил он.

Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»
Слайд из презентации Михаила Носова на конференции TAdviser «Импортозамещение 2019: реальный опыт»

Из проблем дальнейшего использования проприетарного ПО докладчик отметил планируемый перенос в облако инфраструктурных сервисов основных западных производителей в течение ближайших 2-3 лет. Это, по его оценке, сделает дальнейшую эксплуатацию данного ПО для предприятий ОПК или высокорисковым, или просто невозможным. Основной проблемой отечественного производителя ПО Михаил Носов назвал отсутствие экосистемы стека технологий: вендоры по-прежнему предлагают только точечные решения.

{{цитата Бизнес не может рисковать, используя отечественные системы, пока не будет гарантии, ведь мы строим корабли, вертолеты. Это порочный круг не разорван по состоянию на начало 2019 года. Многие компании научились обосновывать, почему на отечественном ПО это сделать нельзя и закупаются впрок западными системами, в расчете на то, что со временем импортозамещение станет неактуально, - отметил Михаил Носов.}}

Приоритет №1: текущий статус (14.02.2018)

  • Отсутствие возможности мгновенного перехода на отечественные разработки;
  • Решение о создании параллельного контура существующему;
  • Составление списка основных ИТ-подсистем Холдинга, которые будут замещаться;
  • Согласование дорожной карты проекта импортозамещения в перспективе 3 лет;
  • Инфраструктурные работы и замещение сервисов администрирования;
  • Работы по замещению пользовательской инфраструктуры.

 

Из презентации "Технологическая мобильность и независимость. Основные приоритеты" Носов Михаил Юрьевич - Вертолеты России, 14.02.2018 на конференции Импортозамещение 2018: реальный опыт

 
 

Приоритет №1: oVirt - платформа виртуализации [«Q.Virt»]

  • Web-интерфейс, Ролевая модель доступа к ВМ и VDI
  • Отказоустойчивая работа с поддержкой fencing (IPMI 2)
  • Хорошая масштабируемость и производительность
  • Создание ВМ из шаблона, гибкое управление ресурсами ВМ
  • Перемещение ВМ между узлами кластера «на лету»
  • Поддержка VDI с «золотым образом» и графикой 3d

 

 

Приоритет №1: SAMBA4 – платформа для главного каталога

  • LDAP аутентификация для всех служб и сервисов
  • Федеративные связи с Active Directory
  • Поддержка кириллицы, OU-контейнеров
  • Выдача тикетов Kerberos, управление доступом
  • Политики паролей, управление правилами SUDO
  • Интеграция с DHCP сервером
  • Интеграция с DNS сервером на базе BIND

 

 
 

Приоритет №1: ZABBIX – мониторинг состояния серверов

  • онлайн контроль серверов и сервисов компании
  • анализ производительности и потребляемых ресурсов
  • оповещение о критических событиях попочте и СМС

 

 

Приоритет №1: ANSIBLE – управление конфигурациями

  • гибкие возможности установки и настройки ОС и приложений
  • простота управления при использовании графической среды AWX
  • не требуется агент для работы Ansible

 

 

Приоритет №1: LOGANALYZER – централизация системных журналов

  • Централизованный сбор журналов событий с подсистем проекта
  • Отчеты по заданным критериям на основе имеющихся журналов
  • Поиск и отображение данных с помощью веб-консоли управления

 

 

Приоритет №1: Результаты проекта

1) Виртуализация серверов:

  • Высокая производительность и масштабируемость
  • Обеспечение отказоустойчивости ВМ
  • Удобный веб-интерфейс

2) Виртуализация рабочих столов VDI:

  • Изоляция угроз для ПК пользователя
  • Повышение производительности для ПК
  • Поддержка Nvidia 3D видеокарт

3) Служба главного каталога:

  • Создание трастовых отношений для имеющегося домена AD
  • Поддержка кириллицы в именах объектов
  • Построение структуры вложенных объектов
  • Имеется ограничение на размер БД службы

4) Система мониторинга:

  • Интеграция с LDAP-каталогом
  • Оповещение о критических ситуациях
  • Мониторинг любых систем и устройств по SNMP

5) Система резервного копирования:

  • Резервное копирование файлов, СУБД, виртуальных машин
  • Резервные копии на дисковых устройствах и лентах

6) Служба централизации журналов:

  • Централизованный сбор журналов событий с подсистем проекта
    • Генерация отчетов по заданным критериям на основе имеющихся журналов

     

  • Поиск и отображение данных с помощью консоли управления

7) Служба управления конфигурацией:

  • Сетевая установка эталонного клиентского образа Linux, на ПК и ВМ
  • Автоматическая настройка параметров ОС Linux и приложений через плейбуки
  • Выполнение изменений параметров ОС Linux и приложений на существующих ПК по заданию администратора подсистемы

 

 

 

Приоритет №2: текущий статус (14.02.2018)

  • 1-й этап: заменяется коммутатор уровня ядра Cisco 6509 на Булат А908
  • 2-й этап: меняется межсетевой экран Cisco 5510 на АПКШ Континент IPC – 100
  •  
  • 3-й этап: параллельно с сетью Wi-Fi на базе контроллера Cisco 5508 разворачивается сеть Wi-Fi от Eltex или ОПК *.
  • 4-й этап: замена маршрутизаторов КСПД Cisco\Huawei на маршрутизаторы ОПК. Также замена шифрующего оборудования S-terra на АПКШ Континент.
  • 5-й этап: замена этажных коммутаторов уровня доступа Cisco-2960, 3750 на Булат серии Д 285, 345.

 

 

 

Приоритет №3: текущий статус (14.02.2018)

 
  • Рассчитана потребность до 2019 года.
  • Сформированы технические требования к инфраструктуре, средствам виртуализации и безопасности.
  • Проводятся закупочные процедуры для Управляющей Компании и 10-ти ДЗО.

 

 

 

2017

 

Технологическая мобильность и независимость

  • Поэтапная смена базовой операционной системы MS Windows решениями СПО на базе Linux.
  • Переход на использование отечественного оборудования.
  • Миграция ИТ-инфраструктуры во внешние ЦОД по схеме IaaS (SaaS, PaaS в перспективе)

 

Из презентации "Цифровая революция или суверенитет ИТ" Директора по ИТ Носова М.Ю. в мае 217 года на TAdviser SummIT

 

Приоритет 1: статус (08.2016 – 05.2017)

  • Настроен основной набор сервисов (12 гипервизоров на 5-ти площадках: НЦВ, ЦМТ, РТ М9, У-УАЗ, ВСК, 30 виртуальных машин, ).
  • В промышленной эксплуатации на Linux-контуре работают 3 КТС УК ( ERP*, 1С бухгалтерия\кадры, почтовый сервер CGP).
  • Установлен альтернативный MSE почтовый сервер CGP (738 почтовых ящиков мигрировали, в т.ч. 600 УК , 11 ДЗО).
  • На пользовательские АРМ предприятий с MS Windows установлены базовые компоненты Linux (LibreOffice, Firefox, Thunderbird).
  • Работают в 2х-средной конфигурации 142 АРМ (MS Windows как виртуальная машина под управлением AstraLinux).
  • Выполнен Приказ о Внедрении стандарта ODF, ГОСТ Р ИСО/МЭК 26300-2010 c 01.01.2017
  • Использована интерактивная программа обучения http://linuxlearning.ooi.ru ( РООИ «СТРАТЕГИЯ» совместно с МГУ им. М.В. ЛОМОНОСОВА)

 

 

Приоритет 2: статус (08.2016 – 05.2017)

 

 

Приоритет 3: статус (08.2016 – 05.2017)

  • Рассчитана потребность до 2019 года.
  • Ведется отработка коммерческой и технической реализации.
  • Работы по миграции включены в утвержденный план финансовой стабилизации Холдинга на 2016-2017годы.
  • В ЦОД РТ М9 размещены 2 блэйд-сервера, 4 сервера 2U, 2 СХД.
  • Соединение ЦОД РТ М9 с КСПД ВР — 200Mbit, резерв Интернет 100Mbit
  • Обеспечение защищенного доступа - VPN Континент (70 лицензий)

 


А также:

  • Ревизия реестра российских программ reestr.minsvyaz.ru
  • Переход на стандарт ODF согласно ГОСТ Р ИСО/МЭК 26300-2010 для хранения и обмена редактируемыми офисными документами
  • Мониторинг соотношения ЗАКУПОК российских\зарубежных программ и оборудования
  • Урегулирование использования "облачных" технологий при разработке, производстве и реализации продукции (в том числе военного назначения).
  • Ревизия и мониторинг выполняются гос структурами на основании поручений Правительства.
  • Переход на стандарт ODF – практически не выполняется.
  • Облачные технологии в ВПК требуют отдельного рассмотрения. Нет информации об этой активности

 

 

2016

 

Как "Вертолеты России" обходятся без техподдержки Microsoft, Oracle и Cisco

"Вертолеты России" вошли в 2016 год без продления трехлетнего контракта на техническую поддержку Microsoft (более 190 млн рублей), максимально сократили отчисления в лицензии, консалтинг и техподдержку Oracle (на 77%) и Cisco (на 87%), заявил TAdviser ИТ-директор холдинга Михаил Носов в октябре 2016 года.

Михаил Носов избавляет "Вертолеты России" от импортного ПО и "железа"

В трехлетнее продление услуг технической поддержки Siemens PLM (около 200 млн рублей) холдинг, по словам Носова, все же был вынужден инвестировать. Расходы в этом направлении увеличились в связи со 100%-ным ростом курса валюты и, как следствие, изменением цены поставщиком решения.

 

Альтернатива импортному ПО

Отказавшись оплачивать техподдержку Microsoft "Вертолеты России" выполняют поэтапный переход на свободные решения на базе Linux. Это, по словам Носова, является ключевым приоритетом в сфере информатизации.

«
Операционная система является основой для информационных технологий и, следовательно, имеет наиболее высокий риск деструктивного воздействия на инфраструктуру в случае ужесточения санкций. Замена операционной системы влечет за собой переход на иные бизнес-системы, системы мониторинга и управления инфраструктурой. Позволяет кардинально сменить устоявшийся подход для построения ИТ промышленного предприятия, - объясняет он.
»

 

На реализацию плана перехода на свободное ПО было направлено около 30% от средств, высвобожденных при отказе от продления контракта с Microsoft, добавляет Носов.

По состоянию на октябрь 2016 на компьютеры пользователей под управлением Microsoft Windows были установлены альтернативные свободные продукты - интернет-браузеры Firefox, почтовые клиенты Thunderbird, пакеты LibreOffice. Совместно с РООИ «СТРАТЕГИЯ» и факультетом вычислительной математики и кибернетики МГУ им. М.В. Ломоносова была разработана интерактивная программа обучения основам работы с этими приложениями.

Почтовый сервер Microsoft Exchange заменяется на отечественный CommuniGate Pro.

«
Технические специалисты "Вертолетов России" при поддержке центра компетенций "РТ-Информ" отрабатывают взаимодействие компьютеров и обслуживающих их сервисов (базовые, сетевые, прикладные сервисы, средства мониторинга и безопасности и пр.) в двух-вендорной инфраструктуре (Microsoft-Linux). Сервисы настраивают и в виде упакованных образов виртуальных Linux-машин передают на заводы холдинга. Таким образом отрабатывается типовая конфигурация ИТ-инфраструктуры с централизованными сервисами управления. Проводится тестирование, формируются команды специалистов на местах, - рассказывает Михаил Носов.
»

 

До конца 2016 года ИТ-директор холдинга рассчитывает провести тиражирование типовой конфигурации отработанных в управляющей организации базовых сервисов на пилотных предприятиях холдинга: "Московский вертолетный завод им. М.Л. Миля", "Камов", "Вертолетная сервисная компания", "Улан-Удэнский авиационный завод". Реализация на остальных предприятиях холдинга запланирована до конца 2018 года.

Работы поддерживаются серией корпоративных документов. В частности, по словам Носова, приказом по холдингу утвержден стандарт ГОСТ Р ИСО/МЭК 26300-2010 для хранения и обмена редактируемыми офисными документами в формате OASIS Open Document Format for Office Application, являющимся альтернативой коммерческому закрытому формату Microsoft Office Open XML.

 

Альтернатива импортному "железу"

Применение отечественного оборудования и поэтапное сокращение доли зарубежных технических средств - еще один приоритет ИТ-стратегии "Вертолетов России". В соответствии с технической политикой госкорпорации "Ростех", для инфраструктурных ИТ-решений была выбрана стратегия создания резервных контуров с использованием отечественного оборудования, прежде всего "Объединенной приборостроительной корпорации", рассказал TAdviser Михаил Носов.

Кроме того, идет процесс миграции во внешние дата-центры, построенные на программных средствах Linux и отечественном оборудовании. Для уменьшения расходов на обеспечение вычислительными мощностями, модернизацию существующей инфраструктуры серверов и систем хранения данных "РТ-Информ" готовит систему ЦОД ГК "Ростех".

Потребление вычислительных мощностей из внешних дата-центров в виде услуги (IaaS), по словам Носова, является наиболее целесообразным сценарием. Благодаря этому происходит снижение затрат на закупку и использование собственных вычислительных мощностей, исключение рисков, связанных с использованием сложных вычислительных комплексов зарубежного производства.

«
К тому же это реальная возможность вывести типовую функцию приобретения и поддержки вычислительных ресурсов из промышленного холдинга в аутсорсинг. И сосредоточится на своевременной автоматизации бизнес-деятельности
»

 

Для снижения технологической зависимости и минимизации расходов "РТ-Информ", по словам Носова, организовал процесс стандартизации, тестирования и применения оборудования, производимого в "Объединенной приборостроительной корпорации". В частности, в "Вертолетах России" устанавливается отечественное коммуникационное оборудование, как альтернатива Cisco.

В результате реализации перечисленных направлений "Вертолеты России" ожидают снизить затраты на закупку, лицензирование и техническую поддержку программного обеспечения и оборудования в 1,5-2 раза, говорит Носов. Кроме того, рассчитывает он, это позволит повысить информационную безопасность холдинга за счет увеличения доли использования отечественных ИТ-решений на базе открытых стандартов.

Для поддержки импортозамещения, по мнению ИТ-директора "Вертолетов России", государство должно выполнить ряд шагов:

  • провести ревизию реестра российских программ - минимизировать число тех, которые применяют коммерческие стандарты,
  • перейти на стандарт согласно ГОСТ Р ИСО/МЭК 26300-2010 для хранения и обмена редактируемыми офисными документами - внедрение стандарта ODF стимулирует перевод на свободное ПО и создание альтернативного ИКТ-контура,
  • вести мониторинг соотношения закупок зарубежных/российских программ и оборудования, ужесточить контроль закупок, чтобы обеспечить необходимые инвестиции в отечественный инженерный потенциал,
  • урегулировать использования облачных технологий при разработке, производстве и реализации продукции, в том числе военного назначения,
  • скорректировать регламентирующие документы в части использования облачных технологий и стимулировать применение системы внешних ЦОДов и интернет-решений при организации систем взаимодействия, в том числе в ОПК.

 

 

План перехода от импортных ИТ к отечественным

11 февраля 2016 года стало известно о планах холдинга «Вертолеты России» заменить иностранные аппаратные и программные решения открытыми продуктами и российскими разработками. В соответствии с планами компании, до 50% инфраструктурных компонентов и бизнес-приложений предстоит перевести к 2019 году на открытое ПО[1].

Под замену пойдут операционные системы Microsoft Windows. Вместо них будет использована ОС Linux, сообщило ИА «Интерфакс», ссылаясь на заявление Михаила Носова, директора по информационным технологиям холдинга. Внутренним аудитом, проведенным в 2015 году, определена доля отечественного ПО в холдинге не более 5-7%, все остальное — очень старые унаследованные системы на основе иностранного ПО, или приобретенные продукты.

Программа перехода на свободное программное обеспечение рассчитана на три года, начиная с 2016 года. До 50% инфраструктурных компонентов и бизнес-приложений в составе ИТ-инфраструктуры холдинга должны действовать на основе открытого ПО.

«
Количественные показатели (доли свободного ПО) только формируются, они на контроле у гендиректора, особенно с тех пор, как «Ростех» и «Вертолеты России» в очередной раз подпали под санкции в декабре 2015 года, - говорил Михаил Носов.
»


Импортозамещение начнется с самых основ, заявили в холдинге, с операционной системы, которая в течение трех лет должна меняться с Microsoft Windows на Linux. В основе Astra Linux Special Edition — то, что применяется в военных структурах и стандартизована ГОСТ, как система, способная обрабатывать и хранить сведения с грифом «совершенно секретно». На платформе этой ОС будет сделана обвязка также из свободного ПО, далее это потянет за собой инфраструктурную часть и бизнес-приложения.

Холдинг планирует также перевести ИТ-сервисы предприятий с собственных серверов на внешние центры обработки данных (ЦОД).

«
Будет пересмотрен сам подход к построению инфраструктуры. Используем инициативы госорганов по миграции инфраструктурных сервисов в ЦОДы. Это не коммерческие ЦОДы, это, скорее всего, федеральные и региональные ЦОДы, про которые говорит Минкомсвязь, - заявлял Носов.
»

 

Не исключается использование холдингом отечественных процессоров «Эльбрус» в серверах. По словам Носова, интерес к этим чипам есть.

«
Когда мы планируем переход на Linux, дальше по цепочке — почтовый сервер. Есть желание использовать CommuniGate Pro, который по всем канонам отечественный. Если мы запускаем на «Эльбрусах» CommuniGate Pro, это очень красивая история.
»

 

Кроме того, «Вертолеты России» намерены отказаться от сетевых решений Cisco, переходя к российским аналогам. К концу 2015 году холдинг протестировал ряд аппаратных решений от «Объединенной приборостроительной корпорации», которая тоже входит в состав «Ростеха». В частности, это коммутаторы и сетевое оборудование от компании «Булат». По словам Носова, замена оборудования уже ведется.

«
Наш вертолетный завод в Улан-Удэ в середине 2015 года реализовал связку EMC с Huawei под управлением Huawei в целом. Комплекс доказал свою живучесть и сейчас уже работает. Это пример, что в существующей инфраструктуре можно делать мультивендорные системы.
»

 

Относительно бизнес-приложений, в планах холдинга переход с иностранных решений на решения «». По словам Михаила Носова, есть отдельные инсталляции типа Oracle Business Suite - их постепенно гасят. С 1 января 2016 года холдинг прекратил оплату техподдержки.

Имея такие планы «Вертолеты России» не намерены увеличивать ИТ-бюджет и хотят сохранить его на уровне прошлого года, как того требует «Ростех». Оптимизация расходов в условиях отказа от действующих решений, внедрения ПО и аппаратных ресурсов в холдинге происходит за счет экономии на лицензиях и перераспределения персонала.

«
Уходим от лицензионного бремени за счет перехода на СПО и перехода на внешние ЦОДы. Кадры, занятые в настоящее время взаимодействием с вендорами, будут отвечать на запросы бизнеса по автоматизации.
»


CIO «Вертолеты России» рассказал об импортозамещении в ИТ на TAdviser SummIT

Директор по ИТ компании «Вертолеты России» Михаил Носов, выступая на TAdviser SummIT 31 мая 2016 года, рассказал о трансформации подходов и требований к информационным технологиям в своей компании на фоне сложившейся политической и экономической ситуации.

Михаил Носов отметил, что в 2015 году произошел ряд событий, который заставил «Вертолеты России», входящую в состав ГК «Ростех», пересмотреть свой взгляд на развитие ИТ в компании. Одно из них – это выход в апреле приказа Минкомсвязи об импортозамещении. В связи с этим компания провела ряд точечных инсталляций российского оборудования, выпускаемого ГК «Ростех», и совместно с «РТ-Информ» участвовала в разработке стандартов, которые позволили бы «Вертолетам России» сузить спектр закупаемой иностранной ИТ-продукции – «рисковых на сегодняшний день технологий, таких как Microsoft, Oracle, Cisco, EMC, Siemens и других».

В октябре 2015 года в «Вертолетах России» был издан приказ о реализации программы импортозамещения в ИТ, в ноябре компания приняла решение не продлевать трехлетний контракт с Microsoft на закупку и техническую поддержку ПО, а в декабре «Вертолеты России» вместе с «Ростехом» попали в санкционный список США.

По словам Михаила Носова, в сложившейся ситуации «Вертолеты России» ставит задачу создать ИТ-контур, который при любом развитии событий позволил бы обеспечить поддержку работы компании «с минимальной деградацией систем и сервисов».

Михаил Носов на TAdviser SummIT

Для устранения технологической зависимости от западных поставщиков «Вертолеты России» определили три приоритетных направления, которые помимо этой цели позволят также получить существенный экономический эффект. Первое направление – это поэтапная замена базовой операционной системы Windows решениями СПО на базе Linux. В качестве ОС, в частности, используется система AstraLinux. Вместе с ней планируется также использование офисных приложений с открытым кодом.

Помимо снижения зависимости от зарубежного вендора замена Windows на СПО обеспечит существенную экономию средств: по расчетам компании, за период до 2021 года «Вертолеты России» сэкономит порядка 232,9 млн. руб. на технической поддержке ОС.

Слайд из презентации Михаила Носова

Второе направление – переход на использование отечественного оборудования. Процесс начат с коммутационного оборудования: «Вертолеты России» устанавливают оборудование, выпускаемое в рамках «Объединенной приборостроительной корпорации», входящей в состав «Ростеха». Оно составляет альтернативу продуктам Cisco. К маю 2016 года пробные установки были выполнены в управляющей организации «Вертолеты России», Улан-Удэнском авиационном заводе, Кумертауском авиационном производственном предприятии, рассказал Михаил Носов.

«
В госкорпорации «Ростех» существует большой инженерный потенциал. Одна из структур, где он аккумулируется – это «Объединенная приборостроительная корпорация». При реализации инфраструктурных проектов в области ИТ мы, прежде всего, смотрим на наличие нужного оборудования у них. Если такового нет, то мы смотрим на российские продукты других компаний, а если и там нет нужного решения, то обращаем внимание, например, на продукты поставщиков из стран БРИКС, - отметил директор по ИТ «Вертолеты России».
»

 

Слайд из презентации Михаила Носова

Третье приоритетное направление – миграция ИТ-инфраструктуры во внешние ЦОДы по схеме IaaS, а в перспективе также по схемам SaaS и PaaS. Для снижения расходов на обеспечение вычислительными мощностями, модернизацию существующей инфраструктуры серверов и СХД входящая в состав «Ростеха» компания «РТ-Информ» готовит ЦОД госкорпорации и на примере «Вертолетов России» отрабатывает перевод туда вычислительных ресурсов. По прогнозам компании, за счет переезда в ЦОД «Ростеха» расходы на закупку, лицензирование и техподдержку серверного ПО и оборудования для «Вертолетов России» снизятся в 1,5 - 2 раза до конца 2017 года.

Завершая свое выступление, Михаил Носов обозначил ряд предложений, выполнение которых, по его мнению, могло бы повлиять на изменение ИТ-трендов в России в сложившихся условиях. По мнению Носова, необходимо поддержать российских производителей ИТ-решений заказом со стороны госкомпаний и госорганов. Для этого со стороны государства должен быть обеспечен более жесткий контроль закупок и проведена ревизия реестра отечественного ПО, чтобы минимизировать наличие в нем российских программ, применяющих коммерческие стандарты, в том числе стандарты Microsoft, и не способных выполнить перевод своих решений на СПО.

 

В части СПО Михаил Носов предложил также активизироваться в переходе на стандарт ODF согласно ГОСТ Р ИСО/МЭК 26300-2010 для хранения и обмена редактируемыми офисными документами. Еще одно предложение – урегулирование использования облачных технологий при разработке, производстве и реализации продукции, в том числе военного назначения. В ОПК использование облачных сервисов пока представляет проблему, в первую очередь, в части обеспечения информационной безопасности, отметил директор по ИТ «Вертолеты России».

 

 


Конечно, не все с этим "линуксом" и свободными решениями так гладко и они местами порой объективно хуже своих коммерческих аналогов, в т.ч. с точки зрения безопасности, но во всяком случае своей доступностью исходного кода, оставляют хотя бы призрачную надежду на независимость + как видим из 3 летнего опыта "вертолетов" - получается вполне приличная экономия, другое дело, что во многих компаниях, особенно гос, оная не стоит во главе угла.., скорее наоборот - эффективность порой измеряется количеством "освоенных средств", но это уже совсем другая история...


P.s.

Спасибо за камменты, много по делу.

Ярость с которой набросились на простого айтидиректора, который должен переписать siemens plm и прч прч прч, или не должен экономить гос деньги, впечатляет )) 

И обнадеживает - люди переживают и это хорошо.

 

 

Источник:

http://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D...

 

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Потому что туда начиная с ХРени пихают откровенно вредные функции.
Ну и про типо «совместимость» не надо сказок рассказывать.
Не агитируйте за воспроизводство наличного набора граблей.

Аватар пользователя wrnews
wrnews(9 лет 10 месяцев)

Давно уже сделали такое  - ReactOS называется. 

Комментарий администрации:  
*** Отключен (оскорбления Президента) ***
Аватар пользователя krankenstein
krankenstein(5 лет 8 месяцев)

ReactOS существует и развивается, правда там на вин 7 не замахиваются вроде, целятся в XP.

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

гуманитарий чоли? в плохом смысле этого слова?

 

для начала - "купить" и "отсутствие лицензионных отчислений" - это просто фееричный оксюморон (взаимоисключающие параграфы)! гыгы

про украсть я комментировать не буду, теперь про "купить" - тут работает правило "согласие есть продукт при полном непротивлении сторон".

оставляя в стороне денежную сторону вопроса, владелец прав на код (ИС) может просто отказаться даже обсуждать продажу ИС.

история с Дерипаска-Магна и Сбер-Опель - ничего вам не говорит?

 

теперь про "совместимость" и 7ку. это смешно! ибо как раз в 7ке много было что сломано по сравнению с предыдущими версиями.

про "пилить а-ля виндоуз но свой с домино и комсомолками" - реактос уже очень давно пилят, можете помочь проекту.

 

ну и тепреь - почему это Линукс стал "долбанным"? чем он вам так "насолил"? от него одни сплошные плюсы всем, "совместимость и отсутствие лицензионных отчислений"! POSIX и GPL!

особенно с учётом того что из себя представляет Андроид и большинство SOHO рутеров  (микротики не в счёт).

Комментарий администрации:  
*** Уличен в пустословии и клевете ***
Аватар пользователя iStalker
iStalker(12 лет 3 месяца)

как видим из 3 летнего опыта "вертолетов" - получается вполне приличная экономия

По цифрам мы видим что основной экономии можно было добиться просто выкинув серверные решения Майкрософт, и отказавшись от дико дорогих лицензий на MS Office.

SQL Srv, Sharepoint, WinSrv - этот шлак даже и без цели сэкономить нужно было выбрасывать давным давно.

 

Аватар пользователя Злопыхатель
Злопыхатель(9 лет 5 месяцев)

Потому что речь в первую очередь об импортозамещении, а во вторую (типа вишенка на торте) об экономии.

Это никак не отменяет, правильно Вами замеченного, источника основной экономии.

Аватар пользователя iStalker
iStalker(12 лет 3 месяца)

Потому что речь в первую очередь об импортозамещении

Вот только большинство решений все равно импортные. CommuniGate например, как одна из программ.

Так что ваш аргумент некорректен, и то что официальные лица в статье называют это импортозамещением - чистая фикция.

Впрочем то что они делают - намного лучше чем было у них ранее.

Аватар пользователя random number
random number(7 лет 9 месяцев)

> импортные. CommuniGate например

Я не большой любитель CGP, но вы немножко сели в лужу. В реестр хоть посмотрите.

Аватар пользователя iStalker
iStalker(12 лет 3 месяца)

Мне как-то наплевать что они там написали в реестре. CommuniGate Systems Inc - американская компания.

Аватар пользователя krankenstein
krankenstein(5 лет 8 месяцев)

SQL Server - шлак, который надо выбрасывать? А что, ему есть полноценная свободная замена?

Я обеими руками за PostgreSQL, но он, по-моему, пока не дорос. MySQL купила Oracle и его даже рассматривать не стоит в качестве свободной замены.

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

итак, вот тут есть как оказалось специалист по MS SQLServer и Postgresql...

вопрос: чем не дорос Postgresql перед MS SQLServer?

Аватар пользователя katu
katu(12 лет 3 месяца)

а как у Postgre обстоят дела с колоночными индексами и in-memory таблицами?

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Главное — ни в коем случае не опускаться до обоснования *необходимости* требуемых аспектов реализации.

Аватар пользователя katu
katu(12 лет 3 месяца)

Ну я не знаю, какие там потребности у "Вертолетов России", может им и электронных таблиц было бы достаточно, а возможности SQL Server они по факту и на 10% не использовали. Office Pro они ж по каким-то причинам на каждое рабочее место покупали. Вопрос был - в чем PostgreSQL не дорос? Я с Postgre знаком довольно поверхностно и потому спросил. Еще интересно есть ли там аналог dmv сопоставимый по функционалу, можно ли, например, посмотреть статистику по ожиданиям сервера?

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

статистику по ожиданиям сервера?

что есть эта статистика? не трогал этот SQLServer лет так 15-20 уже.

 

Аватар пользователя katu
katu(12 лет 3 месяца)

вот, например:

sys.dm_os_wait_stats

Возвращает данные обо всех случаях ожидания, обнаруженных выполнявшимися потоками. Это агрегированное представление можно использовать для диагностики проблем производительности как всего SQL Server, так и конкретных запросов и пакетов. sys.dm_exec_session_wait_stats (Transact-SQL) предоставляет аналогичные сведения в сеансе.

Имя столбца    Тип данных    Описание
wait_type    nvarchar(60)    Имя типа ожидания. Дополнительные сведения см. в разделе типы случаев ожидания
waiting_tasks_count    bigint    Число ожиданий данного типа. Этот счетчик наращивается каждый раз при начале ожидания.
wait_time_ms    bigint    Общее время ожидания данного типа в миллисекундах. Это время включает в себя время signal_wait_time_ms.
max_wait_time_ms    bigint    Максимальное время ожидания данного типа.
signal_wait_time_ms    bigint    Разница между временем сигнализации ожидающего потока и временем начала его выполнения.
pdw_node_id    int    Идентификатор для узла, это распределение является на. 
Применяется к: Хранилище данных SQL Azure, Параллельное хранилище данных

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

https://www.postgresql.org/docs/current/monitoring-stats.html

+ systemtap + ebpf Если речь идёт о Linux

P.S.

 

нужно пользоваться спойлером для портянок

 

Аватар пользователя katu
katu(12 лет 3 месяца)

может я, конечно, не достаточно внимательно просмотрел документацию по ссылке, но конкретно тех данных, о которых я спрашивал, я там не нашел. Хочется увидеть агрегированную информацию об ожиданиях, в которых находились запросы, с момента запуска сервера.

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

Хочется увидеть агрегированную информацию об ожиданиях, в которых находились запросы, с момента запуска сервера.

на профильных форумах предостаточно информации и всегда есть возможность задать конкретный вопрос, считаю с размерами мы уже определились, поэтjму предлагаю считать вопрос закрытым

Аватар пользователя katu
katu(12 лет 3 месяца)

Ну если Вы считаете себя достаточно компетентным, чтобы сравнивать эти две системы и выносить приговор одной из них, то на мой вопрос, наверное, смогли бы ответить в двух словах и без отсылки к документации и тем более к форумам. Я не считаю себя экспертом в Postgre, поэтому никаких категоричных заявлений делать не спешу ), но тем не менее на мой поверхностный взгляд Postgre предоставляет существенно меньший набор возможностей для администрирования.

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Интересно не столько *количество* инструментов для администрирования, сколько *достаточность* предоставляемого базиса и качество реализации его инструментов.

Вот Вы сейчас спрашиваете про сбор статистики.
На что у меня есть очевидный вопрос: каким образомт SQL-сервер регистрирует и отображает долю производительности, потраченной на выполнение вспомогательной задачи?

Аватар пользователя katu
katu(12 лет 3 месяца)

Интересно не столько *количество* инструментов для администрирования, сколько *достаточность* предоставляемого базиса

именно потому я и спросил про самый базис, функционал удовлетворяющий одну из первичных потребностей - знать, что происходит с сервером, какие ресурсы наиболее востребованы и за какие из них процессы более всего конкурируют между собой.

Не совсем понял, что именно Вы называете вспомогательной задачей. Фиксирование статистики по ожиданиям? это такие крохи, что их даже обсуждать бессмысленно.

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

у вас не верный посыл. Прочитайте ветку... поймите, я не где не утверджал превосходство постгре перед sqlserver (хотя имею именно такое мнение, я его не высказывал), я хотел услышать от человека пезапеляционно утверждающего

Я обеими руками за PostgreSQL, но он, по-моему, пока не дорос.

вы решили вступить в дисскусиию на стороне sqlresrver'а, замечательно, но ваши аргуметы слабы

1.

Принципиально иная структура хранения оптимизированная именно под работу с оперативной памятью

вы разработчик sqlserver'а чтобы утверждать подобное? или вас допустили до чтения исходников

и, соответственно, подход к обработке данных и блокировкам.

голословное утверждение, я вот помню что sqlserver не имел mvcc а работал на обокировках, говорят это поправили и незнаю как сейчас он по умолчанию, Oracle и Postgresql транзакционный движок всегда был MVCC. Поэтому когда вы говорите о каких-то там блокировках без относительно версий/условий использования/настроек -- это всё лирика, та самая, не научная, почесать...

то на мой вопрос, наверное, смогли бы ответить в двух словах и без отсылки к документации и тем более к форумам.

а я могу ответить, просто считаю что это не та площадка, и тут не нужно подобные вещи обсуждать

не считаю себя экспертом в Postgre, поэтому никаких категоричных заявлений делать не спешу ), но тем не менее на мой поверхностный взгляд Postgre предоставляет существенно меньший набор возможностей для администрирования.

мы ведь уже выяснили что у вас длиннее, вы хотите что-бы вам об этом постоянно говорили?

Если пожелаете, можете прокоментировать, но отвечать не буду, поэтому по возможности не задавайте вопросов.

Аватар пользователя katu
katu(12 лет 3 месяца)

Не то что бы на стороне сиквел сервера я решил вступить в дискуссию, просто у Вас возник вопрос "в чем не дорос?", я предположил в чем и задал свой вопрос.

вы разработчик sqlserver'а чтобы утверждать подобное? или вас допустили до чтения исходников

Нет, я не разработчик и исходников не читал, но в открытом доступе имеется достаточно информации, чтобы сделать определенные выводы. Вот, например, SQL Server In-Memory OLTP Internals for SQL Server 2016  Technical White Paper - https://docs.microsoft.com/en-us/sql/relational-databases/in-memory-oltp...

незнаю как сейчас

Ну Вы же сами признались, что Ваши сведения о сиквел сервере устарели лет на 15-20. То, о чем Вы тут написали у микрософта называется TRANSACTION ISOLATION LEVEL SNAPSHOT и наличествует, начиная с версии 2005 года.

это не та площадка

ну раз не та площадка, то наверное не стоило и начинать обсуждение почему кто-то до чего-то не дорос. Хотя мне вопрос с точки зрения импортозамещения, кажется весьма интересным. Есть ощущение, что если не подавляющее большинство, то огромная часть обсуждающих точно, довольно слабо представляют себе реальные возможности современных ИТ решений, и как эти решения используются в более продвинутых в техническом плане конторах, в отличие от тех, в которых они привыкли трудиться. Соответственно, они сравнивают решения десяти-пятнацдатилетней давности и их же и пытаются описать, в качестве альтернативы имеющимся.  Это не камень в чей-то огород, если что, просто, видимо, такова ситуация в отрасли (а вернее во всех отраслях, т. к. ИТ присутствует практически везде).

Вопросов не задавал, на ответе не настаиваю :)

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

Нет, я не разработчик и исходников не читал, но в открытом доступе имеется достаточно информации, чтобы сделать определенные выводы. Вот, например, SQL Server In-Memory OLTP Internals for SQL Server 2016  Technical White Paper - https://docs.microsoft.com/en-us/sql/relational-databases/in-memory-oltp...

ну, т.е. как я и сказал вы делаете необоснованные утверждения основываясь только на том, чем вас кормит маркетинговый отдел MS

Ну Вы же сами признались, что Ваши сведения о сиквел сервере устарели лет на 15-20. То, о чем Вы тут написали у микрософта называется TRANSACTION ISOLATION LEVEL SNAPSHOT и наличествует, начиная с версии 2005 года.

вы скажите мне один весчь, вы целенаправленно читаете только то что хотите или оно само так получается. MVCC по дефолту теперь у sqlserver'а или по прежнему в дефолте используется блокировочный движок? Если по умолчанию блокировочный, то я еще раз подчеркну, что вы ваши заявления о

и, соответственно, подход к обработке данных и блокировкам.

делаете голословно, т.к. нельзя сравнивать зелёное и жидкое и говорить о каких-то там ускорениях не имея объективной картины показывает вас не в лучшем свете.

Всего доброго. Спасибо за беседу.

Аватар пользователя katu
katu(12 лет 3 месяца)

про маркетинговый бред ответил ниже, во второй ветке

MVCC по дефолту теперь у sqlserver'а или по прежнему в дефолте используется блокировочный движок?

Это зависит от пользователя (разработчика приложения), какой ему нужен, тот он и будет использовать. Существует два подхода к блокировкам - оптимистический и пессимистический (у каждого есть свои преимущества). И Oracle и SQL Server предоставляют возможность использования обоих, не вижу принципиальной разницы, какой стоит в дефолтных настройках. В случае таблиц in-Memory используется оптимистический и его реализация отличается от оптимистического для обычных таблиц.

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

был простой вопрос, какой движок используется по умолчанию, а в место ответа опять бред про оптимистичный/пессимистичный режим движка на блокировках а не на MVCC, по умолчанию, простой же вопрос... ставим sqlserver и смотрим одну единственную настройку -- видим что mvcc не используется по умолчанию - делаем выводы о том, что комментарии ранее написанные о полётах в космос, порядках, и сравнение кислого и твёрдого удут в утиль.

Аватар пользователя katu
katu(12 лет 3 месяца)

я ж написал, что в случае in-memory движка применяется уровень изоляции, использующий row versioning (то, что в вашей терминологии называется MVCC). В общем же случае SQL Server по дефолту использует свой классический уровень изоляции (возможно, дань традиции), но нет вообще никаких проблем поменять его на нужный пользователю. Выбирать же, какой уровень изоляции использовать в конкретном случае, нужно, исходя из потребностей приложения, и оптимистические блокировки не всегда лучше, например, если Ваша нагрузка предполагается много конкурентных изменений данных. Честно говоря, этот разговор мне уже наскучил, и Ваша манера называть бредом то, что Вы либо не можете понять, либо не можете доступно объяснить, что же Вы все-таки хотите прочитать в ответ, тоже интереса не добавляет. Допускаю, что подобное непонимание есть и с моей стороны, но я хотя бы пытаюсь его найти.

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

хз зачем вам эта фигня нужна - можете доводы привести?

 

но любой вменяемый погромист, имевший дело с транзакт и с pl/sql, скажет что pl/sql логичнее и проще.

ну и да - на Постгресе крутитс яодин из корневых DNS серверов, а m$ для внешнего днса пользовалась UNIX что как бы намекает...;-)

 

вообще, я лично не вижу большой проблемы смигрировать в обоих направлениях при неиспользовании хитрых трюков, а только боле-мене стандартных приёмов. всё-таик постгрес - достаточно строгий в плане соответствия SQL, это вам не мускул.

Комментарий администрации:  
*** Уличен в пустословии и клевете ***
Аватар пользователя katu
katu(12 лет 3 месяца)

зачем вам эта фигня нужна

вот прямо лично мне - ни за чем. Наверное, также как и большинству из нас в обычной жизни не нужен самолет.

но любой вменяемый погромист, имевший дело с транзакт и с pl/sql, скаже

а кто не скажет - тот не вменяемый? :) pl/sql это кстати про Oracle вообще

смигрировать может большой проблемы и нет, хотя для кого-то процесс миграции может обойтись дороже, чем лицензии на сам сервер. Не знаю, правда, что вы имеете в виду под хитрыми трюками, но вполне возможно, что некоторые вещи могут оказаться нереализуемыми без неприемлемого ухудшения характеристик продукта или тотальной его переработки (допускаю, что данное предположение верно в обе стороны).

Не представляю, как можно сравнить эти две системы вот так в лоб, слишком много нюансов. Сервера баз данных различаются не только ж синтаксисом использования языка или подходом к применению версионности строк (что сильно почему-то волновало моего предыдущего собеседника). Это целая экосистема, включающая в себя в том числе и инструменты для администрирования, например, с которыми может быть комфортно или некомфортно работать и кучу всего другого.

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

хитрые трюки - это когда по полной особенности ЭТОЙ КОНКРЕТНОЙ реализации SQL используются, например, раз полюбились по полной при переносе с интербэйза на постгрес, например там с генераторами (если вы конечно в курсе что это) наворочено было, напрямую в сиквенсы это не перекладывалось.

 

по поводу "версионности строк" пмсм он име в виду то прекрасное врмя когда mssql лочил всю таблицу целиком, прям как мускул какой древний вот такой "Ынтерпрайз" был гыгы.

Комментарий администрации:  
*** Уличен в пустословии и клевете ***
Аватар пользователя katu
katu(12 лет 3 месяца)

напрямую в сиквенсы это не перекладывалось

С интербэйзом почти не сталкивался, но мысль Ваша ясна.

когда mssql лочил всю таблицу целиком

Все-таки он немного не об этом, а о возможности чтения консистентных данных практически вообще без блокировок (не только на таблицу целиком, но и на строку например). С сиквелом версий раньше 2000 года я не работал, так что какой там до этого было Ынтерпрайз не особо в курсе.

Я правильно понимаю, что Вы из банды "погромистов"? )

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

нет. раньше часто бывал.;-)

потом начал за ними следы их жизнедеятельности утилизировать, "много думал".:-|

сиквел изначально - это сибейз. до 2007 и 12 версии (если я ничего не путаю) - они даже совместимы были.

оттуда и были многие родимые пятна.

Комментарий администрации:  
*** Уличен в пустословии и клевете ***
Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

в качестве im-memory можно использовать tablespace на ram-диске, т.к. Postgresql не является колоночной СУБД странно ждать от неё индексов на подобный тип данных, но если очень хоца - всегда есть возможноть использовать json/jsonb с индексами

Аватар пользователя katu
katu(12 лет 3 месяца)

в качестве im-memory можно использовать tablespace на ram-диске

принципиально разные вещи по-моему

json/jsonb с индексами

не представляю, каким образом это может быть хотя бы отдаленно похоже на колоночные индексы.

Postgresql не является колоночной СУБД

ну вот Вам один из примеров, почему не дорос

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

принципиально разные вещи по-моему

а помоему нет, это всё вкусовщина

не представляю, каким образом это может быть хотя бы отдаленно похоже на колоночные индексы.

я почитал, ну да, нет такого в постгре, он не бытается быть column-store ДБ, но если нужно документ-ориентированное хранить -- все возможности предоставляет https://www.postgresql.org/docs/11/datatype-json.html

ну а конкретно о индексах... как я понимаю column-index это какая-то маркетинговая херня, ну или прошу меня просветить чем это так круто что я за свою скромную карьеру ниразу с таким не сталкивался и тем более не нуждался

ну вот Вам один из примеров, почему не дорос

ну, круто, чё :)

 

Аватар пользователя katu
katu(12 лет 3 месяца)

Не соглашусь, что вкусовщина ) Принципиально иная структура хранения оптимизированная именно под работу с оперативной памятью и, соответственно, подход к обработке данных и блокировкам. Несмотря на то, что при достаточном количество оперативной памяти и обычные таблицы целиком окажутся в оперативке, в отдельных случая использование in-memory движка может дать прирост производительности на порядки.

То же самое и с columnstore - отнюдь не маркетинговая фигня. Тоже иной подход, данные группируются о столбцам и хранятся большими группами строк. Это позволяет увеличить эффективность хранения за счет того, что сжимаются более однородные данные (причем не только на сторадже, но и в оперативке), и соответственно скорость обработки. Используется не для хранения документов, а для обработки аналитических запросов, требующих агрегирования огромного количества данных (миллионы и миллиарды строк). Тоже в отдельных случаях производительность может быть улучшена на порядки в сравнении с решением аналогичной задачи при rowstore структуре.
 

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

А это уже зависит в том числе от проектирования как самой базы, так и алгоритмов работы.

Аватар пользователя katu
katu(12 лет 3 месяца)

Конечно зависит, но как показывает практика, с определенным типом задач реализации на основе колоночных индексов справляются на порядки эффективнее классического rowstore подхода. Т. е. производительность реально может быть в сотню раз выше. И если б у Postgre были настолько чудесные алгоритмы обработки данных, что при использовании rowstore движка он при прочих равных был в десятки раз производительнее MS SQL, то, я подозреваю, мы бы с Вами об этом знали :)

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Открою Вам страшную тайну: на сокращении профессиональных аутсорсеров я лично наблюдал более чем стократный рост производительности. Без смены базы данных!

ЗЫ: Вы лучше расскажите о причинах рекомендации не трогать величину выборки noSQL базы данных в реализации майкросовта и починили ли эту «фичу» в актуальных версиях?

Аватар пользователя katu
katu(12 лет 3 месяца)

я лично наблюдал более чем стократный рост производительности

я сравнивал ситуации при прочих равных :) понятно, что если балбесу или еще хуже вредителю доверить решать задачу, то можно получить решение сильно далекое от идеального.

С noSQL базами работать не приходилось.

Аватар пользователя И-23
И-23(8 лет 8 месяцев)

Методика несовершенна.
Просто в силу следствия различий реализации в виде несовпадения эффективности «равных» решений.

Зачем «вредителю», когда можно просто привлечь профессионала.

ЗЫ: История выбора и судьбы bdb back-end'а в OpenLDAP тоже весьма почительна. Возможно — и в контексте обсуждаемого вопроса.

Аватар пользователя katu
katu(12 лет 3 месяца)

Ну если мои объяснения не достаточно убедительны, чтоб объяснить Вам, что columnstore это не маркетинговая фишка, а "прорывная" (в этом месте самому немного смешно конечно) технология, имеющая реальное применение, то, наверное, Вам будет проще просто почитать немного самостоятельно о том, что это такое. Если чтение микрософтовского сайта напрягает по идеологическим соображениям, то есть и открытые бесплатные альтернативы (функционал конечно различается, но в чем там суть уловить поможет) - https://clickhouse.yandex/docs/ru/

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

хотел ещё один момент указать

То же самое и с columnstore - отнюдь не маркетинговая фигня. Тоже иной подход, данные группируются о столбцам и хранятся большими группами строк. Это позволяет увеличить эффективность хранения за счет того, что сжимаются более однородные данные (причем не только на сторадже, но и в оперативке), и соответственно скорость обработки. Используется не для хранения документов, а для обработки аналитических запросов, требующих агрегирования огромного количества данных (миллионы и миллиарды строк).

вот это вот всё -- это маркетинг, когда я у вас спрашиваю зачем на практике column-store индексы (индексы я понимаю зачем, но чем они принципиально отличаются от обычных?) вы мне отвечаете какими-то пространными простынями... OLAP? ну, так и скажите OLAP. ну и как часто лично вы их используете?

если мне вдруг понадобится OLAP я возьму более подходящий для этого инструмент чем postgresql, тот-же (based) https://greenplum.org/

Тоже в отдельных случаях производительность может быть улучшена на порядки в сравнении с решением аналогичной задачи при rowstore структуре.

вот, вот, всё время отдельные случаи, всё время сову на глобус а нормальный benchmark по сравнению с тем-же Postgre фиг найдёшь. Не, я понимаю, политика партии что у ms'а что у oracle'а не разрешает публиковать benchmark'и

Аватар пользователя katu
katu(12 лет 3 месяца)

да, в данном случае отдельные случаи - это нагрузки подобные OLAP. SQL Server в себе сочетает и OLTP и OLAP. Чем колоночные индексы отличаются от обычных я попытался объяснить и даж ссылку выслал, в которой это описано несколько подробнее. И пример, когда конкретно они могут быть полезными тоже привел - когда нужно посчитать какие-то агрегированные значения на огромном количестве данных. Например, количество просмотров страниц и конверсию покупок по категориям товаров в высоко нагруженном интернет-магазине за продолжительный период (год) с десятками тысяч посещений (и сотнями тысяч просмотров товаров) в день.

Аватар пользователя kondrat
kondrat(8 лет 3 месяца)

SQL Server в себе сочетает и OLTP и OLAP.

ага, только не одного марка вы мне не покажете, поэтому это всё я по прежнему считаю (причём обоснованно) FUD'ом (https://en.wikipedia.org/wiki/Fear,_uncertainty_and_doubt), кушайте, не заляпайтесь

Чем колоночные индексы отличаются от обычных я попытался объяснить и даж ссылку выслал, в которой это описано несколько подробнее.

то вы меня упрекаете в том, что я вас посылаю по ссылкам, то сами отсылаете. По вашим ссылкам не какой технической информации не написано, там сплошняком макретоидный бред. Я задам ещё раз вопрос, может предидущий оказался сложен для понимания.

Чем т.н. колоночный индекс  принципиально отличается от используемых при row-store? Какие-такие хитрые алгоритмы и структуры данных что делает их настолько ценными что вы с ними как с писаной торбой носитесь.

Например, количество просмотров страниц и конверсию покупок по категориям товаров в высоко нагруженном интернет-магазине за продолжительный период (год) с десятками тысяч посещений (и сотнями тысяч просмотров товаров) в день.

для этого не нужно OLAP/OLTP, для этого успешно используются те самые, заточенные под задачу column-store и time-series БД. Считаю извращением хранить в SQL БД подобную статистическую информацию. Короче, пример явно не удачно подобран.

 

 

 

Аватар пользователя katu
katu(12 лет 3 месяца)

только не одного марка вы мне не покажете

в данном случае "марки" надо откуда-то из жизни брать, потому что какие-то "официальные" уже будут "отдельными" случаями безо всяких кавычек (со специально подогнанными наборами данных, которые идеально работают в данной конкретной реализации).

то вы меня упрекаете в том, что я вас посылаю по ссылкам, то сами отсылаете.

Поясню, в чем разница. Я задал Вам простой вопрос уровня "а пожатие пальцем, где в вашей машине спидометр?". А то я в кабину заглянул, руководство по эксплуатации бегло просмотрел, но найти никак не могу. В ответ в меня бросили томиком с руководством по техническому обслуживанию и отправили в гаражи спросить у мужиков. Вы же требуете технических подробностей, которым в этой ветке действительно не место, коротким ответом "на пальцах" остались не удовлетворены, white paper для Вас маркетинговый бред (хотя в нем в том числе и на примере с картинками объясняется структура обсуждаемых вещей). Хотите еще глубже - это уже толстые книжки читать.

для этого не нужно OLAP/OLTP, для этого успешно используются те самые, заточенные под задачу column-store и time-series БД.

Вы сами читаете, что вы пишете? OLAP - это всего лишь online analytical processing. Для обработки аналитических запросов не нужна обработка аналитических запросов? OLTP тут причем? Дальше еще лучше, заточенные под задачу column-store БД. Так нужен все-таки бизнесу колумнсторе получается? о чем мы тогда спорим?

Считаю извращением хранить в SQL БД подобную статистическую информацию.

А почему извращением? Зачастую SQL БД является тем самым местом, где изначально фиксируются сырые данные, из которых мы и хотим получать подобную статистическую информацию (OLTP нагрузка). И MS предоставляет довольно широкий спектр возможностей для реализации BI решений.

 

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

кстати, про "колоночные" - а разве MSSQL перестал начитывать страницами по 8k? ;-)

 

и да, про im-memory и column DB в постгресе, просто цитата:

 

Fujitsu's Vertical Clustered Index (VCI) is a robust implementation of In-Memory Column Store found inside open source based FUJITSU Enterprise Postgres.

 

а Кутис Дата лет 7 назад предлагала column extension в Постгрес

предвосхищая вопросы:

 

"Foreign tables can be queried like any other table. You can even join them with regular tables."

 

ну ида - у Яху много лет такое же расширение для Постгреса работает, известный факт. никакого  rocket science там нет.

Комментарий администрации:  
*** Уличен в пустословии и клевете ***
Аватар пользователя katu
katu(12 лет 3 месяца)

никто не говорил про рокет сайнс ) под ин-мемори таблицами у  фуджитсу и у микрософта, видимо, понимаются несколько разные вещи, но не суть. Еще получается, что решение тоже платное (хотя не исключаю, что стоит оно на порядки дешевле). Что там семь лет назад за экстеншин предлагали тож надо изучать внимательно, а то окажется, что там тоже без "хитрых трюков" не обошлось )

и мне кстати про самое элементарное никто не ответил к сожалению, где спидометр то? :) как посмотреть, чем сервер занимался с начала загрузки?

"Query optimization is not rocket science. When you flunk out of query optimizationwe make you go build rockets"

Аватар пользователя mumpster
mumpster(5 лет 5 месяцев)

> как посмотреть, чем сервер занимался с начала загрузки?

я несколько не понимаю чего вам надо?

 

ANALYZE , не?

Комментарий администрации:  
*** Уличен в пустословии и клевете ***

Страницы