Вход на сайт

МЕДИАМЕТРИКА

Облако тегов

(блог) форум больших данных в Москве

Аватар пользователя RomanSmirnov

1. Сходил на днях на форум компании террадата посвященный "большим данным".

Можно конечно воспринимать эти "big data" как очередную маркетинговую уловку. Четкого определения что это такое и зачем "они" на самом деле нужны никто не озвучивает - просто все радуются возможности примитивными числовыми методами дробить террабайты данных и их визуализировать  в режиме реального времени. 

Ощутить хотя бы на время иллюзию чувств этого самого глазика:

IMHO, жалкое подобие "матана", описывающего действительно правильными формулами любые процессы, причем карандашом на бумажке или еще бесплатней в воспаленном мозге очередного Перельмана.

Тем не менее выглядит все красиво, в фойе лотте плазы, где проходил "форум", были выставлены картинки с их проекта - http://aofa.tilda.ws/

Вот приведу одну из них: 

Данная визуализация является частью проекта по анализу рисков в крупном китайском банке. Данные о межбанковских транзакциях и о движении денежных потоков используются для понимания динамики рисков и открытия новых рыночных возможностей. 
В данном графе точки (узлы) соответствуют компаниям, представленным через свои банки-хранители счетов. Линии (ребра) отображают переводы денежных средств между компаниями, а стрелки указывают направления денежных потоков. 

Думаю подобные схемы есть и по движению денег российских олигархов заграницей. 

На самом форуме послушал технического директора этой террадаты - Тиммера. Вот на фотке - косит под Стива Джобса.

Чел веселился и прикалывался над аудиторий, показал картины Пикассо, задавая вопросы в зал - а вы знаете кто это нарисовал или что это за картина. Из более чем сотни присутствующих одна две руки.

В итоге это оказался старый прикол с ранними работами "художника", которые ничем не отличались от обычных.

На самом деле такая проблема есть - узкая заточенность казалось бы интеллектуальных специалистов, не позволяющая им осознать всю картину мира.

Отсюда легкая манипулируемость, не способность осознать собственное место и самое главное собственные интересы

Спецом щелкнул слайд, где он еще про "Danger of mathematical thinking" начал говорить.

Ну да конечно, danger of mathematical thinking, потому что никто на эту террадату не будет деньги тратить если калькулятором научится пользоваться, как впрочем и на любое западное ПО типа того же SAP, издержки выше эффекта на порядок. Во всех МРСК банкротах в оный было столько вломлено... (вот сейчас корабль МРСК-Урала начал корму задирать - http://pravdaurfo.ru/articles/124366-mrsk-urala-ekstrenno-uhodit-ot-kreditorov-na-mmvb , SAP к нему в рубку уже давно поставили ... ).

 

Не смотря на общий веселый настрой, у него иногда проскальзывали и грустные нотки, особенно когда заговорил про тотальное превосходство китайцев надо коренными американцами (в смысле мигрантами первой волны) в подготовке солдат нового цифрового мирового порядка, видно, что "геополитик"... 

После выступления Тиммера еще сходил послушал доклад немца из Люфтваффе тьфу Люфтганзы. 

В аудитории, где был доклад, сзади сели двое ФСОшников, которые обсудив симпатичную переводчицу, подытожив - "все в будку пошла", переключились на обсуждение своих "закупок".  Слева чел из Банка России, что как бы намекает на живой интерес к "теме" со стороны "корпорации РФ". 

Впрочем немец, ничем не порадовал - архитектура их ИТ систем на удивление бестолковая, это еще по SAP заметил, что впрочем компенсируется активностью продажников и лоббистов.

Вобщем единственное, что меня заинтересовало из выступления это информация о практически спотовом рынке "остатков мест на авиарейсы", а также стратегия корректировки цен в зависимости от цен конкурентов в режиме реально времени.

Внятно ответить на единственный вопрос из зала "как Вы обосновываете покупку террадаты перед руководством" он не смог.

2. Про лоббистов и отношения с "корпорацией РФ"

Сегодня (30 ноября) в Швейцарии будет практически Аустерлиц , суд:

В период с 1999 года по 2006 год, согласно материалам следствия, сначала швейцарская компания АВВ и французская ALSTOM, а после 2004 года и шведская Siemens Industrial Turbomachinery (SIT) платили деньги газпрому за покупку своего оборудования.

Еще двое россиян, оказавшихся на скамье подсудимых - бывшие представители АВВ и ALSTOM в России, подозреваемые в подкупе и организации схемы по отмыванию денег.

Причем со стороны Сименса всю тему крутил внук "фельдмаршала" армии Австрийской империи, с него естественно как с гуся вода.

Это к вопросам о европейской "корпоративной" культуре и реальном отношении к местным Павликам Морозовым, сливших собственные производства в обмен на не такие уж большие "поощрения инициативы".

Кстати террадата и гугл действуют у нас сейчас точно такими же методами, что и немцы в энергетике раньше. Конец я думаю будет таким же. 

А вобще не слишком ли много на себя горные гномы и их друзья берут? Мне кажется эти "кантоны" можно силами двух трех батальонов даже украинской нацгвардии целиком укантропупить отправив шикарные обозы с добром из особняков с берегов альпийских озер к рiдным хатам ))

Контроль еврокомиссии с америкосами-англичанами над славянским миром от Восточной Германии с Польшей, до части экономики России держится исключительно на промывке мозгов, традиция так сказать еще из католичества идет.

Никаких реальных военных или экономических "аргументов" для такого хамского поведения, как сейчас, у них нет. 

Фонд поддержки авторов AfterShock

Комментарии

Аватар пользователя R407C
R407C(4 года 10 месяцев)(10:55:02 / 30-11-2015)

Это к вопросам о европейской "корпоративной" культуре и реальном отношении к местным Павликам Морозовым,

Мне знакомец из (нашего, Российского) головного Сименса однажды жаловался на моего друга из окружной администрации, что тот взятку не берет. Совершенно искренно возмущался, что чел не по понятиям живет.

 

Аватар пользователя igort.shopping
igort.shopping(3 года 3 месяца)(10:58:24 / 30-11-2015)

ИМХО, Биг Дата - это реально полезная и перспективная вещь.

Примитивно - это инструмент, который позволяет быстро лабать алгоритмы обработки огромных массивов данных, которые были раньше и близко недоступны.

То есть, то, что раньше просто избегали, как нереальное, теперь возможно делать, к тому же, быстро и недорого.

Аватар пользователя RomanSmirnov
RomanSmirnov(3 года 6 месяцев)(11:07:05 / 30-11-2015)

То что перспективная никто не спорит, только не обязательно для этого "террадату" покупать. 

К тому же по эконометрике ( https://ru.wikipedia.org/wiki/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5... ) столько трудов написано... 

 

Аватар пользователя Gbanderlog
Gbanderlog(3 года 7 месяцев)(11:08:58 / 30-11-2015)

Математические  алгоритмы прикладных вычислений в ЭВМ , а особенно по массивам "исчерпали" фундаментальную базу уже лет 20 назад. Сейчас идет только оптимизация и увеличение вычислительных мощностей. Да, Сейчас уже не требуется строить суперкомпьютер для учета и анализа транзакций одного банка. Сейчас основная проблема это не вычислительные мощности, а ширина канала , задержка отклика, и накапливаемые погрешности.  К чему это я, а к тому что Биг -Дата , это скорее коммерческое название обычного набора уже давно используемых инструментов и приемов.  

Аватар пользователя RomanSmirnov
RomanSmirnov(3 года 6 месяцев)(11:09:56 / 30-11-2015)

+1

Аватар пользователя ascold
ascold(5 лет 9 месяцев)(12:38:31 / 30-11-2015)

C одной стороны да, с другой не всегда математика там тривиальная (точнее так надо быть абсолютно уверенным что ваши методы применимы к данным). Big Data выхватывает данные, которые внутри содержат массу дальних корреляций. Big Data суть след функционирования сложной самоорганизующейся системы, простой статистикой там ничего не нароешь. Вернее так, считать никто не запрещает, формально подставлять числа в формулы, только результаты будут не ice!

Аватар пользователя Gbanderlog
Gbanderlog(3 года 7 месяцев)(07:50:53 / 01-12-2015)

Мне так моя бабушка в церкви объясняла, что бога надо понять не головой а сердцем.

извиняюсь за сарказм, уважаемый.

Аватар пользователя ascold
ascold(5 лет 9 месяцев)(11:16:25 / 01-12-2015)

Старших надо уважать и слушать что они говорят, они плохого не посоветуют! В Бога надо верить, это чувство такое! Причем чувство это сродни любви к отцу и матери... Так что права была бабушка для того чтобы в Бога верить нужно сердце.

А вот для математики требуется голова, причем желательно холодная! "Имеющий ум сочти.." это обращение к интеллекту, причем к тому которому доступно понимание существования распределений Леви-Парето и предельной теоремы Гнеденко-Дёблина... 

Big Data это парадигма для обработки в первую очередь социологической информации, в таком случае советую прочитать это: http://www.kudrinbi.ru/public/481/index.htm

Аватар пользователя vleo
vleo(3 года 3 месяца)(10:58:48 / 30-11-2015)

Мне всегда эта big data казалось какой-то ерундой распиаренной. Зачем все эти SAP нужны - загадка. Все то же самое можно сделать на свободном инструментарии. Если же деньги девать некуда, то можно Oracle купить. В чем там "изюминка" - не понимаю.

Аватар пользователя Gbanderlog
Gbanderlog(3 года 7 месяцев)(11:11:45 / 30-11-2015)

И правильно не понимаете ), ее там нет.

Аватар пользователя Системник
Системник(2 года 9 месяцев)(11:34:05 / 30-11-2015)

Да нет её там, конечно же.

Просто обработка реально большого объёма. Недавно поучаствовал в проектике. 4.5е10 новых записей по ~200 байт в сутки. Нужен был почти он-лайн индекс поступающего. Всё postgresql вытянул.

Аватар пользователя NeedRock
NeedRock(2 года 4 месяца)(11:45:22 / 30-11-2015)

"Изюминка" оралка и прочих брендов заключается в гарантии, не более того. Банки, например, чей бизнес на 70-80% - ИТ в чистом виде, могут позволить себе держать достаточный пул специалистов, чтоб сократить объём аутсорсинга, при этом не потеряв гарантии того, что завтра все их лампочки потухнут.

А вот что касается гос-сегмента (включая гос. компании) - тут с этим сложнее. Правда, в этом сегменте информация куда менее причёсанная, чем в банковском секторе, а с этим никакая бигдата не справится: когда нет общего ключа, закономерности можно искать вечно... а в конце получить ответ "42" (http://lurkmore.to/42)...

А в остальном, да, опенсорс в настоящий момент представляет достаточные технологии для реализации всех тех же самых плюшек... Осталось руки выпрямить и, к сожалению, правильно их разрекламировать.

Аватар пользователя Tali
Tali(3 года 3 месяца)(13:53:47 / 30-11-2015)

На предыдущей работе был SAP - мы шутили, что SAP - это ответ немцев на проигрыш во второй мировой...

Аватар пользователя Gbanderlog
Gbanderlog(3 года 7 месяцев)(11:02:01 / 30-11-2015)

Еще долго из умов будет выветриваться еврофильство. Многие продукты и информационные суррогаты живы и популярны на рынках именно из за грамотной информационной и менеджерской (откатной) политике. Поэтому и были такие "ошеломляющие победы" Сименса на нашем рынке с середины девяностых и по н/в. А по сапам , отдельный разговор. Не каждая система способна окупить собственное внедрение. И не каждая система имеет лаконичность, которая может подарить пользователю уменьшение трудозатрат на операцию. Внедрение подобных вундервафель порой происходит в режиме горячего тестирования на пользователях, а так же требует огромных рабочих затрат на суплементарные базы данных , возможности их сдружить , ручную подгонку "автоматических" роботов по сбору информации из сетей. И прочего.  Обычно обольщенному начальству впаривается  "скелет" кота в мешке, который за отдельные деньги облепляется кусочками худосочного мяса. Все крупные корпорации вообще не пользуются сторонними разработками, а стараются держать малую команду спецов которая и занимается подобным софтом, но уже без рекламного "шлака".     

Аватар пользователя Omni
Omni(5 лет 2 месяца)(11:37:28 / 30-11-2015)

Да, методички больше не работают, а мировоззрение надо выправлять - верно.

Аватар пользователя eprst
eprst(5 лет 7 месяцев)(11:48:10 / 30-11-2015)

SAP, наряду с часами, авто (и что там ещё?), входит в набор обвесов успешного пердперенимателя. Успешная фирма обязана дорого пахнуть.

Аватар пользователя Vladyan
Vladyan(2 года 6 месяцев)(13:40:16 / 30-11-2015)

yes

Аватар пользователя andyvans
andyvans(3 года 7 месяцев)(12:12:46 / 30-11-2015)

Зачем нужна нужна и что такое Big Data?

Например в медицине: у вас есть все карточки с историями болезни всех людей за последние 50 лет от рождения до смерти. Обработав их когнитивной системой и сравнив с вашей текущей историей можно обнаружить аналогии и спрогнозировать когда и от чего вы загнётесь. 

Если по простому это "обработка огромных объёмов неструктурированных данных" 

Аватар пользователя eprst
eprst(5 лет 7 месяцев)(12:28:33 / 30-11-2015)

спрогнозировать когда и от чего вы загнётесь. 

А смысл? Из этой жизни ещё никто живым не уходил, все там будем.

Аватар пользователя vleo
vleo(3 года 3 месяца)(12:39:10 / 30-11-2015)

Я бы на MatLab или Mathematica ставил для таких задач. В особенности - для прототипа. А для production я бы все равно собирал сам, из свободных компонентов - работать будет быстрее.

А SAP - это в лучшем случае кривой MatLab или Mathematica для тупого пердпринимательского быдла ("эффективных" менеджеров).

Для чисто надежного хранения большого объема данных и доступа к ним хорошо пойдет Oracle. Гарантия всех в основном волнует одна - чтобы данные не пропали.

Аватар пользователя ascold
ascold(5 лет 9 месяцев)(13:02:11 / 30-11-2015)

Ну хорошо, мы с Вами умеем пользоваться Matlab_ом (Mathematica_у я бы не упоминал, Matlab реально не досигаем для нее). Кстати, перед тем как Matlab_ом макетировать надо хотя бы понять какие методы мы применяем и что должно получится - грамотно поставить задачу!

 А что делать моему школьному товарищу? Он к.м.н., невропатолог. Да он знает базовый набор статистических методов, то чему учат в медвузах. Знает еще кое-что, для защиты нужно было... Но как ему не утонуть в море фрактального и кратномасштабного анализа, нейрокомпьютинга, бустов, генетических алгоритмов и пр. мат методов применяемых в Data Mining. Для того чтобы получить информацию из такого массива данных, как архив историй болезней, стандартной Гауссовой статистики не хватит, там же море дальних корреляций. Будет как в анекдоте: средняя температура по больнице! К тому же: "дискретность - существенная нелинейность"!

Была раньше такая специальность "инженер-математик", но их теперь не готовят. Извели... Вот и лезут всякие проходимцы. Да это хорошо, если есть хорошие специалисты в своей области со знанием математики, только так в жизни не бывает. Медицина достаточно сложна, чтобы  у хорошего врача было время заниматься внедрением алгоритмов анализа данных из его, медицинской области. 

  

Аватар пользователя DimVad
DimVad(4 года 2 месяца)(14:20:56 / 30-11-2015)

"Например в медицине: у вас есть все карточки с историями болезни всех людей за последние 50 лет от рождения до смерти. Обработав их когнитивной системой и сравнив с вашей текущей историей можно обнаружить аналогии и спрогнозировать когда и от чего вы загнётесь." - и вот это самый большой прикол. Раньше искали причину. Теперь - статистическую зависимость. Получаемые результаты звучат как "99% умерших ели огурцы...".

Компьютеры навредили в разных областях человеческой жизни. Но это - самый смак smiley

Аватар пользователя Pavel_V
Pavel_V(5 лет 2 недели)(15:18:46 / 30-11-2015)

Попробуйте для начала распознать почерки медиков, которые эти истории корябали. А до этого возьмите и отсканируйте все эти карточки. Может тогда и дойдет, что не в бигдата проблема.

А, как тут уже сказали, единственный вывод, который компьютер может сделать - все умершие ели огурцы. Абсолютно точная и абсолютно бесполезная информация.

Объявлять компьютер панацеей - удел деффективных манагеров. Только клинические дегенераты могут верить, что придет программист (естественно буржуйский) и сделает все хорошо. Алгоритмы пишут люди. Результаты тоже обрабатывают люди. Компьютер всего лишь помощь. Ждать чуда от компьютера - феерическая глупость.

Аватар пользователя Снег башка попаду

А вобще не слишком ли много на себя горные гномы и их друзья берут? Мне кажется эти "кантоны" можно силами двух трех батальонов даже украинской нацгвардии целиком укантропупить отправив шикарные обозы с добром из особняков с берегов альпийских озер к рiдным хатам ))

 Почитайте, если интересно) http://topwar.ru/579-samaya-militarizovannaya-strana.html

Аватар пользователя RomanSmirnov
RomanSmirnov(3 года 6 месяцев)(20:04:29 / 30-11-2015)

Против градов и гаубиц, домашнее оружие ни о чем, чай не 19 век

Лидеры обсуждений

за 4 часаза суткиза неделю

Лидеры просмотров

за неделюза месяцза год

СМИ

Загрузка...