Вход на сайт

МЕДИАМЕТРИКА

Облако тегов

Предлагаю очередной раздроб между лириками и физиками.

Аватар пользователя ExMuser
В жизни каждой технологии бывает интересный период, когда она уже создана и оформлена, находится «на слуху» как минимум в профессиональной прессе, а то и в обычных медиа, признана перспективной — но полномасштабной финансовой отдачи вложений ещё не даёт. Век назад так было с авиацией. Летал через Ла-Манш Блерио, крутил «мёртвую петлю» Нестеров. Собирали толпы зрителей полёты Сантос-Дюмона и Уточкина. Но это был спорт (в тогдашнем понимании, не в смысле нынешнего гигантского бизнеса), было недорогое зрелище — вроде передвижных шапито…

Авиаторы брали призы (порой весьма солидные), состоятельные энтузиасты платили первым авиашколам за обучение. Но пассажиров и даже почту ещё не возили. «Ночной летун, / Во мгле ненастной, / Земле несущий динамит» существовал лишь в сроках Блока: военные ведомства с осторожностью присматривались к новинке. Гусары были красивее, обуховские и крупповские пушки — эффектнее, а армстронговская броня дредноутов — солиднее хрупких изделий из дерева, рояльных струн и перкаля…

На таком Bleriot XI Адольф Пегу в 1913 году повторил «петлю Нестерова», но большие деньги в авиацию пришли позже.

Тем не менее и вокруг авиации уже строили весьма рентабельный бизнес. Начинающий инженер Хейнкель с завистью смотрел на хозяина мастерской по производству деревянных (и часто ломавшихся) пропеллеров Вильгельма Сикаца, зарабатывавшего в десяток раз больше него. (Потом Сикац станет одним из служащих заводов Хейнкеля — таковы судьбы людей в хайтеке…)

Ну а сегодня ситуация, чем-то субъективно смахивающая на давнюю в авиации, складывается в области Big Data, «больших данных» (БД). По исследованию, проведённому аналитической компанией Wikibon research, от каждого вложенного в «большие данные» доллара ныне возвращается половина… Но в ближайшем будущем, через три–пять лет, как считают опрошенные аналитиками бизнесмены, БД принесут инвесторам по 3,5 зелёных на каждый истраченный бакс.

Возврат вложений в Big Data.

Почему же этого не происходит уже сейчас? Ну, естественно, каждой технологии нужно время на становление. (Анекдот, которые советские инженеры любили рассказывать партийному начальству: «Одной женщине для создания ребёнка нужно девять месяцев, но девять за месяц — не справятся».) С этим ничего не поделать, нужно только ждать… Но есть и то, что можно поправить. Вот что говорят аналитики Wikibon:

«Сегодня люди слабо представляют, что такое Big Data. Они видят в этой идее лишь модную тенденцию и инвестируют без учёта конкретных и измеримых бизнес-приложений, связанных с проектами обработки “больших данных”. К такому же выводу пришли аналитики Gartner, и мы полностью разделяем их мнение».

Безусловно соглашаясь относительно конкретных приложений, хотелось бы отметить, что этапу выбора таких приложений должен предшествовать неизбежный этап осознания неких общих закономерностей, на основе которых бизнес-приложения должны и создаваться разработчиками, и выбираться бизнесменами. Одной скорости процессоров и объёмов оперативной и массовой памяти тут мало. Нужны ещё и методы их эффективного использования.

Опять обратимся к истории технологий: полтора века назад металлургическая промышленность начала давать человечеству всё больше и больше чугуна и стали. Материалов прочных и недорогих. И девятнадцатый век был отмечен сооружениями из них, и по сей день радующими глаз… Но и — ознаменован грандиозными катастрофами.

Мост через Ферт-оф-Тей перед тем, как подул зимний ветер.

Есть у шотландского Данди эстуарий Ферт-оф-Тей. Одной из эпохальных строек Викторианской эпохи стало строительство через него чугунного моста, открытого 1 июня 1878 года и ставшего самым длинным в мире. Проектировщика Томаса Бауча даже возвели в рыцари… Ну а обрушение этого моста 28 декабря 1879-го стало эпохальной катастрофой, потрясшей тогдашнюю Мастерскую мира; проектировщик, потерявший в катастрофе зятя, скончался от угрызений совести… Дело в том, что инженеры того времени, освоившие сопромат и справлявшиеся с учётом динамических нагрузок, которые создаёт движущийся состав, ещё не знали аэродинамики, не умели оценивать порождаемые ею колебания и их разрушительную силу… А именно ветровая нагрузка и погубила мост и семьдесят пять человек…

Мост через Ферт-оф-Тей после зимнего ветра.

В мире «больших данных» таких драматических событий, к счастью, не наблюдается, но около 2% опрошенных говорят о крахе планов и потере вложений… Может быть, это неизбежный бизнес-просчёт. А может быть, не учитываются какие-то воздействия, которые кажутся не самыми важными. Вроде как Баучу — дующие с моря ветры… И одним из эффектов, о которых хотелось бы поговорить, является эффект комбинаторных взрывов.

Комбинаторный взрыв (combinatorial explosion) – это экспоненциальный рост временной сложности алгоритма при увеличении размера входных данных задачи. Самым простым примером служит факториальная функция, n!. Произведение всех натуральных чисел от 1 до n. Восклицательный знак тут очень на месте: простейший факториал растёт быстрее не только мудрёного многочлена, но даже и самой экспоненты!!! Факториальная функция известна, полагаю, всем читателям — даже гуманитариям — из школьных задач по комбинаторике и элементарной теории чисел. Но она может быть ещё и весьма важна на практике. Для самого что ни на есть повседневного бизнеса…

Ну, вот задача коммивояжёра. Travelling salesman problem, TSP. Взять да и самым выгодным путём объехать какое-то количество заданных точек.

Её ежедневно решает множество сетей. И гигантские дистрибутивные — о которых, если верить деловому каналу, знают даже африканские инвесторы. И торговые представители/экспедиторы, развозящие на «буханке» свой товар по ларькам… И эта задача для них жизненно важна, время ограничено, бензин дорожает, радио вон уже говорит о полусотне за литр… Так вот, задача коммивояжёра порождает комбинаторный взрыв! Вычислительная математика относит её к классу NP-трудных задач. Они же — трансвычислительные (transcomputational) — по термину, введённому в 1962 году Гансом-Иоахимом Бреммерманом. Достаточно иметь лишь 66 точек объезда в задаче коммивояжёра, чтобы компьютер размером с Землю за всё время существования нашей планеты не мог с этой задачей справиться… (Полумистические квантовые компьютеры не предлагать: мы сейчас говорим о честной ИТ-инженериии…)

Задача коммивояжёра столь популярна, что её используют даже для рекламы интернет-торговли: картинка — хороший пример осознания бизнесом математики…

Как? Парадокс воображение не поражает? Рассчитать оптимальный объезд всего лишь 66 лавок уже невозможно в принципе… А информационные технологии сейчас подходят к работе с массивами информации, исчисляемыми петабайтами. И в ряде случаев уже используют их удачно, а в течение трёх–пяти лет прогнозируется (как мы видели выше) их массовое экономически успешное применение…

Прогноз доходов от вложений в Big Data.

Значит (пользуясь определением от противного, в теологии зовущимся апофатическим), БД (как технология) — это такие данные, задачи обработки которых не должны приводить к комбинаторным взрывам и трансвычислительным задачам. Как, скажем для примера, мосты — такие сооружения, аэродинамические нагрузки на которые не должны приводить к их обрушению… Конечно же, это очень ограниченное определение. Явно недостаточное, но ведь необходимое (в смысле доказательств). Если найдётся время, уважаемые читатели, прочтите «Воспоминания» академика Крылова. Там есть анекдот о соотношении инженерной практики и науки, связанный как раз с железнодорожными мостами, хоть и содержится в главке «Значение математики для кораблестроения». Посвящён он формуле математика Леви Чивиты, дававшей верхний предел динамической нагрузки при прохождении состава. Формула была верна, но давала цифры порядка на три выше имевших место в реальности — тех, которые закладывали в конструкции инженеры (порой ошибавшиеся)…

Так что работа с «большими данными» потребует не «математических», а «инженерных» формул. Пусть работающих куда менее строго с математической точки зрения, пусть использующих более грубые модели — зато позволяющих получать в обозримое время практически полезные результаты. Какими эти методы будут — гадать бессмысленно, как и требовать с инженеров времён бипланов эскизов широкофюзеляжных лайнеров. Но, может, приведённые аналогии помогут специалистам в создании таких методов, а инновационным бизнесменам упростят понимание задач?


http://www.computerra.ru/84020/o-dannyih-i-vzryivah/

Я уверен, что на этом ресурсе очень много достойных людей, знающих как превратить эту планету в рай земной, но, тем не менее, информацию к сведению примите, пожалуйста. А то - Валдай, Валдай...

Фонд поддержки авторов AfterShock

Комментарии

Аватар пользователя Federal
Federal(5 лет 11 месяцев)(19:04:56 / 25-09-2013)

Что за слово такое, "раздроб"?

Аватар пользователя ExMuser
ExMuser(4 года 6 месяцев)(19:15:51 / 25-09-2013)

А что такое "раскол", "расход", "разъёб"? Удивляюсь, почему Вы не поняли, камрад. Я просто привык, по крайней мере, в интернетах, юзать по максимуму встроенные возможности "движка" Руского языка и вечно надеюсь на положительную оценку хотя-бы формы моего выражопывания, если уж не на содержание его. (Вроде как и по содержанию всё правильно).

Аватар пользователя Nordicx86
Nordicx86(5 лет 11 месяцев)(19:18:26 / 25-09-2013)

а по моему из этого делают очередной пузырь... Те да BigData есть но они есть у 100-200 крмпаний остальные не вписываются даже в определение.... и все те деньги которые будут в буханы просто вылектят в трубу, а успешными будут как всегда 2-5% рынка....

Комментарий администрации:  
*** Криптобес ***
Аватар пользователя ExMuser
ExMuser(4 года 6 месяцев)(19:23:56 / 25-09-2013)

Это называется креатив. С бойаном. Ведь никто HFT не отменял. :)

Аватар пользователя Добрая Машина Пропаганды

Совсем исписался Ваннах. КГ/АМ.

Аватар пользователя ExMuser
ExMuser(4 года 6 месяцев)(21:09:08 / 25-09-2013)

Вы ещё Голубицкого не читали. В сравнении с ним преподобный - недостижимый идеал.

Аватар пользователя Пепелац
Пепелац(5 лет 1 месяц)(21:37:13 / 25-09-2013)

Аффтар лучше бы картинку не вставлял в свой апокалипсический опус ибо из него видно, что помимо тупого решения задачи "в лоб" есть и другие методы (в частности приведенная на картинке альтернатива динамического программирования). Так что апофатически аффтар факториально туп :-)

PS И чтобы два раза не вставать - если бы 2% мостов разрушались, их проектировщиков заставляли бы под ними жить, ибо не хрен так строить! Недаром говорится, что если бы архитекторы строили дома так, как пишутся компьютерные программы, то первый залетевший дятел разрушил бы всю цивилизацию ;-)

Аватар пользователя Добрая Машина Пропаганды

Архитекторам и не снилось, чтобы их сооружения после обрушения самовосстанавливались из руин. Любой дятел задолбается летать в таких условиях.

Аватар пользователя Пепелац

Архитекторам и не снилось, что эффект нейтронной бомбы (населения нет, а дома - вот они!) может быть критерием эффективности их работы. Вот мне лично неинтересно, что операционка восстанавливается. Я работаю с данными, а не с программами, и никакие RAID-s и бэкапы ситуацию не улучшают :-((

Аватар пользователя Добрая Машина Пропаганды

Если у вас пропадают данные во время работы - значит вы их не цените. Попробуйте постучать себе каблуком по голове за свой выбор железа, софта и организации работы.

Аватар пользователя Пепелац

Умнее вас только суперкомпы Гидрометцентра, ей Богу! Вы думаете, где данные пропадают, у меня? А вот хрен Вы угадали - в data center, о которых преподобный заказные статейки тискает. А официально обязаны хранить данные там - корпоративная политика, будь она неладна :-((((((

Аватар пользователя Добрая Машина Пропаганды

Надеюсь, вы не думаете, что хотя бы 1% датацентров в мире похожи на ваш?

Аватар пользователя Пепелац

Нет, я так не думаю. Я думаю, что 100% datacenters похожи на наш :-( Ибо текущий - уже третий.

Аватар пользователя Dmitri
Dmitri(5 лет 8 месяцев)(23:54:52 / 25-09-2013)

Еще в далекие 90-ые годы в компьютерном журнале была моя статья, где я расписывал будущее. Там говорилось о власти больших массивов данных, о том как они будут строить и планировать жизнь людей, начиная с рождения. Редактор журнала был под впечатлением, что даже попросил встретиться со мной...

Аватар пользователя Пепелац

С тех пор все тянутся передо мною кривые глухие окольные тропы

Стругацкие, Миллиард лет до конца света

Лидеры обсуждений

за 4 часаза суткиза неделю

Лидеры просмотров

за неделюза месяцза год

СМИ

Загрузка...