Не так часто Российские надкомпании делятся техническими деталями, но иногда делятся.
Как то пропустил статью самокатовцев про то, как они прогнозируют спрос в своей чудовищной числодробилке ( 200 серверов, 3000 виртуальных машин в 3 датацентрах, 9 тыщ обращений в секунду - https://ecom.tech/about#section-statistics )
Прочитал.. что там заметил интересное
https://habr.com/ru/companies/ecom_tech/articles/698118/
Судя по тексту с описанием подходов "к штанге", они еще не состыковались с "формирователями" спроса (или стесняются об этом писать?) т.е. либо все едет на классической математике от "прошлых значений", либо закидывают в черные ML ящики...
Но очевидно, что основные флуктуации, на которые жалуются в статье, когда не всегда получается "пожарить пиццу аккурат к моменту, когда ее захочет клиент" (даже не ради клиента это, а чтобы сэкономить на холодильнике и прч), вызываются внешними факторами - погода, реклама по телеку и/или интернету и прч.
И вот тут может начаться интересное, когда все сольется в одно кубло и начнут не только использовать всю совокупность "факторов", но и более активно _формировать_ спрос. ( просто доп. поток данных ростелек и/или банкиры уже обеспечивают - писал тут как то уже про).
Математиков и железок, чтобы все обсчитывать хватает уже сейчас. На лоббистов для корректировки т.н. правового поля тоже Ресурс есть.
На удобные и когнитивно эффективные цифровые каналы доставки инфы, тоже в принципе ширнармассы уже натасканы (теперь и с детства - как раз подросло поколение воспитанное мобильниками-дебильниками, приучают практически вместе с горшком).
Следующий этап это конечно замыкание "ценообразования" и не суточные, а расчеты на сезонные циклы с учетом например урожайности, климата, внешней торговли, а в отдаленной перспективе это конечно социальные траектории и биоциклы целиком.
Утопия?
Х.з. проекты такие уже есть... на небольшом административном контуре вполне счетно.
Где тут "невидимая рука рынка"? или еще более интересная тема - как насчет стейкхолдеров и монетизации, с базой современных обществ искусственным расслоением... над этим ломают сейчас головы кучи западоидов в не самых плохих think-tank'ах ибо их кумир "деньги" тут легко уходят за "кадр".
Впрочем это уже другая сказка...
Комментарии
Мне такое надо было для того, чтобы нужное количество сотрудников подготовить - поваров, курьеров. За основу брал данные за прошлые года. Использовал в экселе функцию Прогноз. Довольно точно получалось, но присутствовали "неприятные флуктуации".
Динамическое ценообразование — это стратегия установления цен на товары или услуги, при которой стоимость меняется в реальном времени в зависимости от различных факторов.
https://www.fd.ru/articles/161879-dinamicheskoe-tsenoobrazovanie
Пример из жизни, как быстро раскрутить бизнес. Человек построил новый автосервис, клиентов нет. Ему посоветовали ремонтировать бесплатно - куча желающих. Те, кто хочет без очереди, платят. Кто хочет быстрее - платят больше. Очередь для бесплатников отодвигалась все дальше и в итоге вообще умерла - все стали платить. Сервис быстро был раскручен с помощью народной рекламы "из уст в уста".
Можно направить деньги на рекламу, а можно на акцию "утренний кофе бесплатно". "Бесплатно" покажет максимальную потребность в поварах и курьерах, а с помощью дальнейшего динамического ценообразования можно выйти на сбалансированные параметры спроса - предложения.
В конце 90ых работал в фирме, занимались продуктовыми магазинами. При расширении выкупили старый советский продмаг в спальном районе, сделали ремонт и отрылись. По не знанию потребностей в районе, шеф заказал хлеба на реализацию разика в три больше чем нужно. Через день торговли стало понятно что он зачерствеет и не продадим даже половину. Я предложил рекламную акцию, хлеб по рублю. За три дня продали всё. Потом еще месяца три пенсионеры приезжали со всего 300 тысячного города, а легенды про хлеб по рублю не затихали еще пол года.
) Всех пенсионеров "300 тысячного города" трудно обслужить одному магазину, поэтому нужно найти оптимальное соотношение цена - количество пенсионеров.)
Для этого создается модель пространственного распределения потребителей и, насколько возможно, распределения по доходам домохозяйств. Самые общие данные доступны от Росстата и муниципальных органов.
Дальше - распределение располагаемых доходов по домохозяйствам различных типов и их потребительские предпочтения.
Финал - зависимость числа покупок от цены конкретного товара. Этого уже достаточно для прогноза.
В первом приближении работает неплохо, а далее уточняется по кассовой статистике.
Вы можете на месте будущего магазина устроить благотворительную акцию с раздачей булочек и ответом на пару вопросов (в том числе и доход по категориям до 10000, от 10000 до 15000 и т.д) и получите модель конкретного нахождения потребителей в данном месте.
Не думаю, что выборка будет репрезентативной. Не всем интересны булочки, тем более через интимные вопросы о доходах.
Официальная региональная статистика строится по данным налоговой, из нее выпадают разве что серый и черный нал.
Диапазон "от до" легко указывают при анонимности опроса (поставьте волонтеров - девочек для большего доверия). "Официальная региональная статистика по данным налоговой" что даст?
Распределение численности населения по среднедушевому доходу, например.
По данным налоговой?) Вы считаете, что те, кто платят налоговой в этом районе, живут здесь и пойдут здесь в магазин?
"утренний кофе бесплатно" - это другая тема. Люди заходят за халявой, и попутно покупают что-то еще.
У меня тут рядом был небольшой магазинчик, так владельцам не нравилась слишком низкая доходность от сигарет, при довольно большом геморрое с ними. Перестали ими торговать, очень быстро потеряли заметную часть покупателей на все остальное, пришлось вернуть.
Это можно рассматривать как дополнительный бонус (конкурентное преимущество) - как бесплатная подкачка шин на автозаправке или свежий горячий хлеб в магазине у дома... но также поможет провести анализ, для которого акция (как в примере выше) покажет максимальное число клиентов:
У меня в соседнем подъезде магазин, у них кончилась лицензия на крепкий алкоголь, так они потеряли очень много клиентов. Меня в том числе. )) Я у них и коньячком, и вискариком постоянно закупался в отпусках когда. Да и так там постоянно местные абстиненты с утра до вечера роились. Короче, у них там нехилое такое выпадение доходов. Особенно, что это далеко не самый дешевый магаз, ещё и не суточный, до 22:00.
Местные алкаши (и я тоже) переместились на сто метров ниже, в соседний магазин. Там в любое время суток продают чё хош. У них там даже два терминала для карточек, легальный и чёрный. Ну и, если налом платишь, ваще всё по зелёной. :)
Она давно уже в штанах шарит, ищет за что зацепиться.
Кризис животворящий все поставит на свои места. Я с огромным удовольствием наблюдаю, как дебильные жены утилизируют доходы своих мужчин. Они своего добьются, земля у нас большая, дает сытные продукты, когда за ней ухаживают собственными ручками. Так что, в будущее смотрю с оптимизмом.
Так и будет. Но есть один нюанс. Сам по себе прогноз тоже влияет на результат. Другим словами в социальных системах ретропричинность обычное явление. Если вы делаете прогноз для отдельных фактов это одно, а когда общий прогноз, то вы получаете самосбывающееся пророчество. Но с другой стороны, общество может быть не согласным с таким "пророчеством", а значит снесет тот самый институт который выпускает такие "прогнозы". Опять же, ошибки формализации есть всегда. В общем, как только "сольются" так и их сразу не станет. Не то чтобы немедленно, но совершенно гарантировано.
Тот кто знает как работают LLM просто уже не может верить в бред "невидимой руки рынка" и прочему бреду про "конкуренцию". А это знание теперь очень широко распространено и буквально "Объясняют из каждого утюга".
Это да. Другая история. Сделал тут физическую и когнитивную модель общества. Занимательные прогнозы формируются на ее основе.
Но более интересен неизбежный вывод из модели:
Другими словами и намного проще, сложное общество может существовать и развиваться только если участники общества участвуют в нем сознательно. На текущем уровне сложности любая попытка превратить население в баранов неизбежно заканчивается цивилизационным коллапсом. И в основе данного утверждения бесспорный и очевидный факт - энтропия всегда возрастает.
Он может быть не только самосбывающимся, но и саморазрушающимся.
Что бы этот фактор исключить, ещё Базаров-Руднев ввёл постулат. Составлением прогнозов и достижением фактических результатов должны заниматься разные, не взаимосвязанные обязанностями, особи. Для исключения фактора влияния составителя на результат и исполнителя на прогноз.
И от себя. Что то же важно. Сильно. Реальные прогнозы всегда не публичные. Как только они становятся публичными, особенно в социально насыщенной среде, они обесцениваются полностью.
Мне тут сразу вспоминается наблюдение о жизненном цикле гуманитарной терминологии.
ЗЫ: Ну и далее к фундаментальному свойству Разума.
Другими словами, создание такой прогностической системы в среде с высокой способностью к предсказанию сводит функцию предсказания такой системы к расчету катастрофы. Система сможет предсказывать только коллапс. Ну или придется до минимума снизить прогностические способности самого населения - превратить всех в баранов. Что так же ведет к отсутствии рефлексии. А заначит создать такую прогностическую систему есть создание неизбежного системного коллапса.
Создание любой прогнозной системы ни к чему другому не приводит, кроме выпеченного самомнения создателя этой системы. Вне зависимости, от коэффициента достоверности этой приблуды.
Для того, что бы прогнозная система приносила пользу, нужен заказчик, для которого эта система служит основанием а) постановки целей (поисковое прогнозирование), б) основой планирования (нормативное прогнозирование).
В нормальной системе управления, поисковые прогнозы негативных событий сбываться не должны, должны сбываться только положительные (для заказчика).
Прогнозная система, которая генерирует только катастрофы - это или никому не нужный публичный продукт какого-то олигофрена, либо работа в интересах заказчика, для которого катастрофа является положительным исходом. (К примеру в конкурентной борьбе - катастрофа конкурента событие вполне себе положительное, ну или для террористов, которые эти катастрофы готовят).
Другим словами средством и инструментом рефлексии.
Но если управляемая система совпадает с управляющей системой...
С чего и начинали:
В нормальной вселенной, прогнозная система не является ни той ни другой. Это тот постулат, который я упомянул в первом посте. Ибо это всего лишь качественно исполненная информация по экстраполяции выявленных тенденций (суть: что будет, если всё будет вокруг катиться так как катится, а мы будем делать тоже, что и делали) или просчёт вероятных исходов будущего, на основании сгенерированных кем-то гипотез о целенаправленном воздействии на текущую ситуацию.
Решениями о управлении (выявления целей, постановкой задач и проч.) занимаются другие.
Хотя на практике, тех, про кого говорят " заставь дурака богу молиться....", подавляющее большинство. И то, о чём вы высказались, сплошь и рядом.
Слишком велик соблазн сделать прогнозную систему или управляющей или управляемой. Не важно. Суть одна. Штатный "козёл отпущения".
Я не так плохо думаю о современных методах прогнозирования.
В статье под которой у нас обсуждение бизнес решил построить "предсказательную машину". И тут как кровати не приставляй все получится "совпадет в одном лице".
И дальше весь бизнес сделает тоже самое. Это очевидно и кажется очень выгодным.
Других методов у прогнозирования нет. Всё другое, что иные вкладывают в это понятие, связано с постановкой целей и планированием. А это отдельные процедуры.
Это не первая и не последняя попытка.
Только термин "предсказательная машина" - показательный пример вами указанного микса немиксуемого.
Вменяемые строят автоматические системы управления товарными запасами, в которых блок прогнозирования составляет лишь один из элементов. Который, впрочем, регулярно и выступает в той самой роли "козла отпущения". Ибо "вроде как", если он работает правильно и выдаёт точные предсказания, то всё остальное - тривиально. Вот это и есть основная ошибка, когда прогнозирование выступает в роли управляющего элемента. Кстати, желание строить автоматические системы управления исключительно финансами почему-то возникает сильно реже. Хоть, по сути, это меняет только объект управления (в сторону сильного упрощения). Ибо тут, как минимум жопой, понятно, что что-то не так.
Мне неизвестно ни одной положительной реализации, в т.ч. и в компаниях, на пару порядков крупнее. Это если не на словах, конференциях и проч., а на деле.
Ну а что касается проблем математической реализации прогнозных блоков, то ребята правильно подсветили одну из проблем. Выбросы (как в плюс, так и в ноль). Это спотык, независимо от того, кто принимает данные в обработку. Машина или человек. Не существует теоретически обоснованных математических методов фильтрации подобных выбросов. Зато есть куча эмпирических, каждый из которых, потенциально способен давать ошибку +- дом на рублёвке. Но, подчёркиваю, что даже, если представить, что эта проблема устранена и блок прогноза (в данных автоматических системах он не может быть никаким другим, кроме поискового) будет выдавать 100% точный прогноз, то это не принесёт счастья. Без устранения концептуальной ошибки, это гарантированное широкое шоссе на пути к банкротству. Ибо не может и не должно прогнозирование выступать в качестве командного аппарата в системе управления.
Ну как посмотреть. Нейронные сети сильно все изменили. Прямо сейчас смотрю на безумно сложную модель общества основанную на ретропричинности как "активный вывод" Фристона и представляющую собой мультиагнетную систему и сеть одновременно.
И да, не вычислима напрочь. Но интересно как возникают детерминированные явления в системе.
Мне кажется после AlphaGo всем уже должно быть понятно чем все это закончится.
Дружище ))) на мой взгляд, эти процессы с величайшей натяжкой можно назвать прогнозными.
Всё же это относится к матмоделированию. И здесь есть сильные нюансы. Не так давно выполняли работу с заданными заказчиком методами моделирования процессов. Нужно было проанализировать научные статьи, обобщить и повторить. В своё время Тюринг многих взбаламутил. Крайне непростая система-дайджест с рассмотрением нескольких "модных" методов (таких как лаплассиан) моделирования процессов. Вещь вполне универсальная. Повторить можно что угодно, хоть рисунок рыбки гуппи, хоть распространение протестных настроений. Однако, по единогласному мнению, данные модели имеют прогнозную ценность околонулевую. Несмотря на некоторую похожесть в интересующем моменте, прогнозная ценность +- секунда. Однако смотреть на развитие, слияние и видоизменение паттернов - как галлюцигенных грибов объесться. Затягивает. Но с реальностью совпадает в моменте. Однако тема очень модная и жирная на диссертации, публикации и попил бабла. А сам процесс напоминает подбор коэффициентов в полиноме N-1 степени для описания числового ряда из N членов. Да. Можно точно описать. Но прогнозной ценности не имеет. Ибо, при вхождении в ряд N+1 члена.всё коэффициенты нового полинома N степени приходится подбирать заново. Т.е. описать можно (повторить), предсказать - нет.
Потому и скепсис у меня. Нет теоретического обоснования, доказательств и границ применимости у данных методов.
Удачи!
Т.е. это "недетерминированный молоток", может гвоздь забить, а может не забить или разбить стекло в соседней комнате. Естественно все нейронные сети это разновидность математической кувалды, когда бы берете круглый штифт и загоняете его в отверстие неизвестной формы для вычисления объема отверстия.
Но я вам про совсем другое. Про то что история с нейронными сетями наглядно доказала что реальная физическая вероятность не симметричная во времени. Или "казино всегда выигрывает".
И говорил о том, что человек и человечество по своей природе это "предсказательная машина" если сильно утрировать. И вот если с целью управления экономикой создавать "предсказательную машину" в системе человечество, то гарантировано будут "накладки предсказаний". Так сказать не будет несовпадение частот. Но это так же значит возможность отдельных случаев резонансов. Но как известно бизнес равняется на "оглушительный успех", а заначит достаточно сделать одному и преуспеть, как все сделают тоже самое. И тогда общий результат становится просто гарантированным - получится машина "анти-предсказаний",
Собственно я тут выложил статью что я думаю про философию истории и общество.
https://aftershock.news/?q=node/1513155
Претензии к математическому описанию не принимаются.
Это не для математики создавалось.
))) Соб-но одно из нетрадиционных определений понятия "жизнь", звучит приблизительно так:
Жизнь - это непрерывный процесс прогнозирования индивидом, с целью минимизации окружающих рисков для него , который всегда заканчивается фатально.
Теперь это называется "активный вывод" Фристона.
https://aftershock.news/?q=node/1252599
Шоб менеджмент не смущать, нужно больше EMA со смуфингом выкрученным в единицу
Зы если что это шутка )
И что за прогнозы у вас получаются?
Ну, кроме термоядерной роботизированной войны, о которой мы все многократно читали.
Там что-нибудь пусть не хорошее, а хотя бы приемлемое вырисовывается?
Вы уже как-то сами додумывайте, что получается на основе эпистемологического следствие. Все очевидно наглядно. Но гораздо раньше чем вы можете подумать.
По сути материал из этой статьи наглядная демонстрация системной динамики и направленности развития системы, а так же взаимного усиления факторов.
Он просто тактично промолчал про "песец" не к 2030-му, а уже к 2027 году.
"Другими словами и намного проще, сложное общество может существовать и развиваться только если участники общества участвуют в нем сознательно."
- Придется опять о коммунизме вспомнить?
Концепция "коммунизм" слишком простая для того с чем мы действительно столкнулись.
Страшненько. Рано или поздно начнут менять факторы, влияющие на формирование спроса. Погоду например. Потому как реклама уже "прошлый век".
А тут, например, завалялись на складе у продавца А калоши, у продавца Б - глитнвейн, у продавца В - одеялки и ... получите неделю похолодания и дождей.
Тут есть еще одна опасность.
Допустим, нам нужно перевезти на другой континент известное количество кабальеро в кирасах и всяких припасов для них. Десять каравелл. Путь нам известен на уровне "куда-то туда".
Тогда мы отправляем 15 каравелл разными путями. С грехом пополам 10 из них достигают цели.
А если бы в Эскуриале имелась бы машина прогнозирования и толковые иезуиты при ней, то она бы вычислила оптимальный маршрут на основании имеющейся практики плаваний венецианцев по Средиземке и цитат из блаженного Августина. И тогда бы мы погрузили всё на один большой галеон, который бы успешно потонул у Азорских островов. Ошибочка в расчетах. А выявить такую ошибку могла бы только машина вдвое умнее той. А выявить ошибку второй машины могла бы та, которая вдвое умнее уже ее...
Ну кстати да.
Риск-менеджмент при качественном прогнозировании перестает ловить мышей ...
Почему только он?
Так он и сейчас их не ловит давно, все эти мегаадминисираторы директора тухложарен и прочие элита обслуги просто увольняются при возникновении любой нерешаемой ими проблемы, средний срок "жизни" администратора в тухложарне в центре мск - от 3 мес до полугода:))
всё учесть невозможно! вот у Боинга еноты съели провода у самолёта, а у австралийской ракеты - попугай
мир без рисков - это мёртвый мир! )
Эта проблема решается элементарно.
Уже давным давно все подходы проработаны. Ты, видимо, матан не учил, вот и не в курсе многокритериальной оптимизации. 😇
Критерии Лапласа, минимаксма и Сэвиджа, Гурвица, оптимальность по Парето, и так далее.
Просчитали, получили ответ "одно судно", сделали два судна и алга.
Но такой ответ можно и самому придумать без хитрой машины.
Ты начинаешь понимать суть дела. 😊
Даже обычная прикидка из соображений здравого смысла даёт примерно 15% погрешности, и этого для большинства применений достаточно.
Считать нужно, там где зазоры в пару процентов или ещё меньше.
Для прогноза с учетом "урожайности, климата, внешней торговли" нужно минимум 3 а лучше 5 лет. Иначе не взлетит.
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
Давно думаю, что реально это индивидуальное ценообразование, вычисление максимальной цены, которую готов заплатить данный конкретный индивид. И формирование для него индивидуальной виртуальной ценовой реальности.
Так оно уже. Маркетплейсы не спешат показать вам в поиске самый дешевый товар, если чуют, что с вас можно взять больше.
Тренд действительно давно существует, особенно радует озон в котором один и тот же товар продаётся по цене с разбросом на порядок. В идеале, не будет вариантов, один покупатель одно предложение с ценой конкретно для этого покупателя.
"Конкуренция зло," Рокфеллер.
Это уже с 70х годов есть у авиакомпаний.
Так давно все это есть. Только без вот этих вот больших вычислений и профилей. Делается N карточек одного товара с разной ценой. Каждая карточка найдет свою ЦА ))
Пока ещё есть варианты проверить, а вот когда социальные связи заменят полностью на виртуальные, даже варианта проверить сомнения не будет.
Страницы