Почему забрасывание данных в черные ИИ ящики - не всегда работает

Да какие чудовищные метеоресурсы у яндекса - поди агрегирует предсказания разных метеоцентров из интернета плюс добавил доклады с мест, что, как видим, ухудшило точность. Общие затраты точно меньше человеко-года прогерского труда.

Я пробовал нейросети (ради интереса) для тривиальнейшей задачи Убрать шум с сетки.

Даже на ней оно работает очень медленно, и не всегда сходится к решению.

Т.е. да, получить от нейросети хороший результат совсем не так просто, как кажется.

Естественно простой математикой эта задача решается легко.

Я жду ярких результатов замены кожаных дата-аналитиков на ИИ - ожидаю в этой теме такую феерию, что вся индустрия вздрогнет и побежит собирать за любые деньги оставшихся в живых специалистов "старой школы".

 Кста, таки порой согласен...лет 10 состоял в аварийно восстановительном отряде.... до сих пор приходят рассылки МЧС в т.ч. о погодных экстремумах ... последний раз дней 5 назад обещали ветер с порывами свыше 25, грозы, ливень, град.... был небольшой дождь

Про ухудшение прогнозов чисто субъективно подтверждаю.

Также в копилку: Алиса с годами только тупеет. Даже просто распознавание речи всё чаще глючит...

типа яндекса стягивают еще и свежие мозги в одно место...  да, хорошо платят

в яндексе хорошо платят? Туда уже давно идут только ради лычки ex-Yandex

Было дело лет, наверное, 35 назад. Метеоролог рассказывал. У них прогнозы делали путем решения кучу дифуров. В которых константы - не константы, а оценки оных на базе неких статистик. Больше наблюдений в идеале - более точные константы. Оттого и выгода от большого числа измерительных пунктов. Конечно, это не отменяет, говорит, возможность различного решение если данная константа чуточку, но все так в рамках погрешности, не та. Написали в модели что 3, решение одно, написали что 3.1 - другое. А если их много этих констант? Вот почему, говорит, прогнозы ошибаются, даже если модели сами по себе - хорошие.

А в теплой части года - еще хуже. там воздух - как кипящая вода, попробуй спрогнозировать точное положение конкретного пузырка через день

В Канаде практически перестал пользоваться прогнозами погоды, кроме радарной карты с осадками и направлением ветра на 3 часа вперёд.

Что касается ИТ части, такое впечатление, что  полностью забили на причинно-следственные связи и вытекающие из них знания-правила "если... то...", что требует экспертных знаний в предметной области, и полностью перешли на автоподобор корреляций "всё влияет на всё на всех уровнях всех систем" в больших данных.  Правда, корреляции бывают ложные, классика, когда в середине прошлого века скандинавы показали корреляцию между количеством аистов и деторождений, а то и другое коррелировало с числом домохозяйств в сельской местности.

Плюс корреляции смещённые из-за гетерогенности выборок - "Любит не любит 50 на 50, плюнет поцелует 50 на 50, даст не даст 50 на 50, итого гандон с вероятностью 87,5% на первое свидание брать не надо. Частотность считали на малолетках раннего пубертатного возраста, рекомендации даны поручику Ржевскому при визите к мадам "Да, ужас. Но ведь не ужас-ужас-ужас!!!"". Из-за чего в той же медицине в клинических исследованиях колоссальные усилия вбухивают в обеспечение гомогенности выборок по всем параметрам, кроме исследуемых.

А в БЯМах докидывают дополнительные  косяки, когда перебор корреляций пытаются усекать в контексте, а контекст задаётся порядком слов. 

но для этого не только "ит" шники, но и профильные специалисты желательны... причем институализированные, что не так то просто даже с "бюджетом" сделать.

для профильных специалистов потребен не только бюджет, но и система образования. со всеми профильными научно-исследовательскими и прикладными "институциями". и время. которое тоже деньги. в итоге - даже по сравнению с самыми супер-современными числодробилками - это на порядки большие бюджеты. для любой страны существенные.

плюс вопросик мотивации... большое кол-во разумных людей, как следствие развитой системы образования - проблема для любых современных правящих "элит", которым не нужна интеллектуальная, а потом и политическая конкуренция со стороны всякой "черни". Взращивать своих могильщиков за собственный счёт - им явно не сильно улыбается

Причина эпичного обсера яндекса, всего лишь, в том, что в обучении модели не принимали участие метеорологи (!!!). Там много треша и угара, про это писали много и интересно.

В ИИ работает безотказно простое правило: г-но на входе дает гно на выходе.

Многие наверняка читали в 2023-м на Хабре статью под названием "Нейросетевая революция в метеорологии. Как машинное обучение может навсегда изменить прогноз погоды" (ссылку даю не для рекламы, она действительно интересная). Если вкратце - гугл  представил свою модель прогнозирования погоды – GraphCast, её особенность заключается в том, что она способна рассчитывать погоду на 10 дней вперёд без понимания «физики» атмосферных процессов и даёт весьма точные прогнозы. Так же даётся сравнение нескольких численных моделей расчёта погоды, причём отечественная  (ПЛАВ) занимает 10-е место по качеству расчёта (точность -  79%), а первое - европейская ECMWF (точность - 91%), причём, якобы, если ECMWF перестанет развиваться, то наша догонит её только через 19 лет (звучит странно, непонятно как просчитали такое).

С другой стороны - читаю про нашего климатолога Владимира Клименко и его климатическую модель 90-х годов (не модель погоды, а именно климата).

И вот что пишут про него:

Несмотря на кажущуюся простоту объяснений, клименковская модель очень непроста математически. Ее отработка и накопление уникальной базы данных для расчетов заняли 12 лет. Разрабатывалась модель еще в те доисторические времена, когда на свете жили 286-е компьютеры (молодежь, конечно, не помнит). Так вот, 286-й компьютер считал первые варианты программы в течение нескольких суток. На пентиуме расчет одного варианта «от кнопки» занимает примерно час. «Расчет одного варианта» — это, например, прогноз климата зимних сезонов московского региона на несколько ближайших десятилетий.

Точность модели — удивительная. В 1994 году Клименко рискнул и впервые опубликовал прогноз климатических изменений до 2005 года. Для средних пяти— и десятилетних значений прогноз сбылся с точностью до 0,02 °C, то есть с такой же точностью, с какой климатологи измеряют среднеглобальную и среднеполушарную температуру. И надо бы точнее, да некуда! С 1996 года в лаборатории сделали 12 успешных прогнозов на 12 сезонов — зима, весна, лето, осень — по московскому региону.

С той же невероятной точностью — до одной сотой градуса — клименковцы предсказали среднепланетарный климат 1990-х годов! Их прогноз давал +0,4 градуса от климатической нормы XX столетия, в то время как общепринятая точка зрения научного сообщества климатологов давала прогноз плюс 1–2 градуса от нормы. То есть мировые климатические модели, расчет которых происходит на суперкомпьютерах, ошиблись в 2–4 раза. Клименко на пентиуме попал.

Странно всё это - погоду не можем предсказать на 10 дней, а климат в общем - запросто.

Был один метеоролог (Лоренц?). Решил построить модель движения сферического коня в вакууме воздушных масс. Получил систему в частных производных и численно решил. Решение устойчивое, фокус в другом.
Вопрос о существовании функции многих переменных решен и, кажется, панацея в виде универсального аппроксиматора - нейросети - найдена. Вот только "функция" там не совсем функция.
Но попытка - не пытка.