ChatGPT, Deepseek, Grok: Результативность прогнозов Олега Ладогина 75%-80% или реальные возможности ИИ

Аватар пользователя GORA - Олег Ладогин

С момента появления в общем доступе экспериментировал с ИИ, пытаясь найти им прикладное применение в работе, не относящейся к вычислениям и программированию. Задача была в анализе текстов и выдаче сносных выводов. Лишь спустя три года экспериментов можно подвести итоги, которые можно назвать репрезентативными.

Долгое время подсовал ИИ различные тексты по геополитике (статьи, доклады, обзоры) для вычленения основных мыслей авторов. Иногда бывали интересные интерпретации материалов, иногда даже противоречивые. Однако мне не хватало полноты описания выводов. Самое главное, всегда оставалось сомнения, что я сам чего-то недопонял в предложенном для ИИ материале. Прекрасно понимаю, что это проблема субъективной оценки.

Поэтому стал подсовывать ИИ собственные материалы, чтобы понять справляются ли они с анализом, исходя из моей субъективной оценки.

Всем ИИ задавался вопрос с одной и той же формулировкой, менялась лишь ссылка на прогноз.

ChatGPT

 ChatGPT прогноз на 2022 год

Оценочно, процент реализации его предсказаний составляет около 80%.

В тексте найдено всего 4 прогноза и вообще ничего про конфликт на Украине.

ChatGPT прогноз на 2023 год

Таким образом, можно оценить, что около 70-80% прогнозов Ладогина на 2023 год реализовались.

Тут всего 3 прогноза и опять ChatGPT не увидел ничего про конфликт на Украине.

ChatGPT прогноз на 2024 год

Таким образом, можно оценить, что около 90-95% прогнозов Ладогина на 2024 год реализовались.

Только в этом прогнозе ChatGPT заметил прогноз развития событий на Украине.

Функция "провести глубокое исследование", после часа ожидания на 99% готовности, не дала результата.

 

Deepseek

 Deepseek прогноз на 2022 год

**Общий процент реализации прогнозов: 85-90%.**

Прогресс на лицо, если ChatGPT увидел в тексте только 4 прогноза, то Deepseek уже 10 (включая конфликт на Украине) и даже дал оценку каждому.

 Deepseek прогноз на 2023 год

**Общий процент реализации прогнозов: 75-80%.**

Опять 10 прогнозов, но ни слова по прогнозу о вооружении западом Украины и про летнее наступление ВСУ.

Deepseek прогноз на 2024 год

**Общий процент реализации прогнозов: 75-80%.**

Вновь 10 прогнозов, может быть это како-то лимит и 2024 год для Deepseek еще не закончился.

 

Grok - однозначный фаворит с функцией "Глубокий поиск"

Grok прогноз на 2022 год

На основе анализа, около 84% прогноза сбылось, с учетом точных и частично точных совпадений. Это отражает сложность прогнозирования в условиях геополитической нестабильности, но Ладогин верно уловил многие крупные тренды, такие как энергетический кризис и санкции. 

Grok подробно расписывает анализ, дает ссылки на собранные им факты для оценки.

Это уже имело смысл сравнить с прогнозом от МГИМО на 2022 год

 Grok прогноз МГИМО на 2022 год

Прогноз на 2022 год показал реализацию около 55%, что отражает как точные предсказания, так и ошибки, особенно в экономических и геополитических аспектах, таких как запуск "Северного потока-2" и возрождение СВПД. Этот анализ подчеркивает сложность прогнозирования в условиях неопределенности, особенно в условиях глобальных кризисов.

Далее сравнил 2 прогноза в контексте конфликта на Украине

Grok прогноз МГИМО по конфликту на Украине в 2022 году

Текст представляет сложную картину, где украинский кризис имеет высокий потенциал для эскалации в конфликт, особенно если переговоры между Россией и Западом не приведут к соглашению. В то же время, дипломатические усилия и экономическая устойчивость обеих сторон предлагают пути для деэскалации. Внутренняя нестабильность в Украине, включая низкий рейтинг Зеленского, может усугубить ситуацию, но текст предполагает, что крупный внутренний кризис маловероятен. 

 Grok мой прогноз по конфликту на Украине в 2022 году

Текст представляет ситуацию как имеющую высокий риск конфликта или значительной эскалации на Украине в 2022 году, основываясь на отчетах о напряженности, заявлениях ключевых политических фигур и отсутствии упоминаний о деэскалации. Это подчеркивает сложность и потенциальную неизбежность конфликта в контексте геополитических интересов и экономических последствий. 

Черт меня дернул спросить про его методологию оценки геополитических прогнозов:

 Методика оценки геополитических прогнозов Grok

На следующий день он стал выдавать прогнозы не по разделам/категориям.

Grok прогноз на 2023 год

Учитывая, что некоторые частично верные предсказания были близки к точным, можно округлить до 70%, что отражает общую точность прогнозов. 

Такой анализ от Grok увеличился по объему, но на мой взгляд - самый подходящий, он нашел 23 прогноза, хотя прогноз про летнее наступление ВСУ он не заметил.

Grok прогноз на 2024 год

Учитывая, что многие частично верные предсказания были близки к точным, и для упрощения оценки, можно округлить до 75%, что отражает общую картину, особенно с учетом контекста геополитических событий. 

В этом тексте он нашел 24 прогноза, хотя и не совсем те 30, что я закладывал (про обострение ситуации в Балтике он ничего не знает), но это уже приемлемый результат.
 

Как итого: можно сказать, что Grok с функцией "Глубокий поиск" уже можно использовать для анализа текстов, но нужно учитывать, что за базу он берет информацию из западных источников (зачастую русофобских), и некая смысловая часть может быть утеряна при переводе с русского, особенно если используются аббревиатуры или специфические термины.

Авторство: 
Авторская работа / переводика
Комментарий редакции раздела Альтернативный Интеллект

Пример несколько мутного применения ИИ для собственных целей.

Но как иллюстрация близости моделей по качеству ответов - в копилку стоит отложить.

Продолжаем наблюдать.

Комментарии

Аватар пользователя Колдур
Колдур(1 год 1 месяц)

В какой процент неточности ии относит эпический промах Байден/Трамп? Видимо, в оставшиеся 25%?

Аватар пользователя basil10
basil10(10 лет 9 месяцев)

согласен если угадать 75%, но ошибиться в прогнозе Камбала Трамп

это обесценивает всю конструкцию.

Комментарий администрации:  
*** отключен (оскорбления сообщества) ***
Аватар пользователя GORA - Олег Ладогин

Обосновать свой тезис сможете? Как это обесценило мой прогноз 2024 года в отношении России?

Аватар пользователя basil10
basil10(10 лет 9 месяцев)

Если бы победила Камбала был бы немного другой вектор:

Больше санкций больше пидтримки хохлорейху ну и так далее

Нам пришлось бы тяжелее

Комментарий администрации:  
*** отключен (оскорбления сообщества) ***
Аватар пользователя GORA - Олег Ладогин

Вы сделали утверждение в мой адрес:

это обесценивает всю конструкцию.

Если это обесценивает вашу конструкцию - то нужно было уточнять.

И для информации:

9 января 2025 CNN: Представители администрации утверждают, что и американская, и украинская администрации предполагали, что в первой половине 2025 года могут состояться переговоры с Москвой — независимо от того, кто победит на выборах в США, — и их целью было расширить возможности Украины перед потенциальными переговорами. 

Аватар пользователя basil10
basil10(10 лет 9 месяцев)

Вот уточняю

Комментарий администрации:  
*** отключен (оскорбления сообщества) ***
Аватар пользователя AlekZ
AlekZ(6 лет 5 месяцев)

наоборот - можно сказать, что общая методика прогнозирования была устойчива даже к таким возмущениям как результаты выборов в США (это я помогаю Ладогину ответить) smile1.gif (а можно сказать, что такой результат показал, что личность президента США на реальность не влияет - только на медиа)

Аватар пользователя GORA - Олег Ладогин

Проведите работу, забейте в ИИ все мои работы и не забудьте про эту: 3 ноября 2020 года - выборы худшего президента США

Для Бадена мир поделен на своих и чужих в идеологическом плане. Настоящий Демократ не пойдёт на сделку с диктатором - это идеологический враг. Для Демократов США, Россия привычный враг и идеологические схемы атак уже отработаны. Поэтому, в случае победы Байдена, Россию ожидает новый железный занавес и обвинения во всех мыслимых и немыслимых грехах.

Аватар пользователя vagabond
vagabond(8 лет 8 месяцев)

Будут атаки и контр атаки,постоянные удары по мячу,нарушения,как следствие штрафные удары.

Удару как в створ ворот, так и мимо.

Не исключены вбрасывания,возможны даже угловые.

Процентов на 99 думаю совпадет с  итогом любого  футбольного матча :)

Но можно ли  назвать (считать) прогнозом?

Назвать можно,считать нет.

Обострилось уже обострение на Балтике?

Кстати не нормально говорить о себе в третьем лице :)

Аватар пользователя Anatala
Anatala(3 года 2 месяца)

Достаточно, в начале каждого прогноза ставить "вероятно" и ИИ пропустит любой прогноз, т.к. и 1% это вероятно и 99% тоже.

Аватар пользователя GORA - Олег Ладогин

Это ложное утверждение.

В тексте приведена методика оценки геополитических прогнозов от Grok.

Аватар пользователя Controlc
Controlc(8 лет 5 месяцев)

Сам себя не похвалишь  никто не похвалит

Аватар пользователя Анастасия Злец

Подводя итоги 2023 года, Ладогин отметил, что его прогнозы в значительной степени оправдались. 
 

По итогам 2024 года, Ладогин отметил, что его прогнозы в значительной степени подтвердились.

Аватар пользователя GORA - Олег Ладогин

Это цитаты ИИ.

Аватар пользователя Анастасия Злец

Да, это цитаты на основании того, что вы сами о себе пишете. 

Вы реально не улавливаете, что такое языковая модель?

 

Аватар пользователя GORA - Олег Ладогин

Это вы явно не понимаете, что такое языковая модель ИИ.

Аватар пользователя SAMOKILLER
SAMOKILLER(11 лет 4 месяца)

Как вы доступ к грок организовали?

Аватар пользователя GORA - Олег Ладогин

Через VPN и регистрацию почты в google.

Аватар пользователя Niss
Niss(11 лет 8 месяцев)

Есть много прокси сервисов типа gptlama.ru

Аватар пользователя SAMOKILLER
SAMOKILLER(11 лет 4 месяца)

Может я путаю с какой то другой llm, но у меня он подтверждение номера телефона запрашивал. А впн какой страны?

Аватар пользователя Сиплый
Сиплый(8 лет 8 месяцев)

Ржака...у тебя прогнозы уровня завтра наступит утро...это не прогнозы...тебе уже сто раз говорили...сбываемость очевидных банальностей будет 100%...ты же всего 75% умудрился получить даже на этом...хорошо хоть перестал писать что предсказал СВО (за три дня-то до начала ::)....

Аватар пользователя GORA - Олег Ладогин

Не могу воспринимать вас всерьез.

Для образца, в этом материале есть оценка прогноза МГИМО на 2022 год.

Если у вас есть другие образцы прогнозов, дайте ссылки.

Аватар пользователя Сиплый
Сиплый(8 лет 8 месяцев)

Вот что про тебя выдает дипсик по запросу (Проанализируй текст прогнозиста Олега Ладогина https://aftershock.news/?q=node/1048912 какой процент прогнозов сбылся?):

Олег Ладогин — известный прогнозист, публикующий свои аналитические материалы на сайте Aftershock.news. Чтобы точно определить процент сбывшихся прогнозов из указанной статьи (ссылка), нужно провести детальный разбор его утверждений и сравнить их с реальными событиями.

Как можно оценить точность прогнозов?

  1. Выделить конкретные прогнозы – например, по экономике, политике, курсам валют, конфликтам.

  2. Сравнить с реальными данными – проверить, насколько его предсказания совпали с фактами.

  3. Оценить временные рамки – некоторые прогнозы могут быть долгосрочными.

Примерный анализ статьи (без полного текста)

Если статья содержит прогнозы по:

  • Экономике России (санкции, курс рубля, инфляция)

  • Геополитике (конфликты, отношения с Западом, Китаем)

  • Технологиям и энергетике

то можно проверить, например:

  • Сбылся ли прогноз по курсу доллара на 2023–2024 гг.?

  • Оправдались ли ожидания по поводу новых санкций?

  • Был ли точен прогноз по развитию СВО?

Предварительная оценка (без детального разбора)

Ладогин часто дает верные тренды, но не всегда точные сроки или цифры. Например:
✅ Правильно предсказал: усиление роли государств БРИКС, устойчивость рубля после санкций.
❌ Ошибся: в некоторых датах кризисных событий или темпах инфляции.

Примерный процент сбывшихся прогнозов (на основе прошлых его статей): 60–75% (если считать тренды, а не точные цифры).

ВЫВОД УЖЕ МОЙ: Очевидные банальности наш прогнозист предсказывает как может...где-то даже попадает, но как только прогноз требует глубокой детальной проработки или хотя бы понимания чуть глубже чтения новостных заголовков...попадаем в 35-40% ошибок...на основании этой писанины невозможно планировать, принимать обоснованные решения по каким-либо вопросам, от инвестирования до релокации или даже отпуска...

Аватар пользователя GORA - Олег Ладогин

Вам осталось найти автора с большим % реализовавшихся прогнозов по Росии, согласно дипсик.

Сможете?

Аватар пользователя Анастасия Злец

Не бывает людей, которые настолько же маниакально сосредоточены на проталкивании тезиса о проценте своих сбывшихся прогнозов. 

Аватар пользователя GORA - Олег Ладогин

Примеры моей маниакальности "проталкивании тезиса о проценте своих сбывшихся прогнозов" привести сможете?

Аватар пользователя Анастасия Злец

Подводя итоги 2023 года, Ладогин отметил, что его прогнозы в значительной степени оправдались. 
 

По итогам 2024 года, Ладогин отметил, что его прогнозы в значительной степени подтвердились.

Эта статья и  "Вам осталось найти автора с большим % реализовавшихся прогнозов по Росии, согласно дипсик."

Аватар пользователя GORA - Олег Ладогин

У вас не получится приписать цитаты ИИ ко мне.

Вы явно проецируете на меня свои шаблоны поведения, так как 1 статья и 1 комментарий не могут является признаками маниакального поведения.

Аватар пользователя Руслан К
Руслан К(7 лет 6 месяцев)

smile9.gif о том же самом сразу подумал 

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Олег, ну это уже реально ниже плинтуса.

Аватар пользователя GORA - Олег Ладогин

Аргументируйте ваш тезис.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Пытаетесь найти поддержку у бредогенератора. Чё тут объяснять?

Аватар пользователя GORA - Олег Ладогин

Бредогенератор - эта ваша личная оценка ИИ и вы можете ее обосновать?

Я искал способ облегчить себе трудовую деятельность.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Это не "моя оценка". Это оценка крупнейших специалистов отрасли.

https://www.youtube.com/watch?v=vwtm9ZqHRQA

Думать надо учиться, а не жизнь себе облегчать.

Аватар пользователя GORA - Олег Ладогин

Вы мой текст вообще читали?

Я сам оценил, что ChatGPT непригоден для моей работы.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Вы мой текст вообще читали?

Нет конечно. Зачем?

Аватар пользователя GORA - Олег Ладогин

Тогда зачем комментируете то, что не читали?

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Я содержание и не комментировал.

Аватар пользователя GORA - Олег Ладогин

Делитесь своим эмоциональным фоном с окружающими?

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Мой комментарий - о самой постановке вопроса. Сама постановка - это уровень ниже плинтуса. Нет разве? При чём тут эмоции. 

Аватар пользователя GORA - Олег Ладогин

Постановка вопроса - уровень эффективности работы ИИ.

Если для вас это "ниже плинтуса", то вы явно ошиблись темой для комментариев.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Постановка вопроса:

"ChatGPT, Deepseek, Grok: Результативность прогнозов Олега Ладогина"

Оценочно, процент реализации его предсказаний составляет около 80%.

Да? А почему, например, не "около 10%"?

Аватар пользователя GORA - Олег Ладогин

Вы элементарной математикой владеете?

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Допустим. А как это связано с моим вопросом?

Аватар пользователя GORA - Олег Ладогин

Найдите среднее арифметическое.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Среднее арифметическое чего?

Аватар пользователя GORA - Олег Ладогин

Оценок ИИ в данном тексте.

Аватар пользователя An-Swer
An-Swer(13 лет 2 месяца)

Господи, да какая разница, какие цифры Вам бредогенератор рисует?

Аватар пользователя Pablo666
Pablo666(2 года 7 месяцев)

Если спросить про Войну и Мир и попросить описать ее, то ИИ естественно опишут, т.к. они на ней уже обучены.

Так и тут, для прогнозов надо сегодня спрашивать про завтра и сравнивать.

Аватар пользователя GORA - Олег Ладогин

Не понял вашей мысли, так как ИИ может дать объективную оценку только уже прошедшим событиям.

Опишите подробней, пожалуйста, что вы имели ввиду.

 

Страницы