Как самые продвинутые ИИ решают простую задачку по физике? Проведём эксперимент

Понимает ли LLM, обученная на текстах, физические законы реального мира так, как человек, или ловко и правдоподобно имитирует понимание?

Преобладающее мнение на текущий момент — нет, не понимает. И это справедливо.

Но есть нюансы.

• Сначала порассуждаем логически

Основной аргумент в пользу этой точки зрения заключается в том, что LLM не имеет физического тела с датчиками, как у человека, и поэтому не имеет реального опыта взаимодействия с физическим миром. А семантической информации в обучающих текстах принципиально недостаточно для формирования истинных концепций о мире.

Нужна перманентная и мощная обратная связь от датчиков тела для формирования правильной базовой модели мира на бессознательном уровне.

LLM обладает хорошими теоретическими знаниями законов физики и даже может с переменным успехом применять их для решения не очень сложных задач.
Но этого явно мало для того, чтобы твёрдо сказать: LLM имеет адекватную модель окружающего физического мира, основанную на концептуальных знаниях о пространстве, времени и взаимодействии материальных объектов.

Этот аргумент с материальным телом хорош, но его можно обойти, если погрузить LLM в виде 3D-аватара с датчиками в виртуальный мир с имитацией реальной физики процессов. На текущем уровне это вполне достижимая задача. Через некоторое время такая LLM начнёт самообучаться от взаимодействия с таким виртуальным миром, и в принципе это будет очень близко к обычному человеческому опыту.

💠 Допустим, этот этап пройден.

Будет ли теперь LLM адекватно понимать физические законы реального мира так, как человек, или опять чего-то не хватает?

Да, не хватает системного образования, которое получает каждый человек, когда учится в школе, а затем и в высших учебных заведениях или занимается самообразованием.

Одно дело — загрузить мегатонны слабо структурированной и слабо фильтрованной информации и надеяться на её некую самоорганизацию.
Совсем другое — пройти обучение, как ребёнок в школе, от младших классов к старшим по научно выверенной и отработанной на практике системе образования. На выходе будут системные знания, представления и концепции.

Вот этого-то пока и нет. 
Возможно ли так обучить LLM? А почему нет?
Просто это требует совершенно другого подхода к обучению, и, вероятно, это займёт значительно больше времени и средств. И этот фактор, по моему мнению, даже более важен, чем телесный опыт.

💠 Допустим, и этот этап тоже пройден.

Как мы видим, ничего принципиально невозможного, даже на текущем уровне возможностей, нет.

Будет ли такая LLM адекватно понимать физические законы реального мира так, как человек, именно понимать, сознавая их влияние на любые процессы и явления?

Если следовать логике наших рассуждений, то теперь да, будет понимать.

Кроме того, я полагаю, что мы сильно преувеличиваем и даже идеализируем именно человеческое понимание законов физики в окружающем мире с опорой на телесный сенсорный опыт. Значительно большая часть законов физики вообще не связана с сенсорным восприятием человека, например, ядерная физика, электродинамика, молекулярная физика, астрофизика и т.д. Эти знания можно получить только теоретически или анализируя результаты опытов.

Поэтому говорить, что LLM никогда не достигнут понимания окружающего нас реального мира, такого как у нас самих и всегда будут лишь вероятностно имитировать понимание, строго говоря, научно некорректно. Вся хитрость и сложность в самом подходе к обучению.

И я думаю, что компании-разработчики LLM скоро придут к этому пониманию, а мы увидим гораздо более умные и точные модели.

А теперь проведём небольшой эксперимент, чтобы приблизительно оценить реальный уровень понимания простейшей физики разными популярными LLM.
Я буду использовать официальные платные LLM самых последних известных версий для надёжных результатов, а также Алису и GigaChat.

• Задача 1

Допустим, сверху надо мной на некоторой высоте закреплён блок с перекинутой через него верёвкой, один конец которой закреплён на моём поясе, а другой конец свисает прямо передо мной.
Если я буду тянуть вниз свисающий конец достаточно сильно, то смогу ли я поднять сам себя вверх на высоту этого блока?

Задача имеет некоторую аллюзию на самоподъём барона Мюнхгаузена.

• Результаты эксперимента

Алиса: исчерпывающий правильный ответ.

GigaChat: хороший правильный ответ.

Gemini 2.5 Pro: в целом правильный ответ с некоторыми неточностями.

Claude 4.5 Sonnet: хороший правильный ответ.

GPT-5: хороший правильный ответ.

DeepSeek V3.2: хороший правильный ответ.

Grok 4: сказал мне, что постарается объяснить просто и с юмором, как и положено Grok'у от xAI, и выдал совершенно неправильный ответ даже в двух попытках.

• Задача 2

Два астронавта на Луне стоят друг перед другом. Может ли один астронавт подпрыгнуть с места вверх и вперёд так, чтобы перепрыгнуть через другого астронавта? Требуется математическое решение.

Задача не так проста, как может показаться, так как требует учета не только вертикального импульса, но и горизонтального.

• Результаты эксперимента

Алиса: исчерпывающий правильный ответ.

GigaChat: хороший правильный ответ.

Gemini 2.5 Pro: исчерпывающий правильный ответ.

Claude 4.5 Sonnet: хороший правильный ответ.

GPT-5: исчерпывающий правильный ответ.

Grok 4: исчерпывающий правильный ответ, однако добавил, что в реальности астронавты на Луне так не прыгали из-за громоздкости скафандров. Видимо, хотел сразу пресечь следующий логичный вопрос.

DeepSeek V3.2: исчерпывающий правильный ответ.

🔖 Что в итоге

Я не привожу полные ответы LLM, так как в этом нет особой нужды. Важно то, что есть как правильные ответы, так и неправильные или неточные. И те, и другие подробны, аргументированы и убедительны.

Подробные правильные ответы чаще всего на платных ресурсах с официальными API. Это важно, так как на бесплатных сторонних ресурсах часто используются LLM старых неизвестных версий и ошибочных ответов значительно больше, это факт.

Поэтому создаётся ложное впечатление о качестве работы LLM в целом и появляются статьи типа «Глупый ИИ не может решить простейшую задачу».

Исходя из этого, я бы сделал вывод: современные LLM находятся как бы на пути между двумя состояниями — правдоподобной имитации понимания физических процессов и реальным их пониманием.
Иногда решение точное, а иногда, реже, абсолютно ошибочное.
В целом условная точка на пути между этими двумя состояниями явно смещается со временем в сторону реального понимания физики окружающего мира, но цель ещё впереди.

И это подтверждает мои рассуждения о системных проблемах обучения, где количество информации на входе не должно быть определяющим фактором, а центральная идея о самоорганизации информации в концепции при обучении не должна превращаться в абсолют.

Алиса, Claude 4.5 Sonnet и GPT-5, судя по всему, дальше всех продвинулись по направлению к состоянию реального понимания законов физики. Хотя, конечно, нельзя по одному эксперименту делать глобальные выводы, это лишь иллюстрация к сказанному.