Модель OpenAI достигла уровня золотой медали на Международной математической олимпиаде и прокладывает путь к созданию общего искусственного интеллекта

За несколько месяцев до Международной математической олимпиады (ММО) 2025 года, которая должна была состояться в июле, команда из трёх человек из OpenAI сделала ставку на то, что сможет использовать невероятно сложные задачи соревнования, чтобы научить модель искусственного интеллекта часами самостоятельно думать и писать математические доказательства. Их целью было не просто создание ИИ, способного выполнять сложные математические вычисления, но и ИИ, способного оценивать неоднозначность и нюансы — навыки, которые понадобятся ИИ, если он когда-нибудь возьмётся за решение многих сложных задач реального мира. Фактически, именно эти навыки необходимы для создания общего искусственного интеллекта (ОИИ): понимания и рассуждения на уровне человека.

ММО, проведённая в этом году на Саншайн-Кост в Австралии, — это главное математическое соревнование для старшеклассников в мире, объединяющее лучших участников из более чем 100 стран. Всем участникам предлагается решить одни и те же шесть задач — по три в день, каждая из которых оценивается в семь баллов, — в течение двух дней. Но эти задачи совсем не похожи на те, что вы, вероятно, помните из старшей школы. Вместо краткого числового ответа каждая требует непрерывного рассуждения и творческого подхода в виде письменного доказательства длиной в страницы. Эти логичные, пошаговые рассуждения должны охватывать многие области математики — именно те задачи, с которыми до этого года системы ИИ с треском провалились.

Команда исследователей и инженеров OpenAI — Алекс Вэй, Шерил Сю и Ноам Браун — использовала универсальную модель рассуждения: ИИ, разработанный для «обдумывания» сложных задач, разбивая их на этапы, проверяя свою работу и адаптируя подход по ходу дела. Хотя системы ИИ официально не могли участвовать в соревнованиях, этот невероятно сложный тест продемонстрировал их возможности, и ИИ справились с заданиями этого года в том же формате и с теми же ограничениями, что и участники-люди. Получив вопросы, экспериментальная система команды проработала два сеанса по 4,5 часа (как и студенты-участники) без инструментов или Интернета — у неё не было абсолютно никакой внешней помощи от таких инструментов, как поисковые системы или программное обеспечение, разработанное для математики. Полученные ею доказательства были оценены тремя бывшими медалистами ММО и опубликованы в интернете. ИИ правильно решил пять из шести задач, получив 35 из 42 баллов — минимум, необходимый для золотой медали ММО. (Система ИИ DeepMind от Google также достигла этого результата в этом году.) Из 630 участников только 26 студентов, или 4 процента, превзошли ИИ; пять студентов получили идеальные 42 балла. Учитывая, что год назад системы ИИ на основе языка, такие как OpenAI, с трудом справлялись с элементарной математикой, результаты стали резким скачком производительности.

В следующем интервью журнал Scientific American побеседовал с двумя членами команды OpenAI, Алексом Вэем и Шерил Сю, чтобы обсудить, как они работали, почему отсутствие ответа модели на шестой вопрос на самом деле стало важным шагом на пути к решению проблемы «галлюцинаций» ИИ и как разработка системы, способной писать сложные доказательства, может способствовать созданию общего искусственного интеллекта.

[Ниже представлена ​​отредактированная стенограмма интервью.]

Что побудило вас внезапно начать подготовку модели ИИ для IMO всего за несколько месяцев до соревнований? Что послужило толчком?

ВЭЙ: Я довольно давно размышлял о математических доказательствах. Я работаю в команде OpenAI под названием MathGen. Мы только что увидели значительный прогресс в результатах. Мы чувствовали, что у нас есть шанс получить модель, которая действительно хорошо выступит на IMO, и хотели сделать рывок к достижению этой цели.

HSU: Я раньше участвовал в математических олимпиадах. [Вэй] тоже участвовал в математических олимпиадах — он был намного лучше меня. ИМО, безусловно, хорошо известна в сообществе [исследователей ИИ], в том числе среди исследователей OpenAI. Поэтому было очень вдохновляюще продвигать именно это направление.

Не могли бы вы рассказать о своём решении работать с универсальной системой ИИ, а не с системой, специально разработанной для решения математических задач?

WEI: Наша философия заключается в том, что мы хотим создать универсальный ИИ и разработать методы, которые подходят не только для математики. Математика — очень хороший полигон для испытаний ИИ, потому что она довольно объективна: если у вас есть доказательство, легче достичь консенсуса относительно его корректности. Скажем, для поэзии это сложнее — среди читателей будет больше разногласий. А задачи ИМО очень сложные, поэтому мы хотели решать сложные задачи методами общего назначения в надежде, что они будут применимы и в других областях, помимо математики.

HSU: Я бы также сказал, что цель OpenAI — создание ИИОН (ИИОН) — не обязательно писать статьи или побеждать в конкурсах. Было важно, чтобы всё, что мы делали для этого проекта, также было полезно для более масштабной цели — создания ИИОН и более совершенных моделей, которые пользователи смогут использовать.

Каким образом модель рассуждения, получившая золото на IMO, может способствовать созданию ИИОН?

WEI: Один из подходов — это анализ времени, которое занимают задачи. Год назад ChatGPT мог решать только самые простые математические задачи. Два года назад — и даже полтора года назад — мы часто думали о математических задачах из начальной школы, которые можно найти в домашнем задании пятого класса. Для человека, действительно хорошо разбирающегося в математике, чтение и решение таких задач занимает секунду-другую. Затем мы начали оценивать результаты с помощью AIME [Американский пригласительный экзамен по математике, математический конкурс для старшеклассников из 15 вопросов]. На каждую задачу уходит около 10 минут, а на 15 задач — около трёх часов. По данным IMO, решение всего трёх задач занимает четыре с половиной часа — то есть по 90 минут на каждую. ChatGPT изначально был хорош для коротких вопросов. Теперь он лучше справляется с более длительными задачами, такими как «Можешь отредактировать этот абзац?». По мере совершенствования ИИ можно расширять временной горизонт задач, и этот прогресс наглядно виден на примере математики.

HSU: Другой аспект заключается в том, что модели рассуждений раньше очень хорошо справлялись с задачами, которые легко проверить. Если вы решаете математическую задачу, не требующую доказательств, существует один численно правильный ответ. Его легко проверить. Но в реальном мире — и в задачах, с которыми люди действительно хотят получить помощь, — всё сложнее. Есть нюансы: возможно, решение в основном верно, но с некоторыми ошибками; возможно, оно верно, но его можно было бы лучше сформулировать. Математика, основанная на доказательствах, нетривиальна для оценки. Если мы обратимся к AGI, то эти задачи будет непросто оценить как правильные; они будут более расплывчато специфицированы и в целом сложнее.

Каков был процесс обучения модели?

WEI: В целом, обучение с подкреплением обучает модель, поощряя хорошее поведение и наказывая плохое. Если вы постоянно подкрепляете хорошее поведение и пресекаете плохое, модель с большей вероятностью будет демонстрировать хорошее поведение.

HSU: Ближе к концу мы также увеличили время выполнения теста [время, которое модель ИИ могла «думать» перед ответом]. Раньше для человека решение подобных задач занимало несколько минут; теперь мы масштабировали его до часов. Это дополнительное время на обдумывание дало удивительные результаты. Был момент, когда мы проводили оценку на нашем внутреннем тестовом наборе, что заняло много времени из-за возросшего времени выполнения теста. Когда мы наконец посмотрели на результаты — и Алекс их оценил — вид прогресса заставил меня подумать, что золото, возможно, уже близко. Это было очень воодушевляюще.

На тесте IMO разработанная вами модель дала пять правильных ответов из шести. Но на шестой вопрос модель даже не пыталась дать ответ. Не могли бы вы рассказать подробнее о значении этого ответа?

WEI: То, что модель знала, чего она не знает, было одним из первых признаков [прогресса], который мы наблюдали. Сегодня, используя ChatGPT, вы иногда сталкиваетесь с «галлюцинациями» — модели не всегда точно знают, что им неизвестно. Эта способность свойственна не только математике. Было бы здорово, если бы в повседневных вопросах модель могла честно сообщать о том, что она не знает, вместо того, чтобы давать ответ, который я должен проверить самостоятельно.

Какое влияние ваша работа над этой моделью может оказать на будущие модели?

HSU: Всё, что мы сделали для этого проекта, довольно универсально — возможность оценивать результаты, не являющиеся единственными ответами, и работать над сложными задачами в течение длительного времени, добиваясь стабильного прогресса. Это во многом способствовало успеху, и теперь мы и другие специалисты OpenAI применяем эти возможности не только в математике. В GPT-5 этого нет, но мы рады интегрировать эти возможности в будущие модели.

WEI: Если посмотреть на опубликованные нами решения задач IMO, некоторые из них очень длинные — от пяти до десяти страниц. Эта модель способна генерировать подробные, последовательные и связные результаты без ошибок. Многие современные модели не способны создать полностью связный пятистраничный отчёт. Я рад, что эта тщательность и точность будут полезны во многих других областях.

Deni Ellis Béchard

Thu, August 21, 2025 at 11:50 AM EDT

Scientific American